近日，SynSense時識科技技術(shù)團(tuán)隊(duì)發(fā)表題為“EXODUS： Stable and Efficient Training of Spiking Neural Networks”的文章，在文章中提出了新的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法EXODUS。研究顯示：EXODUS能夠大大減低訓(xùn)練復(fù)雜程度，更具穩(wěn)定性，并提升了準(zhǔn)確度。

這項(xiàng)研究由SynSense時識科技瑞士技術(shù)團(tuán)隊(duì)算法應(yīng)用、機(jī)器學(xué)習(xí)工程師共同完成。具體見：https://arxiv.org/abs/2205.10242v1

Code： https://github.com/synsense/sinabs-exodus

“EXODUS是一種更加嚴(yán)謹(jǐn)?shù)乃惴ǎ瑢LAYER進(jìn)行了優(yōu)化，在多種基準(zhǔn)數(shù)據(jù)集中顯示出了更快速的收斂和更高的準(zhǔn)確性。”

——SynSense時識科技

高級算法總監(jiān)Sadique Sheik

在如今的機(jī)器學(xué)習(xí)任務(wù)中，功耗正在被置于越來越重要的地位。受生物大腦啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)尤其在連接事件驅(qū)動的傳感器及異步硬件時，顯示出突出的低功耗、低延遲特征。因此，超低功耗脈沖神經(jīng)網(wǎng)絡(luò)也正在被廣泛接受。

研究人員設(shè)計了不同的方法用于脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練。當(dāng)前，訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)所運(yùn)用的基于時間的反向傳播（BPTT），卻較為耗時。來自NUS的Shrestha和Orchard此前提出了一種名為SLAYER的算法，能夠相當(dāng)程度上提升訓(xùn)練速度。然而，SLAYER并未在計算梯度中將神經(jīng)元膜電位重置機(jī)制納入考量，這也是造成數(shù)值不穩(wěn)定的一大原因。為了對抗這一缺陷，SLAYER引入了梯度縮放超參數(shù)，并且需要手動調(diào)試。

SynSense時識科技在最新研究中，對SLAYER進(jìn)行了改善并設(shè)計了一種名為EXODUS的算法。EXODUS將神經(jīng)元膜電位重置機(jī)制考慮在內(nèi)，應(yīng)用了隱函數(shù)定理（ Implicit Function Theorem /IFT） 來計算梯度，無需特置梯度縮放，大大減低了訓(xùn)練復(fù)雜程度。

SynSense時識科技在此研究過程中演示了3類類腦任務(wù)：通過DVS Gesture、Heidelberg Spiking Digits（HSD）、Spiking speech commands （SSC） ，圍繞EXODUS及SLAYER進(jìn)行了對比，EXODUS顯示出了較SLAYER更高的準(zhǔn)確性。

驗(yàn)證準(zhǔn)確度提升及訓(xùn)練提速對比

自成立以來，SynSense時識科技持續(xù)助推類腦智能產(chǎn)業(yè)落地，同時在這一進(jìn)程中，于腦科學(xué)、神經(jīng)網(wǎng)絡(luò)模型、算法、硬件架構(gòu)、芯片設(shè)計、系統(tǒng)級設(shè)計、應(yīng)用、軟件等類腦工程相關(guān)的各個領(lǐng)域持續(xù)創(chuàng)新，對國內(nèi)外科研領(lǐng)域產(chǎn)生了積極深刻的影響。SynSense時識科技核心團(tuán)隊(duì)在類腦芯片領(lǐng)域科研上的實(shí)力位于世界最頂級的行列，這也將作為強(qiáng)大驅(qū)動，加快SynSense時識科技類腦智能應(yīng)用落地，為類腦技術(shù)的更廣泛鋪開而形成助力。