AlphaGo與人類圍棋專家的經(jīng)典對(duì)決早已成為往事，但每每提及人工智能發(fā)展史，又很難略過(guò)此事。

事實(shí)上，AlphaGo所依賴的硬件平臺(tái)功耗達(dá)2.3MW之多，而人腦卻只有20W的功耗。而且，20W功耗里面的大部分是用于維持神經(jīng)細(xì)胞的生命活動(dòng)，真正用來(lái)支持圍棋活動(dòng)的只是其中一小部分。

研究表明，人腦維持這種低功耗計(jì)算的重要原因之一，在于其事件驅(qū)動(dòng)的脈沖信息處理模式，支持該計(jì)算模式的重要單元便是脈沖神經(jīng)元。

而憶阻器作為一種新原理器件，為構(gòu)建緊湊高效的脈沖神經(jīng)元提供了新的物理基礎(chǔ)，被認(rèn)為是后摩爾時(shí)代構(gòu)建類腦計(jì)算硬件的理想元器件之一。最近幾年，類腦感知計(jì)算更是發(fā)展成一個(gè)具有蓬勃潛力的前沿型技術(shù)。

近日，復(fù)旦大學(xué)芯片與系統(tǒng)前沿技術(shù)研究院劉明院士團(tuán)隊(duì)，為實(shí)現(xiàn)多模態(tài)的神經(jīng)形態(tài)感知提供了一種新型硬件方案。該方案除能用于壓力-溫度感知以外，還可擴(kuò)展應(yīng)用于濕度-溫度、視覺(jué)-觸覺(jué)、以及視覺(jué)-溫度等多模態(tài)信息的融合感知。

張續(xù)猛是劉明團(tuán)隊(duì)的博士后，也是此次論文的共同通訊作者。他表示，該技術(shù)正是當(dāng)前智能機(jī)器人以及人機(jī)交互等領(lǐng)域所亟需的。

概括來(lái)說(shuō)，此次工作為類腦感知計(jì)算前沿領(lǐng)域，提供了一種硬件實(shí)現(xiàn)的新方法，并利用新原理器件解決了如下問(wèn)題：基于傳統(tǒng)CMOS（互補(bǔ)金屬氧化物半導(dǎo)體，Complementary Metal Oxide Semiconductor）技術(shù)的感知端電路的結(jié)構(gòu)復(fù)雜難題，以及所產(chǎn)生的模擬感知信號(hào)與神經(jīng)形態(tài)處理器所處理的脈沖信號(hào)的不兼容難題。

為類腦感知計(jì)算提供硬件實(shí)現(xiàn)新方法

課題組表示：“對(duì)于此次工作的意義，可以較為直接地從論文題目中得到：異質(zhì)集成多模態(tài)感知脈沖神經(jīng)元陣列。這里有三個(gè)關(guān)鍵詞：脈沖神經(jīng)元、多模態(tài)感知和異質(zhì)集成。”

首先是脈沖神經(jīng)元，為什么要強(qiáng)調(diào)脈沖？隨著大數(shù)據(jù)和人工智能時(shí)代的到來(lái)，數(shù)據(jù)量的爆炸式增長(zhǎng)，對(duì)現(xiàn)有計(jì)算系統(tǒng)的算力提出了更高要求。為了延續(xù)算力的提升，近存計(jì)算、存算一體等新型架構(gòu)在被提出之后，也展現(xiàn)出了一定效果。

然而，這種數(shù)據(jù)驅(qū)動(dòng)的人工智能能耗巨大，不具備可持續(xù)的發(fā)展性。而NbOx基閾值轉(zhuǎn)變憶阻器，又是構(gòu)建脈沖神經(jīng)元電路的典型神經(jīng)元器件。

因此，該團(tuán)隊(duì)利用憶阻器構(gòu)建的脈沖感知神經(jīng)元電路，旨在為實(shí)現(xiàn)高效的脈沖計(jì)算模式，提供更緊湊的硬件方案，從而突破傳統(tǒng)CMOS神經(jīng)元電路的集成墻瓶頸問(wèn)題。

接下來(lái)，再看多模態(tài)感知這一特點(diǎn)。眾所周知，人體在感知和識(shí)別物體的時(shí)候，通常涉及多種感知信號(hào)的協(xié)同作用即多模態(tài)感知。例如，當(dāng)人們相互交流時(shí)，嘴型、體態(tài)、微表情、以及聲音等多種信息，能讓人們能更清楚地理解彼此的表達(dá)以及潛在的意義。 論文中，課題組以裝有水的杯子為例對(duì)多模態(tài)感知進(jìn)行了說(shuō)明：通常對(duì)于只有壓力信息的單模態(tài)感知來(lái)講，我們只能知道杯子的形狀、以及杯中的水量，并不能獲悉杯中的水溫。如果想同時(shí)得知杯子形狀、水量以及水溫，那么就得引入另一個(gè)溫度模態(tài)的信息。 在該研究工作中，利用神經(jīng)元電路中憶阻器的本征溫度響應(yīng)感知溫度信息，從而無(wú)需引入額外的溫度傳感器。同時(shí)，把壓力傳感器的電阻作為神經(jīng)元電路的突觸電阻，使得該神經(jīng)元單元更加緊湊，從而促進(jìn)集成度的提高。

（來(lái)源：Advanced Materials）

此外，該神經(jīng)元電路能直接將模擬的多模態(tài)信息輸出為脈沖序列，避免了額外的脈沖轉(zhuǎn)換電路的引入，可適用于緣端低功耗的智能感知應(yīng)用，例如智能機(jī)器人等。

最后，再來(lái)看一下異質(zhì)集成。異質(zhì)集成是一種集成技術(shù)，廣義上指將多種基于不同材料體系的功能器件集成在一起，以實(shí)現(xiàn)更高效、更強(qiáng)大的應(yīng)用，這在集成芯片領(lǐng)域是一個(gè)熱門方向。

常見(jiàn)手段主要有硅基光電異質(zhì)集成，依托硅材料與不同種類光電材料的異質(zhì)集成，以充分發(fā)揮各種材料的優(yōu)異特性。

得益于室溫制備工藝，課題組將依托不同材料體系的傳感器和憶阻器集成到一起，并初步驗(yàn)證了兩者集成在一起的可行性，這為實(shí)現(xiàn)憶阻器和傳感器的結(jié)合、進(jìn)而為未來(lái)智能機(jī)器人與環(huán)境的高效交互提供了技術(shù)支撐。

近日，相關(guān)論文以“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”為題，發(fā)表在 Advanced Materials 上。

▲圖 | 相關(guān)論文（來(lái)源：Advanced Materials）

中科院微電子所博士生朱佳雪為第一作者，復(fù)旦大學(xué)芯片院劉琦教授和張續(xù)猛博士擔(dān)任共同通訊作者。

關(guān)于該論文，期刊方面一共分配了4位審稿人，有3位審稿人直接給出正面評(píng)價(jià)。其中一位評(píng)價(jià)稱：“這樣的多功能設(shè)備當(dāng)然很有趣，并且作者還說(shuō)明了該設(shè)備可能啟發(fā)的新型應(yīng)用程序。”

（來(lái)源：Advanced Materials）

“不再是冷冰冰的機(jī)器”

據(jù)悉，該研究是課題組在傳入神經(jīng)方面的延續(xù)性成果，傳入神經(jīng)處理的感知信號(hào)大多來(lái)自其它傳感器，其工作重點(diǎn)在于實(shí)現(xiàn)傳感器產(chǎn)生的模擬信號(hào)到脈沖信號(hào)的轉(zhuǎn)換。

根據(jù)已有報(bào)道以及該團(tuán)隊(duì)的探索發(fā)現(xiàn)，此次使用的NbOx 基神經(jīng)元器件還具有溫度響應(yīng)特性。從另一方面來(lái)講，它本身也可作為溫度傳感器，從而在構(gòu)建溫度感知神經(jīng)元單元時(shí)，無(wú)需引入額外的溫度感知模塊。

基于該發(fā)現(xiàn)和想法，張續(xù)猛與劉琦老師以及朱佳雪博士進(jìn)行反復(fù)討論，最終確定利用上述溫度響應(yīng)的同時(shí)，再引入另一傳感參數(shù)，以實(shí)現(xiàn)多模態(tài)感知系統(tǒng)，以便緩解當(dāng)前單一模態(tài)信息感知方法信息魯棒性差、無(wú)法識(shí)別多模態(tài)物體的問(wèn)題。

（來(lái)源：Advanced Materials）

確立目標(biāo)以后，課題組經(jīng)歷了應(yīng)用案例探討、實(shí)施方案確定、陣列的集成優(yōu)化、案例驗(yàn)證四個(gè)主要階段。在具體應(yīng)用案例上，他們從實(shí)際應(yīng)用需求出發(fā)，旨在讓這種多模態(tài)硬件和信息處理方案，更適用于日常場(chǎng)景。

最終，受生物軀體感知系統(tǒng)的啟發(fā)，該團(tuán)隊(duì)將應(yīng)用場(chǎng)景定位于：壓力和溫度這兩種模態(tài)信息的感知。然后，以該應(yīng)用為目標(biāo)，不斷優(yōu)化實(shí)驗(yàn)方案，逐步解決了從單路輸出脈沖信號(hào)中解耦多模態(tài)信息的關(guān)鍵問(wèn)題。

在具體方案確定后，便是神經(jīng)元陣列的異質(zhì)集成。張續(xù)猛說(shuō)：“這里還要感謝復(fù)旦大學(xué)王明老師在傳感器制備、以及陣列集成方案方面，所給予的技術(shù)支持和寶貴意見(jiàn)。”

最后一步，便是利用制備的神經(jīng)元陣列進(jìn)行應(yīng)用案例的驗(yàn)證，這一階段涉及到陣列中多模態(tài)信號(hào)的獲取以及數(shù)據(jù)集的采集。期間，他們利用采集的數(shù)據(jù)集，結(jié)合脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識(shí)別，最終在多模態(tài)信息感知上，驗(yàn)證了神經(jīng)元陣列的合理性和有效性。

（來(lái)源：Advanced Materials）

談及應(yīng)用前景，該小組舉例稱通過(guò)將該技術(shù)引入到機(jī)器人的手臂上，可以使得服務(wù)類機(jī)器人對(duì)于手中的飲品物態(tài)（重量、溫度）進(jìn)行多維度的信息獲取，從而判斷手中的飲品是否可以移交以及當(dāng)前的物態(tài)是否會(huì)對(duì)人體造成傷害。

另外，該技術(shù)也能豐富機(jī)器人的交互能力，通過(guò)控制手的力道和溫度，來(lái)讓人機(jī)交互更人性化，而不再是冷冰冰的機(jī)器。

（來(lái)源：Advanced Materials）

將研發(fā)一體化的異質(zhì)集成芯片

張續(xù)猛表示，論文在返修期間剛好遇上2022年上半年的上海疫情，為了補(bǔ)充實(shí)驗(yàn)數(shù)據(jù)，朱佳雪博士被封閉在校內(nèi)，工作在實(shí)驗(yàn)室、睡在實(shí)驗(yàn)室，也算是一段特殊的人生經(jīng)歷。

再就是本工作的順利完成，也得益于王睿博士的加入，王睿和朱佳雪的相互扶持和鼓勵(lì)，也促成了研究的順利完成。同時(shí)，王睿的研究課題也在臨近時(shí)間完結(jié)發(fā)表，造就了一段學(xué)術(shù)伉儷的“人間佳話”。

盡管如此，張續(xù)猛坦言此次工作只是類腦感知技術(shù)向應(yīng)用推進(jìn)的浩瀚歷史海洋中的一葉扁舟。由于這篇論文只是概念性的驗(yàn)證，距離實(shí)際應(yīng)用還有較大差距，同時(shí)也涉及到器件、電路以及系統(tǒng)集成等多方面的挑戰(zhàn)。

后面，他們會(huì)繼續(xù)在上述三方面開(kāi)展研究，旨在實(shí)現(xiàn)集傳感、信息處理、任務(wù)決策、以及行為控制于一體的異質(zhì)集成芯片，并將在機(jī)器人上實(shí)現(xiàn)功能演示。

同時(shí)，他們將繼續(xù)以產(chǎn)業(yè)應(yīng)用需求為目標(biāo)，不斷優(yōu)化和推進(jìn)實(shí)現(xiàn)方案，以求實(shí)現(xiàn)成果轉(zhuǎn)化。“希望該領(lǐng)域衍生的技術(shù)可以在不久的將來(lái)回饋社會(huì)，提升人們的生活品質(zhì)。”張續(xù)猛最后表示。

論文鏈接： https://doi.org/10.1002/adma.202200481

審核編輯 ：李倩