在人腦處理的信息中,超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理,而且整體功耗極小(遠小于20瓦)。相比而言,傳統的機器視覺系統需要先探測再處理,使用的圖像傳感器在探測目標圖像的同時會產生大量冗余信息,此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析,從而導致較大的時間延遲和較高的功耗。因此,構建一個可以媲美人眼、具備同步進行信息探測和處理功能的類腦視覺傳感器是人們一直追求的夢想,對于智能工業、自動駕駛、智能安防等應用的發展也至關重要。近日,南京大學物理學院繆峰教授團隊基于二維材料異質結,在可重構類腦視覺傳感器領域取得重要進展。
二維材料有望成為后摩爾時代重要的基礎電子材料,該領域的發展也讓人們可以對原子層材料進行樂高式的堆疊和集成。近年來,南京大學繆峰團隊(https://nano.nju.edu.cn)利用“原子樂高”分別在耐高溫憶阻器(Nature Electronics 2018)、彈道雪崩探測器件(Nature Nanotechnology 2019)、室溫高靈敏紅外探測器(Science Advances 2017)等方向取得突破。
在此基礎上,該團隊近日提出,利用二維材料范德華異質結器件的結構特點和可調的光響應特性,能夠實現對人眼視網膜的層狀結構和感光細胞、雙極細胞的生物特性模擬,基于這種類視網膜形態器件,團隊進一步構建了能夠對感知的圖片信息進行同步處理的類腦視覺器件陣列。該工作有望為未來開發基于范德華異質結的新型類腦視覺芯片提供物理和技術基礎。相關研究成果以《Gate tunable van der Waals heterostructure for reconfigurable neural network vision sensor》(基于柵極可調范德華異質結的可重構神經網絡視覺傳感器)為題于 2020年6月24日發表在Science Advances上。南京大學物理學院博士生王晨宇和梁世軍副研究員為共同第一作者,繆峰教授和美國麻省大學的楊建華教授為該工作的共同通訊作者,該工作同時得到了王振林教授課題組、陳坤基教授課題組和王肖沐教授課題組的實驗協助,和國家杰出青年科學基金、國家自然科學基金等項目的資助,以及微結構科學與技術協同創新中心的支持。
研究成果
人類視覺系統強大的信息處理能力很大程度上依賴于視網膜的結構和功能。視網膜中的主要細胞包括感光細胞、雙極細胞等,這些細胞之間是垂直分層分布的結構。光透過瞳孔入射到視網膜上后,感光細胞將入射光轉換為電學信號,流經雙極性細胞,利用雙極性細胞的生物特性對電學信息進行一定的加工和處理,加工后的圖像信息僅僅保留其主要的特征,再傳輸至大腦皮層進行進一步的圖像處理和理解。通過這種方式,視網膜在一定程度上實現了信息探測和處理的同步進行。為了實現對視網膜結構和功能的逼真模擬,在該工作中,繆峰團隊提出可以通過“原子樂高”的方式搭建基于二維材料垂直異質結的類腦視覺傳感器,這些垂直結構不僅能夠自然地模仿視網膜的垂直分層結構,而且異質結中包含的不同二維材料可被用來模擬視網膜中不同細胞的功能。
在實驗中,繆峰團隊首先將機械剝離的薄層硒化鎢和氮化硼以及氧化鋁制備成垂直異質結器件。該異質結器件在無背柵或者正背柵電壓作用下,呈現出正的光電導行為,類似于雙極細胞的正的光響應;當所加背柵電壓為負的時候,器件展現出了負光電響應特征與雙極細胞的負響應類似。研究團隊通過一系列的對比實驗結果,指出器件的負光學響應來源于光誘發帶電雜質產生的電場屏蔽效應。通過控制垂直異質結器件的柵壓,團隊首次實現了對感光細胞和雙極細胞的生物功能的模擬,器件的響應時間和功耗均接近人類視網膜的水平(圖1)。
圖 1. 視網膜和視網膜形態器件。(a)視網膜的垂直分層結構包括了視錐細胞和雙極性細胞以及視神經節細胞;(b)雙極性細胞在不同刺激條件下所具有的生物光學響應特征;(c)類視網膜形態器件的光學圖;(d)垂直異質結器件在不同柵壓作用下展現出不同的光學響應,類似于視網膜結構中雙極性細胞的生物特征。
進一步,研究團隊將垂直異質結器件組裝成 3×3 的一個陣列,利用異質結器件柵壓可調的光電響應特征,將圖像處理中常用的數學卷積核映射到3×3 的器件陣列中,實現了可重構的圖像信息處理功能(圖2),包括邊緣增強、圖像風格化、圖像強度校正等。研究發現這些實驗結果與采用相同卷積核處理后的模擬結果一致,這表明基于垂直異質結陣列能夠被用于在硬件上直接進行圖片信息的處理。
圖 2. 可重構的視網膜形態芯片及其不同的圖像信息處理方式。(a)背柵獨立控制的可重構視覺傳感器陣列示意圖;利用傳感器陣列對南京大學校徽圖片進行(b)圖像風格化(c)邊緣增強(d)強度校正處理,所處理后的圖片信息和采用相同卷積核的模擬結果一致。
基于范德華異質結器件的功能應用除了同步的探測和信息的處理之外,研究團隊發現器件陣列還可以用于圖片的分類任務。通過將器件電導作為神經網絡的權值,背柵的調節變化作為更新神經網絡權值的一種手段,范德華異質結器件陣列可以執行神經網絡的功能。研究團隊在實驗中采用軟件輔助硬件的訓練方法實現了對輸入圖像“N”,” J”, “U”字母的快速識別(圖3)。這一項工作從原理上證明,利用范德華異質結的特性模擬人類視網膜結構和功能的研究思路有望將來被用來實現新型的類腦視覺芯片。
圖 3. 基于范德華異質結視覺形態的傳感器神經網絡及訓練示意圖和識別結果。(a)待識別的圖片字母信息;(b)異質結視覺形態傳感器神經網絡訓練示意圖;(c)N”,” J”, “U”三類字母平均識別結果與訓練次數的關系;(d)N”,” J”, “U”三類字母的分類情況與訓練次數的關系。
責任編輯:pj
-
圖像傳感器
+關注
關注
68文章
1897瀏覽量
129528 -
機器視覺
+關注
關注
161文章
4369瀏覽量
120282 -
自動駕駛
+關注
關注
784文章
13786瀏覽量
166399
發布評論請先 登錄
相關推薦
評論