據麥姆斯咨詢報道，近日，南京大學電子科學與工程學院萬青教授、萬昌錦副教授課題組在Nature Communications期刊上發表了題為“Vertically integrated spiking cone photoreceptor arrays for color perception”的論文，構建了能夠對連續光進行頻率編碼的垂直集成的尖峰視錐感受器陣列，取得了可見光范圍單個尖峰小于400 pW的功耗（與人眼視錐感受器功耗相當），實現了高生物相似性的顏色感知能力的模擬。該成果將為低功耗的動態視覺處理系統提供基礎元件，并為高智能仿生機器人的發展提供重要參考價值。

顏色視覺是一種感知由不同波長組成的光之間差異的能力，為生物體提供了實質性的環境適應能力。光線穿過角膜和晶狀體，在眼睛后部的視網膜上形成倒像。視網膜包含兩種類型的光感受器細胞：視桿細胞和視錐細胞。顏色信息在日光下被視錐細胞檢測到，并被傳輸到大腦進行顏色感知。與數碼相機通過濾波器和基于集中、順序和二進制運算處理來獲得顏色信息不同，生物視覺系統中形成的顏色視覺依賴于視錐感受器，它們選擇性地對三種波長的光產生響應，并將其編碼為用于事件驅動、時間相關和并行處理的尖峰序列。

因此，電荷耦合器件（CCD）或互補金屬氧化物半導體（CMOS）等圖像傳感器的特征尺寸和響應時間對圖像分割和物體識別等智能任務的效率至關重要，這不可避免地需要巨大的吞吐量和能耗。人們的眼睛有三種類型、約600萬個視錐細胞，每個視錐細胞消耗大約數百皮瓦（pW）的能量，使人們能夠在非常緊湊的結構中辨別100多萬種顏色，其性能勝過大多數數字傳感器。因此，開發生物相似性的人工光感受器，特別是視錐型感受器，將催生一種具有精妙視覺感知和極高能效的視覺系統，并將促進假體、神經機器人和半機械人等相關領域的發展。

硬件尖峰視錐感受器（SCP）能夠對由不同波長組成的光產生不同的響應，并以一定的頻率將其編碼為尖峰。最初，研究人員致力于模擬視覺神經系統中基本突觸功能和開發光敏突觸器件，旨在模擬關于光的短期/長期記憶。最近，人工尖峰感受器引起了人們的極大興趣，因為頻率中隱含的信息是非常節能的，并且對噪聲具有很強的魯棒性。基于光學傳感器和振蕩神經元串聯的尖峰感受器在復雜背景下表現出高效的邊緣圖像分割，是一種新穎可行的尖峰視錐感受器方法。然而，為了追求更小的占位面積，需要一種無電容器和更緊湊的配置。此外，高生物相似性仍然具有挑戰性，并且關于能量消耗、尖峰頻率的范圍、對不同波長光的選擇性等基本特性尚未很好地實現。

基于此，這項研究工作提出了一種基于金屬氧化物的垂直集成的尖峰視錐感受器（VISCP）陣列，它可以根據輸入波長以一定的頻率將連續光直接轉換為尖峰序列。這種尖峰視錐感受器在可見光下具有超低功耗，每個尖峰的功耗小于400 pW，這非常接近生物視錐細胞。該VISCP通過三種波長的光進行了驗證，不僅能夠分辨這些光的不同組合并表現出高選擇性（>1.5個數量級）。由于這種高選擇性，這也有利于色盲測試模擬的演示。研究人員使用色盲測試的手寫數字作為測試數據集，可以觀察到具備和不具備分辨混合顏色能力的器件之間在識別精度上的差異。本研究的成果將使硬件尖峰神經網絡具有生物相似性的視覺感知，并為動態視覺傳感器的開發提供巨大潛力。

在生物視覺系統中，光感受器（視桿細胞和視錐細胞）將外部光刺激轉化為尖峰電位，最終在大腦中形成視覺，如圖1a所示。這些光感受器細胞體在眼盤的頂端區域精確地排列成簇，并將軸突投射到大腦的視葉中（圖1b）。受視錐細胞的啟發，研究人員提出了一種具有ITO/Ta2O5/Ag/IGZO/ITO器件結構的VISCP（圖1c–e），對多種顏色光的響應在圖1f中進行了概念性說明。VISCP由基于IGZO的光敏電阻器和基于Ta2O5的尖峰編碼器構成，能夠根據光強將連續光直接轉換為尖峰序列。

圖1 垂直集成的尖峰視錐感受器（VISCP）及其生物對應物

研究人員對光敏電阻器和尖峰編碼器進行了電學表征，如圖2所示。

圖2 光敏電阻器和尖峰編碼器的電學表征

垂直集成的ITO/Ta2O5/Ag/IGZO/ITO器件集成了尖峰編碼和光傳感特性，可以模擬視錐細胞的功能。VISCP的等效電路如圖3a所示。在頂部和底部ITO電極上分別施加恒定電壓（VBias = 0.5 V）和接地電壓，輸出電壓（VOUT）在Ag電極上進行測量。該器件以單片方式將連續光編碼成具有一定頻率水平的尖峰序列，如圖3b所示。VISCP中輸出尖峰的頻率與光強和波長呈正相關（圖3c）。圖3d顯示了在固定光強為0.5 nW/μm2的三種波長下的尖峰響應的實驗觀察。當波長為360、405和532 nm時，VISCP的尖峰頻率分別為1200、7和0.1 Hz。憶阻器的有效輸入取決于基于IGZO的光敏電阻的電阻，該電阻與波長和光強有關，并調制尖峰頻率。對于360 nm的波長，當光強從0.5 nW/μm2減小到0.03 nW/μm2時，頻率從1200 Hz減小到37 Hz，如圖3e所示。綜上，VISCP在明亮環境下具有顏色選擇性，而在黑暗環境下則無效，這與生物視錐細胞相似。

圖3 光照射下的VISCP的尖峰編碼行為和顏色選擇性

生物視覺系統的顏色感知取決于視錐細胞對紅、綠、藍比例的響應。VISCP尖峰頻率隨著波長從532 nm（λ1）減小到405 nm（λ2）和360 nm（λ3）而增加。研究人員利用這三種波長作為偽彩色，并進行了混合顏色測試（如圖4a所示）。響應紅色、橙色、橄欖色和綠色光的尖峰頻率呈指數增長，如圖4b所示。紅光的尖峰頻率最低，其值為0.2 Hz，而在綠光照射下，頻率達到最高的1200 Hz。相鄰顏色之間的尖峰頻率差異超過一個數量級，表明VISCP在分辨混合顏色方面具有良好的選擇性。一般來說，紅綠色盲很難分辨紅色和綠色，特別是對于含有紅色或綠色的混合顏色，如橙色和橄欖色。如圖4c所示，研究人員模擬了正常色覺個體和色盲個體的行為。圖4d顯示了具有和不具有混合顏色選擇性的器件在30個訓練周期內的識別精度。雖然處理后的數字比原始MNIST數字更復雜，并且識別精度相對較低，但具有混合顏色選擇性的VISCP“眼睛”能夠以約83.2%的準確率從包含混合顏色的背景中識別目標數字。然而，不具有混合顏色選擇性的“眼睛”顯示出很大的困難，僅實現了75.5%的低準確率。這些結果成功地模擬了人類對顏色的感知，包括感知、頻率編碼和識別。

圖4 混合顏色圖像識別

綜上所述，在這項工作中，垂直集成的尖峰視錐感受器（VISCP）能夠將光單片轉換為尖峰，代表了人工視覺系統中的一大進步，具有高生物相似性。更重要的是，與三種波長的光相對應的大響應范圍使分辨“顏色”成為可能。在可見光的響應中，實現了每個尖峰的超低功耗≤400 pW。作為概念驗證，這些器件被用于模擬顏色感知。與沒有此類選擇性的器件相比，具有混合顏色選擇性的器件對色盲測試MNIST手寫數字顯示出更高的識別精度。這些結果揭示了提出的器件在構建具有高能效和高生物相似性的人工視覺系統方面的巨大潛力。借助于必要的外圍電路，未來的改進可以致力于制造具有處理高分辨率圖像甚至視頻能力的大規模陣列。通過與尖峰神經網絡的進一步集成，能效和準確性可能會得到提高。此外，通過將器件轉換為柔性/可拉伸形式，就像視網膜中的生物視錐細胞一樣，可以實現更具生物相似性的系統。

審核編輯：劉清