完全通過光學，不要計算機也能構建個神經網絡？港科大的研究團隊提出了一種全光學神經網絡，所有線性變換、激活函數通過光學模塊就能實現。

在處理模式識別、風險管理以及其他同樣復雜的任務時，最強大的計算機都無法與人腦匹敵。但是，近來光學神經網絡取得的進展通過模擬人腦中神經元的反應方式縮小了計算機與人腦之間的差距。這種光學神經網絡比 ML 中的網絡能耗更低、運算更快，是未來大規模應用 AI 的堅實基礎。

近日，來自香港科技大學的研究團隊在《Optica》雜志上發表了一篇論文，詳細描述了他們提出的雙層全光學神經網絡。這是一個功能完善的全光學神經網絡（AONN），其中所使用的線性函數和非線性激活函數都是完全根據光學實現的。而且這種全光學神經網絡還能擴展到更加復雜的神經網絡架構，從而完成圖像識別等更復雜的任務。

這個復雜的東西就是一個兩層的全光學神經網絡，它和機器學習中的兩層全連接網絡有點「類似」。

研究團隊成員之一 Junwei Liu 表示：「我們提出的全光學神經網絡能夠以光速執行光學并行計算，并且耗能極少。這種大規模的全光學神經網絡可應用于圖像識別以及科學研究等諸多領域?！?/p>

港科大的全光學神經網絡是什么

在傳統混合光學的神經網絡中，光學組件通常用于線性運算，而非線性激活函數通常使用電子的方式實現。這主要因為非線性光學元器件需要高功率的激光器，這在光學神經網絡中是很難實現的。

為了克服這方面的問題，研究者使用具有電磁感應透明度的冷原子實現非線性函數。研究團隊的 Shengwang Du 說：「這種光感應效應可以通過非常小功率的激光器實現，且該效應是基于非線性量子干涉的。因此這種效應可以將我們的系統擴展到量子神經網絡，從而解決經典方法難以解決的問題?！?/p>

為了確認新方法的能力與可行性，研究者構建了一個雙層全連接全光學神經網絡，它的輸入單元與輸出單元數目分別是 16 與 2。研究者使用他們的全光學網絡分類 Ising 模型（一種磁場的統計學模型），即 order 和 disorder 階段兩個類別。結果表明，全光學神經網絡與一般基于計算機的神經網絡一樣準確。

圖 1：全連接網絡的結構與全光學神經網絡的一般結構。

如上 a 為機器學習中常見的全連接網絡，b 則是香港科技大學研究者提出的全光學神經網絡（AONN），它們都會進行非線性變換。與一般的 ONN 不同，AONN 沒有復雜的電場神經元，AONN 所有的信都通過光學的方式進行編碼。

非線性光學激活函數

這篇論文核心的突破就是采用了基于光學的非線性激活函數，因此整個網絡才能稱為「全」光學神經網絡。那么什么是非線性光學激活函數？簡單而言，它就是一種基于電磁感應透明的模塊（electromagnetically induced transparency， EIT）完成的，我們只要知道 EIT 是一種原子躍遷之間的光量子干涉效應就行了。

EIT 非線性光學激活函數由激光冷卻的 85Rb 原子在 dark-line 二維磁光阱（MOT）中實現，如下圖 3（a） 所示。圖 3（b） 所示為原子能級，原子在基態|1》中制備。

在沒有耦合光束的情況下，原子介質對共振探測光束是不透明的，它如圖 3（c） 透射光譜中的實現所示最大程度地被原子吸收。

圖 3：EIT 非線性光學激活函數的實現。

對「光學神經網絡」的不懈追求

當然，香港科技大學的這個全光學神經網絡并非研究者在該領域的唯一探索。今年 5 月份，在《Nature》的一篇論文中，德國的研究人員提出了一種在毫米級光子芯片上實現的、基于相變非線性材料的全光學脈沖神經網絡。該網絡內部沒有光到電的轉換，輸入的數據被電子調制成不同的波長以注入網絡，但之后所有數據都會停留在芯片上。利用集成相變材料來實現權重調制和神經元集成；它們位于兩種微環諧振器上，具有突觸或神經功能。

在不同工作波長情況下注入的未調制光接收到在相變材料中累積的神經元激活，之后將它們傳遞到網絡下一層。即使沒有芯片上光學增益（在這個過程中，一種介質將能量傳遞給通過它傳輸的光），這個設置也可能擴展至更大的網絡。作者在其上實現了小規模的監督學習和無監督學習。

利用上述全光學神經元進行監督學習和無監督學習。a 和 b 表示兩個神經元在不同輸入模式下的輸出；C：全光學神經元的無監督學習機制；d：重復顯示「0110」模式時四個突觸的權重隨時間的變化。

香港科技大學的研究者在論文中也提到了這項研究，但他們指出，這兩項研究存在根本差別。首先，德國這項研究中的系統是單層的，而本文中提出的是一個 16 個輸入、2 個輸出的雙層全光學神經網絡，還帶有 4 個具有非線性光學激活函數的中間神經元。而且，港科大的研究者利用 EIT 量子干涉實現了非線性光學激活函數，這與那項研究的方法完全不同。

除了上述全光學神經網絡，還有研究者嘗試從局部入手，把神經網絡的一部分替換為光學卷積層。

去年 8 月，斯坦福大學在《Nature》子刊《Scientific Reports》上發表論文，提出在 CNN 網絡前端替換一個光學卷積層（opt-conv）的方案，可以在保持網絡性能的同時顯著降低能耗，并在 CIFAR-10 數據集的分類任務上驗證了其結論。

光學卷積層也就是用光學器件實現的卷積層，其光學運算具備高帶寬、高互聯和并行處理特性，并能光速執行運算，功耗接近于零。該技術有望在低功耗機器學習領域得到進一步發掘。

光學卷積層設計。（a）4f 系統圖，可以通過在傅里葉平面上放置相位掩模來實現光學卷積層（opt-conv）。（b）數字卷積層的標準組成，包括輸入圖像、卷積核堆棧和相應的輸出量。（c）opt-conv 層中的等效組成，核和輸出以二維數組的形式平鋪在平面，而不是堆疊在深度維數中。

此外，為了實現光速運算，加州大學洛杉磯分校（UCLA）的研究者甚至用 3D 打印打造出了固態的神經網絡。該網絡利用層級傳播的光衍射來執行計算，實現了手寫數字的圖像識別，相關成果已發表在《science》雜志上。

這一想法看似新奇，其實也很自然。神經網絡中執行的線性運算，恰好和光衍射的線性相互作用對應，神經元的權重、激活值概念也能和光的振幅、相位對應（可調）。此外，固態光衍射計算還具有能耗小、無發熱、光速執行（盡管傳統計算機電路中的電場傳播也是光速的，但并未直接對應神經網絡的計算過程）等優點。

當然，也有人對此提出質疑，認為這種固態的神經網絡對安裝精度和環境震動要求比較嚴格，可行性有待考證。

更復雜的光學神經網絡

最后，研究者還計劃擴展全光學的這種方法，從而構建具有復雜架構的大規模全光學深度神經網絡，這些網絡能用于更復雜的圖像識別等任務。該論文的作者說：「盡管我們的工作是概念性驗證，但它展示了全光學神經網絡在未來人工智能中的可能性。下一代的 AI 硬件在本質上應該更快、更低能耗，從而高效支持復雜的 AI 應用?！?/p>