研究背景：

近年來，基于傳統計算機的神經網絡計算受到內存限制，已經不能滿足計算速度和能耗的需求。在電子硬件領域，研究人員持續地進行更深入、更復雜的神經網絡架構的研究，通過硬件方面的創新來釋放傳統電子系統的潛能。例如，GPU(圖形處理單元)通過聚集大量的處理核心，獲得具有極高的并行計算能力(遠超CPU)，促進了神經網絡的發展。

然而，神經形態計算對高性能、高能效和更大帶寬的需求是無止境的。隨著以摩爾定律為標志的電子晶體管的指數級增長逐漸接近了物理極限，傳統的硅基電子元件已經達到了瓶頸區。更多底層電子元器件被相繼提出，來試圖滿足神經形態計算的需求，如：憶阻器、相變存儲器(PCM)、鐵電隨機存取存儲器(FeRAM)和磁性隨機存取存儲器(MRAM)等，這些都是具有高處理速度、巨大存儲容量和良好長期穩定性的創新型存儲器，與傳統電子元件相比，它們可以更好地執行高效的神經形態計算。然而，電子器件從根本上受到帶寬和互連性之間的權衡的影響，這限制了高速神經形態計算的進步。

在過去的幾年里，光子芯片開始在學術界受到極大的關注，因為在集成光子芯片的每一層都可以實現光速數據處理和并行傳輸。與電子不同，光具有更多維度，例如波長、偏振和空間模式，這導致神經形態計算或深度學習更具創造性和可行性。此外，成熟先進的硅光子技術為大規模光子制造和集成提供了完美的平臺。在最近的所有方案中，硅光子學被認為是神經形態計算最有前途的技術之一。

硅基光子芯片可以完美兼容成熟的CMOS工藝;因此，它也可以與CMOS電子芯片集成，而無需額外的復雜技術。基于硅基光子芯片的神經形態計算研究進展迅速，本工作便對這些工作進行了綜述介紹。

光-電協同設計：

大多數關于ONN的工作都是基于光電硬件實現的。然而，在光電硬件中，由于器件在求和和激活功能中更多地工作在電域，因此在電光和反向轉換中會消耗大量功率。例如，光電探測器經常用于將光信號轉換為電輸出，這對ONN的速度和功率效率施加了限制。此外，O/E/O神經元依賴于利用電光傳遞函數非線性的調制器。然而，調制器和光電探測器容易受到噪聲的影響，它們的噪聲積累會嚴重影響基于光電混合硬件的ONN的精度和能耗。

全光實現似乎是解決光電混合硬件問題的一種有前途的方法。與電子實現相比，全光神經元通常依賴于許多材料中出現的半導體載流子或光敏性。最明顯的優點是光信號流不需要任何轉換;因此，它們本質上比O/E/O方法更快。同時，使用無源光學元件的全光方案可以很容易地與CMOS技術集成。光子實現還提供了光子通信中的高帶寬和非線性實現中的低復雜性的優點。然而，全光神經元仍然面臨許多挑戰，如級聯性，由于光器件存在插入損耗，需要更加高效的光器件來進行補償。

從更實際的角度來看，電子和光子協同設計硬件可以進一步推動神經形態計算，這將是核心研究路線之一，直到所需的光學器件跨越當前的挑戰。參考文獻中的Zhou等人展示了光電混合AI計算芯片架構的可能路線，該架構由三層組成：底層硬件層、算法層和頂層應用層，可以作為未來光混合電路的指南。

圖1 ONN中的加權函數。(a)將調制器用作神經元的廣播和權重網絡。(b)具有16個可調微環(MRR)權重和光纖到芯片光柵耦合器的4節點循環廣播和權重網絡的顯微照片。(c)類似于神經突觸功能的集成光子突觸示意圖。(d)光子突觸活動區域的掃描電子顯微鏡圖像。(e)基于級聯的Sb2S3-SiN的加權和求和混合光子開關，實現光子學版的FPGA。(f)由單模混合硅波導組成的NLAF模塊。

圖2 ONN中的激活函數。(a)所提出的光對光激活函數的示意圖。(b)用于評估4輸入WDMRNN的實驗裝置。(c)、(d)該研究中實現的網絡示意圖，由幾個突觸前輸入神經元和一個通過PCM突觸連接的突觸后輸出神經元組成。

用于神經形態計算的硅光芯片：

MRR和光電探測器可以分別用于實現電光轉換和光電轉換。除了這三種器件之外，其他基于硅光子學的組件，如激光器、耦合器和調制器，也是光學電路和神經網絡的關鍵部分。至于片上激光器，盡管許多研究人員仍然使用片外激光器來構建神經網絡，垂直腔面發射激光器(VCSEL)和微盤激光器都支持可擴展神經網絡的設計，是未來發展的關鍵。此外，波導在硅光子學中非常重要，因為它們相當于電學領域的金屬線;在最小化光損耗，包括傳播損耗和彎曲損耗的方面，研究人員也投入了大量研究。此外，MRR、微盤和MZI被廣泛用于設計調制器、開關和濾波器。盡管硅光子學現在可以被視為一個成熟的技術平臺，但以高效率將光連接到硅光子組件和從硅光子組件發出光的問題仍然是一個挑戰。

圖3 基于孤子微梳的計算。(a)用于生成克爾頻率梳的高Q諧振器平臺。(b)克爾梳與其他三次和二次非線性效應的相互作用的圖示。(c)多路復用全光MVM草圖。(d)用于頻率梳生成的基于高Q Si3N4光子芯片的微諧振器的光學顯微照片。(e)制造的16×16的光學顯微照片。

圖4 用于集成光子學計算的相變材料。(a)、(b)、(c)提出的存儲元件的示意圖。(d)具有25個不同存儲元件的陣列的光學顯微鏡圖像。(e)使用硅中部分蝕刻的脊形波導的平臺的3D方案。

利用PCM、孤子微梳和超表面的設備在神經形態計算中引起了極大的關注。Xu等人引入了ONN的時間-波長復用的概念，并應用克爾微梳來實現光子感知器。2021年1月，Xu等人展示了一種通用光學矢量卷積加速器，該加速器基于由集成微梳源啟用的同時交錯時間、波長和空間維度。與此同時，費爾德曼等人提出了一種使用相變材料存儲器陣列和孤子微梳的集成光子張量核心方案。此外，具有用于操縱光波前的亞波長諧振器的超表面可以實現自由空間和龐大系統的小型化，以實現衍射神經網絡(DNN)。通過使用孤子微梳、PCM和超表面，實現基于硅光子學的神經形態計算的新方法為突破先前集成光子機器學習的瓶頸提供了有效途徑。

圖5 超表面的基本概念。將超表面設計到光子芯片中進行神經形態計算也是當前火熱的研究方向之一。

圖6 通過光干涉實現神經形態計算。(a)實驗所用OIU的光學顯微照片。(b)兩層ONN實驗的示意圖。(c)細化層實施方案。(d)所提出的架構的單層示意圖。

圖7 通過光共振實現神經形態計算。(a)M×N向量矩陣乘法器的無中斷權重和聚合架構。(b)光學CNN的實驗示意圖。

圖8 算法。(a)基于GA的ONN學習算法的流程圖。(b)基于PSO的ONN學習算法的流程圖。(c)、(d)、(e)所提出的梯度信息實驗測量方法的示意圖。(f)、(g)、(h)、(i)一維問題的貝葉斯優化圖示。(j)、(k)、(l)使用GAN生成手寫數字。

總結：

這篇綜述詳細回顧了基于硅光子學的神經形態計算的最新進展，介紹了基于硅光子芯片的神經形態計算中微架構功能、設備、架構和算法。神經形態硅光子學這個結合了光子學的速度和并行性與深度學習的自適應性的新興領域，理論上可以以比傳統電子學快幾個數量級的速度進行運算。利用WDM等新概念、PCM、孤子微梳和超表面等新設備、可行的制造技術和先進的算法，可以在下一代光學神經網絡中實現前所未有的發展。本工作總結了當前的挑戰，并指出了未來光學神經網絡實現的可能機會。

電子-光子協同設計：在沒有電子控制器的情況下，電子-集成電路-光子協同設計神經網絡是當前人工神經網絡更實用的途徑，然后電子控制才能成為光學領域的競爭候選者。盡管單片制造提供了在同一基板上集成電子和光子學的絕佳機會，但電子元件引起的高延遲和功耗對電子控制器提出了挑戰。在ONN中，控制器應實時、高速、高效地管理光子設備并維持神經元的穩定運行。

片上集成：片上ONN是當前研究的主流，因為成熟的CMOS技術對于大規模和高度集成的ONN具有巨大的優勢。然而，片上光網絡的成本在資金開銷、人工費用、技術要求等方面都非常昂貴。例如，由于大面積要求和相位噪聲損壞，有望以集成方式制造的相干架構受到MZI問題的阻礙。此外，由于許多其他光子器件(例如MR和PCM)的熱串擾和制造工藝變化，片上集成會受到壽命不穩定的影響。此外，片上硅激光器更容易受到環境因素的影響，并且仍然是學術界的一大難題。

訓練：正如之前所討論的，在許多工作中，訓練過程通常是在數字計算機上完成的。一方面，為當前可以在光域中實時工作的ONN設計一種有效的訓練方法至關重要。另一方面，探索可以有效支持神經網絡訓練的光子架構是有前途但具有挑戰性的，因為反向傳播對當前的光子神經網絡提出了額外的要求。最近使用超表面實現衍射神經網絡的工作邁出了重要一步，并顯示了未來網絡訓練方法的可能性。此外，基于憶阻器混合硬件的光子加速器支持反向傳播，這也是一個很好的例子。

可擴展性：可擴展性是ONN和電子ANN之間最明顯的問題。ONNS取得的進步是不可磨滅的，但問題是與電氣ANN相比，許多工作側重于小規模ONN，后者可以具有數百萬個權重參數。解決這個問題最實用的方法是優化和改進光學元件。另一方面，需要提出更多適用于光神經網絡的結構，以降低網絡的復雜度;因此，他們可以為擴展光子網絡鋪平道路。

在未來，硅基光子芯片用于神經形態計算仍然有許多困難需要解決，盡管如此，光子神經網絡已經在智能信號處理、高性能計算、非線性規劃和控制等傳統計算機技術無法企及的許多領域得到了應用，這些廣闊的前景促使人們將光神經網絡的帶向更輝煌的未來。