牛津大學(xué)的一個(gè)團(tuán)隊(duì)從巴甫洛夫的狗中汲取靈感，設(shè)計(jì)了一個(gè)基于光子學(xué)的神經(jīng)網(wǎng)絡(luò)。

受 19 世紀(jì)初巴甫洛夫經(jīng)典條件反射實(shí)驗(yàn)的啟發(fā)，牛津大學(xué)的研究人員最近創(chuàng)造了一種片上光學(xué)處理器，它可能為人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 的前所未有的進(jìn)步打開大門。

片上硬件的監(jiān)督學(xué)習(xí)。圖片由Optica和 Tan 等人提供

牛津聲稱其新系統(tǒng)提供了先進(jìn)的數(shù)據(jù)集相似性檢測。與在電子處理器和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)上運(yùn)行的傳統(tǒng)機(jī)器學(xué)習(xí)算法不同，Oxford 的系統(tǒng)在無反向傳播的光子網(wǎng)絡(luò)上運(yùn)行，并利用了巴甫洛夫聯(lián)想學(xué)習(xí)。

在巴甫洛夫的狗身上尋找靈感

經(jīng)典條件反射是關(guān)聯(lián)兩種感覺刺激以實(shí)現(xiàn)相同反應(yīng)的過程。這個(gè)過程包括感覺和運(yùn)動(dòng)神經(jīng)元。當(dāng)感覺神經(jīng)元接收到感覺信號時(shí)，運(yùn)動(dòng)神經(jīng)元會產(chǎn)生感覺密集的動(dòng)作。

Ivan Pavlov 在 1900 年代初發(fā)現(xiàn)了這個(gè)概念，他觀察到，當(dāng)他通過教狗將鈴鐺的聲音與食物聯(lián)系起來時(shí)，他可以通過按鈴來誘導(dǎo)狗流涎。聯(lián)想學(xué)習(xí)過程將刺激s 2（即鈴聲）與自然刺激s 1（即食物的視覺或氣味）相關(guān)聯(lián)，以觸發(fā)狗的相同反應(yīng)（即流涎）。

巴甫洛夫聯(lián)想學(xué)習(xí)。圖片由Optica和 Tan 等人提供

牛津大學(xué)的研究人員將這一概念應(yīng)用于簡化的神經(jīng)回路，具有兩個(gè)關(guān)鍵作用：1）收斂并關(guān)聯(lián)兩個(gè)輸入；2）存儲這些關(guān)聯(lián)的記憶以供以后參考。這項(xiàng)研究的核心是一種稱為聯(lián)想單子學(xué)習(xí)元素（AMLE）的東西。AMLE 包括一個(gè)設(shè)備，可以有效地執(zhí)行經(jīng)典條件反射的基本聯(lián)想學(xué)習(xí)過程，以推進(jìn) AI/ML。

關(guān)于聯(lián)想一元學(xué)習(xí)元素

AMLE 將相變材料薄膜與兩個(gè)耦合波導(dǎo)集成以實(shí)現(xiàn)聯(lián)想學(xué)習(xí)。該材料（Ge 2 Sb 2 Te 5 (GST)）有效地調(diào)制波導(dǎo)之間的耦合。GST 以兩種狀態(tài)存在，非晶態(tài)或晶態(tài)，影響波導(dǎo)之間的耦合量。

在結(jié)晶狀態(tài)下，刺激s 1和s 2沒有顯示任何形式的關(guān)聯(lián)。然而，刺激（或輸入）在它們同時(shí)到達(dá)時(shí)開始關(guān)聯(lián)，從而導(dǎo)致非晶化 GST。GST 越多異形化，刺激s 1和s 2關(guān)聯(lián)的越多，導(dǎo)致幾乎無法區(qū)分的輸出，稱為學(xué)習(xí)閾值。AMLE 使用光子關(guān)聯(lián)學(xué)習(xí)來提供一個(gè)獨(dú)特的機(jī)器學(xué)習(xí)框架，以解決一般學(xué)習(xí)任務(wù)。

AMLE學(xué)習(xí)前后的電場分布。圖片由Optica和 Tan 等人提供

AMLE 消除了反向傳播，提高了計(jì)算速度

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)密集型 AI 系統(tǒng)在學(xué)習(xí)過程中需要大量數(shù)據(jù)集，這導(dǎo)致處理和計(jì)算成本增加。這些傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)利用反向傳播來實(shí)現(xiàn)高精度的人工智能學(xué)習(xí)。

根據(jù)牛津大學(xué)的說法，AMLE 消除了反向傳播的需要，使用記憶材料來學(xué)習(xí)模式并關(guān)聯(lián)數(shù)據(jù)集中的相似特征。無反向傳播技術(shù)可加快 AI/ML 模型訓(xùn)練。例如，雖然傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的 AI 系統(tǒng)在使用多達(dá) 10,000 個(gè)兔子/非兔子圖像訓(xùn)練其模型后識別兔子，但無反向傳播技術(shù) (AMLE) 可以通過五個(gè)兔子/非兔子圖像對獲得類似的結(jié)果顯著降低處理和計(jì)算成本。

AMLE 還利用波分復(fù)用來提高計(jì)算速度。此功能允許 AMLE 在各種基于單通道的波長上發(fā)送多個(gè)光信號，從而消除反向傳播。AMLE 使用光來發(fā)送和接收數(shù)據(jù)，這一過程稱為并行信號處理，從而產(chǎn)生更高的信息密度和更快的模式識別速度。

AMLE 研究的合著者鄭教授表示，雖然這種新開發(fā)的設(shè)計(jì)不能完全替代傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，但它可以補(bǔ)充它們。在大量和更簡單的數(shù)據(jù)集學(xué)習(xí)任務(wù)中，AMLE 設(shè)備顯著加快了光學(xué)處理速度。

在光子平臺上構(gòu)建 AMLE

牛津大學(xué)的研究人員在光子平臺上實(shí)施了 AMLE。使用該平臺，該團(tuán)隊(duì)展示了無反向傳播的單層權(quán)重人工神經(jīng)網(wǎng)絡(luò)架構(gòu)的可行性和有效性。

研究人員觀察到，如果輸入以已經(jīng)建立的光學(xué)延遲同時(shí)應(yīng)用，則關(guān)聯(lián)兩個(gè)不同的輸入可以產(chǎn)生相似的輸出。這些輸入之間的關(guān)聯(lián)可以允許關(guān)聯(lián)多個(gè)數(shù)據(jù)流，包括單個(gè)元素上的各種波長——特別是在沒有光信號干擾的情況下。

根據(jù)牛津大學(xué)的說法，這項(xiàng)研究可能會為下一代機(jī)器學(xué)習(xí)算法和架構(gòu)創(chuàng)新設(shè)定優(yōu)先級。

審核編輯 黃昊宇