沃特金斯和她的研究小組發現,連續不斷的無監督學習之后,網絡仿真變得不穩定。當他們將網絡暴露于類似于活腦在睡眠中經歷的波動的狀態時,穩定性得以恢復。沃特金斯說:“好像我們在給神經網絡一樣,可以睡個好覺。”
這一發現是在研究團隊致力于開發神經網絡時得出的,該網絡與人類和其他生物系統如何學習看得很近。該小組最初努力使穩定的模擬神經網絡經受無監督的字典訓練,該訓練涉及對對象進行分類,而無需事先進行示例比較。
洛斯·阿拉莫斯(Los Alamos)的計算機科學家和研究合著者加勒特·凱尼恩(Garrett Kenyon)說:“只有在嘗試利用生物學上逼真的尖峰神經形態處理器或試圖了解生物學本身時,才會出現如何使學習系統變得不穩定的問題。”“絕大多數機器學習,深度學習和AI研究人員從未遇到過這個問題,因為在他們研究的非常人工的系統中,他們可以執行全局數學運算,從而具有調節系統整體動態增益的作用。”
研究人員將決定使網絡暴露于人工模擬睡眠的決定是將其穩定的最后努力。他們對各種類型的噪聲進行了實驗,大致可與調諧收音機時在電臺之間遇到的靜態噪聲相媲美。當他們使用所謂的高斯噪聲波時,最好的結果是出現的,其中包括范圍廣泛的頻率和幅度。他們假設該噪聲模仿了慢波睡眠過程中生物神經元接收到的輸入。結果表明,慢波睡眠可能在某種程度上起到了確保皮質神經元維持其穩定性而不產生幻覺的作用。
小組的下一個目標是在英特爾的Loihi神經形態芯片上實現他們的算法。他們希望讓Loihi時不時地進入睡眠狀態,使其能夠穩定地實時處理來自硅視網膜相機的信息。如果這些發現證實了人造大腦需要睡眠,那么我們可能會期望未來可能出現的android和其他智能機器也是如此。
沃特金斯將于6月14日在西雅圖的“計算機視覺中的女性”研討會上介紹這項研究。
-
神經網絡
+關注
關注
42文章
4772瀏覽量
100838 -
網絡仿真
+關注
關注
0文章
10瀏覽量
7251
發布評論請先 登錄
相關推薦
評論