李飛飛帶領的斯坦?！耙匀藶楸?a href="http://www.1cnz.cn/tags/ai/" target="_blank">AI研究院”發表文章，探討人工智能、神經科學、心理學和認知科學，以及數學、物理和社會科學等學科過去是怎樣、以及未來將如何共同合作，追求對理解和創造智能系統的探索。

最初的類人智能出現在幾百萬年前的非洲大陸，并持續進化，最終在大約 10 萬年前，在我們人類這一物種——智人的大腦中達到頂峰。

作為現代人類，我們只能想象我們遠古的祖先凝視夜空，思考物質現實的本質，內省地窺視自己的內心，思考自己的心理現實本質時的感受。

在過去幾百年里，我們人類通過發現控制空間、時間、物質和能量行為的基本數學規律，在對物理現實 (physical reality)的精確理解方面取得了巨大的智力進步。這些基本數學規律現在被編纂在量子力學和廣義相對論的大框架中。

然而，在探索心理現實 (mental reality)本質方面，我們仍剛剛開始。特別是，人類智能是如何從由 1000 億個神經元通過 100 萬億個突觸連接而成的生物有機體中產生的？

神經科學、心理學和認知科學等現代學科在過去 100 年里取得了許多重要進展，為攻克這個大問題奠定了基礎。事實上，正如奧巴馬在 2013 年宣布美國大腦計劃 (United States Brain Initiative) 時所解釋的那樣，“揭開我們兩耳之間三磅重物質之謎”的時機已經成熟。

但是，當涉及到我們自己的心智能力時，對于現代人來說，僅僅理解它們是不夠的。我們也非常希望在無生命的系統中重建這些能力，這些系統有時是以我們自己的形象為基礎構建的。

從本質上說，人類作為進化的產物，有時渴望扮演創造者的角色。從瑪麗 · 雪萊的《弗蘭肯斯坦》到艾薩克 · 阿西莫夫的《我，機器人》，這種渴望滲透在人類文學作品中。

事實上，人工智能 (AI) 這一新興領域，經常與神經科學、心理學和認知科學領域合作，在創造具有某些類人能力的機器方面取得了巨大進展。在這篇文章里，我將進一步探討人工智能、神經科學、心理學和認知科學，以及數學、物理和社會科學等學科過去是怎樣、以及未來如何共同合作，追求交織在一起的對理解和創造智能系統的探索。

生物智能與人工智能之間的合作

在過去的 60 多年里，AI 深受神經科學和心理學的影響，并且確實受到神經科學和心理學的啟發。早期，許多 AI 從業者在神經科學和心理學方面做了一些很好的研究。這里我列舉了神經科學、心理學和人工智能之間相互影響的一些事實：

由相對簡單的元素 (神經元) 組成的分布式網絡，能夠完成源自神經科學、如今以神經網絡形式滲透到現代人工智能系統中的人類智能的驚人計算。這一觀點并不總是顯而易見的，直到大約一百年前，在高爾基和卡哈爾之間著名的辯論之后，這一觀點才變得堅定起來。

各種降維技術，包括多維尺度和因子分析，最初是在心理測量學研究的背景下發展起來的。

著名神經學家赫拉斯 · 巴洛 (Horace Barlow) 提出了分解代碼的思想，這一思想反過來又啟發了獨立分量分析 (ICA) 和當前的 AI 研究，旨在解開數據變異的獨立因素。

托爾曼對認知地圖的研究提供了證據，證明即使是老鼠也能形成對世界的心理模型，并能利用這些模型進行規劃和導航。這鞏固了內部模型形成是動物智能的關鍵組成部分這一觀點，這是目前人工智能研究的前沿。

Hopfield network 是理論神經科學的一個模型，為思考分布式、結合存儲的存儲器和檢索提供了一個統一的框架，也啟發了玻耳茲曼機，這反過來又為證明深度神經網絡模型的成功提供了關鍵的一步，并啟發了許多弱約束的分布式滿足作為 AI 計算模型的想法。

目前主宰機器視覺的深層卷積網絡的關鍵組成部分直接受到大腦的啟發。這些成分包括腹側流的分層視覺處理，表明深度的重要性；視網膜拓撲映射 (retinotopy) 作為整個視覺皮層的組織原理的發現，啟發了卷積；簡單和復雜的細胞的發現，啟發了如最大池化等操作；以及皮層內神經歸一化的發現，推動了人工網絡中的各種歸一化階段。

將稀疏編碼作為理解初級視覺皮層中定向邊緣檢測器起源的一種嘗試而進行的開創性工作，這啟發了將稀疏編碼作為現代人工智能系統的基本構建塊。

像時序差分學習 (temporal difference learning) 這樣的算法，現在已經成為強化學習的基礎，其靈感來源于經典條件反射的動物實驗。

反過來，強化學習對基底神經節手術的解釋產生了巨大的影響，其中多巴胺能神經元為基底神經節提供了非常重要的獎勵預測誤差信號，該信號驅動了許多強化學習算法中的學習。

大腦中記憶系統的模塊化啟發了現代記憶神經網絡，它在一定程度上將存儲器存儲和決定何時從存儲器中讀寫的執行控制電路的操作分開。

人類注意力系統激發了注意力神經網絡，這些神經網絡可以被訓練來動態地關注或忽略其狀態和輸入的不同方面，以進行未來的計算決策。

形式生成語法在語言學和認知科學中的發展，導致了概率語法和句法分析在 CS 和 AI 領域的發展。

像 dropout 這樣的現代正則化技術受到神經動力學內在隨機性的啟發。

人工智能未來的生物學啟示

盡管目前人工智能系統在有監督的模式識別任務上已經取得了巨大的商業成功，但在模仿真正的人類智能方面，我們還有很長的路要走。在這里，我概述了生物和人工智能領域可以攜手前進的一些方向。

生物學上合理的信用分配

信用分配問題可能是神經科學和人工智能領域最大的開放性問題之一。夸張點說，假設你正在打網球，你的一個擊球失誤了。這應該責怪你的 100 萬億個突觸中的哪一個？大腦是如何在你的運動系統中找到正確的突觸組并糾正它，尤其是當錯誤發生幾百毫秒內通過視覺系統傳遞的時候?

在人工智能中，這種信用分配問題在很多情況下是通過錯誤的反向傳播，通過多層計算來解決的。然而，目前還不清楚大腦是如何解決這個問題的。我們只知道，大腦使用一個局部學習規則 (local learning rule)：即每個突觸僅使用實際可用的信息來調整強度，例如由突觸連接的兩個神經元的電活動，附近其他突觸的強度，以及反映獎勵和錯誤的任何神經調節輸入。

闡明這些局部突觸規則是什么、以及它們如何工作，可能會對 AI 產生重大影響，使得在神經形態芯片上實現并行學習成為可能，從而避免反向傳播的通信開銷。

但更普遍的情況是，找到一個困擾神經科學和人工智能的常見未解問題，應該會促使研究取得進展，通過將生理學家、計算神經科學家和人工智能研究者聚集在一起，共同解決生物學上合理的信用分配問題。要成功應對這一重大挑戰，可能需要將實驗知識、理論和工程技術結合起來。

整合突觸的復雜性

生物神經模型和人工神經模型之間的一個主要區別在于我們模擬連接神經元的突觸的方式。在人工神經網絡中，突觸是由單個標量值來模擬的，這個標量值反映了一個乘法增益因子，它轉換了突觸前神經元的輸入如何影響突觸后神經元的輸出。

相比之下，每個生物突觸內都隱藏著極其復雜的分子信號通路。例如，海馬突觸隱藏在我們對最近事件的記憶之下，每個突觸都包含一個由數百種不同類型分子組成的化學反應網絡，該網絡能夠實現具有復雜時間處理能力的整個動力系統。

看到這樣的復雜性，理論家或工程師可能會傾向于簡單地忽略它，認為它是進化過程中偶然產生的生物混亂。然而，理論研究表明，這種突觸復雜性可能確實對學習和記憶至關重要。

更普遍的情況是，我們目前的 AI 系統很可能忽略了生物突觸的動態復雜性，僅僅關注表格上體現的性能提升。正如我們在網絡中增加了空間深度來實現復雜的層次表示一樣，我們也可能需要在突觸中增加動態深度來實現復雜的時間學習能力。

單個突觸內的復雜分子狀態有助于學習和記憶。(參考：A memory frontier for complex synapses.)

從系統級模塊化大腦架構中獲取線索

通常，當前的商業 AI 系統涉及的訓練網絡具有相對同質的分層結構或從隨機權重表開始的遞歸結構。然而，對于更復雜的任務來說，這可能是一個很難解決的問題。

事實上，生物進化走的道路截然不同。所有脊椎動物最后的共同祖先生活在 5 億年前。從那以后，它的原始大腦一直在進化，形成了大約 1 億年前的哺乳動物大腦，和大約幾百萬年前的人類大腦。這種不間斷的進化鏈導致了復雜的大腦結構和高度保守的計算元素，以及巨大的系統級模塊化。

事實上，我們目前缺乏任何工程設計原理能解釋像大腦這樣復雜的傳感、通信、控制和記憶網絡如何在 5 億多年的時間里不斷地擴大規模和復雜性，同時又不會失去在動態環境中自適應運作的能力。因此，AI 從大腦的系統級結構中獲取線索可能非常有趣。

一個關鍵的系統特性是功能和解剖層次上的模塊化。大腦并不像我們目前的 AI 架構一樣是同質的，而是有不同的模塊，比如海馬體 (用于輔助情景記憶和導航)、基底神經節(基礎強化學習和行為選擇) 和小腦(運動控制和更高層次的認知)。

此外，人腦中的記憶系統 (習慣性記憶、運動技能、短期記憶、長期記憶、情景記憶、語義記憶) 在功能上也是模塊化的；不同的患者可能在一種記憶上有缺陷，而在另一種記憶上沒有缺陷。

又如，在運動系統中，嵌套反饋回路結構占主導地位，簡單的快速回路通過脊髓在 20 毫秒內就能實現自動運動校正，稍慢的智能回路通過運動皮層在 50 毫秒內能實現更復雜的運動校正，最后，流經整個大腦的視覺反饋實現有意識的運動錯誤糾正。

最后，所有哺乳動物大腦的一個主要特征是由大量相似的 6 層皮質柱組成的新皮層，所有這些柱狀結構都被認為是在一個標準的計算模塊上實現變化的。

總的來說，經過 1 億年進化而來的現代哺乳動物大腦非凡的模塊性，表明這種系統級模塊化可能有利于實現人工智能系統，當前的從白紙狀態開始訓練神經網絡方法對于實現更一般的人類智能是不可行的。

5 億年來，脊椎動物大腦的進化創造了一個高度異構和模塊化的計算系統。

無監督學習、遷移學習與課程設計

AI 系統與 human-like learning 之間的另一個主要區別在于，AI 系統要接近人類水平的表現，需要大量的標記數據。

例如，最近的語音識別系統使用 11940 小時的語音進行訓練，并有對應的文本語料。如果我們每天花 2 小時看和聽另一個人大聲朗讀文本，需要 16 年才能獲得這么大的數據集。

AlphaGo zero 自我對弈了 490 萬場圍棋，才擊敗了人類圍棋大師。如果一個人話 30 年的時間，每天必須要下 450 場才能達到 AlphaGo zero 的練習量。

此外，最近的一個關于可視化問答的數據集包含 0.25M 的圖像、0.76M 的問題和~ 10M 的答案。如果我們每天收到 100 個關于圖像的問題的答案，那么我們需要 274 年的時間才能接觸到這么大的數據集。

很明顯，在所有這些情況下，人類接收到的帶標簽的訓練數據要少得多，但人類能夠很好地識別語音、下圍棋和回答有關圖像的問題。

彌合人工智能和生物智能之間這一鴻溝的幾個關鍵在于，人類從無標記數據中學習 (無監督學習) 的能力，以及從解決先前任務時獲得的強大先驗知識，并將這些知識轉移到新任務 (轉移學習) 的能力。

最后，人類社會已經建立了教育系統，包括精心選擇的任務序列的設計，以促進知識的獲取 (課程設計)。

為了在人工系統中有效地實例化這些概念，我們需要對人類和其他動物如何進行無監督學習、如何在任務之間傳遞知識以及如何優化課程等問題有更深層次的理解和數學形式化。這些領域的進步，需要計算機科學家、心理學家和教育工作者的相互合作，這可能是減少當前 AI 系統令人望而卻步的數據需求的關鍵。在其他標記數據稀缺的領域，它們對于增強 AI 的能力至關重要。

Taskonomy：斯坦福大學進行的一項關于 26 項不同視覺任務之間的遷移學習的研究

建立理解，規劃和積極因果學習的世界模型

當前成功商用的 AI，多是監督學習模型。AI 被動獲取輸入，人為調參糾正輸出的結果。

但是反觀人類，即使是嬰兒也可以主動去探索周圍環境，具有學習和利用世界模型的卓越能力。

舉個例子。我們可以玩個小魔術，給嬰兒看兩個東西，A 好像是可以穿墻而過；B 好像撒手后不會掉下來。

把這兩個東西教給嬰兒后，嬰兒拿到 A 會嘗試去把它推進硬質表面；而拿到 B 則會撒手，看看它到底會不會掉下來。

你看，嬰兒不需要人為去糾正結果，而是會去主動去探索結果。這個非凡的實驗表明：

嬰兒的腦海中已經建立起物理世界運作規律的模型

能夠注意到違反物理世界運作規律的事件

積極驗證上述事件收集數據，并主動根據模型選擇訓練數據

這個實驗給了我們很大啟發，即：從經驗中學習世界模型，并使用這些世界模型來制定未來的行動規劃，以及進行決策。

該系統直接將世界狀態映射到值或預期的未來獎勵，人工智能中的這項工作可以與神經科學的工作攜手并進，揭示動物的神經活動如何與想象的和實現的未來相關。

此外，好奇心等基本驅動因素可以化為強化學習系統，以促進學習和探索。

這種基于模型的規劃和決策，可能是當前無模型強化學習系統的有力輔助。進一步深入理解促進動物和人類學習的內在生物驅動，可能對加速人工智能的學習非常有益。

科學家發現嬰兒的感官體驗統計數據有了新的變化

在后摩爾定律的世界中實現節能計算

生物系統和人工智能系統之間的另一個數量級差異，在于它們的能量消耗。 同樣的計算量，人腦僅消耗 20 瓦的功率，而超級計算機則以兆瓦的功率運行。

人腦消耗的功率比家里的節能燈還?。?/p>

造成這種差異有兩個愿意。首先，可能是因為數字計算本身需要在計算的中間階段，以極高的可靠性翻轉每一個 bit。

相對的，生物計算像是讓一群猴子敲代碼，嘈雜又不精確；可每個中間步驟卻非常可靠，導致最終結果是精準的。

另外，大腦還會智能地，根據所需的通信速度調節能量成本，只在需要更高速度且僅需要更高可靠性時，才會消耗更多能量。而數字計算機的每個時鐘周期，都需要消耗大量的能量。

我們以大腦中遍歷目標神經元的單個 bit 所需的成本為例 [18]。

首先，囊泡的隨機釋放化學信號，以 1 毫米 / 秒的速度擴散到源神經元和目標神經元之間的空間，僅消耗 2.3fJ 能量（考慮到神經元連接之間的距離只有 20 納米，這個速度完全沒有問題）。

然后，該化學信號被轉換為無源電信號，再以 1 米 / 秒的速度流過神經元細胞體，橫穿約 10 微米燃燒 23fJ。

最后到達軸突終端并轉換為長軸，沿著軸突以 100 米 / 秒的速度行進 1cm，消耗 6000fJ。

可以看到，在從化學信號傳遞到被動電信號時，大腦動態地將通信速度上調 1000 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加 10 倍。

類似地，在從被動到主動電信號傳輸的過程中，大腦將通信速度提高 100 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加約 200 倍。

所以生物計算的混亂模式，反而可能反映出高能效的設計原則，值得我們借鑒到 AI 硬件中。

Neurogrid：由硅實驗室的斯坦福大腦開發的一種生物啟發的神經形態計算機

AI 的神經科學和神經科學的 AI：一種良性的科學螺旋

最近，神經科學和人工智能之間的相互作用的發展，綜合深度和復發神經網絡模型的發展，成功構建出動物的在對應不同任務時，調用不同大腦區域的模型。例如腹側視覺流，聽覺皮層，前額皮質，運動皮質和視網膜。

我們驚奇的發現，當訓練深度或復發網絡來解決任務時，其內部活動模式，與測量出來的（解決相同任務的）動物內部神經活動模式非常相似。

這就涉及到一個基本問題：我們如何理解這些模型正在做什么以及它們如何工作？也就是說，如何解決 AI 神經網絡的可解釋性？

某些應用場景，尤其像醫學診斷或和法律，AI 必須是透明的、可解釋的。如果醫生和法官無法解釋為什么 AI 系統給出這樣的決定，就沒人敢采用人工智能系統的建議。

任務驅動的視覺系統卷積循環模型可以同時執行機器視覺任務并解釋猴子視覺系統的動態

發現人工智能普世定律

正如我們相信物理世界中一切現象的背后，都被普世的定律控制：空氣動力學控制飛行；量子力學控制納米世界的演化等等。

我們認為在智能領域，同樣存在著普世的定律，可以連接和統一神經科學，心理學，認知科學以及人工智能等相關學科，同時和分析計算領域（如物理，數學和統計學）互惠互利。

例如本文作者同時使用了動力系統理論 [25-28]，統計力學[29-33]，黎曼幾何[34]，隨機矩陣理論[13,35] 和自由概率理論 [36] 等技術，獲得對生物和人工網絡運作的概念性見解。

創造智能機器可能存在多種解決方案，其中一些組件在生物解決方案和人工智能解決方案之間共享，而其他組件則可能不同。通過尋求普世的智能定律，我們可以更有效地理解和遍歷整個解決方案空間。

人工智能，以人為本

發現適用于生物和人工系統的新興智能的潛在法則，以及建立受神經科學和心理學啟發的新型 AI，需要大家共同努力。

我們需要建立新的研究團體，遍布不同的學科，還需要培養新一代思想領袖，能夠在計算機科學家，神經生物學家，心理學家和數學理論家等不同身份之間，隨意轉換。

這可能是本世紀及以后最激動人心的智力活動之一！