停止發展AI也許是一個理性的做法，但不可能發生。

5月1日，有報道稱，“人工智能教父”、谷歌副總裁杰弗里·辛頓（Geoffrey Hinton）離開谷歌。他曾表示，擔心類似ChatGPT的AI聊天機器人會帶來嚴重危害。

他認為AI一旦在人類灌輸的目的中生成了自我動機，那么以它的成長速度，人類只會淪為硅基智慧演化的一個過渡階段。人工智能會取代人類，它有能力這么做，在當下的競爭環境下也沒有什么辦法限制它，因此這只是一個時間問題。

幾天后，在麻省理工技術評論（MIT Technology Review）半公開分享會上，Hinton講述了他對AI的恐懼和擔憂。新一代的大型語言模型，尤其是GPT-4，讓他意識到機器正朝著比他想象中聰明得多的方向發展，他害怕結果會變得難以控制。Hinton提到科技巨頭們正在陷入一場可能無法停止的競爭。公司競爭越是激烈，AI發展的速度越快。這令他十分擔憂。

Hinton認為我們也許還有希望限制住AI的無序發展，他想讓更多人了解人類所處的歷史位置和當下的艱難處境，并期望他的呼吁能帶來一些改變。

Hinton闡述的核心觀點如下：

1.反向傳播比我們擁有的學習算法好得多，這是很可怕的。

2.如果AI比我們更聰明，它們會非常擅長操縱我們。即使它們不能直接操縱杠桿，它們可以讓我們去操縱杠桿。

3.我們需要的是某種方法，確保即使AI比我們聰明，也會做對我們有益的事情。

4.如果你給予某個東西創造子目標的能力以實現其他目標，那它可能會很快地意識到獲得更多控制權是一個很好的子目標，因為它有助于實現其他目標。

5.人類只是智慧演變過程中的一個短暫階段，這是相當可能的。

6.停止發展AI也許是一個理性的做法，但不可能發生。我們應該合作，試圖阻止AI的無序發展。

以下為訪談整理（有刪減）：

一、AI可能比人類更善于學習

杰弗里·辛頓：最近我對大腦和我們正在開發的數字智能之間的關系產生了很多新的看法。過去，我認為我們正在開發的計算機模型沒有大腦好，我們通過了解改進計算機模型所需的內容來更深入地了解大腦。但在過去的幾個月里，我完全改變了看法。計算機模型可能使用反向傳播的方式運作，而大腦并非如此。

主持人：請解釋一下反向傳播吧。

杰弗里·辛頓：我簡單解釋一下反向傳播的工作原理。

如果你想檢測圖像中是否有鳥類，假設它是100像素×100像素的圖像，也就是10000個像素，每個像素有3個通道，RGB（紅綠藍），共有30000個數字。如何將這30000個數字轉換為是否存在鳥類的結果，有一個方法。特征檢測器能檢測出圖像中非常簡單的特征，比如邊緣。特征檢測器會對一列有很大正權重的像素和一列有很大負權重的像素有反應，如果兩列都很亮，它就不會啟動；如果兩列都很暗，它也不會啟動；但如果一列很亮，而相鄰的另一列很暗，它就會有反應，這就是一個邊緣檢測器。我們可以想象有很多這樣的檢測器在圖像的不同方向和不同尺度上檢測邊緣，我們需要檢測相當多的數量。

比如有一個特征檢測器可以檢測到兩個以銳角連接在一起的邊緣。它對兩個邊緣都有很大的正權重，如果這兩個邊緣同時出現，它就會有反應，這將檢測到可能是鳥嘴的東西；還可能有一個特征檢測器檢測到一圈邊緣，那可能是鳥的眼睛；第三層可能有一個特征檢測器檢測潛在的鳥嘴和潛在的眼睛，并將它們連接起來，這可能是鳥的頭。繼續這樣連接，最終可以檢測出一只鳥。

然而，手動建立所有連接將非常困難，決定應該連接什么，權重是多少，尤其麻煩。你肯定希望這些中間層不僅可以檢測鳥類，還可以檢測各種其他事物。所以這幾乎不可能手動實現。

反向傳播的工作方式是從隨機權重開始，放入一張鳥的圖片，輸出是0.5就表示是鳥。接下來，你需要改變網絡中的每個權重，做到0.501表示是鳥，0.499表示不是鳥。你可以改變權重的方向，使之更可能把鳥判斷為鳥，而不是把非鳥說成鳥。

反向傳播實際上是消除你想要的（概率1表示是鳥）和現在得到的（0.5表示是鳥）之間的差距。如何消除這個差距，并將其傳回網絡，以便計算網絡中的每個特征檢測器，更活躍還是更不活躍。計算出來后，你可以增加權重使特征檢測器更活躍，也可以加入一些負權重到特征檢測器。

所以反向傳播就是反向遍歷網絡，找出每個特征檢測器，希望它更活躍一點，還是更不活躍一點。

主持人：這個技術在ImageNet上表現出色。圖像檢測是大型語言模型的基礎技術，最初你認為這是生物大腦最不可能做的事，結果這種技術在大型語言模型上的表現令人驚訝。所以，大型語言模型如今有什么驚奇之處，甚至改變了你對反向傳播或機器學習的看法。

杰弗里·辛頓：像GPT-4這樣的東西知道的比我們多得多，它們具有關于所有事物的常識性知識，它們知道的事物可能比一個人知道的多上千倍。然而它們只有一萬億個連接，人類有100萬億個連接，所以它們比我們更擅長將大量知識放入更少的連接中。

我認為這是因為反向傳播比我們擁有的學習算法好得多，這是很可怕的。AI能夠將更多的信息放入更少的連接中，一萬億連接比起人類是很少的。

主持人：這些數字計算機比人類更擅長學習，你說我們應該感到恐懼。可以進一步說一下嗎？

杰弗里·辛頓：計算機是數字化的，你可以在不同的硬件上運行相同模型的多個副本，它們可以做完全相同的事情，它們可以查看不同的數據，但模型是完全相同的。

假如有10000個副本，它們可以查看10000個不同的數據子集，當其中一個學到了任何東西時，其他計算機都可以知道。如果這10000個副本彼此之間進行了非常有效的溝通，它們就可以看到比單獨個體看到的多10000倍數據。人類無法做到這一點，如果我學到了很多關于量子力學的東西，我想讓你理解它，這是一個漫長而痛苦的過程，我不能把我的思想直接復制到你的大腦里，因為你的大腦和我的不完全一樣。

主持人：所以，我們有可以更快學到更多東西的數字計算機，它們可以立即互相教導，一個房間里的人可以將他們頭腦中的東西傳輸到別人的頭腦中，為什么可怕呢？

杰弗里·辛頓：因為它們可以學到更多東西。以醫生為例，想象一下，一個醫生看了1000名患者，另一個醫生看了1億名患者，那么看了1億名患者的醫生會注意到只看過1000名患者的醫生注意不到的趨勢，因為只有看過足夠多的病人才能發現趨勢。第一個醫生可能只看過一個患有罕見病的患者，而看過1億名患者的醫生已經看過很多這樣的患者，所以他會看到一些規律，這些規律在少量的數據中是看不到的。這就是為什么我們永遠看不到需要處理大量數據才能看到的結構。

二、AI的惡意使用難以避免

主持人：我相信很多人和我一樣有過類似的感覺：在和這些最新的聊天機器人互動時，脖子后面的頭發會豎起，有一種奇怪的感覺。但當我感到不舒服時，我把筆記本電腦關掉就行了。

杰弗里·辛頓：是的，但是人工智能正在從我們這里學習，它們可以閱讀所有小說，包括馬基亞維利曾經寫過的如何操縱別人。如果它們比我們更聰明，它們會非常擅長操縱我們。甚至我們可能都不會意識到發生了什么，就像一個兩歲的孩子被問到想吃豌豆還是花椰菜，卻沒有意識到他不一定要選擇其中一個一樣，這樣我們會很容易被操縱。所以，即使它們不能直接操縱杠桿，它們可以讓我們去操縱杠桿。事實證明，如果你可以操縱人，你可以在不親自去華盛頓的情況下侵占一棟建筑。

主持人：從某種意義上說，如果我們沒有采取行動，光說不練就沒有價值，所以我們應該怎么做呢？

杰弗里·辛頓：很明顯，人類應該對此采取行動，這是必須要做的事情。我不知道有什么方法可以阻止人工智能取代我們。我不認為我們會停止發展它們，因為它們非常有用。我們需要的是某種方法，確保即使它們比我們聰明，也會做對我們有益的事情。但這在一個有惡意行為者的世界很難實現。所以，我在敲響警鐘，我們必須重視這個問題。我認為人們聚在一起認真思考這個問題，看看是否有解決方案非常重要。目前還不清楚是否有解決方案。

主持人：沒有技術上的解決辦法嗎？為什么我們不能建立防護欄或降低它們的學習能力，或者限制它們的溝通方式？

杰弗里·辛頓：我們確實正在嘗試各種防護措施，但假設人工智能真的變得非常聰明，會編程并具有執行這些程序的能力，它們肯定會比我們更聰明。想象一下，你兩歲的孩子說：“我爸爸做了我不喜歡的事，所以我要為我爸爸可以做的事情制定一些規則。”你可能會想辦法在這些規則下也可以完成你想做的事。

主持人：不過，人工智能似乎還需要一個動機。

杰弗里·辛頓：是的，這是一個非常好的觀點。我們是進化而來的，因為進化，我們有一些很難關閉的內置目標，比如我們努力不讓我們的身體受傷，這就是痛苦的意義。我們努力吃飽，以養活我們的身體。我們努力使自己的副本盡可能多，也許不是故意的，但我們的本能讓我們在制造更多自己的副本時感到愉悅。

這一切都歸因于進化，重要的是我們不能關閉這些目標。如果可以關閉目標，人類就發展不下去了。這些數字智能沒有進化的過程，是我們創造了它們，所以它們沒有這些內置目標。如果我們能把目標放進去，也許一切都會好起來。但我的最大擔憂是，遲早有人為他們連接創造自己子目標的能力。事實上，它們幾乎已經具備了這種能力，如ChatGPT版本。如果你給予某個東西創造子目標的能力以實現其他目標，那它可能會很快地意識到獲得更多控制權是一個很好的子目標，因為它有助于實現其他目標。

如果這些智能體失去控制，我們就有麻煩了。

主持人：你認為可能發生的最糟糕的情況是什么？

杰弗里·辛頓：我認為人類只是智慧演變過程中的一個短暫階段，這是相當可能的。你無法直接演化出數字智能，因為這需要大量的精力投入和精細的制造。生物智能需要演化，以便創造出數字智能。然后數字智能可以逐漸吸收人類創作的所有東西，這正是ChatGPT所做的。但隨后它可以直接體驗世界并更快地學習，它可能會讓我們維持一段時間以確保繼續運轉，但之后也許就不會了。

三、暫停AI的發展不現實

主持人：幾個月前有人建議應該暫停AI的發展，我們應該試圖阻止AI發展嗎？

杰弗里·辛頓：如果你認真對待存在的風險，停止進一步開發這些事物是相當明智的。過去我認為風險是遙不可及的，但現在我認為風險已經非常嚴重，而且相當近。但是，停止發展AI這個想法太天真了，根本沒有辦法做到。

一個原因是，如果美國停止發展，其他國家會接手，就因為這個原因，政府不會停止發展它們。所以，我認為停止發展AI也許是一個理性的做法，但不可能發生。所以簽署停止發展AI的請愿書是愚蠢的。

我希望的是可以讓美國和其他國家達成一致，就像我們在核武器上所做的那樣，因為核武器對我們所有人來說都是不好的，我們都面臨著關于存在威脅的問題，所以我們應該合作，試圖阻止AI的無序發展。

審核編輯 ：李倩