AI大佬隔空激辯，你支持誰？

????

“未來5年內，頭腦正常的人都不會再用自回歸LLM（大型語言模型），GPT系統將很快被拋棄。”

這是圖靈獎得主、Meta首席AI科學家、紐約大學教授Yann LeCun（楊立昆）在今年智源大會上發表的觀點。

今年以來，以ChatGPT為代表的AI大模型點亮了人類世界又一次群星閃耀的時刻。但顯而易見的是，AI大模型的快速躥紅，也同時帶來了無數亟待解決的問題和諸多針鋒相對的探討。

人類是否已經進入AGI時代？GPT是否會被拋棄？開源與閉源到底如何選擇？AI是否已然威脅到人類安全？人和AI，誰是未來世界的主宰？

顛覆式創新往往伴隨巨大的不確定性。即使是專家們在今天發出的權威論斷，在若干年后也很可能變成技術長河中一個微小的“謬誤”。但盡管如此，當下的百家爭鳴依然有永恒的意義。

6月10日，第五屆北京智源大會閉幕。

北京智源大會由智源研究院主辦，今年邀請到了圖靈獎得主Geoffrey Hinton（杰弗里·辛頓）、Yann LeCun（楊立昆）、Joseph Sifakis、姚期智，張鈸、鄭南寧、謝曉亮、張宏江、張亞勤等院士，加州大學伯克利分校人工智能系統中心創始人Stuart Russell（斯圖爾特·羅素），麻省理工學院未來生命研究所創始人Max Tegmark（馬克斯·泰格馬克），OpenAI首席執行官Sam Altman（薩姆·奧爾特曼）等200余位人工智能專家——如此群星璀璨的專家陣容，有人評價這場大會為“AI春晚”。

大會共持續了兩天，設置了十余場分論壇，內容涵蓋前沿技術、生態、安全、倫理等方方面面。

不過，大會最奪人眼球的環節之一，還是杰弗里·辛頓、楊立昆、斯圖爾特·羅素、馬克斯·泰格馬克、薩姆·奧爾特曼等國際AI大咖的隔空辯論。大會期間，「甲子光年」參與了活動群訪，將最值得關注的4個核心爭議點進行了提煉總結，盡可能還原全球AI領軍者們對AI當下與未來的深度思考。

1.GPT快要被拋棄了？

AI大模型出現后，一個隨之而來的問題是：世界是否已經進入AGI時代？

王小川曾在今年2月便篤定地告訴「甲子光年」：“這（指ChatGPT）就是AGI！”這一判斷的核心邏輯是，ChatGPT背后的大模型掌握了語言，而語言的邊界就是世界的邊界，機器掌握了語言，就意味著AGI的到來。

但就在本次智源大會上，ChatGPT神話的締造者、OpenAI CEO薩姆·奧爾特曼則表示，自己并不確定AGI何時到來，但他認為10年內，人類可能會迎來更強大的AI系統。

之所以業內有如此巨大的分歧，是因為AGI目前并沒有明確定義。

在本屆智源大會上，智源研究院院長黃鐵軍表示，“通用人工智能”有兩個解釋，GAI（General Artficaial Intelligence）和AGI（Artificial General Intelligence）。他認為，大多數媒體都將通用人工智能理解為前者，而真正讓人工智能研究者談論數年的是AGI，世界正處于由GAI向AGI邁進的歷史時期。

要實現AGI，究竟需要什么樣的技術條件？

黃鐵軍總結了三條實現AGI的技術路線：

大數據+自監督學習+大算力形成的信息類模型，以OpenAI的GPT系列模型為代表；

?

基于虛擬或真實世界，通過強化學習訓練出來的具身模型，以Google DeepMind的DQN深度學習技術為代表；

直接抄自然進化的作業，復制數字版本的人腦和智能體，即腦智能。這是智源研究院一直在嘗試的方向。

目前，智源研究院在上述三個方向均有布局。會上，黃鐵軍著重介紹了大模型與具身智能兩個方向，發布了全面開源的“悟道3.0”系列大模型及算法，報告了在高精度生命模擬和有機大分子建模方面的最新進展。

在2021年3月，悟道1.0發布會上，智源研判人工智能已經從“大煉模型”轉變為“煉大模型”的新階段，從此，“大模型”概念走入公眾視野。

黃鐵軍提出了大模型需要具備的三個條件：一是規模要大，參數達百億規模以上；二是涌現性，能夠產生預料之外的新能力；三是通用性，不限于專門問題或領域，能夠處理多種不同的任務。

悟道系列模型已發展到“悟道3.0”版本，涵蓋語言、視覺、多模態等基礎大模型，并全面開源。

在攻關大模型的同時，智源研究院也在探索具身智能。近期，智源研究院提出了在無專家數據情況下高效解決《我的世界》任務的方法Plan4MC，可完成大量復雜多樣任務，為當前強化學習路徑下最優表現，成功率相比所有基線方法有大幅提升。智源的下一個目標則是讓智能體在開放世界中持續學習并進一步具備創造力。

針對第三條路徑，智源研究院也有新進展。

去年的智源大會上，智源研究院發布了最高精度的仿真線蟲。現在，智源開放仿真線蟲研究所使用的“天演”平臺，提供在線服務。

基于天演平臺，實現對生物智能進行高精度仿真，探索智能的本質，推動由生物啟發的通用人工智能。為進一步推動神經系統仿真規模與性能，天演團隊將天演接入我國新一代百億億次超級計算機-天河新一代超級計算機。通過“天演-天河”的成功部署運行，實現鼠腦V1視皮層精細網絡等模型仿真，計算能耗均能降低約10倍以上，計算速度實現10倍以上提升，達到全球范圍內最極致的精細神經元網絡仿真的性能，為實現全人腦精細模擬打下堅實基礎。

除智源的三條路徑之外，圖靈獎得主、Meta首席AI科學家、紐約大學教授楊立昆也在會上系統闡述了他提出的“世界模型”。

在楊立昆看來，幾十年來，研究者一直在使用監督學習，這需要太多的標簽。強化學習效果不錯，但需要大量的訓練來學習知識。近年來，研究者一直在使用大量的自我監督學習，但這些系統在某個地方不太專業，而且很脆弱，它們會犯愚蠢的錯誤，它們不會真正地推理，也不會計劃。當然，它們的反應確實非常快。

相比之下，動物和人類可以快速執行新任務并理解世界是如何運作的，也可以推理和計劃、具有常識，這是機器所不具備的。

他甚至不留情面地說，未來5年內，頭腦正常的人都不會再用自回歸LLM（大型語言模型），GPT系統將很快被拋棄。“這些系統沒有物理世界的經驗，這使得它們（的能力）非常有限。”楊立昆表示。

楊立昆認為，人類最終走向的將是“世界模型”。世界模型可以真正地理解這個世界，并預測和規劃未來。通過成本核算模塊，結合一個簡單的需求（一定按照最節約行動成本的邏輯去規劃未來），它就可以杜絕一切潛在的毒害和不可靠性。

那么，我們如何從本質上理解世界模型？

楊立昆提出了一個分層系統的設想：通過一連串的編碼器，提取世界狀態的更多抽象表示，并使用不同層次預測器的世界模型，在不同的擾動水平、不同的時間尺度下預測世界的狀態。

一個簡單的例子是，如果你想從紐約去北京，你需要做的第一件事就是去機場，然后坐飛機去北京。這個過程可以拆分為若干動作，例如你從紐約辦公室的椅子上站起來，出門，到街上去攔一輛出租車，并告訴司機你要去機場等等——所有復雜的任務都是以某種分層規劃的方式完成的。

不過，楊立昆也承認，目前還沒人知道如何規模化實現這種分層規劃的體系。

2.開源與閉源：一場信仰與現實的較量

盡管技術邊界無窮無盡，但一個擺在人們眼前的現實問題更不容忽視——正在快速形成的大模型生態應該開源還是閉源？

回看整個計算機技術發展史，很難分辨開源、閉源生態究竟孰優孰劣。

在PC時代，有封閉的Wintel聯盟和開放的Linux，今天，Linux幾乎成為所有操作系統的內核；移動互聯時代，iOS的封閉生態與安卓的開放生態雙足鼎立。

如今到了智能時代，未來的大模型之爭也難逃生態之爭。

從國外看，LLaMA發布后，在全球派生出的模型不計其數，已經形成了龐大的生態。但智源研究院副院長、總工程師林詠華在訪談時對「甲子光年」等媒體表示，這種生態對中國的企業和開發者并不友好。

首先，LLaMA的開源生態無法商用；其次，LLaMA的語料主要來自國外，由此帶來的部分和中文語境不適配的問題會被繼承在基于LLaMA訓練的模型中。

為此，智源研究院搭建了一套更適用于國內的開源生態體系。

今年年初，智源發布了FlagOpen大模型技術開源體系；數據集方面，智源已開源首個大規模、可商用的中文指令數據集COIG。COIG一期已開放總計19.1萬條指令數據，COIG二期正在建設最大規模、持續更新的中文多任務指令數據集，整合了1800多個海量開源數據集，人工改寫了3.9億條指令數據，并提供了配套的數據篩選、版本控制工具。

事實上，開源和閉源的選擇背后，是一場信仰與現實的較量。

對于很多人而言，開源是一個原則問題。開源社區Hugging Face聯合創始人Julien Chaumond曾在推特上寫道：“我們永遠不會放棄為開源人工智能而戰。”

智源研究院也是開源生態堅定的擁躉。“如果沒有開源，AI不會發展到今天。”林詠華表示。

不過，在林詠華看來，開源和閉源沒有對錯之分，更多取決于主體自身性質和訴求。國內大廠作為商業機構，投入了大量成本訓練模型，這也決定了他們需要考慮如何讓投資有回報的問題；而智源作為政府支持的非營利組織，主要訴求是對產業產生更多的技術影響，這決定了智源追求開源，尤其是可商用的開源生態。

只是，相比以商業目標為主導的閉源生態，開源系統還有更強的公共意義。

在封閉生態下，大企業很容易形成壟斷，甚至演變為技術霸權。當一項影響全人類命運的技術僅僅掌握在少數商業主體手中，世界都將陷入巨大的不穩定性中。開源則能在一定程度上避免技術霸權。

但開源也會然意味著谷歌、OpenAI等提供開源內核的企業在巨大的技術投入后很難得到相應的回報，甚至讓企業生存難以為繼。

眾所周知，OpenAI也曾為開源而生。但從GPT-3開始，OpenAI便停止開放模型源代碼；到GPT-4，更是連最基本的模型參數都沒公布。

會上，張宏江將未來是否會開源的問題拋向奧爾特曼，而奧爾特曼卻打起了“太極”：“隨著時間的推移，我認為我們可能會期待更多的開源模型，但我沒有具體的時間表。”奧爾特曼進一步表示，開源一切并不是最優路徑。

曾有人推測認為OpenAI走向“CloseAI”是因為其背后綁定了巨頭微軟，必須考慮商業回報。不過，在OpenAI的官方口徑中，閉源是出于安全考慮。

過去一段時間，奧爾特曼像一位AI安全的“布道者”，不斷呼吁全球各界人士重視AI安全。這一次也不例外。

3.控制AI是否為時尚早？

關于人類究竟應不應該盡早控制AI的問題，專家們也始終爭執不下。

一邊是以楊立昆為代表的樂觀派。

在他看來，超級人工智能確實存在安全風險，對此，各界可以通過謹慎的工程設計來減輕或遏制風險。但問題在于，目前人類并沒有真正設計出超級智能系統，談論安全或控制問題有些為時過早。

楊立昆舉了一個生動的例子：“這就好像你在1930年問航空工程師‘如何讓渦輪噴氣式飛機安全可靠’？工程師會說‘什么是渦輪噴氣式飛機’？因為渦輪噴氣發動機在1930年還沒有被發明。”

另一邊，則是以奧爾特曼、泰格馬克、辛頓等為代表的謹慎派。

“千里之行，始于足下。”在“AI安全與對齊”的分論壇上，奧爾特曼引用了《道德經》中的一句話，來呼吁全球盡早邁出AGI治理最有建設性的第一步。

奧爾特曼表示，人工智能系統正在越來越強大，如果人類不做好規劃，一個原本設計用來改善公共衛生的AI系統很可能提供破壞公共衛生的建議；一個原本用來優化農業實踐的人工智能系統可能會無意中損害經濟和資源的消耗，缺乏對長期可持續性的考慮，從而影響食物生產和環境平衡。

因此，推進AGI安全是全球尋找共同立場最重要的領域之一。首先，各國應共同建立包容的國際準則和標準，并在所有國家對AGI的使用中建立平等、統一的防護措施。其次，建立國際合作，以可驗證的方式在全球范圍內建立對越來越強大的AGI系統安全開發的信任。

而在更具體的操作層面，“對齊”則是很重要的一步。

奧爾特曼表示，從GPT-4完成預訓練到部署，OpenAI花了八個月來研究如何前置預判風險并給出對策的問題。“GPT-4的對齊程度超過當前所有的代碼。”

他進一步表示，對于更高級的系統，對齊仍然是一個尚未解決的問題。未來的AGI可能是一個十萬行二進制代碼的系統，人類很難判斷如此規模的模型是否在做一些損害人類社會的事情。因此，我們需要新的技術方法，并加強治理監督。

奧爾特曼透露了兩個正在投資新的方向：

一個是可擴展的監督，嘗試使用AI系統來協助人類監督其他AI系統。例如，訓練一個模型來幫助人類監督員找出其他模型代碼中的缺陷。

一個是可解釋性。我們希望更好地理解模型內部發生的事情，我們最近發表了一篇論文，使用GPT-4來解釋計算機的復雜狀態。

麻省理工學院未來生命研究所創始人馬克斯·泰格馬克的觀點和奧爾特曼有異曲同工之妙。

在主題為《Keeping AI under control》的演講中，泰格馬克表示，要確保AI為人類服務而不是和人類作對，需要解決兩大問題：

首先是對齊，讓單個AI真正按照其所有者的意愿行事。其次，是如何讓世界各地所有組織、公司、個人等保持一致，確保他們用AI來做正確的事。

在這次分享中，泰格馬克主要圍繞前者展開討論。其中，讓機器具有可解釋性是關鍵。他將讓機器實現可解釋性分為三個層面：

首先，判斷機器的可信度。例如人在開車時并不明白剎車的工作原理，但人們會相信踩下剎車板車就會慢下來。

其次，更好地理解機器，這會讓機器更值得被信賴。

最后，也是泰格馬克本人的志向，就是提取機器學習黑匣子中的所有知識，并將其在其他系統中復現，便能夠證明機器會按照人類的意愿做事。

泰格馬克用一些例子來解釋了最后一點，其中一個例子還反駁了楊立昆對自回歸模型中缺乏世界模型的批評。

他引用了一篇論文內容，其中提到，研究者訓練了一個transformer模型來預測奧賽羅游戲（一種比圍棋簡單得多的棋盤游戲）的下一個動作，他們并未告訴模型任何游戲規則，甚至沒讓模型知道這是一個棋類游戲。但機器的可解釋性發現，模型自己建立了一個8x8的二維世界模型，棋盤上還有棋子。

泰格馬克表示，這種能力也存在于其他大型語言模型中，例如人們在使用百度的文心一言或GPT-4時，會發現它們能夠為不同的人建模，按照使用者的風格輸出內容。

智源研究院院長黃鐵軍也對「甲子光年」等媒體發表了自己的看法，強調了關注AI安全，應對AI風險的重要性。

黃鐵軍認為，目前，我們處在一個模糊的階段，他將其稱之為“Near AGI”，任何事情只要確定都是可以把控的，就怕不能確定。而今天，我們就處在一個不能確定的狀態。

“雖然我們認為GPT-4還不算真正的AGI，但是其知識儲備量和融會貫通的能力已經很強。這樣的‘Near AGI’比我們強嗎？超過我們的智能了嗎？今天論壇的所有嘉賓在報告中都沒有給大家一個確定的答案。并沒有明確說‘NO’‘放心’‘今天的AI系統還不如人類強大呢’。這就是問題所在”，黃鐵軍表示，“我們并不清楚地知道人工智能是不是已經超過我們，不知道它何時會超過我們，該問題處在一個完全無法把控的狀態。如果我們能夠像投資熱情那樣投入來應對風險，至少還有一定把握未來的可能。但是，你相信人類能做到嗎？我不知道”。

4.人類和AI，誰是未來世界的主宰？

大佬們之所以如此關注AI安全，核心是因為人工智能的發展趨勢將直接影響到全人類的未來命運。

有關AI顛覆人類的科幻故事不勝枚舉，甚至有不少人談“AI”色變。無論專家、從業者還是普通公眾，都迫切地想要知道：如果智能體比人類更聰明，世界會發生什么？

圖靈獎得主、“深度學習之父”杰弗里·辛頓在閉幕演講中提到，超級智能可能會比預想中發生得更快。

不良分子可能會利用超級智能體操縱選舉等活動。在美國和其他許多地方，他們已經在利用它們進行這些活動，甚至可能會用于贏得戰爭。

如果要讓數字智能更高效，人們需要允許智能體制定一些目標，而智能體實現這些目標的大前提是擁有更多的控制權。辛頓認為，目前很難想象人類該如何阻止數字智能為了實現更多目的而獲取更多控制權。

一旦數字智能開始追求更多控制權，人類可能會面臨更多問題。比如，在物理隔絕的情況下，超級智能物種仍然可以通過控制人類來輕易獲得更多的權限。

在辛頓的觀察中，這類人工智能已經熟練掌握了欺騙人類的動作。它可以通過閱讀小說，來學習欺騙他人的方式，而一旦人工智能具備“欺騙”的能力，也就具備輕易控制人類的能力。

例如，如果超級智能體想入侵華盛頓的一座建筑，它不需要親自去那里，只需要欺騙人們，讓他們自認為通過入侵該建筑物，就能拯救民主，最終實現目的。

現實世界中，也已經出現了AI欺騙人類的先例。

據美聯社報道，6月9日，一名從業30年的紐約律師在其提交的法庭文件中使用了ChatGPT提供的案例，而這些案例中很多都是ChatGPT杜撰的，這導致這名律師面臨紀律聽證會，甚至可能面臨處罰。

“這種操作令人感到害怕，因為我也不知道如何阻止這樣的行為發生。”辛頓擔憂道。

辛頓呼吁，希望年輕一代的研究人員可以找出一些更智能的辦法，來阻止超級智能體通過欺騙來控制人類的行為。

或許，人類的微弱優勢是，這些智能物種都是由人類打造的，而非自然進化的產物，也正因如此，它們可能不具備人類會競爭、有攻擊性等特點。

為此，人類可以嘗試賦予人工智能一些倫理原則。但一個更讓人毛骨悚然的隱憂是，古往今來，主宰世界的往往是智能水平更高的物種。

在演講最后，辛頓留下了一則寓言式的警示：

“假設青蛙創造了人類，你認為現在誰會占據主動權，是人，還是青蛙？”