【導(dǎo)讀】2022年對AI來說注定是不平凡的一年，這不吳恩達(dá)、Bengio等一眾圈內(nèi)大佬在接受DeepLearning.ai的采訪中都展望了2023年AI的發(fā)展趨勢，還分享了自己的科研小故事。

還有1天，2022年就要過去了。

此前我們報(bào)道了吳恩達(dá)的2022年終盤點(diǎn)，辭舊迎新之際，Bengio等一眾AI大佬們在DeepLearning.ai聚在一起，展望了自己眼中的2023年。

Yoshua Bengio：尋找具備理性的AI模型

過去，深度學(xué)習(xí)的進(jìn)展主要是「大力出奇跡」：采用最新的架構(gòu)，提升硬件，擴(kuò)大算力、數(shù)據(jù)和規(guī)模。我們是否已經(jīng)擁有了我們所需要的架構(gòu)，剩下的就是開發(fā)更好的硬件和數(shù)據(jù)集，以便我們能夠繼續(xù)擴(kuò)大規(guī)模？現(xiàn)在還缺什么嗎？

我認(rèn)為是缺的，我希望在未來的一年里能找到這些缺失的東西。

我一直在與神經(jīng)科學(xué)家和認(rèn)知神經(jīng)科學(xué)家合作，研究最先進(jìn)的系統(tǒng)和人類之間的差距。簡單地?cái)U(kuò)大模型規(guī)模并不能填補(bǔ)這種差距。相反，在目前的模型中建立一種類似于人類的能力，來發(fā)現(xiàn)和推理高層次的概念和它們之間的關(guān)系，可能會讓差距變得更大。

考慮一下學(xué)習(xí)一項(xiàng)新任務(wù)所需的例子數(shù)量，即所謂的「樣本復(fù)雜度」。訓(xùn)練一個深度學(xué)習(xí)模型玩一個新的視頻游戲需要大量的游戲玩法，這些玩法對而人類而言，可以很快學(xué)會。但計(jì)算機(jī)需要考慮無數(shù)的可能性，來規(guī)劃一條從A到B的高效路線。而人類則不需要。

人類可以選擇正確的知識片段，并將這些片段貼合在一起，形成一套相關(guān)的解釋、答案或計(jì)劃。此外，給定一組變量，人類非常擅長確定哪些是原因，哪些是結(jié)果。而目前的人工智能技術(shù)在這個能力上還無法接近人類水平。

通常情況下，AI系統(tǒng)對生成的答案和方案的正確性高度自信，即使實(shí)際上是錯誤的。這個問題在文本生成器或聊天機(jī)器人這樣的應(yīng)用中可能是一些很有意思的笑話，但換到自動駕駛汽車或醫(yī)療診斷系統(tǒng)中，卻可能威脅到生命。

目前的AI系統(tǒng)的行事特征，部分原因是它們就是被設(shè)計(jì)成這樣的。比如，文本生成器的訓(xùn)練只是為了預(yù)測下一個單詞，而不是建立一個內(nèi)部數(shù)據(jù)結(jié)構(gòu)，也不必說明所操作的概念以及它們之間的關(guān)系。

但我認(rèn)為，我們可以設(shè)計(jì)出能夠追蹤事情背后的意義，并對其進(jìn)行推理的AI系統(tǒng)，同時仍能發(fā)揮當(dāng)前深度學(xué)習(xí)方法的眾多優(yōu)勢。這樣就可以解決從過度的樣本復(fù)雜性到過度自信的不正確性等各種挑戰(zhàn)。

論文鏈接：https://arxiv.org/pdf/2111.09266.pdf 我對「生成流網(wǎng)絡(luò)」GFlowNets很感興趣，這是我們團(tuán)隊(duì)一年前開始的一種訓(xùn)練深度網(wǎng)絡(luò)的新方法。這個想法的靈感來自于人類通過一連串步驟進(jìn)行推理的方式，在每一步加入新的相關(guān)信息。 這就像強(qiáng)化學(xué)習(xí)，因?yàn)槟Ｐ褪前错樞驅(qū)W習(xí)政策來解決問題的。它也像生成式建模，因?yàn)樗梢詫鉀Q方案進(jìn)行抽樣，以對應(yīng)于進(jìn)行概率推理。 如果你想到一個圖像的解釋，你的想法可以轉(zhuǎn)換成一個句子，但它不是句子本身。相反，它包含關(guān)于該句子中的概念的語義和關(guān)系信息。一般來說，我們把這種語義內(nèi)容表示為一個圖，其中每個節(jié)點(diǎn)是一個概念或變量。 我不認(rèn)為這是唯一的解決方案，我期待著看到多種多樣的方法。通過多樣化的探索，我們將有更大的機(jī)會找到目前AI領(lǐng)域缺失的東西，，彌補(bǔ)當(dāng)前人類和人類水平的AI之間的差距。 Yoshua Bengio是蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)教授和Mila-魁北克人工智能研究所的科學(xué)主任。他與Geoffrey Hinton和Yann LeCun一起獲得了2018年圖靈獎，以表彰他對深度學(xué)習(xí)的突破性貢獻(xiàn)。 Alon Halevy：個人數(shù)據(jù)時間軸 Alon Halevy是一位以色列裔美國計(jì)算機(jī)科學(xué)家，也是數(shù)據(jù)集成領(lǐng)域的專家。他從2005年到2015年擔(dān)任谷歌的研究科學(xué)家，負(fù)責(zé)谷歌數(shù)據(jù)融合表。 他是ACM會員，并于2000年獲得美國總統(tǒng)獎 (PECASE)。他還是科技公司Nimble Technology（現(xiàn)為Actuate Corporation）和Transformic Inc.的創(chuàng)始人。 在對2023年的展望中，Halevy聚焦于個人數(shù)據(jù)時間軸（personal data timeline）的構(gòu)建。 公司和組織如何使用用戶數(shù)據(jù)？這一重要問題在技術(shù)圈和政策界都受到了廣泛關(guān)注。 2023年，還有一個同樣重要、值得更多關(guān)注的問題：作為個人，我們?nèi)绾卫蒙傻臄?shù)據(jù)來改善我們的健康，增加活力和生產(chǎn)力？ 我們每天都在生成各種數(shù)據(jù)。照片捕捉我們的生活經(jīng)歷，手機(jī)記錄我們的鍛煉情況和位置，互聯(lián)網(wǎng)服務(wù)記錄我們的消費(fèi)和購買內(nèi)容。 我們還會記錄各種愿望：想要前往的旅行和嘗試的餐廳、計(jì)劃欣賞的書籍和電影，以及想要進(jìn)行的社交活動。 不久后，智能眼鏡將更細(xì)致地記錄我們的種種體驗(yàn)。然而，這些數(shù)據(jù)分散在許多應(yīng)用程序中。為了更好地總結(jié)過去的經(jīng)歷，我們需要每天從不同應(yīng)用中整理過去的記憶。 能不能把所有的信息都融合在一張個人時間表上，幫助我們朝著目標(biāo)、希望和夢想前進(jìn)呢？事實(shí)上，很久之前就有人有這樣的想法。 早在1945年，美國科學(xué)家范內(nèi)瓦·布什（Vannevar Bush）就設(shè)計(jì)了一款產(chǎn)品，稱其為麥克斯儲存器（memex）。90年代，戈登·貝爾 (Gordon Bell) 和微軟研究院的同事構(gòu)建了MyLifeBits，可以儲存一個人一生中所有的信息。 但是，當(dāng)我們把所有數(shù)據(jù)都保存在一個地方，保護(hù)隱私，防止信息被濫用顯然是一個關(guān)鍵問題。 目前，沒有一家公司可以擁有我們所有的數(shù)據(jù)，也沒有存儲我們的所有數(shù)據(jù)的授權(quán)。因此，需要通力合作，構(gòu)建支持個人時間線的技術(shù)，包括用于數(shù)據(jù)交換、加密存儲和安全處理的協(xié)議。 建立個人時間軸，有兩個技術(shù)挑戰(zhàn)亟待解決。 第一個挑戰(zhàn)關(guān)于系統(tǒng)的智能問答。盡管我們在基于文本和多模態(tài)數(shù)據(jù)的問答方面取得了重大進(jìn)展，然而在許多情況下，智能問答要求我們明確推理答案集合。 這是數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)。例如，要回答「我在東京參觀了哪些咖啡館？」或者「我在兩小時內(nèi)跑了多少次半程馬拉松？」，要求檢索集合作為中間答案。而在目前，自然語言處理中還無法完成這項(xiàng)任務(wù)。 從數(shù)據(jù)庫中汲取更多靈感，還需要讓系統(tǒng)能夠解釋答案的出處，并判斷答案是否正確完整。 構(gòu)建個人時間軸的第二個挑戰(zhàn)，是如何開發(fā)個人數(shù)據(jù)軸分析技術(shù)，以改善用戶的生活質(zhì)量。 根據(jù)積極心理學(xué)，人們可以為自己創(chuàng)造積極的體驗(yàn)并養(yǎng)成更好的習(xí)慣，以實(shí)現(xiàn)更好的發(fā)展。一個可以訪問我們生活點(diǎn)滴和目標(biāo)的AI智能體，可以及時提醒我們需要完成和避免的事情。 當(dāng)然，我們選擇做什么取決于我們自己，但我相信，一個能夠全面了解我們的日常活動，擁有更好的記憶力和計(jì)劃能力的人工智能會使每個人受益良多。 Douwe Kiela：少點(diǎn)炒作，多點(diǎn)謹(jǐn)慎 Douwe Kiela是斯坦福大學(xué)符號系統(tǒng)的兼職教授。在劍橋大學(xué)完成碩士和博士學(xué)位后，Kiela分別在IBM、微軟、Facebook AI擔(dān)任研究員，并擔(dān)任Hugging Face的研究主管。

在新年展望中，Kiela表達(dá)了他對人工智能系統(tǒng)發(fā)展的愿望。 今年，我們真正看到人工智能開始成為主流。像Stable Diffusion和ChatGPT這樣的系統(tǒng)完全激發(fā)了公眾的想象力。 這是激動人心的時刻，我們正處于偉大事物的風(fēng)口浪尖：毫不夸張地說，這種能力的轉(zhuǎn)變會和工業(yè)革命一樣，產(chǎn)生顛覆性的影響。 但是在興奮之余，我們應(yīng)該警惕炒作，格外謹(jǐn)慎，以負(fù)責(zé)任的態(tài)度進(jìn)行研發(fā)。 對大型語言模型而言，不論這些系統(tǒng)是否真的「有意義」，外行人都會將它們擬人化，因?yàn)樗鼈冇心芰?zhí)行人類最具代表性的事情：產(chǎn)生語言。 但是，我們必須讓公眾了解這些人工智能系統(tǒng)的能力和局限性，因?yàn)楣姶蠖嗾J(rèn)為計(jì)算機(jī)還是那種老式的符號處理器，例如，它們擅長數(shù)學(xué)但不擅長藝術(shù)，而目前情況卻恰恰相反。 現(xiàn)代AI有項(xiàng)嚴(yán)重的缺陷，其系統(tǒng)很容易被無意誤用或有意濫用。它們不僅會產(chǎn)生錯誤的信息，而且看起來非常自信，讓人信以為真。 這些AI系統(tǒng)對復(fù)雜的多模態(tài)人類世界缺乏足夠的理解，也不具備哲學(xué)家所說的「大眾心理學(xué)」，即解釋和預(yù)測他人行為和心理狀態(tài)的能力。 目前，AI系統(tǒng)還是不可持續(xù)的資源密集型產(chǎn)品，我們對輸入的訓(xùn)練數(shù)據(jù)和輸出的模型之間的關(guān)系知之甚少。 同時，雖然模型擴(kuò)展可以極大提高有效性——例如，某些功能只有在模型達(dá)到一定規(guī)模時才會出現(xiàn)——但也有跡象表明，隨著這模型擴(kuò)展，更容易出現(xiàn)偏見，甚至是更不公平的系統(tǒng)。 因此，我對2023年的希望是，我們能改善這些問題。對多模態(tài)、定位和交互的研究可以使系統(tǒng)更好地理解現(xiàn)實(shí)世界和人類行為，從而更好地理解人類。 研究對齊、歸因和不確定性可以使AI系統(tǒng)更安全，更不容易產(chǎn)生幻覺，并構(gòu)建更加準(zhǔn)確的獎勵模型。以數(shù)據(jù)為中心的人工智能有望展示更高效的縮放法則，更有效地將數(shù)據(jù)轉(zhuǎn)化為穩(wěn)健和公平的模型。

論文鏈接：https://arxiv.org/pdf/2007.14435.pdf 最后，我們應(yīng)該更加關(guān)注人工智能持續(xù)的評估危機(jī)。我們需要對數(shù)據(jù)和模型進(jìn)行更精細(xì)、更全面的測量，以確保我們能夠描述我們的進(jìn)步和局限性，并從生態(tài)有效性（例如，AI系統(tǒng)在真實(shí)世界的應(yīng)用案例）的角度出發(fā)，理解我們從人工智能發(fā)展中真正想要獲得的東西。 Been Kim：用科學(xué)研究解釋模型 Been Kim是來自Google Brain的一名科學(xué)家，畢業(yè)于麻省理工大學(xué)，他的研究領(lǐng)域是交互式機(jī)器學(xué)習(xí)。 對于過去這一年里AI所展現(xiàn)的創(chuàng)造力以及取得的諸多成就，她在激動興奮之余，也提出了自己對未來AI研究的一些看法。

對于AI來說，這是一個激動人心的時刻，在生成藝術(shù)和許多其他應(yīng)用程序方面取得了令人著迷的進(jìn)步， 雖然這些方向令人興奮，但我認(rèn)為我們需要從事不那么浮躁的工作，不光是AI能創(chuàng)造出更多東西，或是能設(shè)計(jì)出多大的模型：

回歸基礎(chǔ)并將研究人工智能模型作為科學(xué)探究的目標(biāo)。

為什么要這么做？ 可解釋性領(lǐng)域旨在創(chuàng)建工具來為復(fù)雜模型的輸出生成解釋，幫助我們探尋AI與人類的關(guān)系。 例如一種工具采用圖像和分類模型，并以加權(quán)像素的形式生成解釋。像素的權(quán)重越高，它就越重要。例如，它的值對輸出的影響越大，它可能就越重要，但如何定義重要性因工具而異。 雖然生成AI取得了一些成功，但事實(shí)證明許多工具的運(yùn)行方式出乎我們的意料。 例如未經(jīng)訓(xùn)練的模型的解釋在數(shù)量和質(zhì)量上與訓(xùn)練模型的解釋無法區(qū)分，盡管產(chǎn)生相同的輸出，但解釋通常會隨著輸入的微小變化而改變。 此外，模型的輸出與工具的解釋之間沒有太多因果關(guān)系。其他工作表明，對模型輸出的良好解釋不一定會對人們使用模型的方式產(chǎn)生積極影響。 期望和結(jié)果之間的這種不匹配意味著什么，我們應(yīng)該怎么做？它表明我們需要檢查我們?nèi)绾螛?gòu)建這些工具。 目前我們采用以工程為中心的方法：反復(fù)試驗(yàn)。我們基于直覺構(gòu)建工具（例如我們?yōu)槊總€像素塊而不是單個像素生成權(quán)重，解釋會更直觀）。

論文鏈接：https://arxiv.org/pdf/1811.12231.pdf 圖賓根大學(xué)的一個團(tuán)隊(duì)發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)看到的紋理（如大象的皮膚）比形狀（大象的輪廓）更多，即使我們在解釋圖像時看到了大象的輪廓可能是以集體高亮像素的形式。 這項(xiàng)研究告訴我們，模型可能看到的不是形狀，而是紋理，這稱為歸納偏差—由于其架構(gòu)或我們優(yōu)化它的方式而導(dǎo)致的特定類別模型的趨勢。 揭示這種傾向可以幫助我們了解模型，就像揭示人類的傾向可以用來理解人類的行為（例如不公平的決定）一樣。 這種常用于理解人類的方法也可以幫助我們理解模型。對于模型，由于其內(nèi)部結(jié)構(gòu)的構(gòu)建方式，我們還有一種工具：理論分析。 這個方向的工作已經(jīng)在模型、優(yōu)化器和損失函數(shù)的行為方面產(chǎn)生了令人興奮的理論結(jié)果。有些利用統(tǒng)計(jì)學(xué)、物理學(xué)、動力系統(tǒng)或信號處理中的經(jīng)典工具，許多來自不同領(lǐng)域的工具在人工智能的研究中還有待探索。 追求科學(xué)并不意味著我們應(yīng)該停止實(shí)踐：科學(xué)使我們能夠根據(jù)原理和知識構(gòu)建工具，而實(shí)踐則將理念變?yōu)楝F(xiàn)實(shí)。

論文鏈接：https://hal.inria.fr/inria-00112631/document 實(shí)踐也可以啟發(fā)科學(xué)：在實(shí)踐中行之有效的東西可以為科學(xué)結(jié)構(gòu)化的模型結(jié)構(gòu)提供參考，就如同2012年的高性能卷積網(wǎng)絡(luò)激發(fā)了許多分析為什么卷積有助于泛化的理論論文一樣。 Reza Zadeh：讓ML模型主動學(xué)習(xí) Reza Zadeh是計(jì)算機(jī)視覺公司Matroid 的創(chuàng)始人兼CEO，畢業(yè)于斯坦福大學(xué)，他的研究領(lǐng)域是機(jī)器學(xué)習(xí)、分布式計(jì)算和離散應(yīng)用數(shù)學(xué)，同時也是 Databricks 的早期成員。 他認(rèn)為，在即將到來的2023將會是主動學(xué)習(xí)騰飛的一年。

隨著我們進(jìn)入新一年，人們希望生成AI的爆炸式增長將在主動學(xué)習(xí)（Active Learning）方面帶來重大進(jìn)展。 這種技術(shù)使ML系統(tǒng)能夠生成自己的訓(xùn)練示例并對它們進(jìn)行標(biāo)記，而在大多數(shù)其他形式的機(jī)器學(xué)習(xí)中，算法被賦予一組固定的示例，并且通常只能從這些示例中學(xué)習(xí)。

那么主動學(xué)習(xí)可以給機(jī)器學(xué)習(xí)系統(tǒng)帶來什么呢？

適應(yīng)不斷變化的條件

從更少的標(biāo)簽中學(xué)習(xí)

讓人們了解最有價值/最困難的實(shí)例

實(shí)現(xiàn)更高的性能

主動學(xué)習(xí)的理念已經(jīng)存在了幾十年，但從未真正流行起來。以前，算法很難生成供人類評估并可推進(jìn)學(xué)習(xí)算法的圖像或句子。 但隨著圖像和文本生成AI的大火，主動學(xué)習(xí)有望取得重大突破。現(xiàn)在當(dāng)學(xué)習(xí)算法不確定其編碼空間的某些部分的正確標(biāo)簽時，它可以主動從該部分生成數(shù)據(jù)以獲取輸入。 主動學(xué)習(xí)有可能徹底改變機(jī)器學(xué)習(xí)的方式，因?yàn)樗试S系統(tǒng)隨著時間的推移不斷改進(jìn)和適應(yīng)。 主動學(xué)習(xí)系統(tǒng)不依賴于一組固定的標(biāo)記數(shù)據(jù)，而是可以尋找新的信息和示例，以幫助它更好地理解它試圖解決的問題。 這可以帶來更準(zhǔn)確和有效的機(jī)器學(xué)習(xí)模型，并且減少對大量標(biāo)記數(shù)據(jù)的需求。 我對主動學(xué)習(xí)在生成AI的最新進(jìn)展之上充滿期待。進(jìn)入新的一年，我們很可能會看到更多實(shí)施主動學(xué)習(xí)技術(shù)的機(jī)器學(xué)習(xí)系統(tǒng)，2023 年可能是主動學(xué)習(xí)真正騰飛的一年。

審核編輯 ：李倩