來源：智源社區

近日，吳恩達在圣誕節的《The Batch》特刊上發布了一年一度的年終盤點。在過去的一年，生成式AI迎來爆發式增長，由人工智能生成的圖片在社交平臺瘋狂傳播，引發大量爭議的同時也推動了投資；視覺 Transformer(ViT) 的工作也出現爆炸性增長，在過去一年中，研究人員共計發表超過 17,000 篇 ViT 論文；AlphaCode、Codex 等的推出便利了開發者，大受歡迎；與此同時，研究人員也在不斷拓寬語言模型的邊界，在解決可信度、偏見和實時性等問題方面做出持續不斷的努力。

親愛的朋友們：

隨著寒假的臨近，我突然想到，我們不是在面對人工智能的冬天，而是在一個人工智能炙熱的夏天。

今天，人工智能創造的絕大多數經濟價值都來自監督式學習工具，經過訓練能夠生成簡短的標簽(如判斷垃圾郵件/非垃圾郵件)或一系列標簽(如一段音頻的文本）。今年，建立在監督式學習之上的生成式成為第二個主要工具，使人工智能能夠生成復雜且引人注目的圖像或文本段落。

以往開發重要新工具（例如強化學習）的一些嘗試，尚未取得與其鋪天蓋地的宣傳相稱的成果。但是生成式AI做得很好，它為人工智能應用創造了一個新的范式。

而且監督學習還遠遠沒有發揮出它的全部潛力！依靠監督學習，仍然有數以百萬計的的應用有待開發。許多團隊仍然在試圖找出通過監督學習開發產品的最佳實踐。

未來，我期待著繼續與生成式AI共舞，為每個人創造大量的價值。我感到很幸運能活在這個時代，科技飛速發展，我們有機會一起創造未來！能與我的家人和你們分享這個世界，我感到倍加幸運。

節日快樂，

Andrew

2022：人工智能閃耀的一年

節日將近，人們也許正一邊手捧著一杯熱可可，一邊催促 ChatGPT 建議節日禮物。這個特殊的時刻，讓我們回顧這一年人工智能所取得的巨大進步。能夠生成類人的文本、圖像和代碼的系統（視頻和音樂也即將推出）讓用戶倍感驚喜，盡管有人對創造力的未來提出了質疑。 這一年，解碼化學和物理學的模型推動了科學發現，同時政府則采取行動推動專用微處理器的供應，使這種創新成為可能。這些科技發展讓我們震驚的同時，在這期《 The Batch 》特刊中，我們將著重回顧人工智能在2022年創造的奇跡。

合成圖像遍天下

大事件: 新一代的文生圖工具激發了大量的實驗，將文本描述轉化為迷人的藝術作品和照片，引發超現實主義的幻想。商業企業迅速將這項技術投入使用，使圖像生成成為創建和編輯圖形軟件的必備功能。
背后的驅動力：由于友好的用戶界面、具有高度娛樂性的輸出以及開放的 API 和模型，能夠生成文字和圖像的模型成為人工智能的公眾名片。

• OpenAI 在四月份推出了 DALL-E 2。超過150萬用戶測試了這個模型，今年9月，公司將它推向了市場。微軟為 OpenAI 提供資金，以換取其作品的獨家商業版權，并將該模式整合到 Azure AI-as-a-service 平臺中。
• 7月，只需操作按鈕的藝術家們用簡單的 Craiyon 制作的相對粗糙的圖片，這些圖片在社交平臺上隨處可見。
• Stability AI很快就加大了賭注，推出了開源的擴散模型（Stable Diffusion），最終吸引了超過1億美元的新資金。擴散模型于去年11月升級到2.0版。
• Adobe、Getty Images 和 Shutterstock 將圖像生成模型集成到他們自己的產品和服務中。
• 這些應用根據給出的文本提示（prompt）會產生截然不同的結果。PromptBase 為生成有趣輸出的文本字符串打開了一個市場。

缺點：這樣的模特是在從網上搜刮來的圖像上訓練的。像大型語言模型一樣，他們繼承了嵌入在網絡內容中的偏見，可能會模仿煽動性的表達風格。

Lensa AI 是一款照片編輯應用程序，可以根據用戶的自拍生成藝術化身，它登上了app商店排行榜的榜首。它的成功帶來了一定程度的爭議，因為用戶，尤其是女性，發現這個app使她們的圖片變得更加性感。

視覺藝術家在線社區 ArtStation 推出了自己的“文字到圖像”功能。許多藝術家感到受到電腦程序的威脅，這些程序可以在幾秒鐘內復制藝術家來之不易的個人風格，因此開始抵制該網站。

新聞背后: 擴散模型經過一系列步驟有選擇地去噪來產生輸出。加州大學伯克利分校和斯坦福大學的研究人員于2015年引入了這一技術，在此之后的幾年里，他們一直處于幕后，直到最近的研究表明，他們能夠制作出與生成性對抗網絡(GAN)輸出相競爭的圖像。Stability AI 把擴散模型放在核心位置。DALL-E 初始版本基于GAN，OpenAI在大約同一時間用擴散模型對其進行了更新。

現狀：來年將迎來一場計算機輔助創造力的革命。生成圖像的風潮不會止步于圖片。谷歌和 Meta 今年發布了令人印象深刻的文本到視頻模型，而 OpenAI 將文本到 3D物體的生成速度提高到了一個新高度。

程序員的好朋友—編程工具大顯身手

軟件項目進度落后？有個軟件可以幫你。

大事件：事實證明，經過計算機代碼微調的語言模型能夠生成類似于經驗豐富的開發人員編寫的軟件例程ーー盡管結果可能是偶然的。背后的驅動力：人工智能驅動的代碼生成器進入了大公司，甚至小規模公司的開發人員（和非開發人員）也可以訪問它們。

• 今年年初，Ebay 將低代碼工具交到非工程師手中，使他們能夠在沒有人工智能或機器學習知識的情況下構建和部署模型。
• 今年 2 月，DeepMind 推出了 AlphaCode，這是一款用 12 種編程語言對 8600 萬個程序進行預訓練的 Transformer，并針對編碼競賽的內容進行了微調。通過推理，它產生了一百萬種可能的解決方案，并過濾掉了不佳的解決方案。通過這種方式，它在 10 次編程競賽中擊敗了一半以上的參賽者。

今年 6 月，GitHub 開放了 Copilot 的訪問權限，這是一個能夠實時提供代碼建議的自動完成系統。雖然學生和經過驗證的開源開發者可以免費訪問，但用戶需要支付訂閱費。

新聞背后：OpenAI 的 GPT-3語言模型的用戶表明，它最早可以在 2020 年中期生成工作代碼。一年后，OpenAI 推出了一個經過微調的版本，名為 Codex，它是 GitHub 的 Copilot 的基礎。
缺點：這種技術的廣泛使用的版本還不能編寫復雜的程序。通常乍一看，它們的輸出看起來是正確的，但實際上卻存在錯誤。此外，它們的法律地位可能還有待商榷。一項針對 GitHub、 OpenAI 和微軟的集體訴訟聲稱，Codex 的訓練違反了開源許可協議。這一結果可能會對生成文本、圖像和其它媒體數據的模型產生法律影響。現狀：人工智能驅動的編程工具不太可能在不久的將來取代人類程序員，但它們可能會取代技術問答網站 Stack Overflow，成為開發人員最依賴的輔助工具。

人工智能之眼進化

視覺 Transformer(ViT) 的工作在 2022 年出現爆炸性增長。大事件：在這一年中，研究人員發表了超過 17,000 篇 ViT 論文。其中一個主題是: 將自注意力和卷積結合起來。背后的驅動力：谷歌大腦的一個團隊在 2020 年引入了視覺 Transformer 。從此，視覺 Transformer 的架構經歷了不斷的改進。一系列最近的工作使 ViT 適應新的任務并解決其缺點。

• 用海量數據訓練 ViT 可以得到最好的性能，因此 Meta 和索邦大學的研究人員專注于提高 ViT 在包含數百萬條數據的數據集上的性能。他們利用 Transformer 特有的已建立的程序（如數據增強和模型正則化）的適配來提高模型性能。
• Inha 大學的研究人員修改了兩個關鍵部件，使得 ViT與卷積神經網絡更相似。首先，他們將圖像分割成重疊更多的圖塊（patch）。其次，他們修改了自注意力機制，使其關注與圖塊相鄰的圖塊，而不是圖塊本身，并使其能夠學習是否更均勻或更有選擇性地權衡相鄰的圖塊。這些修改極大地提高了精度。

印度理工學院孟買校區的研究人員為 ViT 配備了卷積層。由于重量共享機制，卷積帶來了像素的局部處理和更小的內存占用等好處。在精度和速度方面，他們的卷積 ViT 優于普通的 ViT 和運行時優化的 Transformer（如 Performer，Nystr?former 和線性 Transformer）。其他團隊采取了類似的方法。

新聞背后：盡管許多 ViT 研究旨在超越并最終取代卷積神經網絡(CNN) ，但更有力的趨勢是將二者結合起來。ViT 的優勢在于它能夠在小尺度和大尺度上考慮圖像中所有像素之間的關系。但這種模型的一個缺點是，它需要通過額外的訓練來學習隨機初始化后融入 CNN 架構的方法。CNN 的局部上下文窗口（只考慮局部像素問題）和權重共享（使它能夠以相同的方式處理不同的圖像位置）幫助 Transformer 利用更少的數據中學習更多。
現狀：在過去的一年中，視覺 Transformer 的應用范圍擴大了。ViT 可以生成逼真的連續視頻幀，利用 2D 圖像序列生成3D 場景，并在點云中檢測目標。很難想象在沒有 ViT 的情況下，最近研究者們能夠取得基于擴散模型的文本到圖像生成器的進展。

語言模型持續擴展

研究人員推動了語言模型的邊界，以解決可信度、偏見和可更新性等持續存在的問題。

大事件: 許多人工智能實驗室的目標是通過改進數據集和訓練方法（包括訓練 Transformer 翻譯1000 種語言的方法）使大規模語言模型更加復雜，而其它實驗室則擴展了模型架構，以搜索 Web 網頁、查閱外部文檔和適應新信息。背后的驅動力: 語言模型產生似是而非的文本的能力超過了它們辨別事實、避免編造幻想和表達社會偏見的能力。研究人員致力于使他們的研究結果更加可靠，而不是那么具有煽動性。

• 2021 年底，DeepMind 提出了 RETRO 模型，該模型可以從 MassiveText 數據集中檢索段落，并將其整合到輸出中。
• AI21 實驗室春季發布的 Jurassic -X 引入了一系列模塊——包括一個計算單元和一個查詢維基百科的系統——利用事實核查語言模型對數學問題、歷史事實等的答案。
• 斯坦福大學和洛桑聯邦理工學院的研究人員創建了 SERAC 系統，該系統可以用新的信息更新語言模型，而無需重新訓練它們。他們使用單獨的系統存儲新數據，學習為與該數據相關的查詢提供輸出。
• Meta 構建了語言模型 Atlas，通過從文檔數據庫中檢索信息來回答問題。8 月份發布后，這一方法使 110 億參數的 Atlas 在回答問題時的表現超過了具有 5400 億參數的 PaLM。
• 今年晚些時候，OpenAI 對 ChatGPT 進行了微調，從而最小化不真實、有偏見或有害的輸出。人類對模型的訓練數據質量進行排名，然后用強化學習算法對模型產生的輸出給出獎勵，這些輸出與排名靠前的輸出類似。

這些技術發展加強了對語言評測基準的需求，從而評估更多樣化和微妙的能力。為此，超過130 個機構合作開發了“BIG-bench”，它包括根據表情符號推斷電影名稱、參與模擬審查以及檢測邏輯謬誤等任務。

新聞背后: 進展過程并非一帆風順。Meta 公開演示的 Galactica 語言模型，被訓練用于生成科學和技術主題的文本。在 11 月份上線三天后，開發者因為它容易生成虛假信息和引用不存在的信息來源而停止演示。今年 8 月，同樣來自 Meta 的聊天機器人 BlenderBot 3 很快就因滔滔不絕的種族主義成見和陰謀論而飽受爭議。現狀: 在過去的一年中，文本生成中考慮生成結果真實、得體的工具箱大幅度增長。成功的技術將在未來的某項“爆款”模型引發的浪潮中找到前進的道路。

全能模型

大事件：某些多任務深度學習模型在數百個任務中證明了它們所向披靡。多任務模型的范疇在過去的一年里急劇擴大。

背后驅動力：研究人員推動了神經網絡可以學習技能數量的極限。他們的靈感來自于大規模語言模型的新興技能ーー比如，在不調整架構的情況下創作詩歌和編寫計算機程序的能力ーー以及經過文本和圖像訓練的模型找到不同數據類型之間對應關系的能力。

今年春天，谷歌的 PalM在涉及語言理解和生成的數百項小樣本學習任務中取得了目前最優的結果。在某些情況下，它的表現優于經過微調的模型或人類的平均表現。

不久后，DeepMind 推出了一款名為 Gato 的 Transformer 模型，它學會了完成 600 多種不同的任務ーー玩 Atari 游戲、用機器臂堆積木、生成圖片描述等等ーー盡管不一定比專門用于這些任務的獨立模型更好。該系統同時接受了多種數據集的監督訓練（從文本、圖像到強化學習智能體生成的動作等）。

• 隨著這一年接近尾聲，谷歌研究人員也將類似的能力引入了機器人領域。RT-1 是一種使機器人能夠執行超過 700 項任務的 Transformer模型。該系統對動作和圖像進行詞例化，利用近一年半的機器人隊伍收集的 130,000 個 episode 構成的數據集學習。與先前的技術相比，它在新的任務、環境和對象中取得了出色性能。

新聞背后: 歐盟擬議的 AI 法案的最新草案可能在 2023 年成為法律，該草案將要求通用 AI 系統的用戶向當局注冊，評估其系統的潛在的誤用可能，并進行定期審計。草案將通用系統定義為那些“執行通用功能的系統，如圖像/語音識別、音頻/視頻生成、模式檢測、問答、翻譯等”，并且能夠“具有多種預期和非預期目的”，一些觀察家批評該定義過于寬泛。新出現的真正通用的模型可能促使監管機構收緊其定義。

現狀: 我們仍然處于構建算法的早期階段，這些算法可以泛化到數百個不同的任務上。這一年的進展表明，深度學習有潛力幫助我們實現這一目標。