AI改變世界不再是將來時而是正在進行時。在新的十年開啟之際，各行業AI頂尖人物重新審視了2019年在該領域取得的進步，并展望了機器學習在2020年的發展前景。本文介紹了PyTorch的創建者Soumith Chintala、加利福尼亞大學教授Celeste Kidd、谷歌AI負責人Jeff Dean、英偉達機器學習研究總監Anima Anandkumar和IBM研究總監Dario Gil對過去一年AI發展的回顧及新的一年對其發展的期許。

PyTorch的董事、首席工程師和創建者Soumith Chintala

PyTorch是當今世界上最受歡迎的機器學習框架。PyTorch是2002年引入的Torch開源框架的衍生產品，于2015年開始使用，并在擴展和庫方面不斷穩步增長。

今年秋天，Facebook發布了帶有量化和TPU支持的PyTorch 1.3，以及深度學習可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵機器學習（ML）實踐者實現可重復性。

Chintala曾表示，2019年他幾乎沒有看到機器學習取得什么突破性進展。

“實際上，我認為自Transformer模型以來，就沒有做出什么具有開創性的事情。ConvNets在2012年進入黃金時段，而Transformer則在2017年左右。這是我個人的看法，”他說。

他繼續稱DeepMind的AlphaGo在強化學習方面的貢獻是具有開創性的。但是他說，對于現實世界中的實際任務而言，很難實現這一結果。

Chintala還認為，機器學習框架（如PyTorch和谷歌的TensorFlow）的發展已改變了研究人員探索思想和開展工作的方式，這些機器在當今的ML實踐者中廣受歡迎。

今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經網絡硬件加速器的重要性和采用率呈“爆炸式增長”模式。

“有了PyTorch和TensorFlow，你就已經看到了框架的融合。量化和其他較多低級別效率的出現是因為下一場戰爭將從框架的編譯器XLA、TVM和PyTorch的Glow處開始，即將出現大量的創新，”他說。“在接下來的幾年中，你將看到如何更智能地量化、如何更好地融合、如何更有效地使用GPU以及如何自動為新硬件進行編譯。”

與大多其他領域的AI專家一樣，Chintala預測2020年，AI社區將會把更多的價值放在AI模型性能上，而不僅僅是準確性，并開始將注意力轉移到其他重要因素上，比如創建模型所需的力量以及AI如何更好地反映人們想要建立的社會類型。

“回顧過去的五六年，你會發現我們只關注準確性和原始數據，例如英偉達的模型更準確嗎？Facebook的模型更準確嗎？我認為2020年將是我們開始（以更復雜的方式）進行思考的一年，”Chintala表示。

加州大學伯克利分校的發展心理學家Celeste Kidd

Celeste Kidd是加州大學伯克利分校基德實驗室的主任，她和她的團隊在這里探索孩子們的學習方式。他們的見解可以幫助神經網絡的創建者，這些創建者正在嘗試以與撫養孩子相似的方式來訓練模型。

她說：“嬰兒沒有得到標記的數據集，但是它們管理得很好，對我們而言重要的是要了解這種情況是如何發生的。”

讓Kidd在2019年感到驚訝的一件事是，越來越多的神經網絡創建者開始低估自己或其他研究人員的工作，因為他們無法做嬰兒可以做的事情。

她說，當你對嬰兒的行為進行平均計算時，你會看到有證據表明他們實際上了解某些事情，但他們絕對不是完美的學習者，而這種談話對嬰兒的行為描述得過于樂觀。

她說：“嬰兒很棒，但他們會犯很多錯誤，并且人們在與嬰兒做對比時比較隨便，這都是為了使嬰兒行為在人口層面上理想化。我認為你目前所知道的與下一步想要了解的信息之間的聯系將會越來越密切。”

在人工智能領域，“黑匣子”這個詞已經存在多年。它曾經被用來批評神經網絡缺乏可解釋性，但Kidd認為，2020年可能意味著結束人們對神經網絡無解釋性這一認知。

她說：“黑匣子的論點是假的……大腦也是黑匣子，但我們在理解大腦如何工作方面卻取得了很大進步。”

在揭開對神經網絡認識的神秘面紗時，Kidd著眼于MIT-IBM Watson AI Lab執行總監Aude Oliva等人的工作。

“我們當時正在談論這個問題，我說過該系統是一個黑匣子，她責備我說他們當然不是黑匣子。當然，你可以將它們分解并拆開，看看它們如何工作并對其進行實驗，就像我們為理解認知所做的一樣，”Kidd說。

上個月，Kidd在神經信息處理系統（NeurIPS）會議上發表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點關注人腦如何固守頑固的信念、注意力系統和貝葉斯統計。

她說，Goldilocks提供信息的區域介于一個人以前的興趣和理解之間，而這對他們來說是令人驚訝的，因為人們通常傾向于較少參與過度令人驚訝的內容。

她還提到沒有中立的技術平臺，并且她會將注意力轉向內容推薦系統的創建者如何操縱人們的信念。追求最大參與度的系統可能會對人們形成信念和觀點的方式產生重大影響。

Kidd在演講的最后談到了機器學習中對男性的誤解，即與女性同事獨處會導致性騷擾指控并威脅到男性的職業發展。她說，這種誤解實際上是會損害女性在該領域的職業發展。

因在羅切斯特大學發表過涉及性行為不端的言論，Kidd與其他女性一起被評為2017年“年度人物”。這些女性幫助實現了我們現在所說的#MeToo運動，以平等對待女性。當時，Kidd認為此次大聲疾呼將結束她的職業生涯。

在2020年，她希望看到人們對技術工具和技術決策對現實生活影響的認識有所提高，不贊同工具制造商不應對人們如何使用這些工具負責這一說法。

“我聽到很多制造商說自己不是真理的審判者，并以此來逃避責任，但是我覺得必須正視這一說法的不誠實性。作為社會的一員，尤其是作為從事與這些工具相關工作的人員，我們的確需要意識到隨之而來的責任，”Kidd說。

谷歌AI總監Jeff Dean

Dean領導谷歌AI已有近兩年時間，但他實際上已經在谷歌工作了二十年，是該公司許多早期搜索和分布式網絡算法的架構師，也是Google Brain的早期成員。

Dean上個月在NeurIPS上就ASIC半導體設計的機器學習以及AI社區應對氣候變化的方式進行了演講，他說這是我們這個時代最重要的問題。在關于氣候變化的討論中，Dean討論了AI可以努力成為零碳行業以及AI可以用來幫助改變人類行為的想法。

他預計到2020年，多模式學習領域將取得進展，這是一種依靠多種媒體進行訓練的AI，而多任務學習則涉及旨在一次可完成多個任務的網絡。

毫無疑問，2019年最大的機器學習趨勢之一是基于Transformer的自然語言模型的持續增長和擴散，該模型曾被稱為近年來人工智能最大的突破之一。谷歌于2018年開源了基于Transformer的模型BERT。根據GLUE排行榜，今年發布的許多性能最高的模型（比如谷歌的XLNet、微軟的MT-DNN和Facebook的RoBERTa）都基于Transformer。相關人士表示，XLNet 2將于本月晚些時候發布。

Dean指出了已經取得的進展，他說：“我認為整個研究線程在實際產生機器學習模型方面成果顯著，不過盡管現在讓我們做的機器學習模型比過去復雜得多，但仍然有很大的進步空間。我們仍然希望能夠執行更多與語境相關的模型。像現在這樣，BERT和其他模型可以很好地處理數百個單詞，但不能處理含1萬個單詞左右的文章。因此，這是一個有趣的研究方向。”Dean希望少強調一些最新技術，而傾向于創建更強大的模型。

谷歌AI還將努力推進新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內部項目，旨在制造能夠在家庭和工作場所完成日常任務的機器人。

英偉達機器學習研究總監Anima Anandkumar

Anandkumar在擔任AWS首席科學家后加入了GPU制造商英偉達。在英偉達，人工智能研究在多個領域進行，從醫療保健的聯合學習到自動駕駛，再到超級計算機和圖形學。

2019年，英偉達和Anandkumar在機器學習方面的研究重點主要是強化學習的仿真框架，這些框架也越來越受歡迎和成熟。

在2019年，我們看到了英偉達的Drive自動駕駛平臺和Isaac機器人模擬器的興起，以及從模擬和生成對抗網絡（GAN）生成綜合數據模型的興起。

去年該公司還迎來了AI的興起，例如StyleGAN和GauGAN。上個月，StyleGAN2也已經面世。

GAN是可以模糊現實界限的技術，Anandkumar認為，它們可以幫助AI社區嘗試解決一些主要挑戰，例如如何抓住機器人的手和自動駕駛。

Anandkumar還希望迭代算法、自我監督和自主訓練模型的方法在未來一年能取得進展，這些模型可以通過對未標記數據進行自訓練來改進。

“我認為各種不同的迭代算法都是未來，因為如果你只做一個前饋網絡，那么魯棒性就會成為問題，”她說。“如果你嘗試進行多次迭代，并且根據所需的數據類型或精度要求來調整迭代次數，那么實現這一目標的機會就更大了。”

Anandkumar看到了2020年AI社區面臨的眾多挑戰，例如需要與領域專家一道創建專門針對特定行業的模型。決策者、個人和AI社區也將需要應對具有代表性的問題，以及確保用于訓練模型的數據集能夠涵蓋不同的人群。

她說：“我認為面部識別問題很容易掌握，但在很多其他領域，人們還沒有意識到使用數據據信息存在隱私問題。”

Anandkumar說，面部識別獲得了最大的關注，因為很容易理解面部識別如何侵犯個人隱私，但是2020年AI社區還面臨許多其他道德問題。“我們將在如何收集數據以及如何使用數據方面經歷越來越嚴格的審查。”

在Anandkumar看來，2019年的一大驚喜是文本生成模型的發展速度。“2019年是語言模型之年。現在，我們第一次達到了在段落的長度上更連貫使用文本生成，這在之前是不可能實現的，”Anandkumar說。

在2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數，被譽為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始將模型表征為具有個性的方式感到驚訝，她期待看到更多針對特定行業的文本模型。

“我們還沒有進入對話互動的階段，對話可以保持跟蹤并進行自然對話。因此，我認為在2020年需要朝這個方向前進，”她說。

開發用于控制文本生成的框架要比開發可以訓練以識別人或物體的圖像框架更具挑戰性。文本生成模型還可能面臨例如為神經模型定義事實的挑戰。

最后，Anandkumar說，她很高興看到Kidd在NeurIPS上的演講，并被機器學習社區中越來越成熟和包容的跡象所鼓舞。

她說：“我覺得現在是分水嶺。一開始要想做點小改動都很困難，并且一不注意水壩就可能破裂了。但是現在，我希望能保持這種勢頭，并進行更大的結構改革，促進行業的蓬勃發展。”

IBM Reaserch總監Dario Gil

Gil領導的一組研究人員積極為白宮和世界各地的企業提供咨詢服務。他認為，2019年的重大飛躍包括圍繞生成模型的進步以及可產生合理語言不斷提高的質量。

他預測，在降低精度的體系結構上，更有效的訓練將繼續取得進展。更高效AI模型的開發是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學習技術。

他說：“在我們使用具有GPU架構的現有硬件訓練深度神經網絡的方式上，效率仍然遠遠不夠。因此，我們必須提高AI的計算效率，需要做更多的事情來實現這一目標。”

Gil引用相關研究表明，對機器學習訓練的需求每三個半月翻一番，這比摩爾定律所預測的增長要快得多。

Gil也對AI如何幫助加速科學發現感到興奮，但是IBM Research將主要專注于機器學習的神經符號方法。

Gil希望AI從業者和研究人員將專注于準確性以外的指標，以考慮生產中部署模型的價值。將領域轉移到構建受信任的系統，而不是將準確性放在首位，這將是繼續采用AI的中心支柱。

“社區中的某些成員可能會說，‘不用擔心，只是提供準確性。沒關系，人們會習慣這個東西有點黑匣子’，或者他們會提出這樣的論點，即人類有時不會對我們做出的某些決定產生解釋。我認為，非常重要的一點是，我們應該集中社區的智慧力量，在此方面做得更好。人工智能系統不能成為關鍵任務應用的黑匣子，”他說。

Gill相信要擺脫這樣的觀念，即只有少數機器學習向導才能做到AI，以確保更多的具有數據科學和軟件工程技能的人采用AI。

他說：“如果我們把它作為一個神話領域，只有從事此工作的博士才能進入，可這并沒有真正為它的采用做出貢獻。”

operate a program， and models that can share the reasoning behind their decisions.

2020年，Gil對神經符號AI特別感興趣。IBM將尋求神經符號方法來增強諸如概率性編程之類的功能，其中AI將學習如何操作程序以及可共享其決策背后原因的模型。

“通過與一種新的當代方法混合，這些神經符號方法將學習和推理結合在一起，其中符號維度被嵌入到學習程序中，就可以利用少量數據進行學習，”他說。“由于學習了程序，最終得到了一些可解釋的東西，并且由于你擁有了可解釋的東西，因此你有了更受信任的東西。”

他還提到，公平性、數據完整性和數據集選擇等問題將繼續引起人們的廣泛關注。與生物識別技術有關的任何事情都將如此。面部識別得到了很多關注，但這僅僅是開始。語音數據以及其他形式的生物識別技術將越來越具有敏感性。他繼續引用了哥倫比亞大學教授Rafael Yuste的話，他從事神經技術研究，并正在探索提取神經元模式的方法。

Gil說：“我以這個例子為例是想表達，在未來與人的身份、生物特征相關的領域會備受關注，人工智能在分析這些方面取得的進步將繼續處于前沿和中心位置。”

除了神經符號和常識推理外，MIT-IBM Watson Lab的一項旗艦計劃以及IBM Research在新的一年還將探索AI的量子計算以及降低精度架構之外的AI模擬硬件。

總結

機器學習正在不斷塑造著商業和社會。隨著Transformers推動該領域巨大的發展，自然語言模型的進步是2019年的主要成就。而在2020年，研究人員和專家將尋找更多基于BERT和Transformer模型的變體，并看到了一系列新的發展趨勢：

除了關注準確性外，AI行業應該尋找評估模型輸出的新方法。

諸如半監督學習、機器學習的神經符號方法以及多任務和多模式學習方法等子領域可能會在未來一年中取得進展。

與生物統計數據（如語音記錄）相關的倫理挑戰可能會繼續引起爭議。

諸如量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機器學習框架中作為優化模型性能的方式而流行起來。