研究想法能否成功要看是否具備合適的軟硬件,而不是這個想法是否比其他研究方向優秀。
天時、地利、人和,三者不得,雖勝有殃。
——《孫子兵法》
一件事的成敗總會牽涉多個因素,例如兵法中的「天時」、「地利」、「人和」。在計算機科學歷史上,也有類似的現象,如「硬件」、「軟件」、「算法」三要素對研究想法成敗的影響。
近日,谷歌大腦研究員 Sara Hooker 寫了一篇論文,她用「硬件彩票」(hardware lottery)來描述:一個研究想法的成功是因為具備了合適的軟硬件,而不是這個想法比其他研究方向更加優秀。早期計算機科學史的許多例子表明,硬件彩票通過把成功的研究想法看作失敗,而拖慢了研究進度。而領域專用硬件的出現使研究想法偏離慣常路徑的成本增加,這就讓這一現象更加顯著。
論文地址:
https://arxiv.org/pdf/2009.06489v1.pdf
這篇論文指出,算力進步帶來的收獲可能更加不均勻,某些研究方向走上了快車道,而有的則困難重重。
人工智能領域,硬件決定 idea 的成敗
歷史告訴我們,科學進展并非是一帆風順的。知識傳統和可用工具會使科學家對特定想法形成不同的認知,這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出,在人工智能研究領域中,工具對于判斷研究想法的成敗起到了絕大部分的作用。
這篇論文用「硬件彩票」來描述這一現象:一個研究想法的成功是因為它可以與當時的軟硬件兼容,而不是因為這個想法比其他研究方向優秀。在早期計算機科學史上,軟硬件選擇常常對決定研究想法的成敗起到決定性作用。
隨著我們進入軟件、硬件和機器學習研究社區更加緊密合作的新時代,這些經驗愈發凸顯。過去幾十年,人們將硬件、軟件和算法看作割裂的選項,但促使近期三者更加緊密協作的催化劑就包括正在改變的硬件、深度學習架構「規模越大性能越好」的理念,以及將機器學習部署到邊緣設備的需求。
軟硬件和機器學習算法之間更緊密合作的核心是新一代領域專用硬件,它們針對深度神經網絡的商用進行了優化。盡管領域專用硬件為主流深度神經網絡研究帶來了重要的效率提升,但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場意味著基于算力進展獲得的收益將變得更加不均衡。盡管深度神經網絡已經有了明確的商用場景,但目前已經出現了早期信號,提醒我們要實現 AI 的下一個突破可能需要完全不同的算法、硬件和軟件組合。
硬件、軟件、算法:三個獨立的部落
對于首批計算機的創造者而言,程序是機器。早期的機器是單獨使用的,且不會適應新的任務,原因在于電子器件成本高且缺乏跨任務的軟件。
查爾斯 · 巴貝奇的差分機僅用于計算多項式函數 (1817)。美國第一部大尺度自動數位電腦馬克一號(Mark I)是可編程計算器(1944)。Rosenblatt 的感知器用來計算 step-wise 單層網絡(1958)。甚至常被認為是首批可編程機器的雅卡爾織布機重新穿孔的成本也很高,因此它通常只穿孔一次 (1804)。
這些早期計算機的專用性是出于當時的需要,而不是計算機設計師認為一次性的定制硬件更好。但是,需要指出的是,人類智能本身就是算法和機器的結合。我們一生中不會長出多個大腦。而人類智能的概念本質上與 1400g 腦組織和大腦中 850 億神經元之間的連接密切相關。當我們談論人類智能時,你腦海中浮現出的圖像可能是粉色帶褶皺的一團(
-
算法
+關注
關注
23文章
4622瀏覽量
93057 -
硬件
+關注
關注
11文章
3348瀏覽量
66305 -
人工智能
+關注
關注
1792文章
47425瀏覽量
238969
發布評論請先 登錄
相關推薦
評論