各自上路,改寫(xiě)AI故事。
谷歌人工智能領(lǐng)域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員Llion Jones證實(shí),他將于本月晚些時(shí)候離開(kāi)谷歌日本公司并計(jì)劃在休假后創(chuàng)辦一家公司。
Llion Jones對(duì)媒體表示:"離開(kāi)谷歌并不是一個(gè)容易的決定,與谷歌一起度過(guò)了美妙的十年,但現(xiàn)在是時(shí)候嘗試一些不同的東西了。考慮到人工智能的發(fā)展勢(shì)頭和進(jìn)展,我覺(jué)得現(xiàn)在也是建立新公司的好時(shí)機(jī)"。
自2017年出版以來(lái),《Attention Is All You Need》轟動(dòng)硅谷。該論文介紹了Transformer的概念,這種系統(tǒng)可以幫助人工智能模型將其正在分析的數(shù)據(jù)中最重要的信息歸零。Transformer 現(xiàn)在是大型語(yǔ)言模型的關(guān)鍵構(gòu)建塊,該技術(shù)是 OpenAI 的 ChatGPT 等流行人工智能產(chǎn)品的基礎(chǔ)。
隨著Llion Jones的離開(kāi),這篇論文所有八位作者都已離開(kāi)谷歌。
人們也許不認(rèn)識(shí)他們的臉,或者沒(méi)聽(tīng)過(guò)他的名字,但只需要5秒鐘,就可以介紹他們的身份——“他們創(chuàng)作了ChatGPT中的“T”。
來(lái)源:PitchBook
谷歌為何失去“Transformer八子”
Transfomer是谷歌最重要的發(fā)明之一,它最初是在午餐時(shí)設(shè)計(jì)出來(lái)的。2017年,Alphabet公司加利福尼亞山景城總部的研究人員在中午用餐時(shí)談?wù)撊绾巫層?jì)算機(jī)更高效地生成文本。在接下來(lái)的5個(gè)月里,他們進(jìn)行了實(shí)驗(yàn),并在沒(méi)有意識(shí)到他們所發(fā)現(xiàn)的問(wèn)題的重要性的情況下,將他們的發(fā)現(xiàn)寫(xiě)成了一篇名為 《Attention is All You Need 》的研究論文。
隨后,他們帶來(lái)了人工智能的飛躍。
這篇論文的八位作者創(chuàng)建了Transformer系統(tǒng),使機(jī)器能夠比以往任何時(shí)候都更高效地生成類(lèi)似人類(lèi)的文本、圖像、DNA序列和許多其他類(lèi)型的數(shù)據(jù)。他們的論文最終被其他研究人員引用了8萬(wàn)多次,他們?cè)O(shè)計(jì)的人工智能架構(gòu)為OpenAI的ChatGPT("T "代表Transformer)、Midjourney等圖像生成工具提供了基礎(chǔ)。
谷歌與全世界分享了這一發(fā)現(xiàn),科技公司經(jīng)常開(kāi)源新技術(shù),以獲得反饋、吸引人才和建立支持者社區(qū)。
但谷歌本身并沒(méi)有立即使用這項(xiàng)新技術(shù)。在谷歌努力將其尖端研究成果轉(zhuǎn)化為可用服務(wù)的過(guò)程中,該系統(tǒng)處于相對(duì)休眠狀態(tài)長(zhǎng)達(dá)數(shù)年之久。但另一家公司OpenAI,它利用了谷歌的發(fā)明,對(duì)這家搜索巨頭發(fā)起了多年來(lái)最嚴(yán)重的威脅。
谷歌哪里出了問(wèn)題?
一個(gè)明顯的問(wèn)題是規(guī)模。根據(jù)人工智能公司 Glass.ai 的估計(jì),谷歌擁有一支由 7,133 名員工組成的隊(duì)伍,而其員工總數(shù)約為 140,000 人。Glass.ai 今年早些時(shí)候掃描了 LinkedIn 的個(gè)人資料,以識(shí)別大型科技公司的人工智能員工。相比之下,OpenAI 引發(fā)了一場(chǎng) AI 軍備競(jìng)賽,其員工規(guī)模要小得多——到 2023 年,大約 375 名員工中約有 150 名 AI 研究人員。
谷歌的龐大規(guī)模意味著科學(xué)家和工程師在創(chuàng)建 Transformer 時(shí)必須經(jīng)過(guò)多層管理才能批準(zhǔn)想法。谷歌智庫(kù)(該公司主要人工智能部門(mén)之一)的研究人員也缺乏明確的戰(zhàn)略方向,導(dǎo)致許多人沉迷于職業(yè)發(fā)展和研究論文的知名度。
另一個(gè)問(wèn)題在于,將創(chuàng)意轉(zhuǎn)化為新產(chǎn)品的門(mén)檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來(lái)時(shí)說(shuō)道,“除非(一個(gè)想法)能成為一項(xiàng)價(jià)值十億美元的業(yè)務(wù),否則谷歌不會(huì)采取行動(dòng)。”但建立一個(gè)價(jià)值十億美元的業(yè)務(wù)需要不斷的迭代和面對(duì)大量問(wèn)題,這是谷歌并不總是容忍的。
谷歌的一位女發(fā)言人表示,該公司 "為我們?cè)赥ransformer的行業(yè)定義性、突破性工作感到自豪,并為它所創(chuàng)造的人工智能生態(tài)系統(tǒng)而感到振奮,包括讓我們的研究員在谷歌公司外推進(jìn)他們的研究與其他人合作并且發(fā)現(xiàn)新機(jī)會(huì)。"
德語(yǔ)流利的 Uszkoreit 注意到,這項(xiàng)新技術(shù)可以比谷歌翻譯更準(zhǔn)確地將英語(yǔ)翻譯成德語(yǔ)。但谷歌本身花了很長(zhǎng)時(shí)間才將該技術(shù)應(yīng)用到其免費(fèi)翻譯工具或其語(yǔ)言模型 BERT 中,而且該公司從未將其部署在任何人都可以測(cè)試的聊天機(jī)器人中。也就是說(shuō),直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發(fā)布了Bard。
多年來(lái),這些研究員們見(jiàn)證了他們的想法被其他人應(yīng)用到一系列任務(wù)中,從 OpenAI 的 ChatGPT 早期迭代到 DALL-E,從 Midjourney 的圖像工具到 DeepMind 的蛋白質(zhì)折疊系統(tǒng) AlphaFold。很難不注意到最令人興奮的創(chuàng)新發(fā)生在山景城之外。
在某種程度上,谷歌成為了自身成功的受害者。它的隊(duì)伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學(xué)家,并且在 2017 年就已經(jīng)在使用尖端的人工智能技術(shù)來(lái)處理文本。許多研究人員的心態(tài)是“如果它沒(méi)有壞,就不要修理它。”
價(jià)值40億美元的AI巨星們
共同撰寫(xiě)2017年論文的研究人員離開(kāi)谷歌后,他們繼續(xù)創(chuàng)辦創(chuàng)業(yè)公司,包括生產(chǎn)企業(yè)軟件的Cohere,以及由Noam Shazeer創(chuàng)辦的Character.ai,Noam Shazeer是該小組中在谷歌任職時(shí)間最長(zhǎng)的人,曾被視為公司的人工智能傳奇人物。
根據(jù)研究公司Pitchbook和價(jià)格追蹤網(wǎng)站CoinMarketCap的估值統(tǒng)計(jì),他們的企業(yè)總價(jià)值約為41億美元。可以說(shuō),他們是硅谷的人工智能的“貴族”。
八位作者在谷歌的工作時(shí)長(zhǎng)
Polosukhin此后創(chuàng)辦了一家區(qū)塊鏈公司。Vaswani和 Niki Parmar 創(chuàng)辦了企業(yè)軟件公司 Essential.ai。Uszkoreit 喜歡挑戰(zhàn)人工智能研究的現(xiàn)狀——他的觀點(diǎn)是,如果它還沒(méi)有被打破,那就打破它,此后他與他人共同創(chuàng)立了一家名為 Inceptive Nucleics 的生物技術(shù)公司。
2016 年,Uszkoreit探索了人工智能中“注意力”的概念,即計(jì)算機(jī)區(qū)分?jǐn)?shù)據(jù)集中最重要的信息。一年后的午餐時(shí),三人討論了如何利用這個(gè)想法來(lái)更有效地翻譯單詞。當(dāng)時(shí)的谷歌翻譯很笨拙,尤其是對(duì)于非拉丁語(yǔ)言。“漢語(yǔ)轉(zhuǎn)俄語(yǔ)太糟糕了,”P(pán)olosukhin回憶道。
其中一個(gè)問(wèn)題在于循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列中的單詞。它很慢并且沒(méi)有充分利用可以同時(shí)處理大量任務(wù)的芯片。家用計(jì)算機(jī)中的 CPU 可能有四個(gè)“核心”,用于處理和執(zhí)行指令,但用于處理人工智能系統(tǒng)的服務(wù)器中的 CPU 有數(shù)千個(gè)核心。這意味著人工智能模型可以同時(shí)“讀取”句子中的許多單詞。沒(méi)有人充分利用這一點(diǎn)。
Uszkoreit 會(huì)在 Google 辦公室里走來(lái)走去,在白板上畫(huà)出新架構(gòu)的圖表,并且經(jīng)常遭到懷疑。瓊斯說(shuō),他的團(tuán)隊(duì)希望刪除當(dāng)時(shí)使用的循環(huán)神經(jīng)網(wǎng)絡(luò)中的“循環(huán)”部分,這“聽(tīng)起來(lái)很瘋狂”。但隨著Parmar, Aidan Gomez和 Lukasz Kaiser等其他一些研究人員加入該小組,他們開(kāi)始看到進(jìn)展。
曾經(jīng),硅谷“八叛逆”改變了集成電路的歷史,如今谷歌的“八叛逆”會(huì)給世界帶來(lái)怎樣的變化?
-
人工智能
+關(guān)注
關(guān)注
1791文章
47205瀏覽量
238272 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1560瀏覽量
7598
原文標(biāo)題:谷歌Transformer八子全部“出逃”,他們創(chuàng)作了ChatGPT中的“T”
文章出處:【微信號(hào):ICViews,微信公眾號(hào):半導(dǎo)體產(chǎn)業(yè)縱橫】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論