如果想在 AI 領(lǐng)域引領(lǐng)一輪新浪潮，就需要使用到 Transformer。

盡管名為 Transformer，但它們不是電視銀幕上的變形金剛，也不是電線桿上垃圾桶大小的變壓器。

在上一篇《什么是 Transformer 模型（一）》中，通過(guò)對(duì) Transformer 模型進(jìn)行的深入剖析，展開了一幅 AI 領(lǐng)域的創(chuàng)新畫卷，本篇文章將聚焦于該模型在現(xiàn)實(shí)世界各個(gè)領(lǐng)域中的具體應(yīng)用，以及這些應(yīng)用如何改變我們的生活和工作方式，展望其在未來(lái)人工智能發(fā)展中的潛在影響。

讓 Transformer 發(fā)揮作用

很快，Transformer 模型就被應(yīng)用于科學(xué)和醫(yī)療領(lǐng)域。

倫敦的 DeepMind 使用一種名為 AlphaFold2 的 Transformer 加深了對(duì)蛋白質(zhì)這一生命基礎(chǔ)要素的理解。最近《自然》期刊上的一篇文章對(duì)該 Transformer 進(jìn)行了描述。這種 Transformer 能夠像處理文本字符串一樣處理氨基酸鏈，為描述蛋白質(zhì)的折疊方式打開了新的思路，這項(xiàng)研究可以加快藥物發(fā)現(xiàn)的速度。

阿斯利康和 NVIDIA 共同開發(fā)了一個(gè)專為藥物發(fā)現(xiàn)量身定制的 Transformer MegaMolBART。MegaMolBART 是該制藥公司 MolBART Transformer 的一個(gè)版本，使用 NVIDIA Megatron 在一個(gè)大型、無(wú)標(biāo)記的化合物數(shù)據(jù)庫(kù)上訓(xùn)練，以創(chuàng)建大規(guī)模 Transformer 模型。

閱讀分子和醫(yī)療記錄

阿斯利康分子 AI、發(fā)現(xiàn)科學(xué)和研發(fā)部門負(fù)責(zé)人 Ola Engkvist 在 2020 年宣布這項(xiàng)工作時(shí)表示：“正如 AI 語(yǔ)言模型可以學(xué)習(xí)句子中單詞之間的關(guān)系一樣，我們的目標(biāo)是使在分子結(jié)構(gòu)數(shù)據(jù)上訓(xùn)練而成的神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)現(xiàn)實(shí)世界分子中原子之間的關(guān)系。”

為了從大量臨床數(shù)據(jù)中提煉洞察，加快醫(yī)學(xué)研究的速度，佛羅里達(dá)大學(xué)學(xué)術(shù)健康中心與 NVIDIA 研究人員聯(lián)合創(chuàng)建了 GatorTron 這個(gè) Transformer 模型。

Transformer 增長(zhǎng)

在研究過(guò)程中，研究人員發(fā)現(xiàn)大型 Transformer 性能更好。

慕尼黑工業(yè)大學(xué) Rostlab 的研究人員推動(dòng)著 AI 與生物學(xué)交叉領(lǐng)域的前沿研究，他們利用自然語(yǔ)言處理技術(shù)來(lái)了解蛋白質(zhì)。該團(tuán)隊(duì)在 18 個(gè)月的時(shí)間里，從使用具有 9000 萬(wàn)個(gè)參數(shù)的 RNN 升級(jí)到具有 5.67 億個(gè)參數(shù)的 Transformer 模型。

Rostlab 研究人員展示了在沒(méi)有標(biāo)記樣本的情況下訓(xùn)練的語(yǔ)言模型所捕捉到的蛋白質(zhì)序列信號(hào)

OpenAI 實(shí)驗(yàn)室的生成式預(yù)訓(xùn)練 Transformer（GPT）證明了模型的規(guī)模越大越好。其最新版本 GPT-3 有 1750 億個(gè)參數(shù)，而 GPT-2 只有 15 億個(gè)。

憑借更多的參數(shù)，GPT-3 即使在沒(méi)有經(jīng)過(guò)專門訓(xùn)練的情況下，也能回答用戶的問(wèn)詢。思科、IBM、Salesforce 等公司已經(jīng)在使用 GPT-3。

巨型 Transformer 的故事

NVIDIA 和微軟在 2022 年 11 月發(fā)布了擁有 5300 億個(gè)參數(shù)的 Megatron-Turing 自然語(yǔ)言生成模型（MT-NLG）。與它一起發(fā)布的框架 NVIDIA NeMo Megatron 旨在讓任何企業(yè)都能創(chuàng)建自己的十億或萬(wàn)億參數(shù) Transformer，為自定義聊天機(jī)器人、個(gè)人助手以及其他能理解語(yǔ)言的 AI 應(yīng)用提供助力。

MT-NLG 首次公開亮相是作為 Toy Jensen（TJ）虛擬形象的大腦，幫助 TJ 在 NVIDIA 2021 年 11 月的 GTC 上發(fā)表了一部分主題演講。

負(fù)責(zé) NVIDIA 團(tuán)隊(duì)訓(xùn)練該模型的 Mostofa Patwary 表示：“當(dāng)我們看到 TJ 回答問(wèn)題時(shí)，他作為我們的首席執(zhí)行官展示我們的工作成果，那一刻真是令人振奮?！?/p>

創(chuàng)建這樣的模型并非易事。MT-NLG 使用數(shù)千億個(gè)數(shù)據(jù)元素訓(xùn)練而成，整個(gè)過(guò)程需要數(shù)千顆 GPU 運(yùn)行數(shù)周時(shí)間。

Patwary 表示：“訓(xùn)練大型 Transformer 模型既昂貴又耗時(shí)，如果前一兩次沒(méi)有成功，項(xiàng)目就可能被取消?！?/p>

萬(wàn)億參數(shù) Transformer

如今，許多 AI 工程師正在研究萬(wàn)億參數(shù) Transformer 及其應(yīng)用。

Patwary 表示：“我們一直在研究這些大模型如何提供更好的應(yīng)用。我們還在研究它們會(huì)在哪些方面失敗，這樣就能創(chuàng)建出更好、更大的模型?！?/p>

為了提供這些模型所需的算力，NVIDIA 的加速器內(nèi)置了一個(gè) Transformer 引擎并支持新的 FP8 格式，既加快了訓(xùn)練速度，又保持了準(zhǔn)確性。

黃仁勛在 GTC 2022 上表示，通過(guò)這些及其他方面的進(jìn)步，“Transformer 模型的訓(xùn)練時(shí)間可以從數(shù)周縮短到數(shù)天?！?/p>

TJ 在 GTC 2022 上表示：“Megatron 能幫助我回答黃仁勛拋給我的所有難題。”

MoE 對(duì)于 Transformer 的意義更大

谷歌研究人員 2021 年介紹的 Switch Transformer 是首批萬(wàn)億參數(shù)模型之一。該模型利用 AI 稀疏性、復(fù)雜的混合專家（MoE）架構(gòu)等先進(jìn)技術(shù)提高了語(yǔ)言處理性能并使預(yù)訓(xùn)練速度加快了最多 7 倍。

首個(gè)擁有多達(dá)一萬(wàn)億個(gè)參數(shù)模型 Switch Transformer 的編碼器

微軟 Azure 則與 NVIDIA 合作，在其翻譯服務(wù)中使用了 MoE Transformer。

解決 Transformer 所面臨的挑戰(zhàn)

如今，一些研究人員的目標(biāo)是開發(fā)出性能與那些最大的模型相同、但參數(shù)更少并且更簡(jiǎn)單的 Transformer。

Cohere 的 Gomez 以 DeepMind 的 Retro 模型為例：“我看到基于檢索的模型將大有可為并實(shí)現(xiàn)彎道超車，對(duì)此我感到非常興奮。”

基于檢索的模型通過(guò)向數(shù)據(jù)庫(kù)提交查詢來(lái)進(jìn)行學(xué)習(xí)。他表示：“這很酷，因?yàn)槟憧梢詫?duì)放到知識(shí)庫(kù)中的內(nèi)容進(jìn)行選擇?！?/p>

在追求更高性能的過(guò)程中，Transformer 模型的規(guī)模也在不斷擴(kuò)大

Vaswani 現(xiàn)在是一家隱形 AI 初創(chuàng)公司的聯(lián)合創(chuàng)始人，他表示最終目標(biāo)是“讓這些模型像人類一樣，在現(xiàn)實(shí)世界中使用極少的數(shù)據(jù)就能從上下文中學(xué)習(xí)?！?/p>

他想象未來(lái)的模型可以在前期進(jìn)行更多計(jì)算，從而減少對(duì)數(shù)據(jù)的需求，使用戶能夠更好地提供反饋。

“我們的目標(biāo)是創(chuàng)建能夠在日常生活中幫助人們的模型。”

安全、負(fù)責(zé)任的模型

其他研究人員正在研究如何在模型放大錯(cuò)誤或有害語(yǔ)言時(shí)消除偏見(jiàn)或有害性，例如斯坦福大學(xué)專門創(chuàng)建了基礎(chǔ)模型研究中心探究這些問(wèn)題。

NVIDIA 研究科學(xué)家 Shrimai Prabhumoye 是業(yè)內(nèi)眾多研究這一領(lǐng)域的人士之一。他表示：“這些都是在安全部署模型前需要解決的重要問(wèn)題。”

“如今，大多數(shù)模型需要的是特定的單詞或短語(yǔ)。但在現(xiàn)實(shí)生活中，這些內(nèi)容可能會(huì)以十分微妙的方式呈現(xiàn)，因此我們必須考慮整個(gè)上下文?！?/p>

Gomez 表示：“這也是 Cohere 最關(guān)心的問(wèn)題。如果這些模型會(huì)傷害到人，就不會(huì)有人使用它們，所以創(chuàng)建最安全、最負(fù)責(zé)任的模型是最基本的要求。”

展望未來(lái)

在 Vaswani 的想象中，未來(lái)能夠自我學(xué)習(xí)、由注意力驅(qū)動(dòng)的 Transformer 最有可能成為 AI 的“殺手锏”。

他表示：“我們現(xiàn)在有機(jī)會(huì)實(shí)現(xiàn)人們?cè)趧?chuàng)造‘通用人工智能’一詞時(shí)提到的一些目標(biāo)，我覺(jué)得這給我們帶來(lái)了巨大的啟發(fā)?！?/p>

“在當(dāng)前這個(gè)時(shí)代，神經(jīng)網(wǎng)絡(luò)等各種簡(jiǎn)單的方法正在賦予我們大量新的能力。”

小結(jié)

本文通過(guò)對(duì) Transformer 模型的應(yīng)用案例進(jìn)行了梳理，并對(duì)其未來(lái)的發(fā)展方向進(jìn)行了預(yù)測(cè)。從生物醫(yī)藥到科學(xué)研究，該模型不僅在技術(shù)上取得了突破，更在實(shí)際應(yīng)用中展現(xiàn)了其深遠(yuǎn)的影響力和廣闊的前景。本文系列內(nèi)容到此已經(jīng)對(duì) Transformer 模型如何擴(kuò)展我們對(duì)于機(jī)器學(xué)習(xí)和 AI 的想象進(jìn)行了深入介紹。隨著技術(shù)的不斷進(jìn)步，Transformer 模型將在 AI 的新時(shí)代中扮演著更加關(guān)鍵的角色，推動(dòng)各行各業(yè)的創(chuàng)新與變革。