大型語言模型——可以進行類似人類聊天的人工智能系統(tǒng)——最近成為了新聞熱點。毫無疑問，它們很強大，而且非常全面。

但人工智能模型究竟能有多大？這個問題的答案為了解人工智能語言模型的發(fā)展及其潛在應(yīng)用提供了一個迷人的窗口。

兩種測量方法

當專家們談?wù)撊斯ぶ悄艿倪M步時，他們通常關(guān)注模型大小的兩個方面：用于訓練模型的數(shù)據(jù)量和模型包含的參數(shù)數(shù)量。

例如，備受討論的ChatGPT的前身GPT-3是在近45 TB的文本數(shù)據(jù)上訓練的，具有超過1750億個參數(shù)。其他人工智能模型越來越大，據(jù)說大公司正在開發(fā)超過1.6萬億參數(shù)的模型。

但這意味著什么？讓我們對它進行分解，首先看一看參數(shù)是什么。

參數(shù)是人工智能模型用于根據(jù)所看到的數(shù)據(jù)生成輸出的值或變量。例如，在像GPT-3這樣的語言模型的情況下，輸出是文本。

IEEE會員Yale Fox表示：“盡管它們看起來真的很神奇，但人們更容易將（自然語言模型）視為高度復(fù)雜的自動完成函數(shù)。你以問題的形式提供輸入，通常稱為提示。然后模型會‘自動完成’你的答案。”

輸出基于先前識別的模式。對于大型語言模型，自動完成函數(shù)要復(fù)雜得多，因為模型已經(jīng)在更多的數(shù)據(jù)上進行了訓練，并且具有更多的參數(shù)。

Fox說：“參數(shù)的數(shù)量會影響輸出的多樣性；使用的參數(shù)越多，輸出的重復(fù)性就越小。”

這就引出了第二個問題。45 TB的文本到底有多少信息？ —— 相當多。1TB相當于大約650萬頁以常見格式存儲的文檔，如文字處理文檔或.pdfs。

IEEE高級會員Eleanor “Nell” Watson說：“一般來說，在許多類型的模型中，有更多的數(shù)據(jù)可以進行訓練，從而獲得更好的性能。它使模型能夠更多地了解數(shù)據(jù)中的基本模式和關(guān)系。”

最佳設(shè)計

但參數(shù)的數(shù)量并不總是與訓練數(shù)據(jù)的大小直接相關(guān)。例如，開發(fā)人員可以在10本書上訓練一個非常大的模型，或者在1000本書上培訓一個較小的模型，他們可能具有類似的性能。

Watson說：“更大的模型訓練成本成倍增加，而且更難檢查偏見等問題，也更難解釋。將太多的參數(shù)應(yīng)用于太少的數(shù)據(jù)會使模型更容易過度擬合（從一個過于突出的例子中進行不準確的概括）。”

簡單地擁有大量數(shù)據(jù)來訓練模型并不一定是一種好處。Fox說：“來自世界各地的10TB推文可能甚至不如來自維基百科的1TB基于事實的知識有用。”

規(guī)模問題

這種情況導(dǎo)致了人工智能世界中一些有趣的問題。也就是說，人工智能模型能有多大？

研究人員注意到，例如，將模型中的參數(shù)數(shù)量增加一倍可能不會產(chǎn)生兩倍的性能。它可能需要花費數(shù)倍的資金、時間和計算資源來構(gòu)建。一種解決方案可能是增加訓練模型時使用的數(shù)據(jù)量，盡管尚不清楚您需要多少數(shù)據(jù)，以及數(shù)據(jù)是否存在。

Watson說：“因此，有人認為，許多最新模型的最大限制因素實際上可能是缺乏足夠規(guī)模和細微差別的高質(zhì)量數(shù)據(jù)，無法讓它們滿負荷運行。”

那么，是什么解釋了語言模型在最近幾個月取得的巨大飛躍呢？

Watson指出，這些改進是多種因素共同作用的結(jié)果，包括參數(shù)數(shù)量的增加、數(shù)據(jù)的更好利用以及訓練技術(shù)的改進。ChatGPT背后的工程師強調(diào)了一種“human-in-the-loop”的方法，即根據(jù)人類評估者的反饋不斷微調(diào)和改進模型。

而且，正如《IEEE計算機雜志》（https://www.computer.org/csdl/magazine/co/2022/05/09771130/1DeEYd2FXZm）最近的一篇文章所指出的，研究人員已經(jīng)轉(zhuǎn)向了各種技術(shù)來改進人工智能模型及其效率。其中包括更好的硬件和軟件開發(fā)以及不同的計算機架構(gòu)，但也包括使用結(jié)合文本、圖像或視頻的多模式訓練數(shù)據(jù)。

作者指出：“人工智能模型規(guī)模不斷擴大的趨勢似乎并沒有停止。盡管如此，只有少數(shù)大公司和機構(gòu)能夠跟上這一趨勢，因為其進入壁壘相當大。”

?

編輯：黃飛