“人工智能正在吞噬世界。”

硅谷人工智能計(jì)算機(jī)制造商Cerebras的首席執(zhí)行官Andrew Feldman就是這樣開始介紹他的公司的最新成就的：一臺每秒能夠進(jìn)行20億次運(yùn)算（2億次浮點(diǎn)運(yùn)算）的人工智能超級計(jì)算機(jī)。該系統(tǒng)名為“Condor Galaxy 1”，有望在12周內(nèi)將其規(guī)模擴(kuò)大一倍。2024年初，將有另外兩個(gè)規(guī)模加倍的系統(tǒng)加入。這家硅谷公司計(jì)劃明年繼續(xù)增加Condor Galaxy的安裝，直到它運(yùn)行一個(gè)由9臺超級計(jì)算機(jī)組成的網(wǎng)絡(luò)，總運(yùn)算能力為36億次。

如果大型語言模型和其他生成人工智能正在吞噬世界，Cerebras的計(jì)劃是幫助他們消化它。加州森尼維爾的這家公司并不是唯一一家。其他專注于人工智能的計(jì)算機(jī)制造商正在圍繞自己的專用處理器或英偉達(dá)最新的GPU H100構(gòu)建大規(guī)模系統(tǒng)。雖然很難判斷大多數(shù)系統(tǒng)的大小和功能，但Feldman聲稱Condor Galaxy 1已經(jīng)是最大的系統(tǒng)之一。

Condor Galaxy 1在短短10天內(nèi)組裝并啟動，由32臺Cerebras CS-2計(jì)算機(jī)組成，并將擴(kuò)展到64臺。接下來的兩個(gè)系統(tǒng)將在德克薩斯州奧斯汀和北卡羅來納州阿什維爾建造，每個(gè)系統(tǒng)還將容納64個(gè)CS-2。每臺CS-2的核心是Waferscale Engine-2，這是一款人工智能專用處理器，由2.6萬億個(gè)晶體管和85萬個(gè)全硅晶圓制成的人工智能核心。

CEREBRAS

Feldman說，Cerebras在建造大型人工智能超級計(jì)算機(jī)方面的最大優(yōu)勢之一是它能夠簡單地?cái)U(kuò)大資源規(guī)模。例如，如果你投入40倍以上的硬件資源，400億參數(shù)網(wǎng)絡(luò)可以在與10億參數(shù)網(wǎng)絡(luò)大致相同的時(shí)間內(nèi)進(jìn)行訓(xùn)練。重要的是，這種放大不需要額外的代碼行。他說：“我們通過按鍵從1到32（CS-2s）線性縮放。”

Condor Galaxy系列由總部位于阿布扎比的G42公司所有，G42是一家控股公司，擁有九家基于人工智能的企業(yè)，其中包括中東最大的云計(jì)算提供商之一G42 Cloud。Feldman將這種關(guān)系描述為“深度戰(zhàn)略伙伴關(guān)系”，他說，這是在短短18個(gè)月內(nèi)完成36次EB失敗所需要的。Feldman計(jì)劃在今年晚些時(shí)候搬到阿聯(lián)酋幾個(gè)月，以幫助管理合作，他說，這將“大大增加人工智能計(jì)算的global inventory”。 Cerebras將為G42操作超級計(jì)算機(jī)，并可以租用其合作伙伴未用于內(nèi)部工作的資源。

Feldman表示，對訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的需求激增。他說，用500億或更多參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的公司數(shù)量從2021年的2家增加到今年的100多家。

顯然，Cerebras并不是唯一一家追求需要訓(xùn)練真正大型神經(jīng)網(wǎng)絡(luò)的企業(yè)。亞馬遜、谷歌、Meta和微軟等大公司都有自己的產(chǎn)品。圍繞英偉達(dá)GPU構(gòu)建的計(jì)算機(jī)集群主導(dǎo)了這項(xiàng)業(yè)務(wù)的大部分，但其中一些公司已經(jīng)為人工智能開發(fā)了自己的硅，例如谷歌的TPU系列和亞馬遜的Trainium。Cerebras也有初創(chuàng)公司的競爭對手，他們生產(chǎn)自己的人工智能加速器和計(jì)算機(jī)，包括Habana（現(xiàn)在是英特爾的一部分）、Graphcore和Samba Nova。

例如，Meta使用6000多個(gè)Nvidia A100 GPU構(gòu)建了其AI研究超級集群。計(jì)劃中的第二階段將使集群達(dá)到5個(gè)EB。谷歌構(gòu)建了一個(gè)包含4096個(gè)TPU v4加速器的系統(tǒng)，總共1.1億次。該系統(tǒng)在短短10多秒內(nèi)就突破了比今天的LLM小得多的BERT自然語言處理器神經(jīng)網(wǎng)絡(luò)。谷歌還運(yùn)行Compute Engine A3，該引擎圍繞英偉達(dá)H100 GPU和英特爾制造的定制基礎(chǔ)設(shè)施處理單元構(gòu)建。云提供商CoreWeave與英偉達(dá)合作，測試了一個(gè)由3584個(gè)H100 GPU組成的系統(tǒng)，該系統(tǒng)在10多分鐘內(nèi)訓(xùn)練出了代表大型語言模型GPT-3的基準(zhǔn)。2024年，Graphcore計(jì)劃建造一個(gè)名為Good Computer的10 exaflop系統(tǒng)，該系統(tǒng)由8000多個(gè)Bow處理器組成。