電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）萬(wàn)卡集群是指由一萬(wàn)張及以上的加速卡（包括GPU、TPU及其他專(zhuān)用AI加速芯片）組成的高性能計(jì)算系統(tǒng)，主要用于加速人工智能模型的訓(xùn)練和推理過(guò)程。這種集群的構(gòu)建旨在解決大模型訓(xùn)練對(duì)算力需求的巨大增長(zhǎng)問(wèn)題，尤其是現(xiàn)在模型參數(shù)量從百億級(jí)、千億級(jí)邁向萬(wàn)億級(jí)。

國(guó)內(nèi)外企業(yè)積極構(gòu)建萬(wàn)卡集群

目前，在國(guó)際上，包括微軟、Google、Meta等AI領(lǐng)域的巨頭，都已落子超萬(wàn)卡集群的項(xiàng)目部署。如Meta于2022年推出了擁有16000張算卡的超級(jí)集群中心；Google于2023年推出了一個(gè)擁有2.6萬(wàn)張算卡的Compute Engine A3；而持有OpenAI的微軟更是傳出正在進(jìn)行百萬(wàn)規(guī)模算卡集群的籌建。

不只是國(guó)際廠(chǎng)商，國(guó)內(nèi)廠(chǎng)商也在此前大量采購(gòu)GPU推進(jìn)萬(wàn)卡集群建設(shè)。尤其在今年以來(lái)，三大運(yùn)營(yíng)商也相繼公布了對(duì)超萬(wàn)卡集群的部署。

近日，在中國(guó)移動(dòng)算力網(wǎng)絡(luò)大會(huì)上，中國(guó)移動(dòng)副總經(jīng)理高同慶宣布，今年將商用哈爾濱、呼和浩特、貴陽(yáng)的三個(gè)萬(wàn)卡集群，總規(guī)模近6萬(wàn)張GPU卡，充分滿(mǎn)足大模型集中訓(xùn)練的需求。

今年1月，中國(guó)電信宣布將在上海規(guī)劃建設(shè)1.5萬(wàn)張卡規(guī)模的算力集群，其總算力超4500P，這也將是國(guó)內(nèi)首個(gè)超大規(guī)模國(guó)產(chǎn)算力液冷集群。中國(guó)聯(lián)通表示，在今年內(nèi)將在上海臨港國(guó)際云數(shù)據(jù)中心，建成中國(guó)聯(lián)通首個(gè)萬(wàn)卡集群。

除了運(yùn)營(yíng)商之外，2023年，螞蟻集團(tuán)宣布已建成萬(wàn)卡異構(gòu)算力集群。此外，包括字節(jié)跳動(dòng)、阿里、百度、華為及科大訊飛等在內(nèi)的互聯(lián)網(wǎng)和AI頭部企業(yè)均在發(fā)力萬(wàn)卡集群的建設(shè)。

另外，今年5月20日，網(wǎng)宿科技與航錦科技正式簽署戰(zhàn)略合作協(xié)議，雙方圍繞NVIDIA最新一代萬(wàn)卡集群（L20 cluster AIDC）項(xiàng)目建立戰(zhàn)略合作關(guān)系，共同開(kāi)展智算中心建設(shè)、相關(guān)技術(shù)研發(fā)、市場(chǎng)拓展等工作，旨在打造高效、智能、綠色的算力基礎(chǔ)設(shè)施，承載千行百業(yè)的大模型訓(xùn)練及推理需求。

網(wǎng)宿科技是全球領(lǐng)先的信息基礎(chǔ)設(shè)施平臺(tái)服務(wù)提供商，專(zhuān)注于邊緣計(jì)算、云分發(fā)、云安全、云計(jì)算、云服務(wù)及綠色數(shù)據(jù)中心業(yè)務(wù)。航錦科技是由武漢市國(guó)資委控股的上市企業(yè)，控股子公司超擎數(shù)智作為AI算力和網(wǎng)絡(luò)整體解決方案提供商，是NVIDIA Compute（GPU）、Networking（網(wǎng)絡(luò)）的雙Elite精英級(jí)合作伙伴。

構(gòu)建萬(wàn)卡集群面臨的挑戰(zhàn)

萬(wàn)卡集群的建設(shè)和維護(hù)面臨諸多挑戰(zhàn)，首先是GPU的供應(yīng)，由于全球超萬(wàn)卡集群的建設(shè)都處于起步階段，部署模式都以英偉達(dá)GPU及配套設(shè)備為主。目前國(guó)內(nèi)在獲得英偉達(dá)旗艦高性能GPU方面受限，同時(shí)，國(guó)產(chǎn)AI芯片相比于英偉達(dá)GPU在性能上存在一定差距。

其次，在大模型場(chǎng)景下，算力需要大規(guī)模集中式訓(xùn)練，單個(gè)GPU無(wú)法完全容納整個(gè)模型訓(xùn)練，需要采用分布式訓(xùn)練。這會(huì)帶來(lái)GPU之間互聯(lián)帶寬受限或AI服務(wù)器之間網(wǎng)絡(luò)互聯(lián)帶寬有限的問(wèn)題。此外，卡數(shù)量增多后，過(guò)熱、故障也會(huì)一定比例出現(xiàn)，模型訓(xùn)練成本會(huì)增加。

當(dāng)然，目前各企業(yè)正在積極解決這些問(wèn)題。如越來(lái)越多國(guó)產(chǎn)的AI芯片已經(jīng)開(kāi)始在集群的建設(shè)中得到使用，包括華為、海光、寒武紀(jì)、摩爾線(xiàn)程等公司。

如為了支撐千卡乃至超萬(wàn)卡的大規(guī)模算力集群，摩爾線(xiàn)程于2023年推出了首個(gè)國(guó)內(nèi)產(chǎn)千卡千億模型訓(xùn)練平臺(tái)——夸娥智算集群，該模型深度參與中國(guó)移動(dòng)大模型訓(xùn)練與推理環(huán)節(jié)，可以為大模型訓(xùn)練提供穩(wěn)定、高效、高兼容的算力支撐。

摩爾線(xiàn)程相關(guān)負(fù)責(zé)人此前談到，百卡或更小規(guī)模都是實(shí)驗(yàn)性的，千卡才是大集群的基本單元，只有千卡及以上才能滿(mǎn)足一些基礎(chǔ)模型的算力需求，這也是推出夸娥智算集群的目標(biāo)設(shè)定。

另外，浪潮信息董事長(zhǎng)彭震日前談到，芯片算力并非是AI發(fā)展不起來(lái)的直接原因，更多的其實(shí)是系統(tǒng)問(wèn)題。他認(rèn)為，對(duì)于服務(wù)器廠(chǎng)商而言，當(dāng)前已經(jīng)不能再局限于提供單一硬件產(chǎn)品，而是要綜合性解決方案，這些解決方案可能包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、安全等方面。

浪潮信息希望從算力層提供一個(gè)平臺(tái)，支撐多元算力入駐。對(duì)于芯片企業(yè)而言，只需要專(zhuān)注在芯片本身而不需要研究互聯(lián)帶寬問(wèn)題。

據(jù)了解，目前不少服務(wù)器廠(chǎng)商也在學(xué)習(xí)英偉達(dá)的NVlink，NVlink提供一種高效可擴(kuò)展的芯片通信間協(xié)議，允許所有GPU同時(shí)全速實(shí)時(shí)通信，就好像整個(gè)系統(tǒng)是單個(gè)GPU一樣。在今年4月的GTC大會(huì)上，英偉達(dá)還宣布NVlink更新到第五代，包括可擴(kuò)展至576個(gè)GPU，能夠解決萬(wàn)億參數(shù)混合專(zhuān)家模型通信瓶頸。

新華三集團(tuán)高級(jí)副總裁、云與計(jì)算存儲(chǔ)產(chǎn)品線(xiàn)總裁徐潤(rùn)安此前也談到算力互聯(lián)。在他看來(lái)，過(guò)去，大家的目標(biāo)可能是做更強(qiáng)算力的單顆芯片，現(xiàn)在會(huì)從另一個(gè)角度努力，怎樣將芯片做成更大集群，同時(shí)使得集群的通信效果更高，集群的處理能力更強(qiáng)。

新華三希望做更加開(kāi)放的平臺(tái)，做上游GPU廠(chǎng)商合作伙伴的最佳選擇，利用自身網(wǎng)絡(luò)優(yōu)勢(shì)，對(duì)網(wǎng)絡(luò)通信的理解，幫助更多GPU廠(chǎng)商，將算力互聯(lián)互通實(shí)現(xiàn)得更好。新華三提供的科學(xué)計(jì)算算力調(diào)度平臺(tái)傲飛3.0，實(shí)現(xiàn)了跨集群統(tǒng)一管理，將訓(xùn)練任務(wù)進(jìn)行切分，將合適的子任務(wù)放在合適的近端或遠(yuǎn)端模塊集群實(shí)現(xiàn)。

寫(xiě)在最后

當(dāng)前，萬(wàn)卡集群式應(yīng)對(duì)大模型背景下算力需求的重要解決方案之一，對(duì)于推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用具有重要意義。可以看到，國(guó)內(nèi)外都在積極推進(jìn)萬(wàn)卡集群的建設(shè)。然而，在國(guó)內(nèi)，萬(wàn)卡集群的建設(shè)并不容易，首先是AI芯片性能及軟件生態(tài)存在差距，其次是萬(wàn)卡集群建設(shè)存在芯片間、卡之間、集群間的互聯(lián)問(wèn)題，這些都還需要持續(xù)去解決。