當(dāng)前語(yǔ)言大模型的參數(shù)量已達(dá)千億以上，訓(xùn)練數(shù)據(jù)集的規(guī)模也達(dá)到了TB級(jí)別。業(yè)界典型的自然語(yǔ)言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“算力當(dāng)量”（PetaFlops/s-day，PD），即每秒千萬(wàn)億次的計(jì)算機(jī)完整運(yùn)行一天消耗的算力總量來(lái)表征大模型的算力需求，具有1750億參數(shù)的GPT-3模型的訓(xùn)練算力需求為3640PetaFlop/s-day。

參數(shù)量為2457億的源1.0大模型訓(xùn)練算力消耗為4095Peta-Flop/s-day。大模型的高效訓(xùn)練通常需要具備千卡以上高算力AI芯片構(gòu)成的AI服務(wù)器集群支撐。在全球科技企業(yè)加大投入生成式AI研發(fā)和應(yīng)用的大背景下，配置高算力AI芯片的AI服務(wù)器需求也不斷高漲。

2019年OCP成立OAI小組，對(duì)更適合超大規(guī)模深度學(xué)習(xí)訓(xùn)練的AI加速卡形態(tài)進(jìn)行了定義，目的是為了支持更高功耗、更大互連帶寬AI加速卡的物理和電氣形態(tài)，同時(shí)為了解決多元AI加速卡形態(tài)和接口不統(tǒng)一的問(wèn)題。隨后，為了進(jìn)一步促進(jìn)OAI生態(tài)的建立，OAI小組在OAM的基礎(chǔ)上統(tǒng)一了AI加速卡基板OAI-UBB設(shè)計(jì)規(guī)范。OAI-UBB規(guī)范以8張OAM為一個(gè)整體，進(jìn)一步定義了8xOAM的Baseboard的主機(jī)接口、供電方式、散熱方式、管理接口、卡間互連拓?fù)洹cale Out方式。

2019年底，OCP正式發(fā)布了OAI-UBB1.0設(shè)計(jì)規(guī)范，并隨后推出了基于OAI-UBB1.0規(guī)范的開(kāi)放加速硬件平臺(tái)，無(wú)需硬件修改即可支持不同廠商的OAM產(chǎn)品。

面向生成式AI的大模型算力系統(tǒng)的構(gòu)建是一項(xiàng)復(fù)雜的系統(tǒng)工程，基于上述設(shè)計(jì)原則，以提高適配部署效率、提高系統(tǒng)穩(wěn)定性、提高系統(tǒng)可用性為目標(biāo)，進(jìn)一步歸納總結(jié)出開(kāi)放加速規(guī)范AI服務(wù)器的設(shè)計(jì)方法。

面向AIGC的計(jì)算系統(tǒng)交付模式不再是單一服務(wù)器，絕大多數(shù)情況最終部署的形式是包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備，軟件、框架、模型組件，機(jī)柜、制冷、供電、液冷基礎(chǔ)設(shè)施等在內(nèi)的一體化高集成度算力集群。

（1）系統(tǒng)架構(gòu)

為滿足大模型訓(xùn)練模型參數(shù)規(guī)模的不斷增大給模型訓(xùn)練帶來(lái)的計(jì)算、存儲(chǔ)、通信等方面的挑戰(zhàn)，系統(tǒng)架構(gòu)設(shè)計(jì)將賦能AI服務(wù)器節(jié)點(diǎn)和服務(wù)器集群以超大規(guī)模集群互連的大模型訓(xùn)練能力。OAM 是 OCP-OAI 小組制定的 AI加速模塊接口規(guī)范，現(xiàn)已發(fā)布 OAM v1.5 規(guī)范，OAM 模塊承擔(dān)起單個(gè) GPU 節(jié)點(diǎn)的 AI 加速計(jì)算能力，通過(guò)符合 UBB v1.5 base 規(guī)范的基板完成OAM間的 7P × 8 FC（Fully Connect，全互連）、6P × 8 HCM（Hybrid cubic mesh，混合立方互連）等高速互連拓?fù)鋵?shí)現(xiàn)多OAM數(shù)據(jù)低延時(shí)共享，利用RDMA網(wǎng)絡(luò)部署等優(yōu)化通過(guò)OSFP/QSFP-DD線纜實(shí)現(xiàn)對(duì)外拓展完成集群互連，突破了服務(wù)器集群在GPU計(jì)算資源、通信效率上的瓶頸，最大程度發(fā)揮OAM計(jì)算性能并降低通信帶寬限制。OAM模塊透過(guò) PCIe Switch 通過(guò)4條PCIe x 16與高性能CPU建立起高速高帶寬數(shù)據(jù)通道，并支持搭配32條RDIMM或LRDIMM內(nèi)存，以最大程度的保障OAM與CPU之間的數(shù)據(jù)通信處理需求。

（2）OAM模塊

OAM規(guī)范由OCP-OAI建立，定義了開(kāi)放硬件計(jì)算加速模塊的結(jié)構(gòu)形態(tài)及互連接口，簡(jiǎn)化了OAM模塊間高速通信鏈路互連，以此促進(jìn)跨加速器通信的可擴(kuò)展性。CPU與OAM 間的連接是透過(guò) PCIe Switch 上行與CPU 4條PCIe x16帶寬完成，極大程度增加CPU與OAM之間的數(shù)據(jù)通信數(shù)量，避免大數(shù)據(jù)量AI訓(xùn)練場(chǎng)景中CPU與OAM間數(shù)據(jù)通信出現(xiàn)瓶頸。支持節(jié)點(diǎn)內(nèi)及節(jié)點(diǎn)間OAMP2P高速互連，OAM之間全互連拓?fù)涓纳屏硕郞AM數(shù)據(jù)共享的延遲情況，為計(jì)算提供更高效的性能。

（3）UBB基板

UBB基板能夠承載支持8個(gè)OAM模塊，形成一個(gè)AI加速計(jì)算子系統(tǒng)。UBB尺寸為16.7×21英寸，搭配UBB的機(jī)型可以放置于19英寸或21英寸機(jī)柜之中。UBB基板上的8個(gè)OAM模塊通過(guò)可以通過(guò)OAM設(shè)計(jì)規(guī)范中的不同互連拓?fù)溥M(jìn)行互連。UBB鏈路可以被拆分為×8鏈路，如果所有7個(gè)端口對(duì)配置成×16將無(wú)法完成對(duì)外拓展，因此為實(shí)現(xiàn)節(jié)點(diǎn)對(duì)外拓展形成互連集群，UBB基板將互連鏈路限制在×8以內(nèi)，并默認(rèn)設(shè)計(jì)端口1的后半部分（×8，通常稱為1H端口）被用作對(duì)外拓展端口。

4）硬件設(shè)計(jì)

UBB基板及OAM硬件設(shè)計(jì)應(yīng)遵從UBB規(guī)范及OAM規(guī)范中的各項(xiàng)硬件規(guī)范、電氣規(guī)范、時(shí)序規(guī)范等。遵從UBB規(guī)范中對(duì)OAM布局的規(guī)范。

OAM 互連拓?fù)鋼p耗評(píng)估標(biāo)準(zhǔn)。對(duì) OAM 互連所涉及的56Gbps PAM信號(hào)進(jìn)行信號(hào)完整性設(shè)計(jì)，包括高速走線參考平面設(shè)計(jì)、高噪聲電源區(qū)域走線、過(guò)孔stub及層面規(guī)劃、走線間距、過(guò)孔間串?dāng)_控制等。OAM之間互連信號(hào)，整體損耗在基頻處要求在30dB 以內(nèi)，其中OAM 的 TX & RX 模組損耗需 控 制 在 8dB 以 內(nèi) ， C a b l e 拓 撲 要 求QSFP-DD assembly 線纜損耗在5dB以內(nèi)，PCB 損耗根據(jù)拓?fù)渚唧w計(jì)算即可。

（5）散熱設(shè)計(jì)

風(fēng)冷散熱：服務(wù)器節(jié)點(diǎn)風(fēng)冷散熱使用高效能風(fēng)扇墻設(shè)計(jì)，并采用側(cè)邊防回流設(shè)計(jì)以增大相同風(fēng)扇轉(zhuǎn)速下的系統(tǒng)風(fēng)量。采用導(dǎo)風(fēng)罩設(shè)計(jì)的基礎(chǔ)上增加OAM、CPU區(qū)域多風(fēng)道隔離設(shè)計(jì)，能夠結(jié)合區(qū)域感溫能力實(shí)現(xiàn)分區(qū)散熱。風(fēng)扇全部支持熱插拔，支持N+1轉(zhuǎn)子冗余，支持風(fēng)扇速度智能調(diào)節(jié)。針對(duì)UBB基板及OAM模塊，進(jìn)行散熱器性能的熱阻值參數(shù)設(shè)計(jì)。

（6）系統(tǒng)管理

OAM模塊的系統(tǒng)管理方面的設(shè)計(jì)包含提供資產(chǎn)信息、規(guī)范寄存器，并支持滿足FW更新、帶外監(jiān)控要求功能。資產(chǎn)信息提供對(duì)OAM模塊PN、SN、FW版本等信息的訪問(wèn)；寄存器信息提供對(duì)電壓、功耗、溫度、ECC狀態(tài)及錯(cuò)誤、外設(shè)錯(cuò)誤、PCIe錯(cuò)誤、Memory錯(cuò)誤等信息的訪問(wèn)；帶外監(jiān)控提供溫度、功耗、OAM模塊信息、異常告警、OAM狀態(tài)、卡復(fù)位等功能。

（7）故障診斷

故障診斷功能包含OAM卡內(nèi)部Uncorrect able Error、PCIe 總線錯(cuò)誤、ESL 連接異常、卡丟失等功能。通過(guò)BMC可監(jiān)控系統(tǒng)PCIeSwitch模塊、UBB基板及OAM模塊的ECC狀態(tài)及錯(cuò)誤、外設(shè)錯(cuò)誤、PCIe錯(cuò)誤、Memory錯(cuò)誤等。支持鏈路級(jí)別的高級(jí)故障診斷功能，通過(guò)全時(shí)監(jiān)測(cè)PCIe Switch運(yùn)行日志獲取OAM卡故障信息。

（8）軟件平臺(tái)

針對(duì)大模型開(kāi)發(fā)過(guò)程中存在的調(diào)度難、部署慢、效率低、集群異常等問(wèn)題，構(gòu)建具備高性能、高可靠、可擴(kuò)展的AI算力資源統(tǒng)一管理和人工智能作業(yè)調(diào)度平臺(tái)，通過(guò)計(jì)算資源池化和容器化技術(shù)，屏蔽底層硬件差異，以標(biāo)準(zhǔn)算力模式面向用戶直接提供計(jì)算資源，并通過(guò)適應(yīng)性策略及敏捷框架對(duì)算力進(jìn)行精準(zhǔn)調(diào)度配給。

本文來(lái)自“開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南（2023）”，以上分享了系統(tǒng)架構(gòu)、OAM模塊、UBB基板、硬件設(shè)計(jì)、散熱設(shè)計(jì)、系統(tǒng)管理、故障診斷、軟件平臺(tái)；集群網(wǎng)絡(luò)與存儲(chǔ)、整機(jī)柜、液冷、制冷、運(yùn)維等相關(guān)規(guī)范詳情，請(qǐng)下指南原文。

審核編輯：湯梓紅