AI網絡多層次的互聯彰顯市場潛力

NVIDIA作為全球領先的視覺計算和人工智能公司，其市值突破萬億元的背后，除了強大的GPU產品線，互聯技術扮演了不可或缺的支柱角色。NVIDIA于2019年收購以色列公司Mellanox，自此成就了它的暴力美學。通過高性能的單個GPU加速卡，NVLink及NVSwitch打造Scale-up護城河，同時還配備用于后端網絡Scale-out的ConnectX系列智能網卡等全棧AI網絡互聯產品線打造AI工廠。據悉，2023年NVIDIA 在Networking領域的銷售額為130億美金。

（來源：整理自NVIDIA）

01

網間互聯：

高速以太網的新紀元

根據Spirent HSE Market Impact Report的高速以太網市場動態更新，隨著端口速度持續演進，各速度級別的采納率都保持強勁，即便是10G和25G在中小企業和5G基站部署中仍享有穩定的需求。超越傳統需求曲線，基于51.2T的交換機Serdes以及AI網絡Scale-out從RDMA RoCE2向UEC（超以太聯盟）規范演進的趨勢已經明朗。目前市場已經開始展望1.6T以太網，以期在明年迅速把握AI驅動的市場機遇。

1.6T以太網

數據中心流量的預期指數級增長正在推動1.6T以太網的研究。盡管IEEE 802.3dj標準預計在2026年內完成，但2024年已經明確的基礎功能將支持硅芯片、光學元件和光模塊的早期開發。

面向AI和HPC的以太網

隨著AI和高性能計算（HPC）的需求日益增長，基于融合以太網的遠程直接內存訪問RDMA（RoCEv2），預計將演進至新的超以太網傳輸（UET）標準(隸屬于UEC)。

800G

最初的部署將由全球主要云廠商企業引領，以支持數據中心內的AI應用，并伴隨著51.2Tbps交換機的應用。800G提供了更高的帶寬、更低的延遲、提升的能效以及更多的連接，為數據中心的互聯提供了未來幾年的保障。

以太網逐步替代Infiniband

Scale-out 層面，用于AI訓練的高速網絡InfiniBand的遠程直接內存訪問（RDMA）被普遍應用，但現在越來越多的關注點轉向了將開放標準、廣泛采用的以太網用于這一用途。與InfiniBand相比，以太網降低了成本和復雜性，并且沒有可擴展性的限制。

智能網卡和以太網交換機的前景可期

Dell’Oro預測，到2028年，部署在AI后端網絡中的以太網交換機端口出貨量將超過5000萬臺。到2025年，AI后端網絡中的以太網交換機端口出貨量有一半將是800Gb/s，到2028年將達到1600Gb/s。 其Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report報告稱：預計以太網智能網卡市場到 2028 年將超過 160 億美元，大幅提高的市場展望主要源于支持AI服務器集群Scale-out的后端網絡對以太網連接有強烈需求。 Dell'Oro集團高級研究總監 Baron Fung 表示：“AGI應用的出現推動了將加速服務器與后端以太網網絡相互連接的需求，這對于大型語言模型的訓練來講是必然的一步。對于以太網網卡來說，這是一個新的市場機會，與傳統的前端以太網適配器市場相比，增長顯著更高。” 到 2028 年，整個以太網智能 NIC 市場（包括前端和后端網絡的服務器連接）預計將以 27% 的復合年增長率增長。后端網絡的服務器訪問速度將至少比前端網絡領先一代，以跟上 GPU 加速器密集路線圖的發布步伐。

智能網卡Chiplet芯粒化提上日程

（來源：Broadcom）

“

Broadcom在今年上半年推出了面向AI網絡的400G智能網卡，并公布了基于以太網的SmartNIC Roadmap。隨著800G的步伐進一步加快，Broadcom預計將在2025-2026年間推出下一代帶寬為800G，基于Chiplet架構的網卡芯片。采用Chiplet技術的超高帶寬智能網卡，正成為推動下一代網卡技術發展的新動力。這正與奇異摩爾在網間互聯側的產品路線理念不謀而和。下一代產品將全面支持超級以太網聯盟（UEC）的NIC標準。

02

片間互聯：加速卡需求旺盛，

國產GPU潛力突圍

全球GPU加速卡需求劇增

大模型的規模擴大需要大量的訓練基礎設施，并顯著推動數據中心 AI 芯片市場。未來更多十萬卡加速器集群會進入我們的眼簾。例如，xAI 最近建立了一個擁有 100,000 個NVIDIA H100 的液冷數據中心，而 Meta 報告稱它購買了 500,000 個 GPU，其數量翻了一番，達到 100 萬個。

（來源：OCP Global Summit 2024）

“

Scale-up網絡演進趨勢已經超出單個服務器機架范圍；在今年的OCP Summit上又出現了新定義(如上圖）：Scale-up Internal和Scale-up External 兩個部分共同構成Scale-up網絡。Internal部分具體指的以單個機架為節點的GPU數量，從過去傳統的8卡到百卡甚至幾百卡演進（小于1000 卡）；External部分是以突破單個服務器機架為節點，也就是超節點所構建的超帶寬域的Node數量，節點間加速卡數量預計2026年后將突破1000卡。

（更多閱讀：Kiwi Talks | Scale-up 軍備賽愈演愈烈，集體對抗英偉達的暴力美學）

根據Tech Insight機構公布的報告表示數據中心 AI 芯片/加速器市場繼續主導全球半導體市場。該市場將以 37% 的復合年增長率增長，到 2029 年將達到 3550 億美元。其中生成式 AI 應用是芯片的最大驅動力，到 2029 年預計有望達到 2500 億美元。GPU 在整個細分市場中占據主導地位，到 2023 年的總收入將達到 370 億美元，該機構預計這一趨勢不會放緩。然而在過去五年中，我們看到 AI 加速器的平均售價 （ASP） 增長了四倍。目前正上市的 NVIDIA 的 H100 在零售市場上的價格可能高達 40,000 美元，而兩代前的 V100 價格為 10,000 美元。這樣的價格上漲在半導體市場上是聞所未聞的。隨著越來越多的 AI 應用程序進入生產狀態，機構預計重點將轉移到定價而不是性能上。長期來看，這種溢價和壟斷的市場發展態勢需要被打破。

國產GPU市場份額逐步提升

國際數據公司（IDC）發布了最新的《中國半年度加速計算市場（2024上半年）跟蹤》報告。IDC數據顯示，2024上半年中國加速服務器市場規模達到50億美元，同比2023上半年增長63%。其中GPU服務器依然占主導地位，達到43億美元。同時NPU、ASIC 和 FPGA等非GPU加速服務器以同比182%的增速達到近7億美元市場規模。

行業大模型的深入研發對于AI軟硬件與生態部署有著明顯帶動作用。人工智能在諸如智慧城市、智能家居等綜合復雜性場景，在金融、醫療、教育等行業的細分功能層面提供更細化更多元的方案。

2024上半年，中國加速芯片的市場規模達超過90萬張。從技術角度來看，GPU卡占據80%的市場份額；從品牌角度來看，中國本土人工智能芯片品牌的出貨量已接近20萬張，約占整個市場份額的20%。用于推理的人工智能芯片占據了61%的市場份額。在GPU加速卡入口受限之后，由于數質化轉型大趨勢對于算力的持續需求，中國本土品牌加速卡的市場份額逐步增長。

隨著大數據的發展和計算能力的提升，根據寒武紀招股書，2022 年中國AI芯片市場規模預計達 368億元，預計 2024 年市場規模將達到 785 億元，復合增速有望達到 46%。 宏觀來看，隨著全球科技競爭的加劇，構建自主可控的國產萬卡甚至十萬卡的集群系統，不僅關乎技術主權，更是推動AI產業持續健康發展的關鍵，其中生態的構建尤為復雜且至關重要。今年三月，中國工程院院士鄭緯民指出，盡管國產AI芯片與業界領先水平仍存在差距，但生態的完善能夠有效彌補這一短板，確保大多數任務不會因芯片性能的微小差異而受顯著影響。

03

片內互聯：Chiplet在服務器

的應用迎來黃金期

為了提升單芯片算力，過往業內方案集中在增加單?芯片上的晶體管數量和擴大芯片?積。但隨著先進制程發展接近物理極限，單芯片面積觸及機臺設計上限，性能持續發展受限。且傳統馮諾依曼計算架構下芯片算力同時受存儲墻、I/O墻制約，芯片算力利?率低。因此Chiplet芯粒化是后摩爾時代提升性能的共識。 Chiplet技術可以將不同類型的AI加速卡（如神經網絡處理器、張量處理器、視覺處理器等）通過高速、低功耗的互聯方式進行集成，實現高效的AI計算。這種模塊化設計不僅提高了AI芯片的性能，還優化了功耗效率。 在智能計算集群的效能核心，GPU單卡的計算能力構成了集群整體算力的基石。Chiplet技術作為提升單個AI加速卡的快速更新和升級，具有關鍵意義，從而跟上不斷發展的人工智能算法和應用需求。

（來源：Yole Market Update 2023）

“

根據國際知名機構Yole發布的Chiplet Market Update 2023，預計到2025年，集成Chiplet的芯片在數據中心服務器市場比例預計可以達到87%，這一比例在2021年僅為13%。這意味著未來AI大算力芯片的芯粒化將是一個勢不可擋的主流趨勢。

單個芯片的算力和性能高度依賴于Chiplet的設計以及先進封裝工藝，這些因素共同推動了單個加速卡算力的提升。自成立以來，奇異摩爾始終專注于Chiplet技術與互聯技術的研發，憑借深厚的Chiplet設計功底和量產經驗，以及全面的片內互聯（Scale Inside）產品線——包括UCIe D2D IP接口和IO Die互聯芯粒，全力助推國產大算力芯片性能的不斷提升。

據Yole預測，到2027年，基于Chiplet芯粒的處理器市場將超過1350億美元。到2032年，預計芯粒的采用將在消費和汽車市場全面加速，并在國防、航空航天、工業和醫療領域站穩腳跟。

AI基礎設施的轉型正在引領我們進入一個全新的技術時代，其中極致的互聯技術創新不僅是推動產業發展的關鍵，更是決定未來AI網絡競爭力的核心因素。從片內互聯、片間互聯再到網間互聯，成就多層次的高性能互聯正是奇異摩爾所持續專注的。隨著Scaling Law的延續，這場技術革命的新藍圖依賴于產業鏈的每一份子去譜寫、去繪制。