ChatGPT算力芯片如何做算力輸出

我們談到算力芯片和內存，這一期我們來聊聊算力芯片如何做算力輸出，進而形成ChatGPT等生成式AI背后的算力基座。

現在的算力服務器中，里面并不是一顆顆芯片堆疊在一起，而是一張張算力卡并排插在卡槽里。目前大部分算力服務器單臺放置8張或者16張算力卡。

算力卡的核心當然還是計算芯片，會搭配大容量高帶寬的內存、緩存，以及搭載CPU用于調度，為了幫助數據傳輸，便會使用高速通道，這便是PCIe（高速串行計算機擴展總線標準）在系統中的作用：提供總線通道。

圖：算力卡示意圖

PCIe在數據運算中的應用非常廣泛，比如CPU控制和調度芯片組進行工作會采用PCIe總線，算力卡和算力卡之間的互聯也可能用到Serdes總線，計算好的數據存入到SSD硬盤中也是使用PCIe總線，算力中心里的交換機內部CPU與Switch芯片之間，采用PCIe總線。

圖：PCIe總線在AI異構計算系統中的應用

因此，PCIe相當于是一種通用的總線標準，串聯起整個AI背后的異構計算系統。通過采用PCIe接口，研發人員完全不必擔心計算芯片、加速芯片、內存芯片、存儲芯片、網關芯片和交換機等人工智能系統不同組件之間的互聯問題。

PCIe從多個方面賦能當前人工智能系統的高速發展，包括以下幾個特性：

1.?高效傳輸

2.?高可擴展性

3.?實時處理能力

4.?持續優化的低功耗性能

由于PCIe連接了系統中核心的芯片，又承擔著數據傳輸的責任，因此其性能可靠性非常重要。在實際測試過程中，首先要測試PCIe接口的上傳和下載峰值速度，以及穩定傳輸的速度，這是保證高效計算的關鍵。然后是測試PCIe接口的電氣特性，包括傳輸功耗，以及高速邏輯喚醒等低功耗功能的具體表現，如下圖：

圖：是德科技PCIe測試拓撲圖

此外，在PCIe接口穩定性方面，還要測試熱插拔特性、隔離度和EMC性能等。當然，目前有一些廠商已經不滿足于PCIe的傳輸速度，于是他們自己研發了一套連接標準。比如，英特爾提供Xe Link用于算力卡的互聯，這是一種基于PCle 5.0擴展的新協議；英偉達則是開發了NVLink作為PCle的替代方案，帶寬和能效能夠達到PCle 5.0的數倍。這些自研方案會帶來更高的測試挑戰，對于是德科技而言，無論采取的是PCle協議，還是自研的高速互聯協議，我們的方案都能夠滿足相關測試需求，如下圖：