本文討論了可組合的服務器架構、異構計算以及CXL 標準的版本 1、2 和3。

編譯來源：semianalysis

隨著每一家主要的半導體和數據中心公司都加入了該標準，第一代設備即將發布，Compute Express Link (CXL) 的吸引力正在達到臨界點。第 3 代 Compute Express Link (CXL) 規范剛剛發布，它帶來了該標準先前版本中缺少的一些重大更改。本文討論了可組合的服務器架構、異構計算以及 CXL 標準的版本 1、2 和 3。

過去，數據中心芯片主要是為了構建更好的 CPU 內核和更快的內存。十年前的服務器大多看起來與今天的服務器相同。在過去十年中，隨著橫向擴展和云計算的出現，這場戰斗發生了變化。最快的核心不是優先級。重點是如何經濟高效地提供總體計算性能并將其連接在一起。

這些趨勢都指向計算資源專業化的趨勢。收益遞減定律的最終示例之一是，在通用 CPU 性能上花費的每個增量晶體管都會帶來越來越少的性能。異構計算占主導地位，因為專用ASIC 可以在使用更少晶體管的特定任務中提供超過10 倍的性能。

為每個工作負載設計具有精確計算資源的特定芯片非常昂貴。因為光掩模設置成本、驗證和確認，設計芯片的固定成本正在飆升。與其為整個工作負載設計芯片，不如為計算類別設計芯片并將它們連接到特定工作負載所需的任何配置中，這將更具成本效益。

Gordon Moore 博士在預測“摩爾定律”的原始論文中說，用較小的功能構建大型系統可能會更經濟，這些功能分別打包和互連。大功能的可用性與功能設計和構造相結合，應該允許大型系統的制造商快速且經濟地設計和構造大量不同的設備。

之前，服務器內的芯片連接通常使用 PCI Express 完成。最大的缺點是這個標準缺乏緩存一致性和內存一致性。這兩個概念的非技術類比是，如果考慮像郵局這樣的服務器。信件是異步的，通常是在新信息使包含原始信息的信件過時之后的幾天。連貫性有助于管理和平衡這一點。

使用 PCI Express，從性能和軟件的角度來看，不同設備之間通信的開銷相對較高。此外，連接多個服務器通常意味著使用以太網或 InfiniBand。這些通信方法共享所有相同的問題，并且具有更差的延遲和更低的帶寬。

2018 年，IBM 和英偉達將NVLink 的 PCI Express 缺陷解決方案引入了當時世界上最快的超級計算機Summit。AMD 在Frontier超級計算機中擁有類似的專有解決方案，稱為 Infinity Fabric。沒有任何行業生態系統可以圍繞這些專有協議發展。CCIX 在 2010 年代中期成為潛在的行業標準，但它從未真正起飛，因為盡管得到了 AMD、賽靈思、華為、Arm 和Ampere Computing 的支持，但它缺乏關鍵的行業支持。

英特爾擁有超過 90% 的 CPU 市場份額，因此如果沒有他們的支持，任何解決方案都不會成功。英特爾正在制定自己的標準，并于 2019 年將其專有規范作為 Compute Express Link (CXL)1.0 捐贈給了新成立的 CXL 聯盟。該標準得到了半導體行業大多數最大買家的同時支持。CXL 通過使用其物理層和電氣層來搭載 PCIe 5.0 的現有生態系統，但使用改進的協議層，為加載存儲內存事務增加一致性和低延遲模式。

由于建立了行業中大多數主要參與者都支持的行業標準協議，CXL 使向異構計算的過渡成為可能。現在業界有一個標準的互連來將這些不同的芯片連接在一起。

AMD 的 Genoa 和 Intel 的 Sapphire Rapids 將在 2022 年末/2023 年初支持 CXL 1.1。CXL1.1 附帶 3 個支持桶，CXL.io、CXL.cache 和 CXL.mem。CXL.io可以被認為是標準 PCIe 的一個類似但改進的版本。CXL.cache允許 CXL 設備連貫地訪問和緩存主機 CPU 的內存。CXL.mem 允許主機 CPU 連貫地訪問設備的內存。更詳細的解釋包含在下面的要點中。大多數 CXL 設備將使用 CXL.io、CXL.cache和 CXL.mem 的組合。

CXL.io 是用于初始化、鏈接、設備發現和枚舉以及注冊訪問的協議。它為 I/O 設備提供接口，類似于 PCIe Gen5。CXL 設備也必須支持 CXL.io。

CXL.cache 是定義主機（通常是 CPU）和設備（例如 CXL 內存模塊或加速器）之間交互的協議。由于安全使用其本地副本，這允許連接的 CXL 設備以低延遲緩存主機內存. 把這想象成一個 GPU 直接從 CPU 的內存中緩存數據。

CXL.memory / CXL.mem 是為主機處理器（通常是CPU）提供使用加載/存儲命令直接訪問設備附加內存的協議。將其視為使用專用存儲類內存設備的 CPU 或使用 GPU/加速器設備上的內存。

到目前為止，我們主要討論的是異構計算，但 CXL 的真正關鍵在于內存。

數據中心存在大量內存問題。自 2012 年以來，核心數量迅速增長，但每個核心的內存帶寬和容量并未相應增加。自2012 年以來，每個內核的內存帶寬有所下降，并且這種趨勢將在未來繼續。此外，直連 DRAM 和 SSD 在延遲和成本方面存在巨大差距。最后，昂貴的內存資源往往利用率很低，這是一個殺手锏。低利用率對于任何資本密集型行業來說都是一個很大的拖累，而數據中心業務是全球資本最密集的行業之一。

微軟表示，50% 的服務器總成本僅來自 DRAM。盡管 DRAM 成本高昂，但高達25% 的DRAM 內存被擱置！簡單來說，微軟 Azure 總服務器成本的 12.5% 是無所作為。

假設一下，如果此內存可以改為存在于連接的網絡上，并跨多個 CPU 和服務器動態分配給虛擬機，而不是坐在每個 CPU 上。內存帶寬可以根據工作負載的需求增長和縮小，這將大大提高利用率。

這個概念不僅限于內存，還包括所有形式的計算和網絡。可組合的服務器架構是指服務器被分解成各種組件并放置在組中，這些資源可以動態地動態分配給工作負載。

數據中心機架成為計算單元。客戶可以為其特定任務選擇任意數量的內核、內存和 AI 處理性能。或者更好的是，谷歌、微軟、亞馬遜等云服務提供商可以根據他們正在運行的工作負載類型任意向他們的客戶分配資源，并僅根據他們使用的內容向客戶收費。

這一愿景是服務器設計和云計算的圣杯。有許多與此相關的復雜工程問題；許多人集中在構建網絡以連接所有內容的延遲和成本上。這些必須嚴格檢查，但協議必須放在第一位，這就是 CXL 2.0 和 3.0 帶來的。

CXL 2.0 的主要特性是支持內存池和切換。CXL 交換機可以連接多個主機和設備，從而使連接在 CXL 網絡上的設備數量顯著增長。新的多邏輯設備功能允許眾多主機和設備全部鏈接并相互通信，而無需歷史規定的主從關系。資源網絡將由結構管理器進行編排，結構管理器是用于控制和管理該系統的標準 API。細粒度的資源分配、熱插拔和動態擴容允許硬件在各個主機之間動態分配和轉移，無需任何重啟。

從上邊的圖片可以看出，多臺主機可以連接到交換機。然后將交換機連接到各種設備，SLD（單個邏輯設備）或 MLD（多個邏輯設備）。MLD 旨在耦合到多個主機以進行內存池。

MLD 顯示為多個 SLD。這允許他們在主機之間匯集內存，甚至匯集加速器計算資源。FM（結構管理器）位于控制平面中。它是協調器，分配內存和設備。結構管理器可以位于單獨的芯片上或交換機中；它不需要高性能，因為它從不接觸數據平面。如果該 CXL 設備是多頭的并連接到多個主機的根端口，則這也可以在沒有交換機的情況下實現。

將所有這些結合在一起，微軟展示了通過池化 DRAM 將部署的 DRAM 減少10% 并節省 5% 的總服務器成本的潛力。這是在沒有使用CXL 開關的第一代 CXL 解決方案上。

CXL 3.0 帶來了更多改進，有助于擴展創建異構可組合服務器架構的能力。主要關注點是將CXL 從服務器規模擴展到機架規模。這是通過從主機設備模型轉變為使 CPU 成為網絡上的另一個設備來實現的。

CXL 交換機現在可以支持一系列拓撲。以前在 CXL 2.0 中，只能使用 CXL.mem 設備進行扇出。一個機架或多個服務器機架現在可以通過葉和主干或所有拓撲聯網。CXL 3.0 的設備/主機/交換機/交換機端口的理論限制為 4096。這些變化極大地擴大了 CXL 網絡的潛在規模，從幾臺服務器擴展到了許多服務器機架。

此外，所有類型的多個設備都可以位于來自主機的 CXL 的單個根端口上。這以前是一個主要限制，因為單個根端口只能尋址單個設備類型。如果主機連接到具有單個 CXL 根端口的交換機，則該主機只能訪問位于交換機外的一種類型的設備。

CXL 3.0 中最重要的變化是內存共享和設備到設備的通信。主機 CPU 和設備現在可以在相同的數據集上協同工作，而無需不必要地打亂和復制數據。一個例子是常見的 AI 工作負載，例如 Google 和Meta 等巨頭采用的數十億參數的深度學習推薦系統。相同的模型數據在許多服務器上重復。用戶的請求進來，推理操作開始運行。如果存在 CXL 3.0 內存共享，則大型 AI 模型可以存在于幾個中央內存設備中，并且有許多其他設備可以訪問它。該模型可以使用實時用戶數據不斷進行訓練，并且可以跨 CXL 交換網絡推送更新。這可以將 DRAM 成本降低一個數量級并提高性能。

內存共享可以提高性能和經濟性的領域幾乎是無限的。第一代內存池可以將總 DRAM 需求降低 10%。較低延遲的內存池可以使多租戶云中的節省達到約 23%。內存共享可以將 DRAM 需求降低 35% 以上。這些節省意味著每年在數據中心 DRAM 上花費數十億美元。

編輯：黃飛

?