本文來自ATC 22，由于出色的硬件異構(gòu)管理和資源分解能力，CXL 等新型高速緩存一致性互連協(xié)議近來備受關(guān)注。本文作者提出了可直接訪問的分離式內(nèi)存，DirectCXL，并自行設(shè)計了CXL內(nèi)存控制器、支持CXL的處理器及相關(guān)軟件運行時以實現(xiàn)DirectCXL。它通過 CXL 的內(nèi)存協(xié)議 (CXL.mem) 直接連接主機處理器復(fù)合體和遠程內(nèi)存資源。 由于 DirectCXL 不需要在主機內(nèi)存和遠程內(nèi)存之間進行任何數(shù)據(jù)復(fù)制，因此它可以向用戶展示遠程端分離式內(nèi)存資源的真實性能，相較于RDMA實現(xiàn)的分離式內(nèi)存訪問速度提升8.2x，在真實工作負載上提升最大達3.7x。 ?

01?背景

? ? 分離式內(nèi)存由于可以提升內(nèi)存利用率而備受關(guān)注，現(xiàn)有的分離式內(nèi)存可以根據(jù)它們?nèi)绾喂芾頂?shù)據(jù)分為1）page-based和2）object-based。Page-based方法基于虛擬內(nèi)存技術(shù)，當(dāng)發(fā)生缺頁中斷時從遠端交換內(nèi)存頁，無需修改程序代碼。而object-based方法則需要使用數(shù)據(jù)庫（如KV數(shù)據(jù)庫）來管理內(nèi)存對象，需要大量的源碼級修改。 盡管還有許多變種，但所有現(xiàn)有的方法都需要類似RDMA的方式使用網(wǎng)絡(luò)從遠端內(nèi)存移動數(shù)據(jù)到主機端內(nèi)存，數(shù)據(jù)移動和伴隨而來的操作（如頁面緩存管理）引入了冗余和軟件開銷，這使得分離式內(nèi)存的延遲比本地DRAM高多個數(shù)量級。

CXL（Compute Express Link）是一個行業(yè)支持的緩存一致性互聯(lián)協(xié)議，其下有三個子協(xié)議： CXL.io使CXL可運行在標準PCIe物理層之上，PCIe5.0的帶寬已經(jīng)達到63GB/s，這足以為遠端內(nèi)存訪問服務(wù)。 CXL.cache允許CXL設(shè)備緩存主機端的內(nèi)存。 CXL.mem允許主機使用Load/Store語義像訪問本地內(nèi)存一樣訪問設(shè)備端的內(nèi)存。 因此CXL在實現(xiàn)分離內(nèi)存方面表現(xiàn)出巨大的潛力。 02?背景 ? ? 當(dāng)前工作中基于網(wǎng)絡(luò)的數(shù)據(jù)拷貝嚴重影響了性能，因此DirectCXL直接將遠端內(nèi)存資源與CPU Compute Complex相連，允許用戶以Load/Store指令訪問遠端內(nèi)存。

1. 通過CXL連接主機和內(nèi)存

現(xiàn)有的分離式內(nèi)存技術(shù)仍然需要在遠端內(nèi)存?zhèn)仍O(shè)置計算資源，這是因為所有DRAM模塊及其接口都設(shè)計為無源外設(shè)，需要計算資源控制。相比之下，CXL.mem允許主機計算資源通過 PCIe 總線 （FlexBus） 直接訪問底層內(nèi)存;它的工作方式類似于本地DRAM，連接到其系統(tǒng)總線。 在當(dāng)前架構(gòu)中，設(shè)備的 CXL 控制器解析傳入的基于 PCIe 的 CXL 數(shù)據(jù)包，稱為 CXL flit，將其信息（地址和長度）轉(zhuǎn)換為 DRAM 請求，并使用 DRAM 控制器從底層 DRAM 為它們提供服務(wù)。

具體來說，主機CPU系統(tǒng)總線包括了多個CXL Root Port（RPs），可以將一個或多個CXL設(shè)備作為Endpoint（EP）設(shè)備連接。作者實現(xiàn)的主機端驅(qū)動在啟動時通過查詢其base address register（BAR）寄存器和host-managed memory（HDM）大小來枚舉CXL設(shè)備。根據(jù)檢索到的大小，內(nèi)核驅(qū)動將BAR和HDM映射到主機的保留內(nèi)存地址空間中，并通知底層的CXL設(shè)備它們被映射到了主機內(nèi)存。當(dāng)主機發(fā)送Load/Store指令時，請求被送到相應(yīng)的RP，RP將請求轉(zhuǎn)換為CXL Flit。最后CXL內(nèi)存控制器將目標內(nèi)存地址減去基地址就得到了CXL設(shè)備中實際的內(nèi)存地址，下發(fā)到DRAM控制器獲取數(shù)據(jù)，結(jié)果通過CXL Switch和FlexBus返回到主機。由于該過程中沒有數(shù)據(jù)拷貝和軟件干預(yù)，因此DirectCXL可以提供低延遲的遠端內(nèi)存訪問。 DirectCXL也可以通過交換機實現(xiàn)更廣泛范圍的互連，在CXL標準中CXL Switch作用類似于網(wǎng)絡(luò)交換機。

2. DirectCXL的軟件運行時

與 RDMA 相反，在主機和 CXL 設(shè)備之間創(chuàng)建虛擬層次結(jié)構(gòu)后，主機上運行的應(yīng)用進程可以通過引用 HDM 的內(nèi)存空間直接訪問 CXL 設(shè)備。但是，它需要軟件運行時/驅(qū)動進程來管理底層 CXL 設(shè)備，并在應(yīng)用進程的內(nèi)存空間中公開其 HDM。因此，作者提供了DIRECTCXL 運行時，它只是將 HDM 的地址空間拆分為多個段，稱為CXL命名空間。然后，DitectCXL 運行時允許應(yīng)用進程以內(nèi)存映射文檔 （mmap） 的形式訪問每個 CXL 命名空間。

03?原型實現(xiàn) ? ?

由于還沒有已經(jīng)上市的支持CXL的處理器、設(shè)備和OS，因此作者自行實現(xiàn)了DirectCXL。每個CXL設(shè)備基于定制的add-in-card（AIC）CXL 內(nèi)存刀片構(gòu)建，該刀片采用 16 納米 FPGA 和 8 個不同的 DDR4 DRAM 模塊（64GB）。作者使用FPGA實現(xiàn)了一個CXL控制器和八個DRAM控制器用以管理CXL EP和內(nèi)部DRAM通道。作者實現(xiàn)使用RISC-V ISAs的內(nèi)部主機處理器以支持CXL，它采用四個無序內(nèi)核，其最后一級緩存 （LLC） 實現(xiàn) CXL RP。每個支持 CXL 的主機處理器都在高性能數(shù)據(jù)中心加速器卡中實現(xiàn)，充當(dāng)主機的角色，可以單獨運行 Linux 5.13 和 DIRECTCXL 軟件運行時。通過 PCIe 背板向四個主機公開四個 CXL 設(shè)備（32 個 DRAM 模塊）。 04?實驗 ? ? 下圖6展示了RDMA和DirectCXL讀64B數(shù)據(jù)的延遲劃分。 可以看到RDMA需要兩次DMA操作，InfiniBand網(wǎng)絡(luò)開銷占到了總延遲的78.7%。相比之下DirectCXL由于不需要網(wǎng)絡(luò)和拷貝，快8.3倍。

圖7a將RDMA訪問延遲劃分為軟件庫、拷貝、內(nèi)存訪問和網(wǎng)絡(luò)，當(dāng)負載較小時，RDMA庫開銷占比較大，隨著負載增大，拷貝到MR的數(shù)據(jù)也越來越多，Copy占比逐漸增大。注意網(wǎng)絡(luò)開銷并未降低，當(dāng)負載增大時網(wǎng)絡(luò)傳輸和內(nèi)存訪問可同時進行，重疊部分被劃分到內(nèi)存訪問；7b將DirectCXL訪問延遲劃分為CPU Cache、PCIe和內(nèi)存訪問。隨著負載增大，CPU Cache拖慢了訪問延遲，這是由于作者定制的CPU中miss status holding registers（MSHR，用于實現(xiàn)非阻塞式緩存）只能處理16個并發(fā)內(nèi)存miss，因此隨著組成大負載的內(nèi)存請求（64B）越來越多，會導(dǎo)致CPU停頓。

在真實工作負載上，DirectCXL的性能提升達到了3倍和2.2倍。 05?總結(jié) ? ? 在本文中，作者提出了通過CXL的內(nèi)存協(xié)議（CXL.mem）連接主機處理器復(fù)雜和遠程內(nèi)存資源的DirectCXL。其實際系統(tǒng)評估結(jié)果表明，當(dāng)工作負載可以享受主機處理器的緩存時，DirectCXL 的分離式內(nèi)存資源可以表現(xiàn)出類似 DRAM 的性能。對于實際應(yīng)用進程，它的性能平均比基于 RDMA 的方法高 3×。

編輯：黃飛