Fungible 自主設計的TrueFabric網絡傳輸協議，是Fungible最核心的競爭力，具有媲美RDMA/RoCEv2的性能以及接近TCP的穩定性。

我們來共同學習。

Fungible TrueFabric：數據中心網絡技術的根本性改進

作者：Fungible CEO，Pradeep Sindhu先生

Truefabric是基于開放標準的網絡技術，并且集成到Fungible DPU中。它旨在提高基于橫向擴展原則構建的數據中心的性能、經濟性、可靠性和安全性，單個集群規模可以從幾個機架擴展到數千個機架。它展示了八個基本的屬性：跨越多個數量級的可伸縮性、任意節點到任意節點橫截面帶寬、低可預測延遲、公平性、避免擁塞、容錯、端到端軟件定義的安全性，以及使用開放標準來提供優秀的經濟性能。沒有任何現有技術在單個實現中提供所有這些屬性。因此，TruFabric打開了通往單一通用數據中心網絡的大門，該網絡可用于數據中心內的所有網絡任務，最大化網絡的價值，并實現真正通用和強大的計算基礎設施。

1 介紹

橫向擴展架構已經在數據中心中使用了近20年。這些架構的優點在Barroso、Clidarras和H?lzle的一篇題為“作為計算機的數據中心:倉庫規模機器的設計介紹”的開創性論文中得到了描述。如今，毫無疑問，幾乎所有的數據中心，無論是小型、中型還是大型，無論是公有還是私有，都以這種方式建立。橫向擴展數據中心設計的基本思想是，數據中心中的所有服務器節點都通過可靠的高性能局域網連接。這允許數據中心提供的服務的實現方式是，由于故障或計劃中的事件導致的單個服務器的丟失不會危及服務本身。

雖然有一些特定的網絡技術，如Infiniband、Fiber Channel和RoCE，聲稱提供了數據中心結構的一些屬性，但事實是，今天大多數橫向擴展的數據中心使用以太網之上的TCP/IP作為事實上的互聯技術。TCP/IP發明于20世紀70年代，用來解決通過使用多種網絡技術建立的廣域網連接全球范圍內的計算機的問題。隨后，它被用于在數據中心內提供服務器之間的連接，并且達到了前所未有的規模。考慮到局域網的物理參數比廣域網的速度快三個數量級或更多，TCP/IP能起到的作用是很值得注意的，因為它已經堅持了20多年了。對此的部分解釋是TCP軟件堆棧經過了大量優化，以滿足對網絡日益增長的需求。為某些TCP函數提供“卸載”的并行嘗試不是很成功，因為很難在CPU和卸載引擎之間清晰地拆分TCP。

在過去的十年中，以太網接口和SSD設備的性能比通用CPU提高得更快。這一點很重要，因為絕大多數TCP實現都運行在這樣的CPU上的軟件中，因此它們不能滿足性能要求。在應用程序方面，廣泛使用跨節點遠程過程調用的“微服務”體系結構現在已成為標準實踐。此外，許多新應用程序需要訪問必須跨服務器節點“分片”或分散的大數據集。應用端的這兩方面的發展特征都增加了數據中心內部的網絡流量。總的來說，技術和應用領域的發展共同給網絡棧的軟件實現帶來了巨大的壓力，特別是在以太網上的TCP/IP。因此，通用CPU計算能力的很大一部分都花在了與網絡的交互上，從而減少了應用程序的可用資源。當前的狀況是，將一切構建在TCP/IP的軟件實現之上的辦法越來越難以為繼。

這些發展為TrueFabric作為單一的基于標準的網絡技術的引入奠定了基礎，從而推動數據中心從橫向擴展時代進入以數據為中心的時代。

2 術語

在深入了解TrueFabric的細節之前，先定義一些基本術語是有幫助的。首先，我們在本文中以比標準行業實踐更精確的方式使用Fabric這個術語。我們用它來指滿足一組最低要求的互連技術：可伸縮性；完全的任意節點-任意節點橫截面帶寬；公平；可預見的低延遲；擁塞避免；和誤差控制。當在現有技術約束下構建橫向擴展的基礎設施時，這些最低要求是基本的、不可避免的——也就是說，CPU、內存和IO接口等單個基本構建塊的性能不能無限地提升。我們使用商標術語TrueFabric是對Fungible技術的確認，因為“Fabric”這個詞已經因為過度使用而變得毫無意義。然而，在本文中，我們將準確地使用上面描述的大寫術語Fabric和商標術語TrueFabric來具體指代可替換技術。

理想Fabric是一種具有無限橫截面帶寬和零節點到節點延遲的互連技術。然而，這種Fabric顯然是不可實現的。可實現的Fabric是可以以合理的成本實現的，同時提供Fabric的定義屬性。在可實現的Fabric中，每個節點以固定的帶寬連接，該帶寬獨立于Fabric中的節點數量(稱為可伸縮擴展性的屬性)。Fabric的橫截面帶寬是有限的，但是隨著節點數量的增加而增加，而且根據物理定律，延遲是允許最小的。

還需要區分實現內存模型的互連技術和實現網絡模型的互連技術。前者用于使用讀、寫原語和可能的緩存原語連接處理器到內存；這些互連的帶寬和延遲要求都非常高，但規模必然有限。網絡互連用于使用發送和接收等網絡原語將整個服務器節點彼此連接；這些網絡互連的帶寬和延遲要求比較寬松，但規模可以非常大，可以包含多達一百萬個節點。使用上述術語，TrueFabric是一個實現網絡模型的可實現Fabric。除了合并可實現Fabric的定義屬性之外，它還實現了兩個非常理想的附加屬性：它構建在開放標準之上，并且支持強大的安全性。我們順便注意到，雖然TrueFabric是一個網絡互連，但它的性能已經足夠好，可以使用RDMA在上面實現內存模型。TrueFabric的所有特性都是通過基于標準UDP/ IP以太網的新型Fabric控制協議(FCP)實現的。

對于中小型規模，TrueFabric使用單層標準IP/Ethernet Spine交換機，其中服務器節點直接連接到Spine交換機。對于大規模，它使用兩層拓撲結構，由位于每個機架頂部的標準IP/Ethernet Spine交換機和標準IP/Ethernet Leaf交換機組成。在這種情況下，服務器節點連接到Leaf交換機。盡管當前TrueFabric的最大部署中不需要使用超過兩層的交換機，但是FCP可以在包含三層或更多交換機的現有網絡上完美地運行。

在接下來的內容中，我們將把Leaf、Spine和任何更高的交換層統稱為網絡核心。網絡邊緣是TrueFabric在服務器節點內部的Fungible DPU內實現的端點。TrueFabric是網絡核心和網絡邊緣的集合。

有四種服務器類型的多個實例：CPU服務器、AI/數據分析服務器、SSD服務器和HDD服務器。每個服務器實例包含一個Fungible DPU，它以固定的帶寬(比如100GE)連接到網絡。雖然每個DPU只有一個100GE接口連接到網絡核心，但TrueFabric即使在最大的部署規模下，也能讓每個DPU之間都有一條專用的100GE鏈路。事實上，服務器無法進行任何實驗來揭示網絡核心與抽象圖中顯示的完整網格有任何不同。

3 TrueFabric的屬性

TrueFabric展示了構建現代橫向擴展數據中心的8個基本屬性：

可擴展性：TrueFabric可以從使用100GE接口的小規模部署的服務器集群擴展到使用200GE-400GE接口的數十萬臺服務器的大規模部署。所有部署都使用相同的互連拓撲，小型到中型部署使用單層Spine交換機，大型部署使用Spine層和Leaf層。可以增量地擴展部署，而無需關閉網絡以實現真正的始終在線操作。

全截面帶寬：TrueFabric支持任何節點到任何節點的全截面帶寬，適用于標準IP以太網數據包大小，不限制所承載的流量的時間或空間特征。至關重要的是，TrueFabric支持短的、低延遲消息的高效交換，以支持服務器節點之間的頻繁交互式通信。這種類型的通信對于TCP是不可能的，因為TCP是一種字節流協議。另一方面，TCP可以非常有效地在FCP之上實現。

低延遲和低抖動：TrueFabric提供節點之間的最小的端到端延遲，以及非常嚴格的尾巴延遲控制。節點之間的最小延遲意味著流量總是使用任意兩個節點之間的最短路徑。對尾部延遲的嚴格控制意味著，即使提供的負載利用率超過90%，99%的延遲也很少超過平均延遲的1.5倍。

公平性：在競爭節點之間以微秒粒度公平分配網絡帶寬。此外，網絡帶寬還可以在由給定節點生成的流之間公平地分配。帶寬分配取決于IP包的標準服務質量水平。

擁塞避免:TrueFabric有內置的主動擁塞避免，這意味著數據包基本上不會因為擁塞而丟失，即使在非常高的負載下(大于90%)。值得注意的是，擁塞避免技術并不依賴于核心網絡交換機來提供任何與擁塞控制相關的特性。

容錯：TrueFabric有內置的檢測和恢復數據包丟失，因為任何類型的網絡故障，包括但不限于電纜切斷，交換機故障由于硬件或軟件故障，瞬態錯誤導致交換機內或在終端的數據包下降，瞬態或永久的光電子故障，以及不可避免的銅線或光纜上的隨機噪聲。FCP的錯誤恢復比依賴于路由協議的傳統恢復技術快五個數量級。

軟件定義的安全和策略：TrueFabric支持基于AES標準的端到端加密。此外，可以通過軟件配置將給定的部署劃分為單獨的加密域，每個域為其節點提供任意對任意連接，但禁止從一個域的節點到另一個域的節點的通信。

開放標準：TrueFabric的FCP建立在基于以太網的標準IP之上，可以與以太網上的標準TCP/IP完全互操作。這允許使用現成的Spine和TOR交換機，也允許在一些服務器節點采用DPU，而其他節點不采用DPU。開放的標準還允許TrueFabric提供優異的經濟效益。

總的來說，這八個屬性使得TrueFabric能夠對橫向擴展的數據中心的性能、經濟性、可靠性和安全性產生實質性的優化。它們在單一技術中的實現代表了數據中心網絡技術的根本性進步。

性能和經濟性改進的部分原因是網絡本身的性能比現有網絡高出3倍以上，主要原因是它具有更高的網絡利用率，同時仍然提供出色的低延遲。雖然這是一個巨大的改進，但網絡通常只占數據中心花費的一小部分(約15%)，即使有如此大的改進，數據中心運營商仍不傾向于在此投入。他們這樣做對自己是一種損害，因為絕大多數的性能和經濟性改善是由于TrueFabric，不是來自網絡的直接經濟效益，并且間接來自于整個數據中心的計算和存儲資源池的有效利用。這樣可以減輕CPU的網絡負擔。TrueFabric實際上可以有效地解構數據中心中的所有資源

我們將高效解構大多數數據中心資源的能力稱為超解構，而不是超融合——超融合是一種將資源定位在單一類型服務器內的方法。在超融合方法中，節點內部的CPU可以有效地使用本地資源，但這些資源不能跨服務器節點池。因此，資源使用的效率大大降低。通過比較企業數據中心(由于資源滯留導致利用率低于8%)與超大規模數據中心(通過部分分解達到利用率超過30%)的平均利用率，我們估計這種效率損失超過4倍。

數據中心的可靠性和安全性改進是上面列出的幾個屬性的直接結果。首先，TrueFabric從根本上改善了數據中心網絡的可靠性：它通過完全避免擁塞而不是事后對擁塞做出反應，從而消除了擁塞作為丟包的來源；它還可以從所有網絡硬件和軟件故障(包括多個故障)中恢復，確保可靠運行，而無需承擔通常與此級別的可靠性相關的成本。因此，TrueFabic還從根本上提高了數據中心提供的服務的整體可靠性。第二，TrueFabric的性能特點意味著可以普遍使用糾刪碼來保護所有存儲的數據，特別是高性能存儲中的熱點數據。這使得我們可以大大提高存儲數據的可靠性，而不是創建多副本的成本。

在安全方面，TrueFabric支持數據中心所有DPU-DPU流量的端到端加密。此外，在軟件控制下，支持DPU的服務器可以劃分為不相連的子集，每個子集形成一個單獨的加密安全域。此功能提供了最強大的安全性(除了在服務器組之間提供物理空隙之外)。

4 性能特征

在本節中，我們將介紹TrueFabric的性能特征，重點關注嚴重網絡擁塞的場景。現有技術不能很好地處理這些場景。

4.1 高負載下的Fabric時延

圖3顯示了用于在重負載網絡條件下測試不同流量模式的模擬設置。該設置包含64個相同的機架，每個機架由16個DPU組成，連接到一個6.4Tbps TOR。TOR配置了32x100GE鏈路連接到DPU(每個DPU 2x100GE)和32x100GE鏈路連接到32個Spine，每個Spine 100GE——換句話說，TOR和Spine層都是不會超額認購的。

我們測量了在三種不同的流量場景下，從發送DPU的網絡單元的輸入端口到接收DPU的輸出端口的端到端單向延遲：

一對一：每個DPU發送報文到另一個唯一的DPU。在這個場景中沒有擁塞。數據包大小從行業標準IMIX配置文件中挑選。

隨機目的地:每個DPU將其每個數據包發送到從1024個DPU中隨機抽取的DPU。在這種情況下，所有的數據包都被選擇為相同的大小(1KB)，以在目的DPU上均衡負載。

最大Incast：所有1024個DPU發送到一個接受者DPU——這是擁塞的極限測試。數據包大小從行業標準IMIX配置文件中挑選。下表顯示了這三種場景中的Fabric利用率、平均延遲、延遲方差和P99延遲。

三種情況下，Fabric利用率均超過90%。平均延遲在1-2μs范圍內；P99時延的絕對值在1 ~ 3μs范圍內。值得注意的是，Spine和TOR交換機占了大約0.5μs的延遲預算，其余的在發送和接收DPU之間分布。最后，P99延遲與平均延遲的比率是1.16,1.57和1.02,分別。

4.2 與RoCEv2在擁塞情況下的比較

我們比較了TrueFabric和RoCEv2在10:1 Incast條件下的性能。所比較的兩種配置是相同的，除了一個在10臺服務器上使用Mellanox ConnectX-5網卡，另一個在10臺服務器上使用Fungible的DPU。圖5顯示了設置:

第一組測量顯示了TrueFabric與RoCEv2在10:1 Incast下分配給每個發送方的瞬時帶寬隨時間的變化。參見下面的圖6。很明顯，TrueFabric提供給發送者的帶寬幾乎是相等的，而且隨著時間的推移也很穩定。對于RoCEv2，跨發送者和跨時間的分布是高度可變的。

查看相同數據的另一種方法是在10:1 Incast場景下測量TrueFabric和RoCEv2的P99尾部延遲。TrueFabric的每個流的端到端應用程序延遲為987μs, RoCEv2為16302μs，或者更高的16.5倍。圖7以直方圖的形式顯示了數據。

圖7 TrueFabric和RoCEv2之間的P99尾延遲比較

5 結論

在橫向擴展數據中心中，服務器之間相互連接的網絡是以給定成本構建最通用、最強大的計算設施的關鍵。這個網絡需要有一組屬性，這些屬性對于實現高性能、卓越的經濟性、高可靠性和強安全性的目標至關重要。在本文中，我們精確地定義了這些屬性，并解釋了它們如何有助于實現高級目標。

無論是當前的TCP/IP以太網，還是InfiniBand、光纖通道和RoCEv2等更利基的技術，都不能完全提供前面確定的所有屬性。

TrueFabric是業界首次專注于提供基于開放標準的單一、統一的網絡技術，該技術具有在大范圍內構建高性能、經濟、可靠和安全數據中心所需的所有屬性。因此，它代表了數據中心網絡技術水平的根本進步。

原文標題：DPU怎樣顛覆數據中心網絡？

文章出處：【微信公眾號：SSDFans】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq