PCIe 真的能與以太網和 IB 競爭并取勝嗎？工程師應該從了解 PCIe、以太網和 IB 共存的地方以及為什么 PCIe 準備進軍其他兩個領域中受益。

InfiniBand （IB） 最初被設想為一種統一結構，以取代大多數其他數據中心互連。雖然它沒有實現這一目標，但它已經作為一種高速集群互連變得流行，取代了之前一直在使用的專有解決方案。

與 PCI Express （PCIe） 非常相似，IB 自推出以來已經經歷了許多不同的速度。初始速度稱為單數據速率 （SDR），與 PCIe Gen1 的有效數據速率相同，約為每秒 2 吉比特 （Gbps）。此后，它已增強為 4 Gbps 的雙倍數據速率 （DDR）、8 Gbps 的四倍數據速率 （QDR），現在通過 14 數據速率 （FDR） 增強功能提高到 13.64 Gbps。

QDR 在單通道的數據速率方面最接近 PCIe Gen3，并且具有相似的帶寬和延遲，基于 PCIe 的結構將能夠以相同的數據速率提供與 IB 解決方案相似的性能。除了提供相同級別的性能外，PCIe 還能夠使用 IB 不提供的標準單根 I/O 虛擬化 （SR-IOV） 硬件和軟件驅動程序提供 I/O 設備共享。IB 主要是一種高速集群技術，因此基于 PCIe 的結構可以實現類似 IB QDR 的性能，并降低等效 IB 解決方案的系統成本和功耗。

當前架構

當前大量部署的傳統系統有幾種需要支持的互連技術。如圖 1 所示，除了光纖通道 （FC） 等其他結構外，IB 和以太網還可以作為單個系統中的互連。

圖 1：此處顯示的是采用 PCI Express、InfiniBand （IB） 和以太網互連技術的傳統系統。

這種架構有幾個限制：

存在多種 I/O 互連技術

I/O端點利用率低

由于需要多個 I/O 端點而導致高功耗和系統成本

I/O 在構建時固定，以后無法靈活更改

管理軟件必須處理具有開銷的多個 I/O 協議

使用多種 I/O 互連技術會增加延遲、成本、電路板空間和功耗。如果所有端點都在 100% 的時間內被使用，那么這種架構會有些用處，但是它們通常未被充分利用，這意味著有限的利用率會產生昂貴的開銷。延遲增加是因為處理器的原生 PCIe 接口需要轉換為多種協議。但是，設計人員可以通過利用相同的本地 PCIe 接口來聚合所有端點來減少此類延遲。

顯然，共享 I/O 端點是解決這些限制的方法（圖 2）。這一概念吸引了系統設計人員，因為它降低了成本和功耗，提高了性能和利用率，并簡化了設計。共享 I/O 的其他優點是：

隨著 I/O 速度的提高，唯一需要的額外投資就是更換 I/O 適配卡。在早期部署中，當同一卡上存在多種 I/O 技術時，設計人員必須重新設計整個系統，而在共享 I/O 模型中，當需要升級時，他們可以簡單地用新卡替換現有卡。一種特定的 I/O 技術。

由于不需要在同一張卡上存在多個 I/O 端點，設計人員可以制造更小的卡以進一步降低成本和功耗，或者選擇保留現有的外形尺寸并通過添加多個 CPU、內存和/ 或通過消除多個 I/O 端點節省的空間中的其他端點。

設計人員可以減少縱橫交錯系統的電纜數量。隨著多種互連技術的出現，需要不同（和多條）電纜來實現帶寬和開銷協議。然而，隨著設計的簡化和 I/O 互連技術的范圍擴大，系統正常運行所需的電纜數量也減少了，從而消除了設計的復雜性并節省了成本。

圖 2：將 PCI Express （PCIe） 用于共享 I/O 的 I/O 系統降低了成本、提高了性能并簡化了設計。

在 PCIe 交換機中實現共享 I/O 是圖 2 中描繪的架構的關鍵推動力。SR-IOV 技術在硬件中實現 I/O 虛擬化以提高性能，并利用基于硬件的安全性和 Quality-of-單個物理服務器中的服務 （QoS） 功能。SR-IOV 還允許在同一服務器上運行的多個客戶操作系統 （OS） 共享 I/O。

PCIe 通過允許將所有 I/O 適配器（例如，基于 10 Gb 以太網 （GbE）、FC 或 IB）移到服務器外部，提供了一種簡化的方法來實現這一點。借助提供虛擬化支持的 PCIe 交換結構，每個適配器可以在多個服務器之間共享，同時為每個服務器提供一個邏輯適配器。服務器或每臺服務器上的虛擬機 （VM） 繼續可以直接訪問共享適配器上它們自己的一組硬件資源。產生的虛擬化允許更好的可擴展性，因為 I/O 和服務器可以相互獨立地擴展。這種虛擬化通過避免過度配置服務器或 I/O 資源來降低成本和電力需求。

除了共享 I/O 實現之外，基于 PCIe 的結構增強了基本的 PCIe 功能，包括遠程 DMA （RDMA），通過直接從主機應用程序內存復制信息來提供非常低延遲的主機到主機傳輸，而無需主 CPU 的參與，從而釋放 CPU 用于更重要的處理功能。

表 1 提供了 PCIe、10 GbE 和 QDR IB 成本比較的高級概述，而表 2 提供了三種互連技術的功率比較。

表 1：與 10 Gb 以太網 （GbE） 和四倍數據速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構可節省 50% 以上的成本。

表 2：與 10 Gb 以太網 （GbE） 和四倍數據速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構可節省 50% 以上的功耗。

表 1 中的價格估算基于廣泛的行業調查，并假設定價會根據架頂式交換機和適配器的數量、可用性和供應商關系而有所不同。這兩個表提供了一個框架，用于了解使用 PCIe 進行 I/O 共享的成本和節能，主要是通過消除適配器。

切換到 PCIe

由于多種原因，PCIe 已經主導了主流互連市場：通用可擴展性、高吞吐速度、低開銷和廣泛部署。PCIe 可以針對不同的帶寬要求進行線性擴展，從服務器主板上的 x1 連接到用于高速存儲的 x2 連接，再到用于背板的 x4 和 x8 連接，以及用于圖形應用程序的 x16 連接。PCIe Gen3 每條鏈路的雙向 8 Gbps 不僅能夠支持共享 I/O 和集群，這反過來又為系統設計人員提供了一種無與倫比的工具來優化設計效率，就像 PCIe 的簡單、低開銷協議一樣。最后，PCIe 是一種真正無處不在的技術，幾乎系統中的每個設備都至少有一個 PCIe 連接。

本文重點介紹了 PCIe、10 GbE 和 IB QDR 之間的各種比較，特別是在成本和功率要求方面，但建議還考慮這三個行業標準之間的其他技術區別。盡管如此，由于 PCIe 幾乎在所有處理器上都是原生的，因此設計人員可以通過消除在 CPU 和 PCIe 開關之間使用額外組件的需要而受益于更低的延遲；使用新一代 CPU，PCIe 開關可以直接放置在 CPU 之外，從而降低延遲和組件成本。

審核編輯：郭婷