為使云服務更高效、靈活地為各行業的業務創新與智能化轉型提供支持，特別是促進企業上云、邊緣計算上云，眾多云服務提供商正致力于通過云數據中心架構革新和軟件調優來消除基礎設施的能力瓶頸，使其更高效和智能，從而為用戶帶來更強的服務性能、更高的穩定性與安全性和更優的管控效率。

針對這一需求，英特爾推出了全新的基礎設施處理設備—英特爾 基礎設施處理單元（Infrastructure Processing Unit，IPU）。通過可編程陣列邏輯 （Field Programmable Gate Array，FPGA） 芯片加英特爾 至強 D 處理器組成的硬件加速引擎或單獨由專用集成電路 （Application Specifific Integrated Circuit，ASIC） 芯片，英特爾 IPU 能在軟件加持下，以可編程的方式將網絡、存儲和安全等工作負載從主機側處理器上卸載并進行加速，進而在充分釋放云數據中心算力，保持基礎設施高性能、高利用率的同時，實現更靈活地資源調配，并使云服務提供商能更快地轉向完全虛擬化存儲和網絡架構。另外，英特爾 IPU 作為新基礎設施能力加速引擎，通過與英特爾 至強 可擴展處理器協同，能充分滿足用戶在更多場景下的云服務需求。

作為合作伙伴，百度智能云與英特爾在云數據中心未來建設方向上有著相同理念與愿景，通過在技術層面的深度探討和交流，借力英特爾 IPU 平臺參考設計，自研百度太行 DPU 1.0 產品，積極應對其在云服務實踐中遇到的一系列挑戰。新產品通過在裸金屬服務器和云主機等場景中的部署應用，被證明可成為其未來智能云服務的可靠技術基座。

背景及挑戰

企業創新應用對云數據中心既有能力

提出更高需求

得益于技術與市場的高速發展，今天的云服務正為千行百業的生產經營、業務拓展和技術研發帶來高效、彈性且充沛的算力支持，并助力更多用戶基于云環境來靈活地部署和運行其企業級應用。隨著 5G、人工智能 （Artificial Intelligence，AI）、邊緣計算等前沿技術在更多行業獲得落地應用，企業級云服務的發展也出現了許多新的變化與趨勢，包括：

● 更呈分布式的云服務部署：邊緣計算等技術的發展推動著云服務由傳統的中心云逐漸向“云邊端”協同演進，更多云服務被部署在貼近應用的邊緣端；

● 更為廣泛的云服務應用場景：云服務正成為更多行業的 IT 基礎設施之一，在智能制造、智慧金融等新業態中擔綱主力，成為各類企業級應用的堅實技術基座；

● 更復雜的工作負載需求：不同場景的工作負載對資源的需求不盡相同，有些負載需要更多算力，有些負載需要更大內存或者加速單元。如何滿足不同工作負載的需求成為企業上云的考量之一。

實例多樣化以及資源池化

驅動向未來數據中心轉型

上述部署方案與應用場景的變化，也讓云數據中心服務器在管理與應用上面臨更多挑戰。例如更多虛擬機 （Virtual Machine， VM） 的部署使虛擬機管理等管理任務變得更加復雜。同時，其能力輸出也逐漸從傳統單體式應用向微服務化發展，這也進一步提高了云數據中心管理任務的復雜程度，進而占用大量處理器資源。

既要對虛擬機、微服務，甚至裸金屬服務器等實例開展高效管理，又要對相關的云數據中心的網絡、存儲等基礎設施實現加速，其中的復雜性和資源開銷不斷增加，傳統基礎架構何以滿足未來數據中心要求就成為現實問題。換句話說，未來數據中心需要什么技術來實現轉型？

隨著微服務模型越來越多地用于云數據中心的應用，可以預測的是，未來數據中心可能具有以下的技術特性：

● 云原生應用的出現和快速增長推高了對專用基礎設施的需求，并大幅提高云服務的敏捷性以及云數據中心的效率；

● 云服務的微服務化，推動了分布式異構計算環境的發展，而每個微服務都應在更適合的加速節點上運行；

● 微服務模型的廣泛采用也催生出數據中心編排系統，使各異構計算服務器之間實現微服務分發的自動化及管理；

● 使用微服務、虛擬機、容器以及容器編排的場景不斷增加，推動了服務網格的開發。服務網格能夠簡化微服務到微服務的通信，并使其更加高效。現在，服務網格已經成為云原生堆棧的標準組成部分；

同時，由于不同工作負載或者用戶不同時段對于資源需求的不同，通過資源池化可以更優的配置資源以達到彈性擴容的要求。

因此，未來數據中心的架構將更多地面向于服務不同的實例且日益資源池化的方向發展，以此來更好利用異構計算帶來的加速處理能力。這一異構計算的核心將由傳統的處理器平臺，以及由英特爾推出的 IPU 等基礎設施處理設備來組成。在基于這種架構的數據中心內，服務器與執行網絡、存儲等加速的 IPU 設備互聯互通，不僅傳統的服務器節點處理能力可在專用計算節點的支持下得到增強，同時存儲、網絡服務，以及云服務管理包括裸金屬服務器和微服務也能獲得加速。

英特爾 IPU 助力數據中心應對變革挑戰

隨著多種實例服務以及資源池化等越來越普遍地用于云數據中心的應用、存儲和網絡，傳統數據中心也在通過不斷轉型來應對更高的需求和挑戰，并由此向未來數據中心演進。在傳統數據中心的架構中，通常借助傳統的網卡 （Network InterfaceCard，NIC） 產品來負責執行物理層與數據鏈路層的數據流量處理，而更高層的功能則需要處理器等計算資源的參與。例如，在數據存儲過程中，每一次 I/O 都需借助處理器多次上下文切換與內存拷貝，以“中斷”模式在用戶態與內核態進行數據交換。

而在提供云服務過程中，這一情況則更為突出。不僅 OpenvSwitch （OVS） 等虛擬交換技術、RDMA over Converged Ethernet （RoCE） 等傳輸存儲協議以及相應的數據安全技術被引入系統架構，同時也衍生出裸金屬、容器云等多樣化的云產品形態。這些新產品與技術的引入，令云數據中心的各類數據處理過程變得更為復雜。

這一趨勢，伴隨著數據規模的不斷增大?（端口帶寬正逐步從?25G向100G乃至更高演進），正對云數據中心帶來巨大挑戰，包括：

● 數據處理的增長速度始終高于算力增長速度，因此對處理器資源的占用率也越來越大。數據表明，目前數據中心中 30%的計算是在作流量處理，甚至被形象地稱為“數據中心稅 （Datacenter Tax）”1；

● 為保障核心業務的高效執行，數據中心不得不購置更多處理器資源，帶來云服務總擁有成本 （Total Cost of Ownership，TCO） 的增加，進而抬升最終用戶部署和使用云服務的成本；

● 更大的數據規模和處理復雜度，也對數據中心的各項基礎設施性能，包括網絡 I/O、轉發、存儲、安全以及管理等造成影響，阻礙云數據中心增加網絡吞吐量、降低網絡延遲等性能優化。

在這一背景下，不斷革新的云數據中心亟待尋求一種全新的智能架構來化解上述挑戰。對傳統網卡產品進行“擴容賦能”，是業界解決數據處理負載過重的最初方案。這一被稱為智能網卡 （SmartNIC） 的產品，通過在網卡中加入用于處理和轉發不同端口上各種類型的數據等功能，從而實現更多的算力釋放、更佳的網絡性能表現，并降低處理延遲。但是這種智能網卡由于缺乏計算單元，往往只能做到數據平面的卸載，控制平面以及Hypervisor 等基礎設施管理負載仍然需要主機處理單元來完成，做不到基礎設施處理的全卸載。

英特爾通過對數據中心基礎設施能力進一步分析與整合，推出了英特爾 IPU （Intel Infrastructure Processing Unit），將數據平面，控制平面以及 Hypervisor 等基礎設施管理負載和云服務基礎設施能力都從主機服務器中卸載，一方面讓寶貴的算力資源更多地用于用戶關鍵業務，另一方面也通過將各種能力卸載到專用設備獲得加速，有效提升各種數據處理負載的執行效率，來全面幫助云數據中心構建新的基礎設施能力加速引擎。

解決方案：以英特爾 IPU，構建云數據中心加速強引擎

IPU 是全新的產品形態。它在涵蓋智能網卡功能的同時，更能為未來云數據中心帶來更高級別的安全性和控制力。其優勢包括：

● 卸載高密集的基礎設施應用任務到 IPU 并進行加速，如加密和解密以及數據包處理；

● 在極端情況下，IPU 可以卸載整個虛擬機管理程序，釋放處理器所有內核為應用和微服務提供支持，這對于裸金屬服務產品來說至關重要；

● 減少了主機側處理器中虛擬機管理程序和基礎設施堆棧的開銷，并可以從主機側處理器中卸載存儲堆棧，使更多的處理器資源可用于應用和租戶工作負載；

● 使租戶應用和基礎設施管理解耦，實現更高安全性和可控性；

● 為裸金屬和云主機統一云管控創造了可能。

如圖 1 所示，英特爾 IPU 產品在配置了 FPGA 芯片或者 ASIC 中的專有硬件加速器之外，也加入通用處理器來對各類基礎設施控制面功能實現卸載。這種將專用可編程硬件與通用處理器相結合的方式，不僅能使云數據中心中各基礎設施能力獲得預期加速，滿足不斷增長的網絡數據處理需求，也能實現對控制面功能的靈活管理與操控，實現更優的系統級安全、控制和管理能力。

以目前英特爾面向市場的 IPU 主力產品英特爾 FPGA IPU C5000X-PL （代號“Big Spring Canyon”） 為例，如圖 2 所示，其具備 2 個 25G 端口 （使用 SFP28 光口），可提供 50G 的網絡吞吐能力;核心處理能力則由所搭載的英特爾 Stratix 10 DX FPGA 芯片與英特爾 至強 D 處理器擔綱。

其中，英特爾 Stratix 10 DX FPGA 可編程邏輯芯片能充分發揮其硬件可編程特性，通過先進的架構設計、封裝技術、相比前一代 FPGA 擁有更多的收發器并支持硬核 PCIe Gen4 接口，從而實現更高的帶寬，以定制化設計來實現高吞吐和低延時的性能表現， 完成 I/O 虛擬化、OVS 轉發等任務，實現基礎設施管理、網絡和存儲功能的卸載。

英特爾 至強 D 處理器則通過高度集成的設計，不僅能以卓越的單核性能來承載控制面的各項功能，支持 Hypervisor，還能以良好的 x86 兼容性以及與其它英特爾 架構硬件形成的良好生態，幫助用戶實現系統代碼或應用能力的快速遷移，從而提升卸載效率。

卸載基礎設施能力與釋放算力

借助上述兩種芯片，如圖 3 所示，云數據中心能夠有效地將網絡、存儲、安全以及基礎設施管理等多種能力從處理器卸載到 IPU，從而實現算力釋放，并加速多種基礎設施能力。這些能力包括：

● 網絡加速：將承載網絡 I/O、數據轉發等功能的虛擬交換機軟件，如 OVS 等從主機側處理器卸載到 IPU，提升網絡吞吐量，減少網絡處理時延；

● 存儲加速：將 virtio-blk、NVMe-oF 等存儲接口、協議棧從主機側處理器轉移到 IPU，提高存儲彈性和靈活性，并降低系統復雜性和開銷；

● 安全加速：可以從主機側處理器卸載加密/解密、壓縮和其他應用功能；

● 基礎設施處理：將云服務管理功能從主機側處理器卸到 IPU，使虛擬機、容器或裸金屬服務的分配和管理更為高效。

除了引入性能更強且具備靈活可編程特性的硬件來面向特定功能進行優化加速，釋放更多寶貴算力之外，英特爾也賦予了 IPU 產品豐富的軟件生態。目前，英特爾正以加速開發平臺 （Acceleration Development Platform，ADP） 為抓手，優化生態系統，助力合作伙伴實現云數據中心性能加速解決方案的快速開發和部署。在規劃中，ADP 平臺將為用戶提供通過英特爾 開放式 FPGA 堆棧 （英特爾 OFS） 實現的板卡硬件設計、軟件、驅動程序以及技術設計支持。用戶可以利用這些軟件工具與技術支持，加速 IPU 相關產品的開發，并迅速將產品推向市場。

對接英特爾 至強 可擴展處理器，

提升云數據中心算力

在英特爾為用戶提供的高效能云數據中心生態方案中，不僅可以通過英特爾 IPU 開展能力卸載，對基礎設施進行性能加速，也可以引入英特爾 至強 可擴展處理器來進一步加強算力。通過對算力的“開源節流”，實現更快的數據處理速度、更大的帶寬接入能力以及更低的網絡時延。

第三代英特爾 至強 可擴展處理器可為服務器帶來的性能增強包括：

● 更多的內核、更優的架構帶來算力性能的大幅提升，可有效應對高密度計算所需；

● 支持更多內存，支持 PCIe Gen4，可實現更高的每核 I/O 帶寬；

● 多項內置增強技術，如英特爾 深度學習加速技術 （英特爾 DL Boost） 等可在人工智能等場景提供強大加速能力。

在算力架構中引入英特爾 至強 可擴展處理器的另一個優勢是能夠有效提升能力卸載的效率和平滑性。由于主機側和 IPU 都采用基于英特爾 架構的處理器 （英特爾 至強 可擴展處理器和英特爾 至強 D 處理器），這樣將原先主機側運行的應用遷移到 IPU 上就變的非常方便，甚至無需編譯即可遷移。例如 DPDK、SPDK 等軟件就可以從主機側直接遷移到 IPU 上運行，從而大幅提升開發、部署和測試的效率。

這一算力架構正幫助云數據中心形成更高效的能力輸出。以裸金屬服務器為例，作為兼具物理機的高性能和高安全性，裸金屬正越來越多地被部署在關鍵業務場景中。但傳統上，由于裸金屬的云管理能力由處理器承載，而裸金屬又具有用戶獨占處理器資源的特性，因此裸金屬無法像虛擬云主機那樣便捷彈性地向用戶提供算力。

借助英特爾 IPU 提供的云管理能力卸載，裸金屬可以實現基礎設施管理面與租戶間的物理隔離，利用 VirtIO 設備熱插拔特性支持彈性服務。而第三代英特爾 至強 可擴展處理器的加入，則進一步提升了裸金屬中可供調度分配的算力，可以幫助云數據中心有能力為用戶關鍵業務提供更具性能、更安全的服務，并提升算力資源的利用效率，從而提供兼具性能和性價比優勢的云服務能力。

助力百度智能云打造更高效可靠的云服務能力

作為領先的云服務提供商，百度智能云在云數據中心建設方向上與英特爾有著同樣的理念，即應該將基礎設施能力的相關開銷全部從主機側處理器卸載到專門的基礎設施處理單元上并實施性能加速，以便釋放算力，優化整體性能，從而打造高效，安全和可編程的未來數據中心。

來自百度智能云的實踐表明，持續向各個領域延伸，并承載越來越多核心業務能力的云服務，正面臨著需要更強算力資源、更大帶寬接入和更低網絡時延的挑戰。以百度智能云獨具優勢的 AI 云服務為例，目前 AI 算力需求比之前已提升數個數量級，元宇宙的算力需求還要再提升 1000 倍2。因此要貫徹上述理念，需要更為強勁的技術底座予以支持。

為此，百度智能云致力于發展軟硬件結合的云計算基礎設施，通過自研的百度太行 DPU 系列產品，并融合其在云服務領域的豐富經驗以及大量真實需求，來應對云服務實踐中遇到的算力、網絡、存儲、安全等一系列挑戰。

”

“云計算正與其它技術浪潮一起，推動各行業的數字化、智能化轉型。在這一進程中，我們第一次自研推出 DPU 設備 — 百度太行 DPU1.0。它能夠支持太行彈性裸金屬服務，實現網絡卸載、PCIe 設備熱插拔等功能，讓云計算的虛擬化開銷很大程度沉淀在網卡上，使云產品的性能大大提升。”

——侯震宇，百度集團副總裁

如圖 5 和 表 1 所示，百度太行 DPU 1.0 產品配備了 2 個25G帶寬的光口，并引入英特爾 FPGA 與英特爾 至強 D 處理器作為算力核心，來實現各項虛擬化功能的卸載，在為用戶提供彈性網卡、彈性存儲能力之余，還支持 1024 個設備的熱插拔。同時，通過將云管控平面卸載到百度太行 DPU 1.0中，也可以實現虛擬云主機和裸金屬共池，即裸金屬可與虛擬云主機被統一靈活調度。來自百度智能云的測試驗證表明，百度太行 DPU 1.0 產品能夠為用戶提供 1000 萬 PPS 的轉發率

以及 20萬 IOPS 的存儲性能3。

現在，百度太行 DPU 1.0 產品已在太行彈性裸金屬等多種云服務場景中開展應用并獲得了用戶好評。實踐證明，百度自研的百度太行 DPU 1.0 可以有效解決云數據中心管理及虛擬化的局限性，幫助百度智能云保持優勢。在百度智能云的計劃中，這一 DPU 產品也將作為其智能云服務的核心組件，助力其構建基礎設施即服務 （Infrastructure as a Service，IaaS） 資源的統一彈性底座，進而為用戶依托百度智能云開展各類業務創新、實施產業智能化轉型提供高效且可靠的性能保障。

總結與展望

隨著英特爾 IPU 以及基于其參考設計研發的相關產品在云數據中心的基礎架構革新中展現出顯著性能優勢和市場價值，并逐步形成可持續發展的生態鏈，英特爾與百度智能云等深度合作伙伴也正圍繞云服務的未來發展方向，從軟硬件層面開拓更多優化方案。例如通過新的英特爾 IPU 平臺提供更大網絡吞吐量，實現對基礎設施管理的全面解耦，以及以極低時延實現端到端的加速等。

面向未來，英特爾還計劃在 IPU 產品體系上持續發力。如圖 6 所示5，英特爾在 2022 年將推出兩款第二代 200G 的可編程IPU， 代號分別為“Oak Springs Canyon”和“Mount Evans”。其中，Oak Springs Canyon 搭載了英特爾 至強 D 處理器與英特爾 Agilex FPGA 芯片；而 Mount Evans 則是英特爾首款基于 ASIC 芯片的 IPU 產品。這兩款產品都將具有卸載200G 工作負載所需的基礎設施加速能力，且都可與英特爾 至強 可擴展處理器協同工作。未來兩到三年內，英特爾將推出支持 400G 的 IPU 產品，在 2025 年或晚些時候，推出新一代基于 FPGA 芯片和 ASIC 芯片 的 800G IPU 產品。

與此同時，英特爾也正進一步背靠豐富的開源軟件，如基礎架構編程人員開發套件 （International Package and Development Kit ，IPDK）、SPDK、DPDK 等，致力于通過開放的生態系統、多方位的行業協作以及積極的社區互動，讓百度智能云等云服務提供商、云服務最終用戶以及其它合作伙伴能加速IPU 相關解決方案的構建，從云數據中心基礎架構的持續革新中擷取更大價值。