NVIDIA ConnectX 智能網卡及開源 UCX 框架幫助網易高性能 RDMA 網絡通訊功能實現更優表現,助力網易通過 Curve 開源項目為 Apache BRPC 自主實現高性能的 RDMA 網絡通訊。
網易亟需打造一款高吞吐和低延遲的分布式存儲系統
如何為用戶提供性能優異、易于部署的分布式存儲系統,特別是如何在遠程訪問存儲時提高吞吐和降低延遲是網易面臨的主要挑戰。雖然在自研的 Curve 開源項目下已經支持了 Apache BRPC ,并具備了一定的遠程方位存儲的網絡通訊能力,但是并未實現對 RDMA 網絡通訊的支持,并借助 RDMA 網絡通訊能力來實現高吞吐和低延遲,從而提升整體開源云原生分布式存儲系統的性能。
NVIDIA ConnectX 智能網卡
為網易 Curve 開源項目提供解決方案
網易的 Curve 開源項目下支持 Apache BRPC ,并自研實現了 RDMA 網絡通訊功能,而其采用的 NVIDIA ConnectX 智能網卡及開源 UCX 框架的底層軟硬件基礎設施,幫助其更好地為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 Curve 是云原生計算基金會(CNCF)沙箱(Sandbox)項目,它是網易主導自研和開源的高性能、易運維、云原生的分布式存儲系統,由塊存儲 CurveBS 和文件系統 CurveFS 兩部分組成,可應用于主流的云原生基礎設施平臺:
對接 OpenStack 平臺為云主機提供高性能塊存儲服務;
對接 Kubernetes 為其提供 RWO 、RWX 等類型的持久化存儲卷;
對接 PolarFS 作為云原生數據庫的高性能存儲底座,完美支持云原生數據庫的存算分離架構。
Curve 亦可作為云存儲中間件,使用與 S3 兼容的對象存儲作為數據存儲引擎,為公有云用戶提供高性價比的共享文件存儲系統。 網易致力于通過 Curve 開源項目自主研發云原生的分布式存儲系統,為不同應用場景下的存儲需求,提供大容量、高性能、易運維、低成本的開源彈性存儲解決方案。而其最新為 BRPC 自研的 RDMA 網絡通訊功能,將會極大的簡化 RDMA 網絡通訊的實現和提升遠程存儲訪問的性能,為 Curve 開源項目提供高性能、低延遲的本地和遠程存儲訪問體驗,同時提供良好的上層 API 兼容性和透明性,使 Curve 成為更為完善的云原生分布式存儲系統,從而驅動其在開源的分布式存儲領域得到廣泛的應用。
NVIDIA ConnectX 智能網卡
助力 RDMA 網絡通訊功能發揮優異性能
該 RDMA 網絡通訊功能完美的運行在采用 NVIDIA ConnectX 智能網卡及開源 UCX 框架(NVIDIA 是開源項目 UCX 的核心成員和主要貢獻者)的底層軟硬件基礎設施上,將會發揮出更優異的性能表現,滿足用戶對分布式存儲系統高性能、低延遲的需求,并大幅降低主機 CPU 開銷,為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 具體來說,網易在 NVIDIA Connect X 智能網卡的驅動下實現 UCX 框架中的 UCP(Unified Communication for Protocols):
極大簡化了 RDMA 網絡通訊在分布式存儲應用場景下的實現,且支持的 RDMA 接口具有良好的 API 兼容性
基于高性能的 NVIDIA ConnectX 智能網卡,將實現更為出色的 RDMA 網絡通訊性能,IO 時延得到極大改善
即時將 RDMA 網絡通訊能力體現在 Curve 后續的開源軟件版本中,驅動云原生分布式存儲系統的廣泛應用
如今,Curve 開源項目的 RDMA 網絡通訊功能已經實現,將會在后續的 Curve 版本中發布。想要深入了解網易是如何為 BRPC 實現 RDMA 網絡通訊功能,請點擊“閱讀全文”。
審核編輯:湯梓紅
-
NVIDIA
+關注
關注
14文章
5107瀏覽量
104462 -
分布式存儲
+關注
關注
4文章
174瀏覽量
19637 -
智能網卡
+關注
關注
1文章
53瀏覽量
12325
原文標題:NVIDIA ConnectX 智能網卡驅動 RDMA 通訊技術在分布式存儲的應用
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
一文詳解以太網RDMA技術

分布式云化數據庫有哪些類型
分布式通信的原理和實現高效分布式通信背后的技術NVLink的演進

淺談屋頂分布式光伏發電技術的設計與應用

分布式光纖聲波傳感技術的工作原理

評論