色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI智能網(wǎng)卡在AI網(wǎng)絡(luò)中的作用

奇異摩爾 ? 來源:奇異摩爾 ? 2024-12-18 16:17 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

寫在開頭,本文主要介紹智能網(wǎng)卡在AI網(wǎng)絡(luò)的作用并在一定場景下說明DPU和智能網(wǎng)卡在功能上的一些區(qū)別以理解兩者的相似點和不同點。

智算中心又稱人工智能計算中心,通常配置有大量的圖形處理單元(GPU)和張量處理單元(TPU),以及針對人工智能工作負(fù)載優(yōu)化的高帶寬內(nèi)存和存儲系統(tǒng)。它們?yōu)?a target="_blank">機器學(xué)習(xí)深度學(xué)習(xí)提供專門支持,包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練以及推理服務(wù)。

人工智能計算中心的設(shè)計非常重視并行處理能力,并且能夠處理大量的數(shù)據(jù)集。它們通常包括深度學(xué)習(xí)框架和庫的支持,為開發(fā)者提供方便的開發(fā)環(huán)境。此外,它們可能會提供針對人工智能應(yīng)用的優(yōu)化工具與API,從而最大化硬件性能。

以GPU為核心的分布式計算

GPU擁有高度并行的處理架構(gòu),能夠同時處理大量的計算任務(wù),特別適合于人工智能領(lǐng)域中大規(guī)模的矩陣運算和向量計算。在智算中心,GPU是主要的計算節(jié)點,而CPU則更多承擔(dān)任務(wù)調(diào)度、系統(tǒng)管理和其他非并行計算任務(wù)。智算中心是以GPU為中心的架構(gòu)設(shè)計,是為了滿足人工智能領(lǐng)域?qū)Ω咝阅苡嬎阗Y源的需求,且要求網(wǎng)絡(luò)高可靠、超低延時及超高的帶寬。

AI智能網(wǎng)卡在AI網(wǎng)絡(luò)中的作用

我們所說的Scale-out架構(gòu)的流量特性究竟是什么呢?它要求具備高吞吐量,通常約為100 Gbps,同時包長較短,典型的往返時間僅為10微秒。Scale-out架構(gòu)的關(guān)鍵在于必須有效利用所有可用帶寬,并確保流量的均勻分布。GPU流量通常較大,與典型的服務(wù)器間流量存在差異,因此應(yīng)高效采用負(fù)載均衡方案,如路徑感知(Path-aware)、自適應(yīng)(Adaptive)或無損(Lossless)負(fù)載均衡方式。此外,還需具備快速的丟包恢復(fù)和重傳機制,以避免產(chǎn)生高延遲,并結(jié)合適用于該架構(gòu)需求的擁塞控制算法以實現(xiàn)最佳性能。

AI智能網(wǎng)卡Smart NIC主要解決的問題就是通過與交換機、GPU等硬件互聯(lián)實現(xiàn)盡可能的無損通信。由于AI集群的規(guī)模從萬卡到十萬卡演進,北向網(wǎng)絡(luò)的擴展即Scale-out網(wǎng)絡(luò)互聯(lián)(又可以理解為后端網(wǎng)絡(luò))通常需要配備高性能、高帶寬的智能網(wǎng)卡,配合其他硬件設(shè)備共同解決大規(guī)模網(wǎng)絡(luò)擁塞、死鎖、丟包及亂序等一系列網(wǎng)絡(luò)傳輸?shù)膯栴}。智能網(wǎng)卡的功能是重在網(wǎng)絡(luò)加速傳輸,而DPU則更適合需要降低CPU工作負(fù)載以及需要加密存儲的多類功能的場景。

以下以AMD不久前發(fā)布的AI網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)為例可以幫助我們理解原生智能網(wǎng)卡和DPU的應(yīng)用區(qū)別:

傳統(tǒng)以太網(wǎng)Frontend:連接非AI服務(wù)器的其他數(shù)據(jù)中心基礎(chǔ)設(shè)施和外部網(wǎng)絡(luò),需確保安全和存儲加速能力并降低CPU開銷,AMD通過最新的Saline 400 DPU與ZEN 5 EPYC CPU連接并降低其工作負(fù)載。

后端網(wǎng)絡(luò)Backend:Scale-out網(wǎng)絡(luò)直接連接GPU,以便共享查詢和激活結(jié)果,支持大規(guī)模訓(xùn)練和推理。當(dāng)前面臨的挑戰(zhàn)主要包括高效擴展、故障恢復(fù)、網(wǎng)絡(luò)擁塞和數(shù)據(jù)丟失等一系列網(wǎng)絡(luò)傳輸問題。AMD使用8張Pollara 400 SmartNIC 與GPU /交換機互通,所以這里的網(wǎng)卡與DPU存在適用場景的區(qū)別。

下一代的智能網(wǎng)卡應(yīng)該具備更高的速率帶寬(400G-800G演進),除了自適應(yīng)路由、選擇性重傳功能以及支持智能堆棧的可擴展性與靈活性,能夠支持更高的QP隊列動態(tài)管理也是重要的優(yōu)選性能之一。隨著UEC超以太聯(lián)盟的壯大以及基于以太網(wǎng) RDMA優(yōu)化的智算網(wǎng)絡(luò)Scale out改進路線的明確,下一代支持UEC的智能網(wǎng)卡將是邁向十萬卡集群的重要互聯(lián)硬件。這些創(chuàng)新技術(shù)為AI網(wǎng)絡(luò)的未來奠定了堅實的基礎(chǔ),使得網(wǎng)絡(luò)更加高效與可靠。

智能網(wǎng)卡和DPU的主要結(jié)構(gòu)區(qū)別

我們以英偉達BlueField-3 DPUs為例來解釋DPU和網(wǎng)卡的主要結(jié)構(gòu)區(qū)別,BlueField 架構(gòu)本質(zhì)上是將網(wǎng)卡子系統(tǒng)(基于 ConnectX)與可編程數(shù)據(jù)路徑、用于加密、壓縮和正則表達式的硬件加速器以及用于控制平面的 Arm控制器融為一體。在 BlueField-3 中,可編程包處理器包含 16 個核可處理 256 個線程,實現(xiàn)了 Arm 核上的零負(fù)載數(shù)據(jù)路徑處理。在許多應(yīng)用中,由數(shù)據(jù)路徑自主處理已知的網(wǎng)絡(luò)流量,由 Arm 核處理新流量等例外情況及控制平面功能。

從其內(nèi)部架構(gòu)我們發(fā)現(xiàn)BlueField-3 DPU 自帶一部分CX7的智能網(wǎng)卡網(wǎng)絡(luò)傳輸功能,針對云計算和云原生環(huán)境對多租戶安全及加密的高要求,DPU內(nèi)置了強大的壓縮和加密功能。同時,為了適應(yīng)云計算場景下多樣化的軟件應(yīng)用需求,DPU集成了眾多加速器引擎,并配備了高性能的Arm CPU內(nèi)核,有效減輕了CPU在相關(guān)領(lǐng)域的工作負(fù)擔(dān)。

相對而言,智能網(wǎng)卡主要專注于網(wǎng)絡(luò)加速和傳輸性能的提升,其內(nèi)嵌的CPU內(nèi)核更為精簡,對于加密、壓縮功能以及軟件應(yīng)用加速引擎的需求并不高。因此,相較于DPU,智能網(wǎng)卡在功能上顯得更為“輕量級”,這一說法也因此而來。

以上綜述可以得出一個結(jié)論:新一代的SmartNIC的主要面向的是AI網(wǎng)絡(luò),尤其是在分布式訓(xùn)練、大規(guī)模推理的應(yīng)用場景進行網(wǎng)絡(luò)傳輸加速與管理;它使用比DPU更少的計算能力及成本來實現(xiàn)這一目標(biāo)。反過來說,DPU除了標(biāo)準(zhǔn)的網(wǎng)絡(luò)接口功能,它通常還包含多個處理核心、專用加速模塊(如加密解密、深度包檢查、虛擬化支持)等,普遍成本高于SmartNIC。

GenAI IaaS背景下SmartNIC的需求

根據(jù)國際數(shù)據(jù)公司 (IDC)發(fā)布的《中國智算服務(wù)市場(2023下半年)跟蹤》報告顯示,2023下半年中國智算服務(wù)市場整體規(guī)模達到114.1億元人民幣,同比增長85.8%。其中,2023下半年,智算集成服務(wù)市場規(guī)模為36.0億元人民幣,同比增速129.4%;GenAI IaaS市場在2023年從0到1爆發(fā)式增長,在下半年市場規(guī)模達到32.2億元人民幣;Non-GenAI IaaS市場規(guī)模達到45.9億元人民幣,以較低增速保持增長。

智算集成服務(wù)以及GenAI IaaS貢獻了市場重要增量:回顧整個2023年,中國Gen AI進入發(fā)展元年,智能算力需求爆發(fā)式增長。相比于2022年,2023年智算服務(wù)市場增長81.6億元人民幣。其中GenAI IaaS市場貢獻59%,智算集成服務(wù)市場貢獻38%。

頭部云廠商過往在AI+云計算領(lǐng)域有雙向積累的公司正在獲得先發(fā)優(yōu)勢,如字節(jié)、阿里、百度、騰訊受益于過往在AI領(lǐng)域的沉淀、GPU資源以及在基礎(chǔ)設(shè)施上的領(lǐng)先技術(shù)儲備,在市場上獲得先發(fā)優(yōu)勢并將其資源投入不斷向GenAI IaaS市場靠攏。

隨著AI網(wǎng)絡(luò)技術(shù)的不斷迭代,以Scale-out 互聯(lián)作為集群服務(wù)器間大規(guī)模擴展的需求已經(jīng)成為業(yè)內(nèi)共識。如今,智能網(wǎng)卡作為Scale-out 的關(guān)鍵組件,其產(chǎn)品定位與發(fā)展路線顯然與DPU不同。

根據(jù)Dell’Oro集團發(fā)布的《Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report》,預(yù)計到2028年,以太網(wǎng)智能網(wǎng)卡的市場價值將超過160億美元。這一增長主要得益于AI服務(wù)器集群Scale-out對后端網(wǎng)絡(luò)以太網(wǎng)連接的強烈需求。隨著人工智能通用應(yīng)用的出現(xiàn),服務(wù)器與后端以太網(wǎng)網(wǎng)絡(luò)的連接需求日益增長,這對于大型語言模型的訓(xùn)練至關(guān)重要。

以上數(shù)據(jù)并不意味著國內(nèi)DPU的市場已經(jīng)萎縮,由于AI大模型的爆發(fā),云廠商們正在通過加強發(fā)展生態(tài)合作伙伴來尋求異構(gòu)算力的調(diào)度以及基礎(chǔ)設(shè)施的集成,推動云計算與AI網(wǎng)絡(luò)的按需融合。

DPU和智能網(wǎng)卡作為現(xiàn)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施中不可或缺的硬件組件,它們在各自的目標(biāo)應(yīng)用領(lǐng)域內(nèi)展現(xiàn)出了潛力和廣闊的發(fā)展前景。在我國云計算、邊緣計算以及智算中心的迅猛發(fā)展背景下,我們有理由相信,未來將會有更多創(chuàng)新技術(shù)在這兩類產(chǎn)品中得到推陳出新,為國內(nèi)新質(zhì)生產(chǎn)力的崛起提供支撐。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾,成立于2021年初,是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進的高性能RDMA 和Chiplet技術(shù),創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric,專為超大規(guī)模AI計算平臺量身打造,以滿足其對高性能互聯(lián)的嚴(yán)苛需求。我們的產(chǎn)品線豐富而全面,涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品,如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案,為AI計算提供了堅實的支撐。

奇異摩爾的核心團隊匯聚了來自全球半導(dǎo)體行業(yè)巨頭如NXPIntel、Broadcom等公司的精英,他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗,致力于推動技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團隊擁有超過50個高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項目的經(jīng)驗,為公司的產(chǎn)品和服務(wù)提供了強有力的技術(shù)保障。我們的使命是支持一個更具創(chuàng)造力的芯世界,愿景是讓計算變得簡單。奇異摩爾以創(chuàng)新為驅(qū)動力,技術(shù)探索新場景,生態(tài)構(gòu)建新的半導(dǎo)體格局,為高性能AI計算奠定穩(wěn)固的基石。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 網(wǎng)絡(luò)
    +關(guān)注

    關(guān)注

    14

    文章

    7801

    瀏覽量

    90678
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    34868

    瀏覽量

    277612
  • 智能網(wǎng)卡
    +關(guān)注

    關(guān)注

    1

    文章

    53

    瀏覽量

    12543

原文標(biāo)題:Kiwi Talks | AI網(wǎng)絡(luò)為何需要智能網(wǎng)卡?一文看懂智能網(wǎng)卡與DPU的差異

文章出處:【微信號:奇異摩爾,微信公眾號:奇異摩爾】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    Nordic收購 Neuton.AI 關(guān)于產(chǎn)品技術(shù)的分析

    Nordic Semiconductor 于 2025 年收購了 Neuton.AI,這是一家專注于超小型機器學(xué)習(xí)(TinyML)解決方案的公司。 Neuton 開發(fā)了一種獨特的神經(jīng)網(wǎng)絡(luò)框架,能夠
    發(fā)表于 06-28 14:18

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗】+ 入門篇學(xué)習(xí)

    很高興又有機會學(xué)習(xí)ai技術(shù),這次試讀的是「零基礎(chǔ)開發(fā)AI Agent」,作者葉濤、管鍇、張心雨。 大模型的普及是近三年來的一件大事,萬物皆可大模型已成為趨勢。作為大模型開發(fā)應(yīng)用重要組成部分,提示詞
    發(fā)表于 05-02 09:26

    首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    PIX GP模型的整合,并且針對模型進行全鏈路微秒級分析,以確保最佳的端到端性能表現(xiàn)。在雙方的整個合作流程,開發(fā)效率提升了30%。 天璣AI生態(tài)同樣拓展到了智能座艙領(lǐng)域。聯(lián)發(fā)科和絕影合作,快速完成了絕影
    發(fā)表于 04-13 19:52

    適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡(luò)

    隨著人工智能AI)技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心面臨著前所未有的計算和網(wǎng)絡(luò)壓力。從大語言模型(LLM)訓(xùn)練到生成式AI應(yīng)用,海量數(shù)據(jù)處理需求推動了網(wǎng)絡(luò)
    發(fā)表于 03-25 17:35

    Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入式開發(fā)

    低功耗特性。搭載 Renesas 獨有的 DRP-AI 加速器,支持 15 Sparse TOPS的 AI 計算能力,使其在計算機視覺、邊緣 AI智能制造等場景中大放異彩。 豐富接
    發(fā)表于 03-19 17:54

    stm32h750 cube aiai_network_create_and_init了,怎么解決?

    進去發(fā)現(xiàn)是卡在ai_platform_network_create,CRC也開了,要瘋掉
    發(fā)表于 03-14 07:22

    AI Agent 應(yīng)用與項目實戰(zhàn)》----- 學(xué)習(xí)如何開發(fā)視頻應(yīng)用

    再次感謝發(fā)燒友提供的閱讀體驗活動。本期跟隨《AI Agent 應(yīng)用與項目實戰(zhàn)》這本書學(xué)習(xí)如何構(gòu)建開發(fā)一個視頻應(yīng)用。AI Agent是一種智能應(yīng)用,能夠根據(jù)用戶需求和環(huán)境變化做出相應(yīng)響應(yīng)。通常基于深度
    發(fā)表于 03-05 19:52

    AI賦能邊緣網(wǎng)關(guān):開啟智能時代的新藍海

    在數(shù)字化轉(zhuǎn)型的浪潮AI與邊緣計算的結(jié)合正掀起一場深刻的產(chǎn)業(yè)變革。邊緣網(wǎng)關(guān)作為連接物理世界與數(shù)字世界的橋梁,在AI技術(shù)的加持下,正從簡單的數(shù)據(jù)采集傳輸節(jié)點,進化為具備智能決策能力的邊
    發(fā)表于 02-15 11:41

    HarmonyOS NEXT 應(yīng)用開發(fā)練習(xí):AI智能對話框

    一、練習(xí)內(nèi)容 在這個HarmonyOS NEXT原生應(yīng)用DEMO,我們將使用ArkTS開發(fā)語言創(chuàng)建一個功能更為豐富的AI智能對話框。這個對話框不僅具備基本的聊天功能,還能展示圖片消息、表情符號,并
    發(fā)表于 01-03 11:29

    反射內(nèi)存卡在實時系統(tǒng)作用

    天津拓航科技反射內(nèi)存卡在實時系統(tǒng)的重要作用
    的頭像 發(fā)表于 11-14 09:59 ?697次閱讀
    反射內(nèi)存<b class='flag-5'>卡在</b>實時系統(tǒng)<b class='flag-5'>中</b>的<b class='flag-5'>作用</b>

    生成式AI工具作用

    生成式AI工具是指那些能夠自動生成文本、圖像、音頻、視頻等多種類型數(shù)據(jù)的人工智能技術(shù)。在此,petacloud.ai小編為您整理生成式AI工具作用
    的頭像 發(fā)表于 10-28 11:19 ?713次閱讀

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    農(nóng)業(yè)、環(huán)保等,為人類社會的可持續(xù)發(fā)展做出貢獻。 總結(jié) 《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章關(guān)于AI與生命科學(xué)的部分,為我們展示了一個充滿希望和機遇的未來。在這個未來
    發(fā)表于 10-14 09:21

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    人工智能在科學(xué)研究的核心技術(shù),包括機器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等。這些技術(shù)構(gòu)成了AI for Science的基石,使得AI能夠處理和分析
    發(fā)表于 10-14 09:16

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第一章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得

    的效率,還為科學(xué)研究提供了前所未有的洞察力和精確度。例如,在生物學(xué)領(lǐng)域,AI能夠幫助科學(xué)家快速識別基因序列的關(guān)鍵變異,加速新藥研發(fā)進程。 2. 跨學(xué)科融合的新范式 書中強調(diào),人工智能的應(yīng)用促進了多個
    發(fā)表于 10-14 09:12

    人工智能ai4s試讀申請

    目前人工智能在繪畫對話等大模型領(lǐng)域應(yīng)用廣闊,ai4s也是方興未艾。但是如何有效利用ai4s工具助力科研是個需要研究的課題,本書對ai4s基本原理和原則,方法進行描訴,有利于總結(jié)經(jīng)驗,擬
    發(fā)表于 09-09 15:36
    主站蜘蛛池模板: 国产精品悠悠久久人妻精品 | 久久成人免费观看全部免费 | 国产精品嫩草久久久久 | 亚洲人成电影网站 | 久久毛片免费看一区二区三区 | 私人玩物黑丝 | 久久久精品久久久久特色影视 | 黄片在线观看 | 成人无码精品一区二区在线观看 | 国产激情视频在线观看 | 粉色视频午夜网站入口 | 亚洲在线2018最新无码 | 亚洲精品高清在线观看 | 夜色55夜色66亚洲精品网站 | 色综合伊人色综合网站下载 | 99久久做夜夜爱天天做精品 | 久久精品影视 | 日韩伦理电影秋霞影院 | 青柠在线观看免费完整版 | 妹妹我要色 | 久久精品国产亚洲AV未满十八 | ebc5恐怖5a26房间 | 久久精品热播在线看 | 亚洲蜜桃AV永久无码精品放毛片 | 男男校园园bl文全肉高h寝室 | 亚洲AV人无码综合在线观看蜜桃 | 白丝萝莉喷水 | 麻豆国产精品va在线观看约 | 18日本人XXXXXX18 | 精品无人区一区二区三区 | 亚洲午夜精品A片久久WWW软件 | 久久re这里视频只精品首页 | 偷拍自怕亚洲在线第7页 | 亚洲性夜色噜噜噜网站2258KK | 3D漫画H精品啪啪无码 | 孕妇高潮抽搐喷水30分钟 | 久久久无码精品亚洲A片猫咪 | 91成品视频 | 久久99re66热这里只有精品 | 亚洲AV无码国产精品色午夜情 | 亚洲女初尝黑人巨磁链接 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品