色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

IPU 與 GPU 間無縫銜接,未來聚焦數據中心的AI訓練和推理部署

工程師鄧生 ? 來源:DeepTech深科技 ? 作者:DeepTech深科技 ? 2021-01-02 10:22 ? 次閱讀

“不管是在今天 GPU 能夠做的事情上,還是 GPU 不能做的事情上,IPU 都有它的價值點和價值定位。” 日前,在英國 AI 芯片初創公司 Graphcore 中國區的媒體溝通會上,Graphcore 高級副總經理兼中國區總經理盧濤和 Graphcore 中國工程總負責人、AI 算法科學家金琛,就 Graphcore 的新產品性能以及該公司在中國的落地策略向 DeepTech 等媒體進行了同步。

溝通會上,Graphcore 解讀了其于本月公布的大規模系統級產品 IPU-M2000 的應用測試數據。公布數據顯示,在典型 CV 模型 ResNet、基于分組卷積的 ResNeXt、EfficientNet、語音模型、BERT-Large 等自然語言處理模型以及 MCMC 等傳統機器學習模型中,IPU-M2000 在吞吐量、訓練時間和學習結果生成時間方面都有較好表現。比如,在 IPU-M2000 上 EfficientNet 的吞吐量達到 A100 的 18 倍。

圖 | IPU-M2000 與 GPU 的吞吐量、訓練及結果生成時間對比(來源:Graphcore)

66e3cb43bec8442f90d9105440bb1a58.jpeg

此前,IPU-M2000 與 Graphcore 第二代 IPU 處理器 GC200 已于今年 7 月 15 日發布。據介紹,GC200 芯片基于臺積電的 7nm 工藝制造,集成 250 TFlops AI-Float 算力和 900MB 處理器內存,相較第一代產品性能提升 8 倍。而對于第三代 IPU,盧濤在此次溝通會上并未透露發布的具體時間表,不過他表示下一代產品正在研發中,將依舊重點解決存儲問題。

支持 PyTorch、TensorFlow,在 IPU 與 GPU 間無縫銜接

另外,Graphcore 還發布了 Poplar SDK 1.4 版本和 PyTorch 的 IPU 版本。

Graphcore 對 Poplar SDK 1.4 版本在易用性和速度上進行了優化,能夠支持模型和數據并行,同時能夠實現模型的橫向擴展 —— 從 1 個 IPU 橫向擴展到 64 個 IPU。金琛表示,下一版本的 Poplar SDK 有望實現橫向擴展到 128 個 IPU。

值得關注的是,除支持 Graphcore 的自研框架 PopART 外,Poplar SDK 1.4 還支持 Facebook 的 PyTorch 框架、以及 Google 的 TensorFlow 框架。

據金琛介紹,Graphcore 在 PyTorch 代碼中引入了 PopTorch 輕量級接口,通過這一接口,用戶可基于當前的 PyTorch 模型進行封裝,以實現 IPU 和 CPU 之間的無障礙銜接。

對于實現這一功能的核心技術,金琛做進一步解釋說,Graphcore 采用 PyTorch 里的 jit.trace 機制對計算圖進行編譯,轉化為 IPU 和 PyTorch 兼容的表達格式,最后用 Graphcore 自研框架 PopART 后端的 audiff 功能自動生成反向圖,便可以實現同一個模型在不同平臺的無差別運行。

目前,PyTorch 因其直觀易懂、靈活易用等優勢受到開發者的廣泛喜愛和應用。Poplar SDK 1.4 增加了對 PyTorch 的支持,策略上是希望用戶在 IPU 上也能體驗 PyTorch,讓用戶多一個轉戰 IPU 的理由。不過目前英偉達的 GPU 已經在 AI 計算領域占據大部分市場,此時 IPU 能夠提供的價值、轉場到 IPU 的成本等,都是用戶所要考慮的問題。

在遷移成本上,盧濤表示,經過幾年來對 Poplar SDK 的打磨,現在從 GPU 到 IPU 的軟硬件遷移難度已經比大家認為的小得多。

金琛補充道,在訓練上,針對一個不太復雜的模型,一般一周可以遷移完成,對于復雜的模型大概需要兩周;在推理上,基本上是 1-2 天的工作量。

談及性能,盧濤表示:“IPU 在訓練推理、語音、圖像模型處理上基本全面超越 GPU。” 不過他也坦言:“不能說 100% 超越了 GPU,因為算法模型確實非常多,比如說語音有不同的語音模型、圖像也是有不同的圖像模型。”

未來:持續優化性能,進一步壓縮遷移成本

IPU 在機器學習性能上的明顯優勢是不可否認的,但前有身強體壯且努力奔跑的巨頭英偉達,Graphcore 更是一刻也不容懈怠。盧濤在溝通會上也多次提到,“目前 Graphcore 面對的壓力最主要還是來自英偉達”。

“重壓” 之下,Graphcore 短期內的計劃是聚焦在數據中心高性能訓練和推理市場上,持續打磨 IPU 和軟件平臺,持續優化性能和提高可用性。盧濤說,“只有在我們聚焦的領域跑得更快,Graphcore 和英偉達之間的距離才會越來越短,甚至在某些領域超過英偉達”。

他還表示,Graphcore 希望未來數年內,能在數據中心的 AI 訓練、推理批量部署、以及發貨和體量上做到除英偉達以外的另一個頭部地位。

為實現該目標,Graphcore 也將從增加 AI 框架支持、以及模型覆蓋兩個維度著手,以期進一步減少用戶的遷移成本。此外,除目前 AI 應用最廣泛的互聯網和云計算兩個場景外,盧濤表示公司明年還將在金融、汽車、智慧醫療、智慧教育、智慧城市和政府服務等領域,至少突破一到兩個比較主流的領域。

責任編輯:PSY

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4729

    瀏覽量

    128900
  • 數據中心
    +關注

    關注

    16

    文章

    4764

    瀏覽量

    72100
  • IPU
    IPU
    +關注

    關注

    0

    文章

    34

    瀏覽量

    15557
收藏 人收藏

    評論

    相關推薦

    GPU是如何訓練AI大模型的

    AI模型的訓練過程中,大量的計算工作集中在矩陣乘法、向量加法和激活函數等運算上。這些運算正是GPU所擅長的。接下來,AI部落小編帶您了解GPU
    的頭像 發表于 12-19 17:54 ?92次閱讀

    AI數據中心的布線考量

    帶來的威脅。最近,DALLE-2 和 ChatGPT 的發布引起了廣大公眾對 AI可以做什么的極大興趣,也引發了人們關于 AI 將如何改變教育和工作性質的討論。AI 也是當前和未來
    的頭像 發表于 12-05 09:26 ?188次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>數據中心</b>的布線考量

    超云亮相2024數據中心標準大會,展示AI全棧推理硬件創新成果

    11月20日-21日,CDCC?2024第十二屆數據中心標準大會在北京國家會議中心隆重召開。作為數據中心行業規模最大的高端會議,本屆大會以“AI之光,照耀
    的頭像 發表于 11-22 09:54 ?194次閱讀
    超云亮相2024<b class='flag-5'>數據中心</b>標準大會,展示<b class='flag-5'>AI</b>全棧<b class='flag-5'>推理</b>硬件創新成果

    華迅光通AI計算加速800G光模塊部署

    近年來,在人工智能計算需求不斷增長的推動下,對GPU和其他計算硬件的需求急劇飆升。僅今年一年,英偉達的股價就上漲了200%以上,這一點顯而易見。此外,由于數據中心的人工智能訓練需要高速數據
    發表于 11-13 10:16

    為什么ai模型訓練要用gpu

    GPU憑借其強大的并行處理能力和高效的內存系統,已成為AI模型訓練不可或缺的重要工具。
    的頭像 發表于 10-24 09:39 ?258次閱讀

    SK電訊將與Lambda合作打造AI數據中心

    韓國領先的電信巨頭SK電訊(SK Telecom)宣布了一項重要合作計劃,將與美國知名的云GPU服務提供商Lambda攜手,于2024年12月在首爾共同推出一個先進的人工智能(AI數據中心。該
    的頭像 發表于 08-23 17:29 ?1283次閱讀

    AI時代,我們需要怎樣的數據中心AI重新定義數據中心

    超過60%的中國企業計劃在未來12至24個月內部署生成式人工智能。AI、模型的構建,將顛覆數據中心基礎設施的建設、運維和運營。一個全新的數據中心
    發表于 07-16 11:33 ?702次閱讀
    <b class='flag-5'>AI</b>時代,我們需要怎樣的<b class='flag-5'>數據中心</b>?<b class='flag-5'>AI</b>重新定義<b class='flag-5'>數據中心</b>

    數據中心液冷需求、技術及實際應用

    夏日炎炎,數據中心制冷技術全新升級,液冷散熱,讓服務器清涼一夏。本文將帶您一起探索數據中心液冷需求、技術及實際應用。 1 數據中心液冷需求 AI浪潮來襲,
    的頭像 發表于 06-19 11:12 ?993次閱讀
    <b class='flag-5'>數據中心</b>液冷需求、技術及實際應用

    英偉達數據中心GPU出貨量飆升,市場份額持續領跑

    ,英偉達在2023年數據中心GPU出貨量方面實現了爆炸式增長,這一增長不僅彰顯了其在數據中心領域的領先地位,也預示著英偉達在AI和云計算等前沿技術領域的持續發力。
    的頭像 發表于 06-13 17:08 ?1044次閱讀

    Napatech IPU解決方案助力優化數據中心存儲工作負載

    Napatech是全球領先的智能網卡(SmartNIC)和IPU解決方案供 應商,業務范圍涵蓋云計算、企 業和電信數據中心應用等領域。
    的頭像 發表于 05-29 11:50 ?595次閱讀
    Napatech <b class='flag-5'>IPU</b>解決方案助力優化<b class='flag-5'>數據中心</b>存儲工作負載

    進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片

    。 **英偉達Blackwell架構在數據中心方面的應用有哪些?** 1. **AI **大模型訓練 Blackwell 架構的 GPU 針對當前火爆的
    發表于 05-13 17:16

    AI推理,和訓練有什么不同?

    如果要用一句話概括AI訓練推理的不同之處,我覺得用“臺上一分鐘,臺下十年功”最為貼切。話說小明已經和心目中的女神交往數年,在邀約女神出門這件事上積累了大量的經驗數據,但卻依然捉摸不
    的頭像 發表于 04-29 08:06 ?210次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>,和<b class='flag-5'>訓練</b>有什么不同?

    AI訓練,為什么需要GPU

    隨著由ChatGPT引發的人工智能熱潮,GPU成為了AI大模型訓練平臺的基石,甚至是決定性的算力底座。為什么GPU能力壓CPU,成為炙手可熱的主角呢?要回答這個問題,首先需要了解當前人
    的頭像 發表于 04-24 08:05 ?1075次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>訓練</b>,為什么需要<b class='flag-5'>GPU</b>?

    Meta將于今年在數據中心部署新款定制AI芯片

    Meta近日宣布,計劃于2024年在其數據中心部署新款內部定制的AI芯片。這款芯片將用于支持Meta的人工智能業務,進一步提升數據處理和運算效率。
    的頭像 發表于 02-04 10:17 ?752次閱讀

    微模塊數據中心的優勢

    微模塊數據中心是以模塊化、標準化的架構和高效高可靠的UPS、精密空調等靈活組合于一體打造的模塊化數據中心基礎設施,可實現靈活快速部署、高效節省、智能管理等優點成為企業未來
    的頭像 發表于 01-19 13:53 ?664次閱讀
    主站蜘蛛池模板: 一本一本之道高清在线观看| 吃奶啃奶玩乳漫画| 沈芯语麻豆0076 视频| 伦理片免费秋霞e| 国产亚洲精品免费视频| 波多野结衣 熟女| 99re久久超碰视频精品| 国产小视频免费看| 国产精品视频第一区二区三区| AAA级精品无码久久久国片| 538prom国产在线视频一区| 曰本真人00XX动太图| 亚洲无AV在线中文字幕| 亚洲av欧美在我| 小777论坛| 羞羞答答的免费视频在线观看| 三级中国免费的| 天天噜日日噜夜夜噜| 色姣姣狠狠撩综合网| 日本黄色官网| 日本欧美高清一区二区视频| 日本熟妇多毛XXXXX视频| 色悠悠电影网| 亚洲AV久久久久久久无码| 亚洲国产精品免费观看| 亚洲综合色在线视频久| 姉调无修版ova国语版| 99精品国产第一福利网站| a级成人免费毛片完整版| 抽插内射高潮呻吟爆乳| 国产精品久久精品| 久久久精品国产免费A片胖妇女| 麻豆国产精品AV色拍综合| 欧美亚洲天堂网| 香艳69xxxxx有声小说| 亚洲天码中字| 99精品免费观看| 国产精品99re6热在线播放| 久久精品国产色蜜蜜麻豆国语版| 男人国产AV天堂WWW麻豆| 色综合久久88色综合天天提莫|