色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MLPerf首次GPT大模型推理放榜 墨芯連續三屆登頂

墨芯人工智能 ? 來源:墨芯人工智能 ? 2023-09-14 14:15 ? 次閱讀

隨著ChatGPT等AIGC應用掀起大模型浪潮,算力層作為基礎設施,成為最先受益的產業。

然而,算力需求大、費用昂貴等問題,已成為企業落地大模型的普通痛點,更可能制約AI向前發展:大模型參數日益增長,而算力供給瓶頸迫在眉睫,二者形成巨大矛盾。

如何探索更好的大模型算力方案,是業界共同關注的焦點。

近日,全球權威測評MLPerf 公布最新推理測評結果,這是MLPerf首度引入GPT大模型推理測試,參與熱度再創紀錄,收到了來自英偉達英特爾、谷歌、高通等企業提交的13500 多項性能結果。

4aa1d2b4-52bd-11ee-a25d-92fbcf53809c.png

在MLPerf Inference 3.1中,墨芯人工智能(Moffet AI)S30計算卡在大模型GPT-J(60億參數)上,單卡、4卡、8卡的算力均獲得第一。

這是墨芯在MLPerf上連續第三次衛冕。此前墨芯曾在MLPerf Inference 2.0與2.1上,連續兩屆獲得第一。

墨芯的成績,為大模型算力方案帶來了可行的創新方向。

事實證明:結合AI模型與計算平臺的軟硬協同創新,能夠釋放更大的算力潛力。這也再度印證:以稀疏計算為代表的創新技術,將是大模型時代算力發展的關鍵。

墨芯參加的是MLPerf開放分區,據主辦方MLCommons介紹,該分區旨在鼓勵創新。因此參賽者可以通過軟硬協同等方式,探索對算力的提升。在MLPerf中的GPT-J大模型上,與4nm制程的H100純硬件加速方案相比,12nm制程的墨芯S30計算卡通過“原創的雙稀疏算法+硬件協同”方式,取得了高達1.8倍的優勢。

本次測評的GPT-J模型是生成式AI模型,墨芯S30計算卡在8卡、4卡、單卡模式下,性能分別為170.59,91.57,23.28 (Sample/s),達到英偉達H100性能的1.6倍、1.8倍、1.8倍,展現出墨芯產品在AIGC類任務上的能力。

4b02a418-52bd-11ee-a25d-92fbcf53809c.png

三度奪冠,大模型算力率先“交卷”,軟硬協同持續創新——墨芯的產品實力數次經過MLPerf的嚴格檢驗,也探索出大模型算力發展的新路徑。

1

稀疏計算——大模型“潛力股”

獲得市場認可

墨芯接連的優異成績,主要得益于基于稀疏化算法的軟硬協同設計。

在大模型時代,稀疏計算的重要性不言而喻:AI模型大小與其稀疏化潛力成正比。

也就是說,當模型越大,算法上有更大稀疏的可能性,稀疏計算可加速的幅度也越高。對于一般大型語言模型,稀疏計算可帶來數十倍加速。

墨芯獨創的雙稀疏算法,結合軟硬協同設計,使墨芯Antoum芯片成為全球首款高稀疏倍率AI芯片,支持高達32倍稀疏——這也正是墨芯在本次MLPerf中創新紀錄的關鍵。

模型越大,稀疏計算的優勢越明顯——尤其是在GPT等大模型參數動輒上百億、千億的現狀下,這使得墨芯的護城河更為穩固。

墨芯的產品實力與稀疏計算的大勢所趨,也獲得了市場的認可:墨芯商業化進程接連取得重要突破,助力企業加速AI應用。

就在近日,墨芯成為支持Byte MLPerf的供應商之一

4b33ae5a-52bd-11ee-a25d-92fbcf53809c.png

來源:Byte MLPerf網站

當前,墨芯AI計算平臺已能夠支持不同參數級別的大模型,包括 BLOOM, OPT, GPT-J,LLaMA,StableDiffusion等。同時具有高吞吐、低延時、低功耗等特點,緩解算力之困,真正為企業帶來“好用”、“用得起”的大模型算力方案。

2

帶來根本性的算力變革

稀疏計算助力大模型發展

墨芯的稀疏計算方案不僅能夠緩解當前的算力難題,也為AI的持續發展打開新的空間。

稀疏計算減少了AI模型的計算量,這意味著能讓大模型既在參數量上躍升若干個數量級的同時,又不產生過大的計算量,大模型參數增長與算力瓶頸的矛盾有望從根本上得到解決。

同時,由于計算量的減少,大模型的高算力需求、高功耗、高費用等痛點,也一并得到解決,實現“多贏”效果。

墨芯Antoum芯片:全球首款高稀疏倍率AI芯片,支持高達32倍稀疏

連續三屆MLPerf的優異成績,不僅是對墨芯產品實力的證明,也為業界帶來新啟示:在稀疏計算等技術的助力下,大模型的發展與應用有望迎來更廣闊的施展空間,加速AIGC等應用在各行各業遍地開花。





審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • GPT
    GPT
    +關注

    關注

    0

    文章

    354

    瀏覽量

    15360
  • AI芯片
    +關注

    關注

    17

    文章

    1885

    瀏覽量

    35008
  • ChatGPT
    +關注

    關注

    29

    文章

    1560

    瀏覽量

    7624

原文標題:MLPerf首次GPT大模型推理放榜,墨芯連續三屆登頂

文章出處:【微信號:墨芯人工智能,微信公眾號:墨芯人工智能】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    立儀科技受邀參加第三屆中國傳感器與應用技術大會

    ?11月11日,備受矚目的"第三屆中國傳感器與應用技術大會"在深圳光明云谷國際會議中心隆重舉行。立儀科技作為國內專注光譜共焦傳感器領域的公司榮幸受邀參加此次盛會并進行業務簽約。 ? 立儀科技受邀參加
    的頭像 發表于 11-15 16:25 ?346次閱讀
    立儀科技受邀參加第<b class='flag-5'>三屆</b>中國傳感器與應用技術大會

    高效大模型推理綜述

    模型由于其在各種任務中的出色表現而引起了廣泛的關注。然而,大模型推理的大量計算和內存需求對其在資源受限場景的部署提出了挑戰。業內一直在努力開發旨在提高大模型
    的頭像 發表于 11-15 11:45 ?364次閱讀
    高效大<b class='flag-5'>模型</b>的<b class='flag-5'>推理</b>綜述

    線上逛展 | 沉浸探索第三屆OpenHarmony技術大會五大展區

    世博中心又有什么大事發生? 第三屆OpenHarmony技術大會 五大展區全方位展示智慧互聯未來 雷科技從現場發來探展邀約 一起跟隨他的視角漫步展區 在精彩紛呈的特色產品、應用案例中 體驗OpenHarmony的快速發展吧!
    發表于 10-24 21:50

    高燃回顧|第三屆OpenHarmony技術大會精彩瞬間

    三屆OpenHarmony技術大會圓滿落幕 全球開源精英齊聚 共同展示OpenHarmony技術、生態、人才的最新進展 見證OpenHarmony南北向生態繁榮 共繪開源生態發展藍圖 星光璀璨致謝
    發表于 10-16 18:47

    云知聲山海多模態大模型UniGPT-mMed登頂MMMU測評榜首

    近日,多模態人工智能模型基準評測集MMMU更新榜單,云知聲山海多模態大模型UniGPT-mMed以通用能力、醫療專業能力雙雙排名第一的優異成績登頂榜首,力壓GPT-4V,充分彰顯其硬核
    的頭像 發表于 10-12 14:09 ?292次閱讀
    云知聲山海多模態大<b class='flag-5'>模型</b>UniGPT-mMed<b class='flag-5'>登頂</b>MMMU測評榜首

    三屆OpenHarmony技術大會亮點紛呈

    10月12日—13日 第三屆OpenHarmony技術大會如期而至, 高能看點,一觸即發! 讓我們攜手走進這場技術盛宴 ?
    的頭像 發表于 10-11 11:08 ?277次閱讀
    第<b class='flag-5'>三屆</b>OpenHarmony技術大會亮點紛呈

    30s高能速遞 | 第三屆 OpenHarmony技術大會精彩搶鮮看

    技術引領筑生態 萬物智聯創未來 第三屆 OpenHarmony技術大會 如約而至 高燃登場 10月12-13日,上海世博中心 重磅嘉賓,前沿議題 看億萬代碼如何改變未來,與卓越伙伴共繪閃耀繁星 亮點
    發表于 10-08 17:36

    OpenAI即將發布“草莓”推理模型

    科技界迎來新動態,據可靠消息透露,OpenAI正緊鑼密鼓地籌備著一項重大發布——預計在兩周內,將正式推出名為“草莓”的新型AI推理模型,并將其無縫融入ChatGPT服務中。這款以卓越推理能力為核心的大模型,旨在突破現有
    的頭像 發表于 09-11 16:53 ?522次閱讀

    LLM大模型推理加速的關鍵技術

    LLM(大型語言模型)大模型推理加速是當前人工智能領域的一個研究熱點,旨在提高模型在處理復雜任務時的效率和響應速度。以下是對LLM大模型
    的頭像 發表于 07-24 11:38 ?873次閱讀

    佰維存儲第三屆“Factory Tour”即將啟航,誠邀夢想少年共赴精彩“”程!

    都離不開半導體封裝測試的精密工藝 它確保了每一顆“”的穩定與高效 是連接數字世界與物理世界的橋梁 想親眼見證智能設備的 強大內“”(存儲芯片)如何鍛造? 延續往屆的熱忱與初心 我們再次吹響集結號 第三屆佰維存儲“Facto
    發表于 07-08 13:36 ?187次閱讀
    佰維存儲第<b class='flag-5'>三屆</b>“Factory Tour”即將啟航,誠邀夢想少年共赴精彩“<b class='flag-5'>芯</b>”程!

    三屆中國電磁頻譜學術大會圓滿落幕,知語科技閃耀西安!

    ?西安盛事!第三屆中國電磁頻譜學術大會圓滿落幕,知語云智能科技閃耀全場 西安,這座承載著千年歷史文化的古都,在2024年6月21日至22日再次成為科技領域的焦點。第三屆中國電磁頻譜學術大會的圓滿收
    發表于 06-24 11:05

    科技出席第三屆中國汽車芯片高峰論壇

    6月17-18日,2024首中國(重慶)智能汽車基礎軟件生態大會暨第三屆中國汽車芯片高峰論壇在重慶召開。本次大會以“基礎共筑,開源啟航”為主題,由中國汽車工業協會、重慶市經濟和信息化委員會、中國電
    的頭像 發表于 06-20 11:14 ?743次閱讀

    【大語言模型:原理與工程實踐】揭開大語言模型的面紗

    用于文本生成,根據提示或上下文生成連貫、富有創造性的文本,為故事創作等提供無限可能。大語言模型也面臨挑戰。一方面,其計算資源需求巨大,訓練和推理耗時;另一方面,模型高度依賴數據,需要大規模訓練數據才能
    發表于 05-04 23:55

    全球最強大模型易主,GPT-4被超越

    近日,AI領域的領軍企業Anthropic宣布推出全新的Claude 3系列模型,其中包括最強版Claude 3 Opus。據該公司稱,Claude 3系列在推理、數學、編碼、多語言理解和視覺方面全面超越了包括GPT-4在內的所
    的頭像 發表于 03-05 09:58 ?650次閱讀

    GPT EVAL_BDPS_DRIVER可以使用GPT12 IP或GTM IP來實現連續定時器和單次定時器嗎?

    GPT EVAL_BDPS_DRIVER可以使用GPT12 IP或GTM IP來實現連續定時器和單次定時器? 是嗎?
    發表于 01-22 08:16
    主站蜘蛛池模板: 成人在线视频免费看| 寂寞少妇直播| 日韩精品一区VR观看| 成人在线免费视频播放| 夜夜穞狠狠穞| 伦理电影v男人天堂| 阿片在线播放| 午夜福利免费院| 精品成人片深夜| 福利免费观看体检区| 羞羞一区二区三区四区片| 久久99亚洲热最新地址获取| 最近的2019中文字幕国语HD| 欧美激情视频一区| 国产成在线观看免费视频| 亚洲欧美成人| 男人就爱吃这套下载| 父亲在线日本综艺免费观看全集| 中文字幕亚洲乱码熟女在线萌芽| 日本成熟bbxxxxxxxx| 国内精品免费视频精选在线观看| 5G在线观看免费年龄确认| 色哒哒影院| 久久这里有精品| 国产AV精品久久久免费看| 亚洲一区在线播放| 日本日本熟妇中文在线视频| 红尘影院在线观看| 成人国产在线24小时播放视频| 97国产人妻精品无码AV在线| 亚洲AV精品无码国产一区| 色狠狠婷婷97| 日韩欧美一区二区三区在线 | 欧美不卡一区二区三区| 国产偷啪自怕网| 99在线这精品视频| 亚洲免费国产| 色欲久久99精品久久久久久AV| 久久免费精品视频| 国产啪视频在线播放观看| chinese情侣自拍啪hd|