色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI推理帶火的ASIC,開發成敗在此一舉!

Hobby觀察 ? 來源:電子發燒友網 ? 作者:梁浩斌 ? 2025-03-03 00:13 ? 次閱讀

電子發燒友網報道(文/梁浩斌)去年年底,多家大廠爆出開發數據中心ASIC芯片的消息,包括傳聞蘋果與博通合作開發面向AI推理的ASIC,亞馬遜也在年底公布了其AIASIC的應用實例,展示出ASIC的應用性價比遠超GPU,加上博通財報AI業務同比大增220%,掀起了AI推理端的ASIC熱潮。

那么ASIC跟傳統的GPU有哪些區別,開發上又有哪些流程上的不同?

ASIC和GPU

通用GPU在設計之初就為了適配更多使用場景,在AI應用上,GPU支持訓練、推理、通用計算等全流程,以英偉達GPU為例,通過CUDA生態,英偉達GPU能夠快速適配新的算法,比如從Transformer到CNN的遷移,只需要修改30%左右的代碼。

相比通用GPU,ASIC是專為滿足特定應用而設計的芯片,針對特定應用的特定算法進行硬件級別的優化,尤其在AI應用中,比如運行矩陣乘法、張量計算等任務,能夠相比GPU效率更高。

比如谷歌TPU就是一款ASIC,采用脈動陣列設計,通過固化數據流水線減少內存訪問次數,能效比達GPU的3.2倍

相比之下GPU使用通用計算單元處理多種任務,為了滿足不同類型的計算需求,必然需要存在計算冗余。

GPU由于架構的特性,一般會在AI計算中保留圖形渲染、視頻編解碼等功能模塊,但在AI計算中這些模塊大部分處于閑置狀態。有研究指出,英偉達H100GPU上有大約15%的晶體管是未在AI計算過程中被使用的。

同時,在計算流程上,GPU在處理AI計算任務時是需要通過CUDA軟件棧進行任務調度,比如矩陣乘法的運行時需要經過內存加載、指令分發、TensorCore計算、結果回寫等多個步驟。

而在ASIC上,可以通過硬件級的流水線固化數據流,能夠減少計算流程步驟,提高運算效率。在減少計算流程的同時,ASIC對內存訪問模式的優化,還能有助于降低內存控制器的功耗。

AI計算中,低精度是以損失部分準確率為代價,通過量化壓縮數據來提高推理速度。目前AI推理中INT8/FP16的精度,GPU一般支持FP32/FP64等高精度計算,在混合精度訓練中,GPU還需要額外的顯存來轉換成低精度結果,同樣的芯片,在運行高精度和低精度的算力也不同。

盡管精度的選擇本質上是準確性和效率的取舍,但AI推理等應用中,對精度的需求并不需要極致的接近100%,但仍能保持較高的水準。ASIC一般直接支持低精度計算,在AI計算時的效率能夠相比GPU大幅提高,但保持一定的準確率。比如有數據顯示,TikTok的推薦算法系統采用INT8精度,但依然保持了接近99%的推薦準確率。

所以,ASIC相比GPU,在硬件架構上可以針對專有應用進行特定優化,提高計算效率和降低功耗。在成本方面,ASIC在規模量產的情況下可以降至GPU的三分之一,但前期開發成本仍不能忽視。

可能大家也發現,目前定制開發高算力ASIC的廠商,無一例外是云計算大廠,本身公司業務就有極大規模的算力需求。ASIC定制費用,主要是開發過程中的一次性工程費用,也被業內稱為NRE(Non-RecurringEngineering)。顧名思義,NRE費用只需要支出一次,后續規模生產中不需要再增加這部分費用。

NRE費用中,包含芯片設計的成本,比如研發人員薪酬、EDA工具授權費等,這與芯片使用的制程工藝、芯片本身的復雜程度相關;然后是版圖設計成本,其實這里的概念跟芯片設計的成本類似,主要是涉及芯片的物理布局設計,需要特定的研發人員和軟件支持;再是IP授權費用,一般是一些通用的IP,比如CPUIP、內存控制器、接口IP等。

以定制一款采用5nm制程的ASIC為例,NRE費用可以高達1億至2億美元。然而一旦能夠大規模出貨,NRE費用就可以很大程度上被攤薄。

此前有業內人士分析,中等復雜程度的ASIC盈虧平衡點在10萬片左右,這對于很多廠商來說已經是遙不可及。

ASIC開發流程

在開發ASIC時,最關鍵的是以算法架構為主導,圍繞這一方面去進行其他工作。

首先是進行需求定義,要明確ASIC的目標場景是什么,比如推理還是訓練?端側還是云端?用到CNN還是Transformer?在AI領域,定制ASIC的往往是云計算大廠,這些廠商一般會有頂尖的架構師去進行充分考慮,未來可能的應用、效率、成本、技術可行性等都會包含在內,同時平衡性能、成本、功耗等關鍵指標。當然也有一些芯片廠商推出針對某些應用場景的ASIC產品。那么在前期產品定義就十分關鍵,有時候還需要開發針對應用場景的算法配合自己的芯片產品使用。

接下來是最關鍵的算法和架構優化,需要對行業發展趨勢有足夠認知,選擇適合的算法進行優化,保證算法與硬件架構適配,通過仿真測試驗證。

然后設計ASIC的整體架構,比如功能模塊的劃分和模塊之間的互連,以及接口等IP的使用。

在前端設計中,使用VHDL或Verilog等硬件描述語言對設計進行編碼,然后將編碼轉換為門級網表,對其進行優化滿足芯片面積和性能要求。

進入后端設計后,需要將門級網表映射到具體的芯片物理結構上,進行布局和布線。

完成模塊布局和布線后,就可以開始進行FPGA驗證,測試ASIC設計的功能是否滿足需求。隨后完成流片、測試后就可以投入大規模生產。

總的來說,ASIC的開發中,硬件和軟件的協同是其成功的關鍵,在擁有強大的芯片性能同時,還要筑建完整的軟件生態,吸引更多用戶使用。

當然,在ASIC量產進入市場后,軟件棧開發也是相當重要的,需要編譯器將TensorFlow和PyTorch等機器學習模型映射到硬件指令上,在生態上也需要支持更多主流的框架,以盡可能滿足更多使用需求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • asic
    +關注

    關注

    34

    文章

    1236

    瀏覽量

    121330
  • AI
    AI
    +關注

    關注

    87

    文章

    32810

    瀏覽量

    272252
  • 芯片開發
    +關注

    關注

    0

    文章

    12

    瀏覽量

    2526
收藏 0人收藏

    評論

    相關推薦

    AI推理的存儲,看好SRAM?

    電子發燒友網報道(文/黃晶晶)近幾年,生成式AI引領行業變革,AI訓練率先崛起,帶動高帶寬內存HBM飛沖天。但我們知道AI推理的廣泛應用才
    的頭像 發表于 03-03 08:51 ?1045次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>的存儲,看好SRAM?

    NVIDIA 推出開放推理 AI 模型系列,助力開發者和企業構建代理式 AI 平臺

    月 18 日 —— ?NVIDIA 今日發布具有推理功能的開源 Llama Nemotron 模型系列,旨在為開發者和企業提供業務就緒型基礎,助力構建能夠獨立工作或以團隊形式完成復雜任務的高級 AI 智能體。
    發表于 03-19 09:31 ?122次閱讀
    NVIDIA 推出開放<b class='flag-5'>推理</b> <b class='flag-5'>AI</b> 模型系列,助力<b class='flag-5'>開發</b>者和企業構建代理式 <b class='flag-5'>AI</b> 平臺

    AI開發板】正點原子K230D BOX開發板來了!款性能強悍且小巧便攜的AI開發板!

    AI開發板】正點原子K230D BOX開發板來了!款性能強悍且小巧便攜的AI開發板! 正
    發表于 02-18 16:56

    Qwen大模型助力開發低成本AI推理方案

    阿里巴巴的開源Qwen2.5模型近期在AI領域引發了廣泛關注。這大模型的推出,為斯坦福大學與伯克利大學的研究人員提供了強大的技術支持,使他們能夠成功開發出低成本的AI
    的頭像 發表于 02-12 09:19 ?352次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業節省了數百萬美元。
    的頭像 發表于 02-08 09:59 ?396次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理</b>性能

    生成式AI推理技術、市場與未來

    (reasoning)能力,這轉變將極大推動上層應用的發展。 紅杉資本近期指出,在可預見的未來,邏輯推理推理時計算將是個重要主題,并開啟生成式
    的頭像 發表于 01-20 11:16 ?575次閱讀
    生成式<b class='flag-5'>AI</b><b class='flag-5'>推理</b>技術、市場與未來

    新品| LLM630 Compute Kit,AI 大語言模型推理開發平臺

    LLM630LLM推理,視覺識別,可開發,靈活擴展···LLM630ComputeKit是AI大語言模型推理
    的頭像 發表于 01-17 18:48 ?379次閱讀
    新品| LLM630 Compute Kit,<b class='flag-5'>AI</b> 大語言模型<b class='flag-5'>推理</b><b class='flag-5'>開發</b>平臺

    Neuchips展示大模型推理ASIC芯片

    領先的AI專用集成電路(ASIC)解決方案提供商Neuchips在CES 2024上展示了其革命性的Raptor Gen AI加速芯片(以前稱為N3000)和Evo PCIe加速卡LLM解決方案
    的頭像 發表于 01-06 17:30 ?414次閱讀

    ASIC!大廠AI訓練推理拋棄GPU;博通的護城河有多深?

    電子發燒友網報道(文/梁浩斌)在上周末,博通應該可以說是投資圈和科技圈最火爆的話題,大家紛紛驚呼“英偉達的對手終于出現了!”“ASIC要超越GPU”云云。 ? 這切都要源于上周五博通公布的炸裂財報
    的頭像 發表于 12-18 01:25 ?2543次閱讀

    FPGA和ASIC在大模型推理加速中的應用

    隨著現在AI的快速發展,使用FPGA和ASIC進行推理加速的研究也越來越多,從目前的市場來說,有些公司已經有了專門做推理ASIC,像Gro
    的頭像 發表于 10-29 14:12 ?1291次閱讀
    FPGA和<b class='flag-5'>ASIC</b>在大模型<b class='flag-5'>推理</b>加速中的應用

    NVIDIA助力麗蟾科技打造AI訓練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise,為企業和科研機構提供了套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的
    的頭像 發表于 10-27 10:03 ?454次閱讀
    NVIDIA助力麗蟾科技打造<b class='flag-5'>AI</b>訓練與<b class='flag-5'>推理</b>加速解決方案

    AMD助力HyperAccel開發全新AI推理服務器

    HyperAccel 是家成立于 2023 年 1 月的韓國初創企業,致力于開發 AI 推理專用型半導體器件和硬件,最大限度提升推理工作負
    的頭像 發表于 09-18 09:37 ?602次閱讀
    AMD助力HyperAccel<b class='flag-5'>開發</b>全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務器

    是否能將libwebsokets移植到ESP8266上利用libwebsokets進行網絡應用開發

    使用 lwip開源協議棧,在實現相關的API時是否已經將 libwebsoket融入,如果已經融入,那我做的移植將是多此一舉
    發表于 07-22 06:22

    如何基于OrangePi?AIpro開發AI推理應用

    。通過昇騰CANN軟件棧的AI編程接口,可滿足大多數AI算法原型驗證、推理應用開發的需求。AscendCL(AscendComputingLanguage,昇騰計算
    的頭像 發表于 06-04 14:23 ?703次閱讀
    如何基于OrangePi?AIpro<b class='flag-5'>開發</b><b class='flag-5'>AI</b><b class='flag-5'>推理</b>應用

    開發者手機 AI - 目標識別 demo

    功能簡介 該應用是在Openharmony 4.0系統上開發個目標識別的AI應用,旨在從上到下打通Openharmony AI子系統,展示Openharmony系統的
    發表于 04-11 16:14
    主站蜘蛛池模板: 九九热久久只有精品2 | caoporn 在线视频 | 蜜芽亚洲欧美一区二区电影 | 2019精品国产品在线不卡 | 色偷偷伊人 | 涩涩在线观看免费视频 | 91九色视频无限观看免费 | 嗯啊不要老师 | 日本真人啪啪试看30秒 | 久久国产亚洲精品AV麻豆 | 亚洲精品黄色 | 精品国产乱码久久久久久免费 | S货SAO死你BL大点声叫BL | 好男人在线视频 | 九九这里有精品 | 日本吃孕妇奶水免费观看 | 亚洲视频国产 | 捏揉舔水插按摩师 | 被强J高H纯肉公交车啊 | 寂寞夜晚视频在线观看 | 国产福利一区二区精品 | 啦啦啦 中文 中国 免费 高清在线 | 挠黑色超薄丝袜脚心vk40分钟 | 国产精品99久久久久久动态图 | 国产一区私人高清影院 | 国产一区二区青青精品久久 | 宝贝好紧好爽再搔一点试視頻 | 亚洲AV精品无码国产一区 | 99久久久无码国产精品免费人妻 | 精品99久久久久成人网站 | 人曽交Z00Z0OA片 | 精品人妻伦一二三区久久AAA片 | 国产高清视频a在线大全 | 无修肉动漫在线观看影片 | 动漫AV纯肉无码AV电影网 | 69日本xxⅹxxxxx18 | 伊人久久大香线蕉综合电影 | 欧美 亚洲 有码中文字幕 | 全部老头和老太XXXXX | 鬼灭之刃花街篇免费樱花动漫 | 欧美精品成人一区二区在线观看 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品