色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI從GPU席卷至MCU,內存的重要性與算力等同

E4Life ? 來源:電子發燒友網 ? 作者:周凱揚 ? 2023-11-29 01:04 ? 次閱讀

電子發燒友網報道(文/周凱揚)在市場對AI的不懈追求中,似乎絕大多數人都把重心放在了算力上。然而決定真正AI計算表現的,還有內存這一重要組成部分。為此,除了傳統的標準內存選項外,市面上也出現了專門針對AI進行優化的內存。

高性能AI芯片需要超高帶寬內存

無論是英偉達最新的服務器GPU,還是一眾初創公司推出的AI加速器,我們都可以看到HBM出現的越來越頻繁,比如英偉達H100、谷歌TPU等等。美光、SK海力士和三星廠商都在布局這類超高帶寬內存,用于解決 AI計算中時常出現的內存墻問題。

以LLM模型的訓練負載為例,HBM3內存與處理器可以與處理器以最高6.4Gb/s的接口速率相連,并實現3.2TB/s的超大帶寬。而且在3D堆疊技術的支撐下,SoC芯片的面積依然控制在一個合理的范圍內。超大的帶寬顯著減少了模型訓練時間,所以我們才能看到如此快的LLM模型更迭速度。

當把模型推向終端應用時,效率就和效能一樣重要了。推理帶來的計算成本異常龐大,所以我們需要更低的系統功耗。而HBM內存恰好可以在維持“較低”速率的同時,實現與處理器的“近距離接觸”和大帶寬,從而進一步降低整體系統功耗。

當然了,HBM也并非那么完美,不然我們也不會只在服務器級別的產品上看到它們。隨著HBM而來的是設計復雜度和更高的成本,比如需要額外設計硅中介層等等。但還是由于吃到了AI紅利,HBM的成本也在慢慢降低,甚至有的初創公司在首個AI芯片上就直接采用HBM3內存,為的就是充分釋放AI芯片的計算性能。

小芯片的AI夢

隨著AI熱潮的襲來,我們也看到了邊緣端不少AIoT產品開始追逐這一風口,尤其是智能音箱等具備交互能力的設備。然而以這類設備主用的MCU芯片而言,本身計算性能就難以與GPU這樣的高性能AI加速器媲美,更別說內存帶寬了。

為此,英飛凌推出了HyperRAM這一高速內存,相較傳統的pSRAM,HyperRAM成了更高效簡潔的解決方案。HyperRAM基于HyperBus這一接口開發,相較于其他DRAM內存方案,HyperRAM并不見得有壓倒性的帶寬優勢,比如最新的HyperRAM 3.0版本,其帶寬最高可達800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同內存的工作功耗對比 / 華邦電子


但在同等帶寬下工作時,HyperRAM可以提供更少的引腳數和更低的功耗,對于不少可穿戴應用來說,采用HyperRAM不僅降低所需的PCB面積,也進一步降低了功耗,提高了這類設備的續航能力。根據華邦電子提供的數據,同樣64MB的內存,HyperRAM可以實現比SDRAM低數十倍的待機功耗。

時至今日,我們已經看到不少頂尖MCU廠商,諸如NXP瑞薩TI等,都已經提供了支持HyperBus接口的MCU。新思、Cadence等廠商也開始提供HyperBus控制IP,華邦電子也加入HyperRAM的供應生態鏈中來,HyperRAM已然成了AIoT應用中MCU乃至MPU外部RAM的理想選擇。

寫在最后

無論是HBM還是HyperRAM,都是AI時代下開始發光發熱的內存選擇。他們的出現不僅為市場提供了更靈活的設計選擇,也進一步推動了內存技術在設計、工藝和封裝上的進步。未來隨著內存技術邁入下一個階段,或許不只有AI應用能從中受益。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • mcu
    mcu
    +關注

    關注

    146

    文章

    17123

    瀏覽量

    350995
  • AI
    AI
    +關注

    關注

    87

    文章

    30731

    瀏覽量

    268893
收藏 人收藏

    評論

    相關推薦

    AIGPU開始騰飛,背后是電源管理的持續支持

    AI PC元年。 ? 不僅是AI PC,還包括AI服務器、AI手機、AI汽車等,眾多AI實際應
    的頭像 發表于 03-30 00:12 ?4455次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>GPU</b>開始騰飛,背后是電源管理的持續支持

    芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:圖形引擎到AI加速器的蛻變

    CPU、GPU的演進歷程,AI專用芯片或將引領未來計算平臺的新方向。正如愛因斯坦所說:\"想象比知識更重要\" —— 在芯片設計領域,創新思維帶來的突破往往令人驚嘆。
    發表于 11-24 17:12

    企業AI租賃是什么

    企業AI租賃是指企業通過互聯網向專業的提供商租用所需的計算資源,以滿足其AI應用的需求。
    的頭像 發表于 11-14 09:30 ?503次閱讀

    AI時代重要性及現狀:平衡發展與優化配置的挑戰

    AI時代,扮演著至關重要的角色。如果說數據是AI大模型的“燃料”,那么
    的頭像 發表于 11-04 11:45 ?417次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--了解芯片GPU

    著色器(Pixel shader)是圖形流水線中相當強大的功能單元,因為它可以為每個片段執行復雜的計算,從而為最終渲染的圖像添加細節和視覺效果。 DirectX API推動 GPU 演進
    發表于 11-03 12:55

    GPU開發平臺是什么

    隨著AI技術的廣泛應用,需求呈現出爆發式增長。AI租賃作為一種新興的服務模式,正逐漸成為
    的頭像 發表于 10-31 10:31 ?166次閱讀

    【一文看懂】大白話解釋“GPUGPU

    GPUGPU1.GPU是什么?2.GPU與CPU的區別?3.
    的頭像 發表于 10-29 08:05 ?567次閱讀
    【一文看懂】大白話解釋“<b class='flag-5'>GPU</b>與<b class='flag-5'>GPU</b><b class='flag-5'>算</b><b class='flag-5'>力</b>”

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    1章 TOP500和MLPerf看芯片格局 1.1科學最前沿TOP500 1.2 AI
    發表于 10-15 22:08

    并重:數據時代的雙刃劍

    在2024年的今天,人工智能(AI)技術已經全面滲透我們生活的方方面面,從醫療診斷到智能交通,金融分析到智能家居,AI正以前所未有的速度重塑我們的世界。這一變革背后,
    的頭像 發表于 10-08 16:00 ?815次閱讀

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構分析

    。這幾年人工智能取得突破進展的時間關口,社會對芯片的需求將會更加旺盛,芯片在全社會中的重要性也將進一步增強。很高興看到這本書的問世,看到作者在自己工作之余還能堅持對另一個領域的分
    發表于 09-02 10:09

    大模型時代的需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問
    發表于 08-20 09:04

    論RISC-V的MCU中UART接口的重要性

    RISC-V的MCU(微控制器單元)中UART(通用異步收發器)接口的重要性主要體現在以下幾個方面: 廣泛的適用 : UART接口是一種用于連接兩個計算機設備的接口,允許一個設備向另一個設備發送
    發表于 05-27 15:52

    Sora需求引發業界對集結國內AI企業的探討

    據周鴻祎觀察,Sora視頻分析所需恐遠超千億規模模型。因而,考慮到如今國內芯片供應受限,問題至關重要。事實上,Meta已有約50萬臺
    的頭像 發表于 02-25 10:03 ?581次閱讀

    夯實底座,順網科技業務全面升級

    在當今數字化、智能化的時代,人工智能已經成為推動社會進步和發展的重要力量,力作為人工智能未來發展的核心驅動力,其重要性日益凸顯。作為行業的先行者,順網科技始終致力于推動行業的數字化進程,
    的頭像 發表于 01-22 09:20 ?389次閱讀
    夯實<b class='flag-5'>算</b><b class='flag-5'>力</b>底座,順網科技<b class='flag-5'>算</b><b class='flag-5'>力</b>業務全面升級

    CPU與GPU散熱器設計的異同及其重要性

    CPU與GPU散熱器的設計異同及其重要性 在計算機的發展過程中,中央處理單元(CPU)和圖形處理單元(GPU)在性能和熱量產生方面的不斷提升和增加,使得其在長時間工作時產生了大量的熱量。為了保證
    的頭像 發表于 01-09 14:00 ?1284次閱讀
    主站蜘蛛池模板: 一扒二脱三插片在线观看| 美女快播第一网| 99re久久热最新地址一| 日韩亚洲人成在线| 国产一区二区免费在线观看| 在线免费观看毛片网站| 日本六九视频| 国产真实女人一级毛片| 91国在线视频| 首页 国产 亚洲 中文字幕| 精品精品国产yyy5857香蕉| 99福利在线| 忘忧草在线影院WWW日本二| 久久青青热| 荡公乱妇HD中文字幕| 亚洲精品九色在线网站| 日本三级床震| 1973性农场未删减版| 琪琪see色原网站在线观看| 国产精品观看视频免费完整版| 亚洲a视频在线| 伦理片在线线249| 超碰98人人插| 亚州三级视频| 免费A级毛片无码无遮挡| 动漫H片在线播放免费高清| 三级黄色在线视频中文| 狠狠色狠狠色综合日日91app| 131美女爱做视频午夜剧场| 日韩欧美中文字幕在线二视频| 国产成人精品亚洲线观看| 中文在线日韩亚洲制服| 全黄h全肉短篇禁乱np| 娇喘高潮教室h| qvod 在线电影| 亚洲视频在线观| 青柠电影高清在线观看| 精品亚洲欧美中文字幕在线看| cntv官网| 午夜A级理论片左线播放 | 99久久爱re热6在线播放|