色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何提升NPU的能效比?

佐思汽車研究 ? 來源:佐思汽車研究 ? 作者:Nathan J ? 2022-08-01 11:19 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

現(xiàn)如今,深度神經(jīng)網(wǎng)絡(luò)正在以越來越大的規(guī)模部署,橫跨了從云端,自動(dòng)駕駛IoT等平臺(tái)。比如用于圖像識(shí)別,語音識(shí)別及翻譯,癌癥檢測(cè)以及自動(dòng)駕駛中對(duì)感知層海量數(shù)據(jù)的處理等。在很多領(lǐng)域,深度神經(jīng)網(wǎng)絡(luò)的精度已經(jīng)超越人類,它的優(yōu)越性來源于它對(duì)原始數(shù)據(jù)的特征提取,并通過對(duì)大量數(shù)據(jù)的學(xué)習(xí)來獲取輸入空間的有效表征,但是它的高精度是以超高計(jì)算復(fù)雜度為代價(jià)。因此很多廠商都在追逐NPU的算力來解決這些復(fù)雜問題,但是隨著算力的提高,NPU設(shè)計(jì)也越來越復(fù)雜,將伴隨著面積和功耗的增加,這對(duì)于那些面積和功耗有很大限制的設(shè)備帶來了挑戰(zhàn),因此如何提升NPU的能效比就成了亟待解決的問題。

6bdd29be-1147-11ed-ba43-dac502259ad0.png

NPU通過數(shù)據(jù)分區(qū)和有效調(diào)度,利用數(shù)據(jù)的重用以及執(zhí)行分段來提高能效比和硬件利用率,而實(shí)現(xiàn)高利用率,數(shù)據(jù)重用將直接依賴于如何調(diào)度深度神經(jīng)網(wǎng)絡(luò)的計(jì)算和如何將這些計(jì)算有效的映射到NPU的硬件單元上。以CNN為例,數(shù)據(jù)流無非包含三個(gè)方面filter(Weight),ifmap和ofmap,如下圖。

6bf2bb62-1147-11ed-ba43-dac502259ad0.png

因此在設(shè)計(jì)NPU時(shí)需要考慮如利用內(nèi)存的層次結(jié)構(gòu),決定哪些數(shù)據(jù)要讀到那一層的內(nèi)存中以及什么時(shí)候被處理,如何可以重用filter,ifmap和ofmap,將他們存放在本地內(nèi)存中,從而大大減少DRAM的訪問次數(shù),這將在很大程度上提高NPU的硬件利用率及性能,并減少由于DRAM訪問帶了的額外功耗。根據(jù)數(shù)據(jù)處理特征可以將數(shù)據(jù)流分為以下幾類:

1)、靜態(tài)weight

weight靜態(tài)數(shù)據(jù)流的設(shè)計(jì)是通過在PE的RF(Register File)中存取weight,來減少讀取weight產(chǎn)生的功耗。weight從DRAM讀取到RF并保持靜態(tài)以供進(jìn)一步訪問,NPU在計(jì)算時(shí)盡可能多的利用RF中的weight以達(dá)到最大程度的重用。通常的實(shí)現(xiàn)是將ifmap廣播給所有的PE,部分和(Psum)將穿過所有的PE來完成空間上的累加。

6c0593b8-1147-11ed-ba43-dac502259ad0.png

2)、靜態(tài)輸出

輸出靜態(tài)數(shù)據(jù)流的設(shè)計(jì)是通過將accumulator產(chǎn)生的Psum存放到本地的RF中,以避免將Psum剛寫入DRAM再讀回,從而減少因Psum讀寫產(chǎn)生的功耗。通常的實(shí)現(xiàn)是流式輸入Activation,并將weight廣播給所有的PE。

6c19630c-1147-11ed-ba43-dac502259ad0.png

3)、無本地重用

如果考慮到RF會(huì)增大面積,可以將所有的數(shù)據(jù)都存放到Global Buffer中,這樣沒有任何數(shù)據(jù)會(huì)留在PE的RF,也不會(huì)增設(shè)RF單元來減小面積,但是增加了PE和Global Buffer的數(shù)據(jù)交互。具體來說是通過多廣播Activation,單廣播Weight以及Psum穿過所有的PE進(jìn)行累加來實(shí)現(xiàn)的。

6c29f104-1147-11ed-ba43-dac502259ad0.png

4)、靜態(tài)行

靜態(tài)行數(shù)據(jù)流的目標(biāo)是將所有的數(shù)據(jù)類型(Activation,weight, psum)的重用和計(jì)算都在RF中完成,來提升總體的能效。它區(qū)別于上面的靜態(tài)weight和靜態(tài)輸出,只是分別對(duì)weight和psum進(jìn)行優(yōu)化。

6c3b85a4-1147-11ed-ba43-dac502259ad0.png

具體選用哪種數(shù)據(jù)流方式要結(jié)合NPU微架構(gòu)的設(shè)計(jì)。下面總結(jié)了來自于幾個(gè)廠家的NPU,它們分別利用了不同數(shù)據(jù)流類型來提高能效比。

6c461b0e-1147-11ed-ba43-dac502259ad0.png

參考文獻(xiàn):

【1】Vivienne S. Yu-Hsin C.and etc., “Ef?cient Processing of Deep Neural Networks: A Tutorial and Survey”

關(guān)于復(fù)睿微電子:

復(fù)睿微電子是世界500強(qiáng)企業(yè)復(fù)星集團(tuán)出資設(shè)立的先進(jìn)科技型企業(yè)。復(fù)睿微電子植根于創(chuàng)新驅(qū)動(dòng)的文化,通過技術(shù)創(chuàng)新改變?nèi)藗兊纳睢⒐ぷ鳌W(xué)習(xí)和娛樂方式。公司成立于2022年1月,目標(biāo)成為世界領(lǐng)先的智能出行時(shí)代的大算力方案提供商,致力于為汽車電子人工智能、通用計(jì)算等領(lǐng)域提供以高性能芯片為基礎(chǔ)的解決方案。

目前主要從事汽車智能座艙、ADS/ADAS芯片研發(fā),以領(lǐng)先的芯片設(shè)計(jì)能力和人工智能算法,通過底層技術(shù)賦能,推動(dòng)汽車產(chǎn)業(yè)的創(chuàng)新發(fā)展,提升人們的出行體驗(yàn)。在智能出行的時(shí)代,芯片是汽車的大腦。復(fù)星智能出行集團(tuán)已經(jīng)構(gòu)建了完善的智能出行生態(tài),復(fù)睿微是整個(gè)生態(tài)的通用大算力和人工智能大算力的基礎(chǔ)平臺(tái)。復(fù)睿微以提升客戶體驗(yàn)為使命,在后摩爾定律時(shí)代持續(xù)通過先進(jìn)封裝、先進(jìn)制程和解決方案提升算力,與合作伙伴共同面對(duì)汽車智能化的新時(shí)代。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    459

    文章

    52446

    瀏覽量

    439862
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4813

    瀏覽量

    103419
  • NPU
    NPU
    +關(guān)注

    關(guān)注

    2

    文章

    326

    瀏覽量

    19692

原文標(biāo)題:ADS算力芯片NPU數(shù)據(jù)流的重用性

文章出處:【微信號(hào):zuosiqiche,微信公眾號(hào):佐思汽車研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    佐航BYQ3712PK變壓器等級(jí)測(cè)試儀:以精準(zhǔn)測(cè)量賦配電變壓器升級(jí)

    在“雙碳”目標(biāo)推動(dòng)下,高效節(jié)能的配電變壓器已成為電力系統(tǒng)降本增效的關(guān)鍵環(huán)節(jié)。而準(zhǔn)確判定變壓器等級(jí),是推廣節(jié)能產(chǎn)品、淘汰低效設(shè)備的核心前提。佐航推出的BYQ3712PK變壓器等級(jí)
    的頭像 發(fā)表于 06-27 13:35 ?112次閱讀
    佐航BYQ3712PK變壓器<b class='flag-5'>能</b><b class='flag-5'>效</b>等級(jí)測(cè)試儀:以精準(zhǔn)測(cè)量賦<b class='flag-5'>能</b>配電變壓器<b class='flag-5'>能</b><b class='flag-5'>效</b>升級(jí)

    提升3倍!異構(gòu)計(jì)算架構(gòu)讓AI跑得更快更省電

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)異構(gòu)計(jì)算架構(gòu)通過集成多種不同類型的處理單元(如CPU、GPU、NPU、FPGA、DSP等),針對(duì)不同計(jì)算任務(wù)的特點(diǎn)進(jìn)行分工協(xié)作,從而在性能、和靈活性之間實(shí)現(xiàn)最優(yōu)平衡
    的頭像 發(fā)表于 05-25 01:55 ?2723次閱讀

    交流充電樁負(fù)載提升技術(shù)

    隨著電動(dòng)汽車普及率提升,交流充電樁的優(yōu)化成為降低運(yùn)營(yíng)成本、減少能源浪費(fèi)的核心課題。負(fù)載提升
    發(fā)表于 05-21 14:38

    和算力提升的衡量方法

    /h·W表示。 影響因素及優(yōu)化方向? 技術(shù)升級(jí)?:采用變頻技術(shù)、高效電機(jī)等可提升,例如變頻空調(diào)通過動(dòng)態(tài)調(diào)節(jié)功率減少能耗。 環(huán)境因素?:溫度、濕度等外部條件會(huì)影響實(shí)際
    的頭像 發(fā)表于 04-28 07:47 ?1023次閱讀
    <b class='flag-5'>能</b><b class='flag-5'>效</b><b class='flag-5'>比</b>和算力<b class='flag-5'>提升</b>的衡量方法

    超越CPU/GPU:NPU如何讓AI“輕裝上陣”?

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)NPU是一種專門為人工智能(AI)計(jì)算設(shè)計(jì)的處理器,主要用于高效執(zhí)行神經(jīng)網(wǎng)絡(luò)相關(guān)的運(yùn)算(如矩陣乘法、卷積、激活函數(shù)等)。相較于傳統(tǒng)CPU/GPU,NPU
    的頭像 發(fā)表于 04-18 00:05 ?2056次閱讀

    雙倍陣列云,重新定義服務(wù)器性價(jià)比

    一、架構(gòu)創(chuàng)新:高密度集成與躍升 ?陣列化芯片設(shè)計(jì)? 新一代服務(wù)器通過高密度集成芯片陣列(如72片QCS8550芯片)實(shí)現(xiàn)算力聚合,單片CPU算力提升50%、GPU算力提升230%+
    的頭像 發(fā)表于 03-26 08:35 ?245次閱讀
    雙倍<b class='flag-5'>能</b><b class='flag-5'>效</b>陣列云,重新定義服務(wù)器性價(jià)比

    電源濾波器協(xié)同優(yōu)化:提升電源系統(tǒng)的關(guān)鍵路徑

    電源濾波器在現(xiàn)代電子設(shè)備中起著核心作用,其、性能穩(wěn)定性和環(huán)境友好性直接關(guān)系到設(shè)備成本、性能和環(huán)保。元件選擇、參數(shù)優(yōu)化、散熱設(shè)計(jì)和布局優(yōu)化等是關(guān)鍵,多路電源并聯(lián)系統(tǒng)中的濾波器協(xié)同則可以顯著提升系統(tǒng)
    的頭像 發(fā)表于 03-18 16:49 ?375次閱讀

    IO模塊助力PLC,全面提升中水處理設(shè)備

    隨著我國(guó)環(huán)保事業(yè)的不斷發(fā)展,中水處理技術(shù)在工業(yè)、生活等領(lǐng)域發(fā)揮著越來越重要的作用。如何提高中水處理設(shè)備的,成為行業(yè)關(guān)注的焦點(diǎn)。本文將為您介紹明達(dá)技術(shù)高效解決方案——利用自主研發(fā)的分布式IO模塊配合PLC,實(shí)現(xiàn)中水處理設(shè)備
    的頭像 發(fā)表于 12-16 14:57 ?433次閱讀
    IO模塊助力PLC,全面<b class='flag-5'>提升</b>中水處理設(shè)備<b class='flag-5'>能</b><b class='flag-5'>效</b>

    Erp指令

    ErP指令EC244/2009、EC245/2009、EU1194/2012和標(biāo)簽指令EU874/2012已經(jīng)實(shí)行多年,歐盟委員會(huì)在近3年通過參照不斷改進(jìn)的照明產(chǎn)品技術(shù)、環(huán)境和經(jīng)濟(jì)因素以及實(shí)際
    的頭像 發(fā)表于 11-20 23:57 ?565次閱讀
    Erp指令<b class='flag-5'>能</b><b class='flag-5'>效</b>

    NPU的工作原理解析

    神經(jīng)網(wǎng)絡(luò)的計(jì)算流程,顯著提高了處理速度和NPU通常集成在SoC(System on Chip)中,與CPU和GPU協(xié)同工作,共同完成復(fù)雜的計(jì)算任務(wù)。 NPU的架構(gòu)
    的頭像 發(fā)表于 11-15 09:17 ?2853次閱讀

    NPU在邊緣計(jì)算中的優(yōu)勢(shì)

    和GPU相比,NPU在處理神經(jīng)網(wǎng)絡(luò)相關(guān)的計(jì)算任務(wù)時(shí),能夠提供更高的和更快的處理速度。NPU通過優(yōu)化數(shù)據(jù)流和計(jì)算結(jié)構(gòu),使得神經(jīng)網(wǎng)絡(luò)的前向
    的頭像 發(fā)表于 11-15 09:13 ?1234次閱讀

    NPU技術(shù)如何提升AI性能

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為AI領(lǐng)域的核心驅(qū)動(dòng)力,對(duì)計(jì)算能力的需求日益增長(zhǎng)。NPU技術(shù)應(yīng)運(yùn)而生,為AI性能的提升提供了強(qiáng)大的硬件支持。 NPU技術(shù)概述 NPU是一種專門為深
    的頭像 發(fā)表于 11-15 09:11 ?1425次閱讀

    什么是NPU芯片及其功能

    的設(shè)計(jì)靈感來源于人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。人腦通過神經(jīng)元和突觸的復(fù)雜網(wǎng)絡(luò)處理信息,而NPU芯片則通過模擬這種結(jié)構(gòu)來提高數(shù)據(jù)處理的效率。與傳統(tǒng)的CPU和GPU相比,NPU芯片在處理深度學(xué)習(xí)任務(wù)時(shí)具有更高的
    的頭像 發(fā)表于 11-14 15:48 ?5147次閱讀

    AcrelEMS企業(yè)微電網(wǎng)管理平臺(tái)如何輔助企業(yè)進(jìn)行能源平衡優(yōu)化?

    安科瑞徐赟杰 18706165067 摘要 2022年6月29日工信部、發(fā)改委、財(cái)政部、生態(tài)環(huán)境部、國(guó)資委、市場(chǎng)監(jiān)管總局六部門聯(lián)合下發(fā)《關(guān)于印發(fā)工業(yè)提升行動(dòng)計(jì)劃的通知》(工信部聯(lián)節(jié)〔2022
    的頭像 發(fā)表于 11-13 11:13 ?453次閱讀
    AcrelEMS企業(yè)微電網(wǎng)<b class='flag-5'>能</b><b class='flag-5'>效</b>管理平臺(tái)如何輔助企業(yè)進(jìn)行能源平衡優(yōu)化?

    智慧水務(wù)綜合管理系統(tǒng)-提高污水廠

    簡(jiǎn)婷 安科瑞電氣股份有限公司 上海嘉定 201801 AcrelEMS-SW智慧水務(wù)管理平臺(tái) 1平臺(tái)概述 安科瑞電氣具備從終端感知、邊緣計(jì)算到管理平臺(tái)的產(chǎn)品*態(tài)體系,Acrel
    的頭像 發(fā)表于 10-21 14:14 ?496次閱讀
    智慧水務(wù)綜合<b class='flag-5'>能</b><b class='flag-5'>效</b>管理系統(tǒng)-提高污水廠<b class='flag-5'>能</b><b class='flag-5'>效</b>
    主站蜘蛛池模板: 久久电影精品 | 国产精品亚洲精品爽爽 | 国产国拍精品AV在线观看 | 人人澡人人爽人人精品 | 精品日产1区2卡三卡麻豆 | 国产毛片女人高潮叫声 | 色欲人妻无码AV专区 | 激情内射亚州一区二区三区爱妻 | 伊人大香线蕉影院在线播放 | 国产成A人片在线观看 | 亚洲女初尝黑人巨磁链接 | 国产午夜精品理论片影院 | 91精品免费久久久久久久久 | 亚洲精品视频免费 | 视频一区精品自拍亚洲 | 亚洲国产中文字幕新在线 | 国产精品国产三级国AV在线观看 | 阴茎插入阴道 | 久久爽狠狠添AV激情五月 | 99热这里只有是精品 | 麻豆精品国产剧情观看 | 伊人久综合 | 国产三级在线观看视频 | 亚洲精品高清视频 | 无码射肉在线播放视频 | 国产成人一区二区三中文 | 嗯啊快停下我是你老师啊H 嗯啊快拔出来我是你老师视频 | 有人有片的观看免费视频 | 国产精品久久毛片A片软件爽爽 | 亚洲一品AV片观看五月色婷婷 | xx在线观看 | 日本人作爰啪啪全过程 | 強姧伦久久久久久久久 | 伊人精品视频直播 | 热久久视久久精品2015 | 儿子你得太大了慢点插 | 亚洲电影网址 | 快播最新电影网站 | 国产香蕉视频在线观看 | 日本50人群体交乱 | 高h 纯肉文|

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品