5月12日,第十三屆松山湖中國IC創新高峰論壇在廣東東莞松山湖凱酒店舉行,本屆活動繼續由中國半導體行業協會IC設計分會(ICCAD)、芯原微電子、松山湖管委會主辦,東莞松山湖集成電路設計服務中心,東莞市生技置業有限公司承辦。電子發燒友網受邀參與活動并作現場報道。
成都視海芯圖微電子有限公司創始人許達文認為,很多AI模型的主干網絡正從CNN轉變為Transformer,Transformer可以解決終端芯片訪存密集型、不規則訪存,以及NPU利用率低的難題。
視海芯圖推出了Transformer加速SoC——SH1580芯片,采用12nm工藝,具備自研NPU、高性能主核、高性能圖像處理的特點。SH1580芯片具備2TOPS@INT8有效算力,在圖像處理方面,支持AI-HDR、3D-ToF圖像處理等。
許達文介紹,SH1580芯片的核心技術為PTPU架構,具備定制電路支持Transformer存儲結構和訪存優化的特點,另外視海芯圖還設計了可重構數據流,同時高效支持CNN和Transformer。
在AR/VR的應用中,為了能夠讓數字世界跟物理世界實現深層次的融合,需要把數字信息映射到物理世界中。這就需要場景識別功能,還需要支持混合性輸入,包括圖像輸入、語音輸入。“特別是圖像輸入這塊,往往要輸入、接收2D、3D圖像。這么復雜的一些場景和算法的話,它就需要一個配套的算法來支撐。”許達文表示。而基于Transformer為架構的模型能夠結束一部分問題。
在AR/VR設備中,SH1580芯片在SLAM中可以做特征點匹配LoFTR、地點識別SVT-Net,另外在AR/VR設備的應用中還能實現語義分割 SegFormer以及三維重建 Point-Bert。傳統CNN算法很難做稀疏紋理匹配,但是Transformer可以做到準確的無紋理特征識別。
值得一提的是,AR/VR設備對于需要有低功耗有著一定的需求。SH1580芯片基于12nm工藝。采用電源與芯片架構,idle功耗為46mW,超低功耗模式可以做到6mW。該產品在AR眼鏡上已有應用案例。
-
Ar
+關注
關注
24文章
5096瀏覽量
169474 -
Transformer
+關注
關注
0文章
143瀏覽量
5997
發布評論請先 登錄
相關推薦
評論