安霸在CES 2024上發布了全新的N1系列生成式AI芯片,這是一款專門為前端設備設計的芯片,支持本地運行大型語言模型(LLM)應用。其單顆SoC能夠支持1至340億參數的多模態大模型(Multi-Modal LLM)推理,從而實現低功耗的生成式AI功能。
在展會期間,安霸展示了在其新款N1系列SoC上運行多模態大模型的強大能力。令人印象深刻的是,與當前市場上的通用GPU解決方案相比,該芯片每次推理的功耗顯著降低。這顯示出安霸在提高AI處理效率和降低功耗方面的領先技術。
安霸計劃在中高端SoC上提供已優化的生成式AI處理,以滿足不同應用場景的需求。這些AI SoC包括了功耗低于5瓦的CV72芯片以及最新的N1芯片,后者可應用于服務器端,功耗低于50瓦。這樣的設計使得安霸的解決方案更具競爭力,尤其是在需要高效能、低功耗的邊緣計算領域。
相比其他AI加速器,如GPU,安霸提供的完整SoC解決方案具有顯著的優勢。其每生成一個token的能效比最高可提高3倍,這意味著在相同的性能下,安霸的解決方案能夠顯著降低能耗,從而延長設備的續航時間。此外,安霸的解決方案還具有快速、低成本的部署優勢,使得終端產品能夠更快地進入市場并降低總體成本。
總而言之,安霸的N1系列生成式AI芯片為前端設備提供了強大的AI處理能力,同時實現了低功耗和高能效比。這將有助于推動生成式AI在各種終端設備中的應用,包括智能手機、智能家居、智能汽車等領域的創新和發展。隨著技術的不斷進步和應用的不斷擴展,安霸有望成為AI芯片市場的領導者之一。
-
soc
+關注
關注
38文章
4161瀏覽量
218157 -
AI芯片
+關注
關注
17文章
1879瀏覽量
34989 -
安霸
+關注
關注
3文章
42瀏覽量
12930
發布評論請先 登錄
相關推薦
評論