過去幾年,FPGA的CAGR大約一直保持在8-10%左右,隨著該類器件在AI應用中的擴張,未來5年其CAGR增長將高達38.4%!根據市場調研公司Semico Research的預測,人工智能應用中FPGA的市場規模將在未來4年內增長3倍,達到52億美元。為了保持競爭力,目前全球有25%的企業實施了人工智能/機器學習(AI/ML),而兩年內,這一比例將增長到72%,以更好地獲得核心職能方面的商業洞察力。
圖:企業AI/ML部署需求增長趨勢
伴隨這一趨勢,AI的算法在不斷演進,對數值精度的選擇要求也更加多元,高效算力、高效豐富的存儲緩存能力以及高效大帶寬的數據運送能力,是AI/ML硬件解決方案所面臨的主要挑戰。系統開發者會利用FPGA架構去優化功耗、性能和靈活性,并突破處理單元在效率上的瓶頸,包括計算引擎、內存層次結構和數據移動。
圖:算法和精度要求不同給處理帶來挑戰
就AI的應用而言,不同場景應用對FPGA的需求不同。通常云計算中的應用主要是需要FPGA在AI/ML和高帶寬數據加速上的能力,而在端側則需要在高靈活性的同時還要具有ASIC的性能。雖然,FPGA已經大量應用于泛AI領域,但它是否很好的滿足這兩個方面的需求,還是一個值得探討的話題。
重構FPGA架構
縱觀FPGA產品的演進歷史(包括器件的產生),每一次大的迭代都是一種設計方法論的革新,從這個角度看,Achronix公司最近發布的Speedster7t針對上述兩個應用場景上進行的優化都可以看做方法論上的革新。在開發Speedster7t的過程中,Achronix的工程團隊完全重新構想了整個FPGA架構,以平衡片上處理、互連和外部輸入輸出接口,實現數據密集型應用吞吐量的最大化,這些應用場景可見于那些基于邊緣和基于服務器的AI/ML應用、網絡處理和存儲。
“Speedster7t是我們歷史上最令人激動的發布,代表了建立在四個架構代系的硬件和軟件開發基礎上的創新和積淀。”Achronix公司董事長兼首席執行官Robert Blake介紹,“該器件采用TSMC的7nm FinFET工藝制造,專為ML和高帶寬網絡應用進行了優化。”
具體而言,相較于目前的FPGA,Speedster7t革新之處在于設計了針對ML的處理器(MLP),以及一個可橫跨和垂直跨越FPGA邏輯陣列的高帶寬的二維片上網絡(NOC),二者結合既保留了FPGA的靈活性,又實現了ASIC的性能。
不占用FPGA布線的MLP單元
這個片內的MLP是高度可配置的、計算密集型的單元模塊,可支持4到24位的整點格式和高效的浮點模式,包括對TensorFlow的16位格式的支持,以及可使每個MLP的計算引擎加倍的增壓塊浮點格式的直接支持。該MLP可以通過運算和緩存級鏈實現更復雜的算法,而不需要使用FPGA布線資源。
“目前FPGA會使用DSP來進行ML的處理,但其對數值精度的支持并不高效,并且需要消耗額外邏輯和存儲資源,其性能也受限于FPGA布線。”Blake說,“DSP常用于無線數字濾波的處理,而Speedster7t中的MLP則在計算架構、緩存(內嵌)、可配置算法以及對整點和浮點的支持上提供了更好的AI/ML的計算性能和能效比。”
圖:在FPGA中采用MLP(右)比DSP(左)更適用于AI/ML處理
二維片上網絡——NOC
NOC是在FPGA路由結構上的另一個重要革新。這一設計主要針對FPGA的片上處理引擎之間所需的高帶寬通信。Speedster7t片上資源包括8個GDDR6控制器、72個業界SerDes(1到112 Gbps)、帶有前向糾錯(FEC)的硬件400G以太網MAC(4x100G或8x50G的配置),以及硬件PCI Express Gen5控制器(每個控制器有8個或16個通道)。
這些高速I/O和存儲器端口的數萬兆比特數據很容易淹沒傳統FPGA面向比特位的可編程互連邏輯陣列的路由容量,而Speedster7t通過NOC把它們連接到所有FPGA的高速數據和存儲器接口。NOC和FPGA功能之間通過網絡接入點NAP連接,每個水平行和垂直列的交叉點都有NAP(主NAP和從NAP)。NoC中的每行/列都可同時為每個方向提供512Gbps的數據流量,其鏈路雙向運行,最大的設備帶寬可以達到20Tbps。
“最重要的是,NOC消除了傳統FPGA使用可編程路由和邏輯查找表資源在整個FPGA中移動數據流中出現的擁塞和性能瓶頸。”Blake說,“這種高性能網絡不僅可以提高Speedster7t FPGA的總帶寬容量,還可以在降低功耗的同時提高有效LUT容量。”
圖:NOC是在FPGA路由結構上的另一個重要革新
的確,NOC這一方法解決了GDDR6、400G以太網MAC這些片上資源海量數據傳輸的問題。Speedster7t是目前市面唯一支持GDDR6存儲器的FPGA,可以支持4 Tbps的GDDR6累加帶寬,可以很小的成本提供與基于HBM的FPGA等效存儲帶寬。相較于HBM,GDDR6只需要一半的成本就可以滿足高存儲層次和帶寬的需求,并且,HBM是固化的塊,GDDR6則更靈活,用戶可以選擇不同容量和帶寬。
NOC也解決了傳統FPGA的運行速度無法滿足任何400G以太網總線寬度要求的問題,400G以太網的總線大小達1024bit,所需的最高頻率達到724 MHz,這在傳統FPGA中無法實現,NOC由于消除了傳統設計中與FPGA布線相關的延遲,所以可以最高支持750 MHz的頻率,這滿足了MLP和嵌入式存儲器模、400G以太網MAC及高速SerDes之間的數據傳輸。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
FPGA
+關注
關注
1629文章
21729瀏覽量
603009 -
NoC
+關注
關注
0文章
38瀏覽量
11734
發布評論請先 登錄
相關推薦
卡諾模型為人工智能領域提供了一種全新的視角
在探索人工智能如何更深層次滿足用戶需求、提升用戶體驗的旅程中,卡諾模型(Kano Model)提供了一個極具價值的理論框架。這一模型不僅為產
集成電路與人工智能結合
集成電路,為人工智能算法提供了強大的算力支持。 隨著人工智能技術的不斷發展,對存儲和計算能力的需求日益增長,而集成電路的快速發展正好滿足了
嵌入式和人工智能究竟是什么關系?
嵌入式和人工智能究竟是什么關系?
嵌入式系統是一種特殊的系統,它通常被嵌入到其他設備或機器中,以實現特定功能。嵌入式系統具有非常強的適應性和靈活性,能夠根據用戶需求進行定制化設計。它廣泛應用于各種
發表于 11-14 16:39
FPGA應用于人工智能的趨勢
FPGA(現場可編程門陣列)在人工智能領域的應用趨勢日益顯著,主要歸因于其高速、低功耗、靈活性和并行處理能力等獨特優勢。以下是對FPGA應用于人工智能趨勢的分析:
Adobe發布人工智能視頻創作工具:Firefly Video Model
Adobe公司于10月15日正式揭曉了其最新研發的人工智能視頻創作工具——Firefly Video Model。這一創新解決方案旨在借助AI技術,賦能視頻內容創作者拓寬創意邊界,提升
《AI for Science:人工智能驅動科學創新》第6章人AI與能源科學讀后感
驅動科學創新》的第6章為我提供了寶貴的知識和見解,讓我對人工智能在能源科學中的應用有了更深入的認識。通過閱讀這一章,我更加堅信人工智能在未來
發表于 10-14 09:27
AI for Science:人工智能驅動科學創新》第4章-AI與生命科學讀后感
閱讀這一章后,我深感人工智能與生命科學的結合正引領著一場前所未有的科學革命,以下是我個人的讀后感:
1. 技術革新與生命科學進步
這一章詳細
發表于 10-14 09:21
《AI for Science:人工智能驅動科學創新》第一章人工智能驅動的科學創新學習心得
,還促進了新理論、新技術的誕生。
3. 挑戰與機遇并存
盡管人工智能為科學創新帶來了巨大潛力,但第一章也誠實地討論了伴隨而來的挑戰。數據隱私、算法偏見、倫理道德等問題不容忽視。如何在利
發表于 10-14 09:12
risc-v在人工智能圖像處理應用前景分析
滿足人工智能圖像處理中對于高性能、低功耗和特定功能的需求。
低功耗 :
在人工智能圖像處理中,低功耗是一個重要的考量因素。RISC-V架構的設計使其在處理任務時能夠保持較低的功耗水平
發表于 09-28 11:00
名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅動科學創新
芯片設計的自動化水平、優化半導體制造和封測的工藝和水平、尋找新一代半導體材料等方面提供幫助。
第6章介紹了人工智能在化石能源科學研究、可再生能源科學研究、能源轉型三個方面的落地應用。
第7章從環境監測
發表于 09-09 13:54
FPGA在人工智能中的應用有哪些?
FPGA(現場可編程門陣列)在人工智能領域的應用非常廣泛,主要體現在以下幾個方面:
一、深度學習加速
訓練和推理過程加速:FPGA可以用來加速深度學習的訓練和推理過程。由于其高并行性和
發表于 07-29 17:05
西部數據發布AI數據周期框架,推動人工智能革新
在人工智能領域持續革新的今天,西部數據公司憑借其深厚的技術積累,正式發布了全新的人工智能數據周期(AI Data Cycle)框架。這一框架
嵌入式人工智能的就業方向有哪些?
嵌入式人工智能的就業方向有哪些? 在新一輪科技革命與產業變革的時代背景下,嵌入式人工智能成為國家新型基礎建設與傳統產業升級的核心驅動力。同時在此背景驅動下,眾多名企也紛紛在嵌入式人工智能
發表于 02-26 10:17
卡諾模型驅動人工智能革新:重塑未來智能生態!
效地滿足用戶需求,推動產業智能化升級。 卡諾模型,即Kano模型,它通過對顧客需求的分類和分析,幫助企業明確產品開發的優先級和方向。將這一模型應用于
評論