對(duì)許多 AI 工作負(fù)載而言，完全實(shí)現(xiàn) GPU 廠商所宣稱的計(jì)算容量并非易事。即使對(duì)一般矩陣乘法 （GEMM） 等高度并行計(jì)算而言，GPU 也只能在某些大矩陣條件下實(shí)現(xiàn)高利用率。FPGA 提供了不同的 AI 優(yōu)化硬件方法。

不同于 GPU，F(xiàn)PGA 提供了獨(dú)特的細(xì)粒度空間可重配置性，支持將每個(gè)功能的輸出直接傳送至相關(guān)功能的輸入，以滿足其需求。該方法可提升靈活性，支持特定的 AI 算法和應(yīng)用特征，從而提高可用 FPGA 計(jì)算功能的利用率，進(jìn)而提升性能。專用軟核處理器（也稱為疊加）支持與處理器類似的 FPGA 編程，即 FPGA 編程完全通過(guò)軟件工具鏈進(jìn)行。這種編程方法可消除 FPGA 特定的硬件復(fù)雜性問(wèn)題。

我們對(duì)全新英特爾 Stratix 10 NX FPGA 進(jìn)行了首次性能評(píng)估，并將其與 Nvidia T4 和 V100 GPU 進(jìn)行了比較。此次性能評(píng)估采用了 2020 年 IEEE 國(guó)際現(xiàn)場(chǎng)可編程技術(shù)會(huì)議中一篇論文所公布的結(jié)果，考察了一系列實(shí)時(shí)推理工作負(fù)載的運(yùn)行表現(xiàn)。我們使用被稱為神經(jīng)處理單元 （NPU） 的軟核 AI 處理器疊加實(shí)現(xiàn)方案部署了支持 FPGA 的工作負(fù)載，工具鏈支持以軟件為中心的 FPGA 編程，無(wú)需調(diào)用 FPGA 特定硬件 EDA 工具。

結(jié)果顯示，相比于測(cè)試的 GPU，英特爾 Stratix 10 NX FPGA 能夠?yàn)檫@些 AI 工作負(fù)載提供顯著改進(jìn)的利用率和性能。

編輯：jq