在拉斯維加斯舉行的2019年國際消費電子展上，英特爾數(shù)據(jù)中心集團執(zhí)行副總裁Navin Shenoy宣布英特爾Nervana神經(jīng)網(wǎng)絡推理處理器將于今年投入生產(chǎn)。早在2016年，英特爾就以4.08億美元的價格從圣地亞哥收購了擁有48人的AI SAAS初創(chuàng)公司Nervana。 Nervana當時是一家軟件公司，提供一個名為Nervana Cloud的全棧軟件即服務平臺，在一個名為Neon的開源框架基礎上支持定制深度學習應用程序的開發(fā)。

據(jù)報道，Nervana當時正致力于開發(fā)用于神經(jīng)網(wǎng)絡處理的定制芯片，他們聲稱使用這種芯片AI加速器的性能至少會領先GPU10倍。當然，開發(fā)自定義處理器對于小型軟件團隊來說是一項艱巨的任務，但是在它被英特爾收購后，要實現(xiàn)這一想法就變得現(xiàn)實多了。現(xiàn)在，英特爾宣布推出第一款產(chǎn)品，用于推理的英特爾Nervana神經(jīng)網(wǎng)絡處理器，簡稱NNP-I。該公司還宣布將在今年下半年推出代號為“Spring Crest”的神經(jīng)網(wǎng)絡訓練處理器。Nervana Engine最初是采用28nm技術開發(fā)的，計劃在發(fā)布之前升級到14nm。英特爾目前還沒有做出回應，但我們推斷今年交付的設備將采用英特爾的14nm FinFET技術，未來或許會改用10nm。

英特爾表示Nervana正在與Facebook合作開發(fā)，這是一個很有意思的消息，因為Facebook是“超七”數(shù)據(jù)中心公司，其加速策略一直是不公開的。谷歌開發(fā)了自己的處理器，微軟，亞馬遜和AWS等公司也在基于FPGA的加速方面投入了大量資金。和Facebook成為開發(fā)合作伙伴，應該能讓Nervana在今年下半年全面上市時獲得可靠的端到端認證。

神經(jīng)網(wǎng)絡訓練和推理是計算密集型的，涉及矩陣的張量乘法和卷積。多年來，圖形處理單元（GPU）一直是人工智能訓練加速的首選解決方案，而FPGA一直在努力開拓推理游戲中的競爭優(yōu)勢。就像現(xiàn)成的芯片一樣，GPU可以充分利用其高度并行的矢量和線性代數(shù)功能，非常適合人工智能任務。但是，由于GPU并非專為人工智能而設計，所以當涉及到人工智能和深度學習的架構優(yōu)化時，GPU仍然有很多問題需要解決。

類似地，F(xiàn)PGA可以通過更低的功耗為推理任務提供極高的并行性和性能，因為不同于訓練，推理任務可以通過降低精度的定點計算來完成。大型數(shù)據(jù)中心和公有云已經(jīng)開始利用FPGA集群來加速推理任務，在吞吐量、延遲和計算效率方面取得了顯著成果。然而，與GPU類似，典型的FPGA上有許多不涉及AI計算的硬件，許多可編程架構使得FPGA作為通用設備非常棒，但作為AI處理器卻不夠理想。

Nervana是從GPU內(nèi)核的深度學習開發(fā)人員的角度來解決這個問題的，這讓他們深刻地認識到GPU對于AI任務的局限性。該公司表示，Nervana引擎是從頭開始設計的，拋棄了GPU架構，重新開始。他們分析了許多深層神經(jīng)網(wǎng)絡，并提出了他們認為的最適合關鍵操作的架構。他們還提出了一種新的數(shù)字格式——FlexPoint，它試圖最大化16位存儲的精度。

由于人工智能計算可能非常耗費內(nèi)存，因此Nervana需要能夠快速移動大量數(shù)據(jù)。Nervana設備包括32GB的內(nèi)置高帶寬內(nèi)存（HBM），可提供8Tb/s的內(nèi)存訪問帶寬。HBM存儲器通過芯片3D堆疊實現(xiàn)高容量。一個HBM芯片棧可以存儲8GB的數(shù)據(jù)，其中包含8個1GB的獨立內(nèi)存模塊。Nervana引擎包括4個HBM棧，提供32GB的存儲。英特爾的多模封裝技術將HBM與處理器核心陣列連接起來。我們推測這是由英特爾的2.5D嵌入式多模互連橋(EMIB)技術而不是新宣布的FOVEROS 3D封裝完成的，不過英特爾并沒有給出明確答案。

Nervana引擎由一系列“Tensor Processing Cores”組成，這些核心由HBM基板、內(nèi)存接口和高速IO組成，旨在將許多Nervana設備組合在一起，以提供超大規(guī)模的網(wǎng)絡部署。英特爾尚未給出新設備的具體性能或功耗數(shù)據(jù)，只是說功耗將達到數(shù)百瓦，和Movidius和Mobileye等邊緣目標AI設備相比，Nervana明顯將用于數(shù)據(jù)中心。

該設備包括六條雙向高帶寬鏈路，該公司表示該芯片能夠在機箱內(nèi)部或機箱之間無縫連接。該公司表示，這使用戶能夠通過簡單地分配更多的計算，或者在不降低速度的情況擴展模型規(guī)模，從而在當前模型上獲得線性加速。將多臺設備連接在一起可以作為一個大處理器。

Nervana的目標是在數(shù)據(jù)中心搶食GPU和FPGA的市場。由于英特爾在其PSG部門（前身為Altera）擁有世界上最好的FPGA技術之一，因此它認為Nervana在推理方面超過FPGA，在訓練方面比GPU具有更明顯的優(yōu)勢。特別是英偉達(NVIDIA)，它在AI訓練領域占據(jù)著主導地位，顯然是Nervana瞄準的目標。

隨著更多不同領域的AI設備進入市場，目前的通用處理器芯片無法滿足需求，會有越來越多的AI芯片出現(xiàn)，我們將拭目以待。