目前約有十幾種加速用戶端機器學習(machine learning)任務的處理器核心正在角逐系統SoC市場，其中一些已經被設計于智能手機中。其目標在于取得比處理器IP巨擘Arm更早進入市場的先發優勢，但預計Arm很快就會發布自家的產品。

市場觀察家The Linley Group的首席分析師Linley Gwennap在Linley處理器大會(Linley Processor Conference)發表專題演講之前接受《EE Times》的訪問。他表示，這場競爭態勢顯示機器學習芯片的許多舉動正開始轉向低功耗的用戶端區塊(block)。然而，在高性能的資料中心芯片之間，競爭仍處于初期階段。

Gwennap說：「Arm已經主宰了CPU的IP領域，也接管了GPU，但人工智能(AI)引擎為核心芯片創造了一個全新的市場，讓其它公司也能取得一個好的開始。」

這一市場中值得關注的新競爭對手與產品包括：

蘋果(Apple) iPhone智能手機中，A11 SoC內建的Bionic生物神經網路引擎

三星(Samsung )Galaxy S9手機中，Exynos 9810處理器內建的DeePhi區塊

華為(Huawei)麒麟970 (Kirin 970)手機中的寒武紀(Cambricon)神經引擎

聯發科(MediaTek) P30 SoC中用于視覺和AI加速的Cadence P5 DSP

英特爾(Intel)未來PC芯片組中可能使用Movidius加速芯片

現有的AI芯片設計訂單已經鎖定了在整個手機市場中約占三分之一的高階智能手機應用。Gwennap并預計，AI加速將在未來2~3年內滲透到手機市場的其它部份。

除了智能手機，汽車對AI芯片來說也是一個越來越大的市場。還有個人電腦(PC)、平板電腦和物聯網(IoT)裝置很快地也將充斥整個市場。

為了跟上步伐，Arm在今年二月宣布了一項名為'Project Trillium'的完整平臺。但是，Gwennap說：「他們必須在一些最佳化電源效率的特定硬體加速器方面更具有競爭力。」

「Arm目前正著手開發這一類加速器，并計畫在今年夏天發布其首款產品…但事實上，他們的進度已經落后了，這讓一些新公司有機會盡快卡位。」

去年10月，Arm宣布組建了一個機器學習小組。今年2月更進一步提供該計畫的若干細節。

Arm可能會在今年10月份于矽谷舉行的年度活動中發表產品詳情。但這并不能保證Arm將收復失地，因為神經網路引擎和CPU之間并不一定存在密切關系。

迄今所宣布的用戶端推論加速器之原始性能數據，僅能反映部份現實（來源：The Linley Group）

基準和資料中心的競爭

最終，能在這場仍算是新戰場中獲勝的芯片將是集性能、功耗和芯片尺寸等優勢于一的最佳組合。

Gwennap說：「問題在于我們看到了原始性能，但它實際上可歸納為在神經網路上提供的性能。所以，我們需要的是一個良好的基準，例如每秒鐘可分類多少影像等。」

百度(Baidu)率先將AI基準作為開放來源發布，但尚未被廣泛采用。交易處理委員會(Transaction Processing Council)去年底成立了一個工作小組來處理這個問題，但尚未提報任何進展。

他說：「提出基準并不難，但要讓各家公司同意并比較結果可不簡單…如今事情正在改觀，所以，任何基準都必須發展，才能與時俱進。」。

目前為止，Gwennap的報告稱，Videantis的多核心v-MP6000表現較其最接近的競爭對手Ceva NeuPro略具有原始性能優勢。Ceva NeuPro將SIMD DSP與脈動MAC陣列相結合。

其它廠商還包括新思科技(Synopsys)的EV64，它結合了SIMD DSP與用于啟動和池化(pooling)的客制邏輯。如同Videantis一樣，AImotive AIware也使用了許多客制硬體區塊。

在低成本的區塊中，芯原微電子(VeriSilicon)的VIP8000-O采用具有多達8個深度學習引擎的GPU提供大部份的原始性能。令人不解的是，在所發布的芯片中，寒武紀的CPU采用小型矩陣引擎所提供的性能最低，但仍取得華為智能手機應用的重要訂單。

英國芯片公司Imagination也攜其PowerVR 2NX入局，PowerVR 2NX采用支援MAC陣列的客制非GPU架構。Nvidia則為其Xavier處理器的深度學習加速器(NVDLA)核心架構提供免費且開放的IP，并獲得Arm的支持。

整體而言，Gwennap表示有多達40家公司都在設計客制的AI芯片。其中許多都鎖定了資料中心應用，但在這個領域，Nvidia Volta GPU的地位穩固，并成為亞馬遜(Amazon)等巨擘所選擇的訓練引擎。

Gwennap說：「我們現在看到的競爭對手是Google TPU和微軟(Microsoft)基于FPGA的Brainwave——目前正被廣泛部署，但至今還沒有許多商用替代方案可供選擇。」

「今年，在將新的AI資料中心架構投入生產方面，Wave Computing似乎領先一步。」

Wave Computing銷售完整系統的決定顯示其目標放在二線和三線(tier)業者，而不是喜歡制造自家最佳化產品的大型資料中心。

英特爾旗下的Nervana最近明確表示，要到2019年才會投產芯片。深度學習新創公司Graphcore聲稱將在今年稍晚發布新芯片。另一家新創公司Cerebrus則仍保持緘默，而比特幣ASIC制造商比特大陸(BitMain)已在去年底宣布用于資料中心的AI芯片計畫。

Gwennap說：「業界多家公司正一窩蜂地投入AI芯片領域，他們將其視為下一波淘金熱，因而競相搶搭這班列車。」