工智能和機器學習應用的加速是一個相對較新的領域，各種各樣的處理器不斷涌現，加速了幾乎所有神經網絡的處理工作。無論是處理器巨頭還是行業新貴，都在盡力提供差異化產品——或是針對不同的垂直市場、應用領域或功率預算，或是具有不同的價位。本文列出了目前市場上有代表性的10款AI加速處理器。

應用處理器

英特爾Movidius Myriad X

Myriad X由愛爾蘭初創公司Movidius開發，該公司于2016年被英特爾收購。Myriad X是Movidius的第三代視覺處理單元，也是首款搭載專用神經網絡計算引擎的處理器，可提供1TOPS的運算能力，專門用于深度神經網絡（DNN）計算。神經網絡計算引擎與高吞吐量智能存儲器件直接連接，避免了數據傳輸時的任何存儲瓶頸。Myriad X支持FP16和INT8計算，擁有一個內核群（包含16個專有SHAVE內核），以及升級擴展版的視覺加速器。

Myriad X可用于第二代英特爾神經計算棒（NCS2），NCS2實際上是外形跟U盤一樣的評估平臺。它可以插入任何工作站，使AI和計算機視覺應用能夠快速啟動并在專用的Movidius硬件上運行。

恩智浦半導體i.MX 8M Plus

i.MX 8M Plus是一款異構應用處理器，采用芯原的專用神經網絡加速器IP（Vivante VIP8000）。它為消費者及工業物聯網端點設備提供2.3TOPS的推理加速能力，足以完成多個物體的識別、40，000個單詞的語音識別，甚至還可以對醫學影像進行分類（MobileNet v1每秒對500個影像進行分類）。

圖1：恩智浦的i.MX 8M Plus是該公司首款搭載專用神經網絡加速器的應用處理器，專為物聯網應用而設計。（圖片來源：恩智浦半導體）

除神經網絡處理器以外，i.MX 8M Plus還搭載運行速度為2GHz的4核Arm Cortex-A53子系統，以及Cortex-M7實時子系統。針對視覺應用，它提供兩個圖像信號處理器，可以支持兩個立體視覺高清相機或一個12MP相機。針對語音應用，它提供一個800MHz HiFi4音頻數字信號處理器（DSP），可用于語音數據的預處理和后處理。

XMOS公司xcore.ai

xcore.ai用于實現人工智能物聯網（AIoT）應用中的語音控制。它是一種交叉處理器，兼具應用處理器的性能以及微控制器的低功耗與實時操作特性，用于語音信號的機器學習推理。

圖2：XMOS公司的xcore.ai采用專有架構，專為語音應用中的AI處理而設計。（圖片來源：XMOS）

它采用XMOS專有的Xcore架構，包含的邏輯內核可用于I/O、DSP、控制功能或AI加速。每顆xcore.ai芯片上有16個這樣的內核，設計人員可以根據需要選擇為每種功能分配多少個內核。通過將不同功能映射到固件中的邏輯內核，可以創建一個“虛擬SoC”，這完全是通過軟件實現的。XMOS還在Xcore中增加了向量管道功能，用于機器學習。

xcore.ai支持32位、16位、8位和1位（二進制）網絡，可提供3200MIPS、51.2GMACC和1600MFLOPS的運算能力，同時擁有1MB嵌入式SRAM以及一個低功耗DDR擴展接口。

汽車SoC

德州儀器TDA4VM

TDA4VM是德州儀器首款搭載專用深度學習加速器的片上系統（SoC），是應用于汽車高級駕駛輔助系統（ADAS）的Jacinto 7系列的一部分。該模塊采用C7×DSP及內部開發的矩陣乘法加速器（MMA），運算能力高達8TOPS。

圖3：德州儀器的TDA4VM用于復雜的ADAS，使車輛能夠感知周圍環境。（圖片來源：德州儀器）

這款SoC可以處理來自一個8MP前置攝像頭的視頻流，或者處理來自4到6個3MP攝像頭加上雷達、LiDAR和超聲波傳感器的組合數據。例如，在自動代客泊車系統中，其搭載的MMA可用于對這些輸入數據進行傳感器融合。

TDA4VM專為5W至20W的ADAS應用而設計。該產品目前處于預生產階段，但已有可用的開發套件。

GPU

英偉達Jetson Nano

英偉達著名的Jetson Nano是一款外形小但功能強大的圖形處理單元（GPU）模塊，專門針對端點設備中的AI應用。該公司表示，與大多數Jetson系列產品（AGX Xavier和TX2）一樣，Nano模塊上的GPU采用Maxwell架構，有128個內核，運算能力達到0.5TFLOPS，足以處理多個高分辨率圖像傳感器的數據流并運行多個神經網絡，功耗僅為5W。該模塊還搭載了4核Arm Cortex-A57 CPU。

圖4：英偉達的Jetson Nano模塊搭載具有128個內核的強大GPU，適合邊緣AI應用。（圖片來源：英偉達）

與英偉達其他產品一樣，Jetson Nano也采用了英偉達的神經網絡加速庫CUDA X。價格便宜的Jetson Nano開發套件已經面市。

消費類協處理器

Kneron公司KL520

Kneron是臺灣旅美科學家在美國成立的一家初創公司，首款產品為KL520神經網絡處理器，專用于智能家居、安防系統和移動設備等應用中的圖像處理和人臉識別。經過優化，它可以運行圖像處理中常用的卷積神經網絡（CNN）。

圖5：Kneron公司的KL520采用可重配架構和巧妙的壓縮技術，在移動設備和消費類設備中完成圖像處理。（圖片來源：Kneron Inc.）

KL520運算能力達到0.3TOPS，功耗僅為0.5W（相當于0.6TOPS/W）。該公司稱其芯片MAC效率超過90％，能夠實現精確的人臉識別。芯片架構可重新配置，并針對不同的CNN模型量身定制。Kneron公司的輔助編譯器采用壓縮技術，能夠在有限的芯片資源內運行更大的模型，從而節省了功耗和成本。KL520現已上市，制造商AAEON的加速卡中（M2AI-2280-520）便使用了這款處理器。

Gyrfalcon公司Lightspeeur 5801

Gyrfalcon公司的Lightspeeur 5801是為消費類電子產品市場而設計的，可提供2.8TOPS的運算能力，功耗為224mW（相當于12.6TOPS/W），延遲僅為4ms。Gyrfalcon采用了比其他架構更節能的“存儲器內處理器（processor-in-memory）”技術，并且可以在50MHz和200MHz之間改變鐘速度，從而相應地調節功耗。Lightspeeur 5801包含10MB存儲器，因此整個模型都可裝在芯片上。

Lightspeeur 5801是該公司生產的第四款芯片，已經用在LG的Q70中端智能手機中，用于相機效果的推理。5801 Plai Plug U盤開發套件現已上市。

超低功耗

Eta Compute公司ECM3532

ECM3532是Eta Compute公司的第一款產品，在物聯網電池供電或能量采集設備中用于AI加速。在圖像處理和傳感器融合等一直處于運行狀態的應用中，其功耗可低至100μW。

該芯片搭載兩款內核，Arm Cortex-M3微控制器內核和NXP CoolFlux DSP。它采用專有的電壓和頻率調節技術，可以調節每個時鐘周期，以充分利用兩個內核的每一瓦功率。兩個內核的任何一個都可以執行機器學習（但一些語音處理由DSP來完成更好）。ECM3532樣品已經推出，預計第二季度開始量產。

Syntiant公司NDP100

NDP100處理器由美國初創公司Syntiant設計，可對超低功耗應用中的語音命令進行機器學習推理。這款芯片采用存儲器內處理器技術，僅消耗不到140μW的有功功率，可運行關鍵詞發現、喚醒詞檢測、說話人識別或事件分類等模型。

圖6：Syntiant公司的NDP100適合超低功耗應用中的語音處理。（圖片來源：SyntiantCorp.）

Syntiant公司稱該產品將用于消費類電子設備的語音操作，例如耳塞式耳機、助聽器、智能手表和遙控器。其開發套件已上市。

GreenWaves公司GAP9

GAP9是法國初創公司GreenWaves開發的第一款超低功耗應用處理器，它搭載由9個RISC-V內核組成的強大計算集群，其指令集經過高度定制可以最大程度降低功耗。它具有雙向多通道音頻接口和1.6MB內部RAM。

在電池供電的物聯網設備中，可使用GAP9來完成圖像、聲音和振動檢測等神經網絡處理。根據GreenWaves數據顯示，在GAP9運行MobileNet V1來處理分辨率為160×160的圖像時，通道縮放值為0.25，用時僅12ms，功耗低至806μW/幀/秒。