人工智能(AI)正在藉由智能型手機和消費電子產品內建的臉部辨識、語音辨識、影像分析和自然語言處理功能滲透到每個人的生活中。未來幾年中，大多數消費裝置將在本地運行AI，而越來越多功能將自動化。為解決AI應用過于耗電及占用大量資源的問題，芯片大廠正在積極研發AI系統單芯片(SoC)。

根據Silicon Angle報導，目前大多數行動裝置中的處理器并未針對AI最佳化，因此AI在手機和物聯網(IoT)終端上運行速度緩慢，快速消耗電池電力及過多帶寬，并因數據在云端往返傳輸而會暴露敏感的本地信息(local information)。

因此越來越多行動和IoT裝置將配備針對本地AI處理而優化的SoC。AI SoC具有專用神經網絡處理器，如GPU、TPU及FPGA。這些AI最佳化芯片可從裝置的CPU中卸載神經網絡處理，從而實現更多的本地自主AI處理，并減少云端通訊的需求。

目前一般會將多個專用處理器芯片，如CPU、GPU和數碼訊號處理器(DSP)整合到行動或IoT終端外型設計(form factor)中。整個配置可能是針對非常特定的工作負載，如臉部辨識、語音辨識、自然語言處理或擴增實境(AR)，也可能是針對可在行動裝置上直接執行的一系列AI功能進行最佳化。

此外，AI SoC通常有應用程序接口、程序庫和工具，讓開發人員可從頭開發在裝置上執行的AI，或導入機器學習和TensorFlow、Caffe2、PyTorch等架構內建的深度學習模型。

近幾個月來有跡象顯示，越來越多復雜的AI SoC芯片正在進入市場。可驅動iPhone X的Face ID功能的蘋果(Apple)A11 Bionic SoC亦為這類芯片。而英特爾(Intel)亦于2017年推出Movidius Myriad X SoC，用于智能相機和其它邊緣裝置中的AI視覺處理。而華為麒麟970亦內建嵌入式AI神經處理引擎。有傳聞指出，Google和亞馬遜(Amazon)正在為其商業裝置開發AI SoC。

NVIDIA最近宣布與安謀(ARM)合作，將NVIDIA深度學習加速器(NVDLA)整合到ARM Prroject Trillium機器學習平臺中。Project Trillium能在整合CPU、GPU、DSP和硬件加速器，以及搭配第二代ARM物體檢測處理器(object detection processor)和ARM神經網絡軟件的SoC上，實現高效的AI推論或機器學習算法操作。

ARM會向制造商授權芯片設計，這意味著最終的NVDLA/Trillium SoC設計將可整合到各種IoT邊緣裝置中，以實現高性能、低功耗的行動AI推論。

此外，高通(Qualcomm)亦推出兩款低功耗AI SoC，QCS605和QCS603。這兩款SoC用于計算機視覺應用，特別是在安全、運動、穿戴裝置、虛擬實境(VR)和機器人上使用的智能視訊/靜態鏡頭。其嵌入式AI功能可協助鏡頭在極低光條件下運行，確保鏡頭在移動或不穩定平臺時的影像穩定性，并為諸如無人機等平臺提供避障指引。

這兩款高通SoC包含大量行動/IoT終端功能。每種技術都包含Adreno GPU、多個Cryo ARM CPU核心、Hexagon 685矢量處理器、Snapdragon神經處理引擎，雙14位元Spectra 270影像訊號處理器、雙1,600萬畫素傳感器和Wi-Fi網絡。

8核心QCS605可同時處理高達60 fps的4K和1080p視訊輸入訊號，以及更低分辨率的同步視訊串流．而功耗更低、體積更小的4核心QCS603能以30 fps進行4K和720p視訊串流。對于深度神經網絡推論，這兩顆SoC每秒運算性能可達2.1 TOPS。支持此功能的是雙14位元Spectra 270影像訊號處理器。

高通軟件開發套件能讓在TensorFlow、Caffe和Caffe2中創建的機器學習、深度學習模型，以及Android Neural Networks API和高通的Hexagon神經網絡庫移植到這兩款SoC的AI引擎。

而在2018年肯定能看到更多AI SoC上市。許多AI芯片供應商正在積極為各種行動和IoT邊緣裝置應用建構SoC。