當前以深度學習為代表的人工智能迎來第三次爆發，這對底層芯片計算能力更高需求。人工智能運算具有大運算量、高并發度、訪存頻繁的特點，且不同子領域（如視覺、語音與自然語言處理）所涉及的運算模式具有高度多樣性，對于芯片的微架構、指令集、制造工藝甚至配套系統軟件提出巨大挑戰。

AI 芯片作為專門針對人工智能領域的新型芯片，相較傳統芯片能更好滿足人工智能應用需求。

根據部署位置，AI芯片可以分為云端（數據中心）芯片和邊緣端（終端）芯片。云端芯片部署位置包括公有云、私有云或者混合云等基礎設施，主要用于處理海量數據和大規模計算，而且還要能夠支持語音、圖片、視頻等非結構化應用的計算和傳輸，一般情況下都是用多個處理器并行完成相關任務；邊緣端AI 芯片主要應用于嵌入式、移動終端等領域，如攝像頭、智能手機、邊緣服務器、工控設備等，此類芯片一般體積小、耗電低，性能要求略低，一般只需具備一兩種AI 能力。

按芯片承擔的任務，可以分為用于構建神經網絡模型的訓練芯片，與利用神經網絡模型進行推斷的推斷芯片。訓練是指通過大量的數據樣本，代入神經網絡模型運算并反復迭代，來獲得各神經元“正確”權重參數的過程。推斷是指借助現有神經網絡模型進行運算，利用新的輸入數據來一次性獲得正確結論的過程。訓練芯片受算力約束，一般只在云端部署。因此，AI芯片可以分為云端訓練芯片、云端推斷芯片和邊緣端訓練芯片。

從AI芯片的技術路線看，主要包括基于傳統架構的GPU、FPGA、ASIC。

短期內GPU仍將主導AI芯片市場，長期三大技術路線將并存。目前AI芯片并不能取代CPU的位置，正如GPU作為專用圖像處理器與CPU的共生關系，AI芯片將會作為CPU的AI運算協處理器，專門處理AI應用所需要的大并行矩陣計算需求，而CPU作為核心邏輯處理器，統一進行任務調度。在服務器產品中，AI芯片被設計成計算板卡，通過主板上的PCIE接口與CPU相連；而在終端設備中，由于面積、功耗成本等條件限制，AI芯片需要以IP形式被整合進Soc系統級芯片，主要實現終端對計算力要求較低的AI推斷任務。

FPGA 技術，因其低延遲、計算架構靈活可定制，正在受到越來越多的關注，微軟持續推進在其數據中心部署FPGA，Xilinx 和Intel 均把FPGA 未來市場中心放到數據中心市場。Xilinx 更是推出了劃時代的ACAP，第一次將其產品定位到超越FPGA 的范疇。相較云端高性能AI 芯片，面向物聯網的AI 專用芯片門檻要低很多，因此也吸引了眾多小體量公司參與。

長期來看，GPU 主要方向是高級復雜算法和通用型人工智能平臺，FPGA 未來在垂直行業有著較大的空間，ASIC 長遠來看非常適用于人工智能，尤其是應對未來爆發的面向應用場景的定制化芯片需求。