因為人工智能的持續火熱，AI芯片在過去幾年里如雨后春筍般在全球各地冒出來。這就驅動行業去探索評估AI芯片性能的最優方法。

就如傳統的芯片設計師追求PPA、CPU對比MIPS、GPU衡量Pixel和Texture一樣，一個好的評估方法能夠讓開發者可以針對場景進行設計，同時可以指導研發調整優化防線，引導客戶進行正確選擇，同時能夠促進行業有序協同向前發展。

快速提升的AI算法和落后的衡量方法

地平線聯合創始人&技術副總裁黃暢在日前于深圳舉辦的2020全球人工智能和機器人峰會上指出，Intel聯合創始人戈登摩爾在1965年提出摩爾定律，這揭示信息技術進步速度的定律得到了充分的行業驗證。但進入最近幾年，半導體工藝已經接近了尾聲。

“與此同時，AI對算力的要求大幅度增加，那就意味著如果我們如果僅靠半導體工藝的提升來滿足快速增長AI需求，那就變得不甚現實。”黃暢說。為此大家都開始將目光投向計算效率。

以ImageNet為例，作為AI領域的奧林匹克競賽，它吸引了學術界和產業界的關注，而在過去的發展中，則分為三個階段：第一階段是通過算法專家精心設計網絡結構，不斷增加計算量提升ImageNet的精度；到了第二階段的ResNet，它的精度、計算量都有顯著提升；在后續幾年，來自谷歌等等各個領域的專家通過手工設計新的網絡結構，不斷地推動這個算法演進，使得我們可以以更低的計算量達到更高的精度。

“ 從2016年到2018年，我們發現在ImageNet上的精度基礎趨近飽和，精準度始終保持在80%的水平，精度發生飽和之后，大家開始關注計算的效率，越來越多的效率也得到了重視，并推出了非常多輕量級網絡”，黃暢補充說。“去年EfficientNet的推出更是震驚了長期關注ImageNet的所有的學術研究者”，黃暢強調。

他指出，EfficientNet的基準網絡和硬件無關，它只關注計算量本身，也就是進行了多少次乘法或加法的運算，其中最小的網絡只有0.4G，并且還能自動化搜索網絡的所有結構。此外，它還要搜索層次、圖像分別率，所帶來的的不僅是參數提升了，分辨率也同時提升了，有助于它提升圖像識別的精度。

然而回到人工智能的性能評估領域，從TFLOPS，到TOPS，再到近三年MLPerf的崛起，AI芯片依然沒能找到準確的衡量標準。以MLPerf為例，雖然這個評估標準給大家提供了一個展現AI芯片能力的平臺，但它依然面臨著幾方面的挑戰，這與他們在測試前必須選定模型有關。“模型更新非常慢，根本無法及時反應整個算法效率的提升。而模型又非常少，也很難反映各個精度上速度全貌”，

由此可見，為AI芯片建立一個新的衡量標準勢在必行。

全新的芯片AI性能評估方式——MAPS

在黃暢看來，評估芯片的AI性能，可以從準、快、省這三個維度來看。其中“準”是反映實際需求任務上的算法精度，比如說圖像分類里面我們用Top-1或者Top-5的精度判斷它是不是準；“快”的方面，通常有延遲和吞吐率兩個維度，前者更側重于處理單個任務的最快反應時間，后者應用于你可以在服務器層面上用最大的處理方式處理它的吞吐率；“省”就是看它的成本和功耗。

“對于AI芯片的性能評估來講，準和快是兩個非常重要的因素”。黃暢強調。

基于此，地平線提出了新的芯片AI性能評估方式——MAPS，即MeanAccuracy-guaranteed processing speed（在精度有保障范圍內的平均處理速度）。這個新方式的提出，是想在精度有保障的范圍測出芯片的平均效能表現，并得到一個全面、完整、客觀和真實的評估。按照黃暢的說法，這個全新的評估方式對行業來說有六大創新之處：

第一，它可以可視化芯片的Benchmark，我們可以通過可視化的圖形更精確的表達；

第二，我們關注真實、面向結果的需求，只在乎精度和速度，不在乎中間任何關于算法的取舍和選擇；

第三，可以統一表示精度與速度，關注主流精度區間；

第四，隱藏與最終結果無關的中間變量，包括模型、輸入大小、批處理的量是多大；

第五，通過這種方法可以在算力之外幫助用戶理解這個芯片到底能跑多快以及多好，最終留有最大的空間引導客戶使用最優的方式使用這顆芯片，指導客戶使用這個芯片的最佳實踐。

第六，有最大的空間引導客戶使用最優的方式使用這顆芯片，作為指導客戶使用芯片最佳實踐的這一點非常重要。

作為 AI 領域的奧林匹克競賽，ImageNet 比賽產生了幾乎所有機器視覺中最重要的模型，它們在 ImageNet 上的精度可充分遷移到其他機器視覺任務（如物體檢測、語義分割等）。在 ImageNet 的主流精度范圍（75~80%）下，速度最快的模型所代表的點（由精度和幀率確定）所圍多邊形面積大小即為芯片處理ImageNet AI任務的能力大小，其公式為MAPS = 所圍面積 /（最高精度-最低精度）。在演講現場，黃暢還展示了MAPS評估方式在在ImageNet上的定義與主流芯片測試結果。

上圖為MAPS評估方式下主流芯片測試結果，右一折線為地平線最新一代芯片測試結果 “如果我們用MAPS，它是更能真實反映AI性能指標”，黃暢說。如下圖所示，這主要由三個要素組成：第一是TOP/Watt、TOPS/$這樣的指標，這是傳統的方式。等式右邊則是由理論峰值計算效能、有效利用率和AI算法效率構成。

“我們希望有更多的軟件、算法工作者，在MAPS評估指導體系的啟發下，從自己最擅長的能力上持續推動AI芯片能力的發揮”，黃暢最后說。
編輯：hfy