在當(dāng)今快速發(fā)展的技術(shù)環(huán)境中，AI正在變革各行各業(yè)并推動創(chuàng)新，理解AI性能指標(biāo)的復(fù)雜性至關(guān)重要。過去許多AI模型需要在云端運(yùn)行。當(dāng)我們走向由終端側(cè)生成式AI處理定義的未來時，我們必須能夠評估計算平臺可運(yùn)行AI模型的性能、準(zhǔn)確性和效率。如今，TOPS(每秒萬億次運(yùn)算)是衡量處理器AI性能的主要方式之一。TOPS是基于處理器所需的架構(gòu)和頻率，衡量處理器潛在AI推理峰值性能的方法，比如神經(jīng)網(wǎng)絡(luò)處理器(NPU)。下面我們將深入探討。

NPU是什么？

在深入探討TOPS的具體內(nèi)容之前，讓我們先看看NPU的重要性。對于終端側(cè)AI處理，NPU在提高效率、為個人用戶和企業(yè)提供創(chuàng)新的應(yīng)用體驗方面發(fā)揮著關(guān)鍵作用。評估這些專用處理器的性能需要全面了解其能力背后的關(guān)鍵指標(biāo)。

NPU的演進(jìn)改變了人們處理計算的方式。傳統(tǒng)上，CPU負(fù)責(zé)執(zhí)行AI算法。隨著對處理性能的需求飆升，專用NPU應(yīng)運(yùn)而生，成為處理AI相關(guān)軟件應(yīng)用的專用解決方案。NPU旨在高效處理AI任務(wù)所需的復(fù)雜數(shù)學(xué)計算，提供出色的效率、性能和能效。

AI TOPS是什么？

TOPS作為展示處理器計算能力的指標(biāo)，是衡量NPU性能的核心。

TOPS通過以萬億單位測量一秒鐘內(nèi)執(zhí)行的運(yùn)算（加法、乘法等）次數(shù)來量化NPU處理能力。

這種標(biāo)準(zhǔn)化測量方式非常明確地顯示了NPU的性能，可作為比較不同處理器和架構(gòu)AI性能的關(guān)鍵指標(biāo)。因為TOPS是針對NPU的基礎(chǔ)性能指標(biāo)，探索TOPS的計算參數(shù)以及它們?nèi)绾螞Q定性能至關(guān)重要，這有助于更深入地了解NPU的能力。

乘法累加(MAC)運(yùn)算執(zhí)行AI工作負(fù)載中的核心數(shù)學(xué)公式。矩陣乘法由兩類基礎(chǔ)運(yùn)算組成：累加器的乘法和加法。例如，一個MAC單元可在每個時鐘周期內(nèi)運(yùn)行兩類基礎(chǔ)運(yùn)算各一次，意味著它在每個時鐘周期內(nèi)執(zhí)行兩個運(yùn)算。一個給定的NPU有一定數(shù)量的MAC單元，能夠在不同精度級別進(jìn)行運(yùn)算，這取決于NPU架構(gòu)。

頻率決定NPU及其MAC單元（以及CPU或GPU）運(yùn)算的時鐘速度（或每秒周期數(shù)），直接影響整體性能。更高的頻率允許在單位時間內(nèi)執(zhí)行更多運(yùn)算，從而提高處理速度。但是，提高頻率也會導(dǎo)致更高功耗和發(fā)熱，影響電池續(xù)航和用戶體驗。處理器TOPS計算通常使用峰值運(yùn)行頻率。

精度指計算的顆粒度，通常精度越高模型準(zhǔn)確性就越高，需要的計算強(qiáng)度也越高。最常見的高精度AI模型為32位和16位浮點精度，而速度更快的低精度低功耗模型通常使用8位和4位整數(shù)精度。當(dāng)前行業(yè)標(biāo)準(zhǔn)為以INT8精度評估AI推理性能TOPS。

計算TOPS要從計算OPS開始，OPS等于MAC單元數(shù)乘以運(yùn)行頻率的兩倍。TOPS數(shù)量是OPS除以一萬億的值，將公式更簡單地列出，即TOPS = 2×MAC單元數(shù)×頻率/1萬億。

TOPS和實際性能

盡管TOPS提供了探索NPU能力的重要信息，我們?nèi)员仨殞⒗碚撝笜?biāo)和實際應(yīng)用聯(lián)系起來。畢竟，僅僅有高TOPS值并不能保證最佳的AI性能；各種因素協(xié)同作用的結(jié)果才能真正決定NPU實力。

因此評估NPU性能時要考慮內(nèi)存帶寬、軟件優(yōu)化和系統(tǒng)集成等方面的因素?；鶞?zhǔn)測試可以幫助我們超越數(shù)字，了解NPU在實際場景中的表現(xiàn)，其中時延、吞吐量和能效尤為重要。

Procyon AI基準(zhǔn)測試使用真實工作負(fù)載來幫助將理論性的TOPS評估轉(zhuǎn)化為用戶在使用AI推理的真實應(yīng)用中對響應(yīng)和處理能力的預(yù)期。它以多個精度運(yùn)行六個模型，提供NPU不同性能表現(xiàn)的詳細(xì)洞察。類似模型在生產(chǎn)力、媒體、創(chuàng)作者和其他應(yīng)用中越來越常見。在Procyon AI和其他基準(zhǔn)測試中有更快的性能表現(xiàn)，與實現(xiàn)更快推理和更好用戶體驗息息相關(guān)。

為此，分析實際性能可以為NPU的能力和局限性提供寶貴洞察。必須從可行性和實用性角度檢驗性能指標(biāo)。

未來NPU性能指標(biāo)

隨著技術(shù)不斷快速發(fā)展，數(shù)字化轉(zhuǎn)型需求持續(xù)影響各行各業(yè)，NPU性能指標(biāo)格局將進(jìn)一步演進(jìn)。盡管新興趨勢正在更廣泛地定義和評估NPU性能與計算的方式，TOPS仍是很好的性能指標(biāo)，將在很長一段時間內(nèi)繼續(xù)作為重要參考。

隨著各種AI新技術(shù)在未來幾年受到關(guān)注并重新定義無數(shù)行業(yè)，對能夠反應(yīng)不同技術(shù)獨(dú)特特征的可靠性能指標(biāo)的需求將不斷凸顯。適應(yīng)性、可擴(kuò)展性和實際應(yīng)用相關(guān)性將定義未來的NPU性能指標(biāo)。

根據(jù)用戶需求評估NPU性能

應(yīng)對快速變化的NPU性能評估領(lǐng)域或許會讓人望而生畏，但隨著數(shù)字化轉(zhuǎn)型（尤其是在AI領(lǐng)域）持續(xù)快速發(fā)展，深入了解TOPS對行業(yè)和個人來說都很重要。

最終，選擇合適的系統(tǒng)級芯片(SoC)取決于用戶、客戶或組織的工作負(fù)載和優(yōu)先級，而這一決策很可能需要取決于SoC中的NPU。

無論用戶是優(yōu)先考慮原始算力、能效還是模型準(zhǔn)確度，驍龍X系列平臺面向筆記本電腦，配備高達(dá)45TOPS的NPU，能夠強(qiáng)力賦能PC，并將實際可用的AI體驗引入用戶的工作流程。