通過蒸餾技術(shù)將百億參數(shù)模型壓縮至端側(cè)設(shè)備可運(yùn)行的創(chuàng)新，讓AI推理成本大幅下降，為終端側(cè)AI的爆發(fā)按下加速鍵。低成本、高靈活性的特性引發(fā)了行業(yè)對這一技術(shù)突破的深度思考，也驗證了AI格局即將向大規(guī)模推理轉(zhuǎn)變的趨勢。

小模型也有“大智慧”

近年來，前沿大模型技術(shù)不斷取得突破。在訓(xùn)練成本下降、快速推理部署以及針對邊緣環(huán)境的創(chuàng)新推動下，業(yè)內(nèi)已經(jīng)催生了大量更智能、更小型、更高效的模型。

借助蒸餾技術(shù)，大模型能夠通過“教學(xué)”將強(qiáng)大的推理能力提煉并遷移到小模型中，將復(fù)雜的AI模型簡化，在保持高性能的同時，減少計算資源的消耗。這一技術(shù)不僅打破了“模型越大越聰明”的固有認(rèn)知，也讓更多人以更低成本享受到了AI的高性能。

下圖展示了蒸餾的強(qiáng)大能力。比較Llama 3.3 700億參數(shù)模型和同類DeepSeek R1蒸餾模型的LiveBench平均測試結(jié)果，在相同參數(shù)規(guī)模下，蒸餾能夠在推理、編程和數(shù)學(xué)任務(wù)中顯著提高性能。

Meta Llama 700億參數(shù)模型和DeepSeek對應(yīng)蒸餾模型的LiveBench AI基準(zhǔn)測試平均結(jié)果對比。

來源：LiveBench.ai，2025年2月。

在DeepSeek R1蒸餾版本與其他先進(jìn)模型的基準(zhǔn)測試結(jié)果對比中。基于通義千問模型和Llama模型的DeepSeek蒸餾版本展現(xiàn)了諸多明顯優(yōu)勢，尤其是在GPQA基準(zhǔn)測試中，與GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先進(jìn)模型相比，取得了相似或更高的分?jǐn)?shù)。這也進(jìn)一步反映了在涉及解決復(fù)雜問題的深層次、多步驟的推理中，小模型正在接近前沿大模型的質(zhì)量。

數(shù)學(xué)和編程基準(zhǔn)測試。來源：DeepSeek，2025年1月。

高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉認(rèn)為，模型規(guī)模將持續(xù)減小，同時質(zhì)量將不斷改進(jìn)。這一趨勢至關(guān)重要，因為這意味著未來所有這些模型都能夠在我們口袋里的終端上運(yùn)行。

多維度發(fā)力，領(lǐng)跑AI推理創(chuàng)新時代

如今，許多主流模型系列包括DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral都推出了小模型版本，且面向特定任務(wù)的性能和基準(zhǔn)測試都表現(xiàn)出色，從而使此類模型更適合在智能手機(jī)、PC和汽車等終端上部署。作為終端側(cè)AI的引領(lǐng)者，高通技術(shù)公司憑借面向邊緣終端的行業(yè)先進(jìn)硬件和軟件解決方案，在推動AI推理時代發(fā)展上具有戰(zhàn)略優(yōu)勢。

在硬件層面，高通技術(shù)公司長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時擁有封裝技術(shù)和熱設(shè)計的技術(shù)專長，構(gòu)成了其行業(yè)先進(jìn)系統(tǒng)級芯片(SoC)產(chǎn)品的基礎(chǔ)。通過緊密集成這些核心組件，高通技術(shù)公司的平臺可在保持電池續(xù)航和整體能效表現(xiàn)的同時處理復(fù)雜AI任務(wù)，這對邊緣側(cè)用例至關(guān)重要。

軟件層面上，高通技術(shù)公司還構(gòu)建了強(qiáng)大的AI軟件棧，旨在賦能軟件開發(fā)者。高通 AI軟件棧包括庫(libraries)、SDK和優(yōu)化工具，可簡化模型部署并提升性能。開發(fā)者可以利用這些資源，面向高通平臺高效進(jìn)行模型適配，縮短AI賦能應(yīng)用的上市時間。

此外，高通技術(shù)公司還與全球伙伴積極合作，構(gòu)建繁榮開放的AI生態(tài)，憑借多年深耕移動產(chǎn)業(yè)的影響力、領(lǐng)導(dǎo)力，緊密攜手設(shè)備廠商、模型廠商、開發(fā)者、用戶，通過簡化在消費(fèi)和商用產(chǎn)品中集成先進(jìn)AI特性的過程，不斷賦能AI創(chuàng)新，成為加速終端側(cè)AI發(fā)展的重要力量。

賦能關(guān)鍵領(lǐng)域，終端側(cè)AI釋放全新價值

在MWC巴塞羅那期間，高通技術(shù)公司也展示了iQOO、努比亞、OPPO、榮耀、小米和一加等中國生態(tài)伙伴搭載驍龍 8至尊版的商用旗艦AI智能手機(jī)，包括最新發(fā)布的小米15 Ultra，帶來基于驍龍平臺的終端側(cè)生成式AI的最新應(yīng)用成果。

驍龍8至尊版為這些先進(jìn)用例提供了可靠的算力支撐，第二代定制的高通Oryon CPU、全新切片架構(gòu)的高通 Adreno GPU和增強(qiáng)的高通 Hexagon NPU等這些創(chuàng)新技術(shù)將開啟終端側(cè)生成式AI新時代——通過直接在終端側(cè)提供個性化的多模態(tài)生成式AI，支持語音、情境和圖像理解，從而全面增強(qiáng)從生產(chǎn)力到創(chuàng)意任務(wù)等各方面的體驗。

而這只是AI價值的冰山一角，得益于終端側(cè)本地AI處理帶來的增強(qiáng)的性能、效率、響應(yīng)速度和隱私性，高通技術(shù)公司還利用終端側(cè)AI賦能包含PC、汽車、工業(yè)互聯(lián)網(wǎng)、網(wǎng)絡(luò)等在內(nèi)的眾多行業(yè)和邊緣細(xì)分領(lǐng)域、釋放商業(yè)價值并支持全新用戶體驗。

在PC領(lǐng)域，驍龍X系列平臺憑借專為實現(xiàn)高性能、高能效的生成式AI推理而打造的、業(yè)界先進(jìn)的定制NPU核心，對定義全新AI PC品類發(fā)揮了關(guān)鍵作用。該NPU為Windows應(yīng)用帶來顯著加速、增加全新特性、提升性能，并增強(qiáng)隱私保護(hù)和電池續(xù)航。

隨著AI創(chuàng)新在邊緣爆發(fā)，高通技術(shù)公司在可擴(kuò)展硬件和軟件方面的投入將進(jìn)一步鞏固其領(lǐng)導(dǎo)地位，推動一個全新時代的到來，讓AI應(yīng)用更加觸手可及、更高效，并且融入日常生活的方方面面，推動全球多個行業(yè)的變革。