參數量小、內存占比小的端側模型，正成為“兵家必爭之地”。

“史上最強Mate”、“絕對對得起那四個字”。剛剛發布的華為Mate 70，基于“軟硬端云的AI技術底座”推出了AI運動軌跡還原、AI通話摘要、AI消息隨身等九大功能，讓AI手機的概念進一步具象化。

自2024年年初至今，三星、蘋果、谷歌、vivo等國內外手機廠商紛紛推出自家的AI手機，并將其中的AI功能作為核心賣點面向消費者重點宣傳。根據Counterpoint數據，僅在

2024年第一季度，全球具有生成式AI功能的智能手機型號就從16個增加到30多個，支持生成式AI的智能手機在2024年第一季度占全球智能手機銷量的6%，比上一季度的1.3%有了顯著增長。

事實上，不只是手機，越來越多的AR眼鏡、PC、汽車等消費電子終端廠商，也在將AI技術應用到自己的產品和服務中。

火熱落地的背后，是端側模型的快速興起。

與“力大磚飛”的云端大模型相比，端側模型雖然參數量更小，卻有著低延時、可靠性高、隱私安全性高、低成本的優勢，這些恰恰是用戶量龐大、交互頻繁的智能終端所需要的。

01多尺寸、可落地

訊飛星火端側模型發布

面對洶涌而至的端側模型浪潮，頭部大模型廠商早早推出了自研的端側大模型。科大訊飛基于多年的核心技術積累和成建制的研發隊伍，推出了星火端側模型矩陣，覆蓋0.4B-13B，效果已滿足落地商用要求，并已在汽車、AI PC等場景落地，更多場景持續深挖中。

在智能座艙領域，10月24日的科大訊飛全球1024開發者節上，汽車端側星火大模型首次發布，并且在Q4就將率先在奇瑞、廣汽、長城的車型中陸續“上崗”，讓每輛汽車上配置一位“雙商在線”的智能助手。

汽車端側星火大模型相比云端大模型效果損失≤1%，端側首次響應時間40ms，端云融合交互時間低至1.3s;基于汽車端側硬件，在無網環境下也能使用。

“車里有點悶”“放點兒搖滾樂”“講個小紅帽與大灰狼的故事”……無論是簡單地指令，還是復雜地句子，車主想到什么就說什么，車機不僅能聽懂，還能做得好。即使行駛在無網、弱網的隧道、野外，依舊可以進行流暢的語音交互。

AI PC 領域，訊飛推出的7B端側模型，可開發寫作助手、會議助手、PPT助手，本地RAG隱私保護個人知識庫等辦公場景應用，滿足個性化，隱私安全的AI PC助手構建要求。

作為部署在終端設備上運行的大型預訓練模型，端側模型雖然參數量更小，但性能卻絲毫不弱。通過知識蒸餾，端側大模型能夠在保持較高性能的同時，大幅減少模型參數量和計算復雜度。這種技術使得復雜的AI模型可在資源受限的端側設備上高效運行，實現低能耗、高響應速度和高準確度的AI推理。

與云端大模型相比，端側模型還有著獨特的優勢：

在實時性上，借助端側模型，用戶大部分數據處理均在本地完成，減少了對云端的依賴，大幅提高響應速度。

可靠性方面，即使在網絡不穩定或無網絡環境下，端側模型仍然能夠提供服務。

從隱私安全來看，用戶數據無需上傳云端，從而降低數據泄露風險。

經濟性方面，端側模型的計算均在用戶本地的設備上進行，無需使用手機等廠商的云推理服務，大幅降低了用戶使用成本。

目前，端側模型正在加速落地，在手機、PC、耳機、音箱、XR、汽車、具身智能，及眾多可穿戴設備等場景不斷應用。

02端側模型開發框架

輕松定制開發本地化應用

為了讓開發者在各類場景平臺快速使用上訊飛星火端側模型，除基礎能力外，訊飛推出了端側模型應用開發框架-SparkEdge，包含完善的端側內容安全審核，本地RAG，智能體開發框架等應用開發剛需能力，支持開發者輕松定制本地化應用。

? 主流平臺全覆蓋，接入方式更靈活

兼容平臺方面，訊飛星火端側模型既兼容主流Windows、Linux、Android等通用平臺以及各類國產化操作系統平臺，也可適配國內外的CPU、GPU、NPU等不同算力平臺。

接入方式上，跨平臺SDK供移動端等原生應用開發者快速接入;輕量級Service輕量級Service方案一鍵星火+開源，云+端模型絲滑切換，滿足多應用多模型調度需求。

? 豐富本地的開發配套能力

端側內容審核：提供純本地輕量級審核方案，保障模型輸入輸出內容安全

本地智能體框架：針對本地郵件信息總結，寫作，系統指令控制和跨應用協同等場景，提供完整智能體和Tools開發框架，滿足Prompt型，任務規劃型等各類本地智能體快速構建

本地RAG方案：針對本地設備說明書，個人敏感文檔等知識管理問答場景，提供輕量級RAG方案，滿足隱私安全的個人知識庫快速構建

端微調：針對端側模型微調量化需求，提供完整平臺化鏈路，”云訓端推”，支持用戶快速完成個性化微調定制

目前，訊飛星火端側模型已在訊飛開放平臺面向開發者開放調用。

同時，面向機器人、AI PC、鍵鼠等智能硬件場景，訊飛還提供了端云協同大模型應用開發框架SparkChain，讓智能硬件開發者，無需關注大模型應用開發過程中，模型選擇，開發框架，能力組合，硬件適配等各類問題，專注于智能硬件產品創新，星火SparkChain一套全搞定。

03下一個賽點

共同推動AI落地提速

相關研究報告顯示，2023年中國端側模型市場規模達8億元，持樂觀態度估計，預計2024年中國端側模型市場將達到21億元。

面對廣闊的市場，想要推進端側大模型的部署與應用，讓AI真正做到無處不在，單一企業的力量難以覆蓋全部產業鏈環節，需要構建開放合作的生態系統，探索更多的應用場景。

科大訊飛作為人工智能領域的領軍者，自2017年起承建國家新一代人工智能開放創新平臺，已開放767項AI能力，匯聚超774.9萬開發者團隊，累覆蓋終端設備數超41.2億，鏈接超千萬生態伙伴。“端側AI元年”已然到來，訊飛將與生態伙伴緊密合作，推動端側模型的普及落地，為用戶提供性能更優異、體驗更好的智能終端設備。