當(dāng)前,AI大模型走向端側(cè)已經(jīng)是大勢(shì)所趨,端側(cè)AI的發(fā)展將推動(dòng)人工智能成為影響世界的第四次工業(yè)革命。與傳統(tǒng)的云端大模型相比,端側(cè)大模型擁有更小的參數(shù)體量和更垂直的訓(xùn)練數(shù)據(jù)。對(duì)于終端產(chǎn)品而言,端側(cè)AI將成為和系統(tǒng)同樣重要的存在,如果說(shuō)電路是連接身體的“血管”,那么AI就將成為終端的智慧“大腦”。
加速演進(jìn)
大模型加速走向端側(cè)
從手機(jī)移動(dòng)端開始,端側(cè)AI正逐步在車載、PC以及各類可穿戴設(shè)備等終端落地,端云協(xié)作的混合AI模式成為未來(lái)人工智能發(fā)展的主要方向。AI Agent、具身智能、人機(jī)協(xié)同、生成式智能體等LLM(大語(yǔ)言模型)的主要研究方向均對(duì)模型的性能和運(yùn)行條件提出了新的要求。
為推動(dòng)AI與各行業(yè)的深度融合,AI大模型正通過(guò)模型剪枝、知識(shí)蒸餾和量化技術(shù)進(jìn)行不斷精簡(jiǎn)和提升數(shù)據(jù)質(zhì)量,端側(cè)硬件也在不斷提升端側(cè)算力和優(yōu)化結(jié)構(gòu)。如面向AI設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理器(NPU)、提高性能和降低功耗的異構(gòu)計(jì)算技術(shù),軟件與硬件的協(xié)同發(fā)展正在加速端側(cè)AI部署,賦能全新增強(qiáng)的AI體驗(yàn)。
從行業(yè)趨勢(shì)來(lái)看,今年10月,高通公司發(fā)布全新旗艦芯片產(chǎn)品驍龍8至尊版,搭載第二代定制的Oryon CPU、全新切片架構(gòu)的Adreno GPU和增強(qiáng)的Hexagon NPU。Oryon CPU擁有2個(gè)主頻高達(dá)4.32GHz的超級(jí)內(nèi)核和6個(gè)主頻3.53GHz的性能內(nèi)核,支持面向端側(cè)AI計(jì)算的高達(dá)10.7Gbps速率的LPDDR5X內(nèi)存;全新的Hexagon NPU,AI性能提升45%,每瓦特性能提升45%,支持70+ tokens/sec的輸入,首次支持終端側(cè)個(gè)性化多模態(tài)AI助手,能夠賦能規(guī)模更大且更加復(fù)雜的多模態(tài)生成式AI用例在終端側(cè)高效運(yùn)行。驍龍8至尊系列新產(chǎn)品的發(fā)布,也在一定程度上表明了未來(lái)數(shù)字化發(fā)展的方向,即垂直的硬件適配、不斷提升的端側(cè)算力和更強(qiáng)悍的綜合性能。
AI與千行百業(yè)的融合發(fā)展,被行業(yè)稱為“AI+”時(shí)代。作為全球領(lǐng)先的無(wú)線通信模組及解決方案提供商,美格智能圍繞AI+時(shí)代的算力、算法、數(shù)據(jù)、用例四大重要因素,以豐厚研發(fā)經(jīng)驗(yàn)和創(chuàng)新實(shí)力助力端側(cè)AI落地,為全球數(shù)字化發(fā)展貢獻(xiàn)重要力量。
智算領(lǐng)先
以澎湃算力承接大模型落地
從開創(chuàng)到引領(lǐng),美格智能以端側(cè)算力為切入點(diǎn),行業(yè)率先打造高算力AI模組矩陣,憑借優(yōu)質(zhì)的產(chǎn)品品質(zhì)和定制化服務(wù)能力受到行業(yè)客戶的一致好評(píng)。算力是端側(cè)AI運(yùn)行的基座,針對(duì)不同客戶對(duì)算力、功耗、尺寸的要求,美格智能打造包含SNM973、SNM932、SNM950、SNM960、SNM970、SNM952、SNM962、SNM972等系列模組,AI算力覆蓋12Tops~48Tops,涵蓋入門級(jí)、中端、旗艦級(jí)多層次算力水平,能夠適應(yīng)不同行業(yè)和應(yīng)用場(chǎng)景的需求。同時(shí)在高算力AI模組的基礎(chǔ)上,美格智能團(tuán)隊(duì)正不斷與行業(yè)領(lǐng)先的SoC陣列式服務(wù)器客戶密切合作,相關(guān)產(chǎn)品成為各類端側(cè)通用AI、邊緣計(jì)算AI服務(wù)器的優(yōu)質(zhì)選擇,憑借高性能和高性價(jià)比助力邊緣側(cè)AI部署,推動(dòng)邊緣側(cè)算力發(fā)展。
隨著以智能座艙和“端到端”的自動(dòng)駕駛為代表的車載大模型應(yīng)用需求逐步提升,美格智能也在不斷加強(qiáng)技術(shù)創(chuàng)新研發(fā),正逐步打造綜合AI算力超過(guò)100Tops的尖端AI模組,為更強(qiáng)力的端側(cè)AI落地和更廣闊的應(yīng)用場(chǎng)景提供澎湃算力。
加速部署
以技術(shù)實(shí)力打通模型部署通路
AI技術(shù)的引進(jìn)為產(chǎn)業(yè)終端提質(zhì)增效起到重要作用,而如何快速地將算法與終端進(jìn)行適配和部署是每一個(gè)終端廠商無(wú)法避免的課題。為此,美格智能以自身研發(fā)實(shí)力為基礎(chǔ)搭建試驗(yàn)平臺(tái),自主進(jìn)行大語(yǔ)言模型運(yùn)行驗(yàn)證,行業(yè)內(nèi)首家在端側(cè)算力模組上運(yùn)行文生圖大語(yǔ)言模型Stable Diffusion,并先后驗(yàn)證運(yùn)行LLaMA-2、通義千問(wèn)Qwen、百川大模型、RedPajama、ChatGLM2等眾多中英文大語(yǔ)言模型,以實(shí)際用例為客戶打通模型部署通路。
此外,為幫助客戶更快速地打造更加垂直的模型應(yīng)用,在模型算法優(yōu)化方面,美格智能為行業(yè)客戶打造AI算法部署服務(wù)APP——MEIG AI,內(nèi)置多個(gè)模型和算法,客戶在APP上即可完成AI算法在不同美格智能模組平臺(tái)的應(yīng)用驗(yàn)證,并為客戶和開發(fā)者提供開發(fā)文檔和算法轉(zhuǎn)換、集成的相關(guān)視頻教程,幫助理解App結(jié)構(gòu)、代碼和模型,提高開發(fā)效率。在模型部署方面,美格智能攜手行業(yè)合作伙伴打造AIMO(AI模型優(yōu)化器),實(shí)現(xiàn)一站式模型轉(zhuǎn)寫,僅使用Python即可開發(fā)部署AI應(yīng)用,有效降低開發(fā)門檻,大幅縮短模型落地周期,節(jié)約開發(fā)投入。
值得一提的是,為推動(dòng)全行業(yè)各領(lǐng)域端側(cè)AI技術(shù)的應(yīng)用和開發(fā)落地,美格智能基于高算力AI模組,打造SNM970、SNM932等高算力AI模組面向開發(fā)者套件。豐富的硬件接口和軟件的開發(fā)套件,能夠廣泛適配各類應(yīng)用場(chǎng)景,為客戶產(chǎn)品原型開發(fā),性能驗(yàn)證提供助力,完整的操作指引能夠顯著降低開發(fā)難度,加速終端開發(fā)周期,有效節(jié)省客戶產(chǎn)品迭代的二次開發(fā)投入。
應(yīng)用先行
以廣泛用例助力端側(cè)AI生態(tài)發(fā)展
當(dāng)前美格智能高算力AI模組、智能模組已在海量應(yīng)用終端廣泛落地,成為推動(dòng)端側(cè)AI高速發(fā)展和布局的重要推動(dòng)。如在具身智能領(lǐng)域,基于美格智能高算力AI模組的解決方案為行業(yè)領(lǐng)先的人形機(jī)器人提供充足算力,為打造“端到端”的AI機(jī)器人提供支持;在AR/AI眼鏡領(lǐng)域,美格智能與國(guó)際知名AR/AI眼鏡品牌客戶合作,基于高算力AI模組開發(fā)的新一代AR眼鏡產(chǎn)品,在系統(tǒng)能力、AI性能方面較上一代產(chǎn)品顯著提升;在無(wú)人機(jī)智控領(lǐng)域,美格智能與國(guó)內(nèi)領(lǐng)先的高端無(wú)人機(jī)品牌攜手,以高算力AI模組賦能無(wú)人機(jī)智控、圖像追蹤技術(shù)、實(shí)時(shí)3D渲染、高速圖傳等領(lǐng)域,共同打造行業(yè)領(lǐng)先的智能無(wú)人機(jī)產(chǎn)品;在AI+醫(yī)療領(lǐng)域,基于高算力AI模組為行業(yè)頭部客戶及海外客戶研發(fā)AI掌上超聲終端、手持式血液快速檢測(cè)終端等,以AI助力移動(dòng)醫(yī)療快速發(fā)展。
端側(cè)AI能力是實(shí)現(xiàn)AI全球規(guī)模化擴(kuò)展的關(guān)鍵,在全產(chǎn)業(yè)鏈的推動(dòng)下,用戶對(duì)AI功能的接受程度和期待也進(jìn)一步提升,端側(cè)大模型的發(fā)展不僅帶動(dòng)了消費(fèi)市場(chǎng)的升級(jí),也讓產(chǎn)業(yè)鏈上下游的合作更加緊密。美格智能憑借行業(yè)領(lǐng)先的產(chǎn)品研發(fā)和創(chuàng)新實(shí)力,以及豐厚的解決方案用例,成為全球端側(cè)AI產(chǎn)業(yè)鏈中的重要一環(huán)。面向未來(lái)的廣闊市場(chǎng),美格智能也將攜手行業(yè)合作伙伴,為客戶提供更高算力、高性能、高性價(jià)比的模組產(chǎn)品和解決方案,助力端側(cè)AI生態(tài)高速、健康發(fā)展。
-
AI
+關(guān)注
關(guān)注
87文章
30728瀏覽量
268886 -
美格智能
+關(guān)注
關(guān)注
2文章
246瀏覽量
11112 -
大模型
+關(guān)注
關(guān)注
2文章
2423瀏覽量
2640
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論