隨著大模型以及 AIGC 的出圈，應(yīng)用智慧化體驗(yàn)提升已成為用戶用機(jī)的核心訴求之一。如何將 AI 下沉至終端并與系統(tǒng)深度融合解決用戶痛點(diǎn)、挖掘創(chuàng)新場(chǎng)景成為開(kāi)發(fā)者面臨的挑戰(zhàn)。

為滿足開(kāi)發(fā)者差異化的場(chǎng)景需求，OPPO 在 ColorOS 系統(tǒng)智能產(chǎn)品領(lǐng)域進(jìn)行創(chuàng)新實(shí)踐，通過(guò)自研端側(cè) AI 平臺(tái)（AIUnit）幫助開(kāi)發(fā)者一站式完成算法部署、測(cè)試和發(fā)布。

在【OTalk丨OPPO 開(kāi)發(fā)者技術(shù)沙龍-端側(cè)AI-智能產(chǎn)品專場(chǎng)】直播中，OPPO 軟件工程系統(tǒng)-端側(cè)AI研發(fā)團(tuán)隊(duì)為大家介紹了 OPPO 的端側(cè) AI 能力和應(yīng)用場(chǎng)景、一站式端側(cè) AI 平臺(tái)技術(shù)架構(gòu)及創(chuàng)新實(shí)踐，解答開(kāi)發(fā)者對(duì)于端側(cè) AI 智能產(chǎn)品開(kāi)發(fā)的疑問(wèn)和訴求。

ColorOS AI 能力與具體應(yīng)用場(chǎng)景有哪些？

目前，ColorOS 圖像識(shí)別相關(guān)AI 產(chǎn)品包括文字提取、文本意圖識(shí)別--OCR、文本意圖識(shí)別--復(fù)制、圖片識(shí)別、翻譯和掃描等。OPPO 希望通過(guò) OCR、圖像分割等能力作為系統(tǒng)信息獲取觸點(diǎn)，通過(guò) NLP、CV 等算法對(duì)信息的理解能力對(duì)獲取信息進(jìn)行內(nèi)容分類和意圖分析，串聯(lián)各類服務(wù)，為用戶提供智能高效用機(jī)體驗(yàn)的同時(shí)為開(kāi)發(fā)者提供更有效的流量轉(zhuǎn)化。

作為觸點(diǎn)的 OCR 識(shí)別能力支持橫豎文字、段落、方格、排版，生僻字的識(shí)別、中英文混合、基礎(chǔ)文本的識(shí)別率超 80%，覆蓋相冊(cè)、復(fù)制、識(shí)屏、掃一掃、相機(jī)、便簽、截屏等7大用機(jī)場(chǎng)景。

作為意圖理解核心的文本 NLP 能力已支持抖音、騰訊會(huì)議等 10+ 文本類型識(shí)別。通過(guò)整合各類辦公、生活應(yīng)用服務(wù)，OPPO 還可為不同類型的內(nèi)容提供對(duì)應(yīng)的功能延伸，如為地址信息提供導(dǎo)航、打車等卡片選項(xiàng)，幫助各類型服務(wù)的開(kāi)發(fā)者打造額外服務(wù)入口，為用戶提供一鍵直達(dá)的服務(wù)體驗(yàn)。

ColorOS 系統(tǒng)為開(kāi)發(fā)者提供統(tǒng)一 AI 能力的優(yōu)勢(shì)在哪里？

首先是成本低，ColorOS 已具備成熟圖文識(shí)別能力，接入成本并不高；

其次是更安全，ColorOS 可以利用端側(cè)算力完成計(jì)算，避免云側(cè)AI信息泄露風(fēng)險(xiǎn)；

再者是數(shù)據(jù)全，ColorOS 掌握用戶用機(jī)習(xí)慣數(shù)據(jù)，這些數(shù)據(jù)三方無(wú)法獲取；

最后是跨平臺(tái)，ColorOS 串聯(lián)各類型服務(wù)，為用戶帶來(lái)更便捷智慧體驗(yàn)。

綜上，對(duì)于開(kāi)發(fā)者而言，無(wú)論是降低開(kāi)發(fā)成本，還是為用戶提供統(tǒng)一的服務(wù)體驗(yàn)，由ColorOS提供統(tǒng)一AI能力都將是有力支撐。

開(kāi)發(fā)者如何解決算法在不同平臺(tái)的差異化部署和運(yùn)行？

目前，OPPO已經(jīng)初步搭建端側(cè)AI平臺(tái)基礎(chǔ)端云協(xié)同框架，并且預(yù)計(jì)在2024年發(fā)布全新升級(jí)的平臺(tái)化體系1.0，將會(huì)包含以下內(nèi)容：

AIBoost 端側(cè)推理框架：支持模型輕量化部署，涉及剪枝量化、加密轉(zhuǎn)換、算子融合、異構(gòu)計(jì)算等，同時(shí)適配Android原生NNAPI及不同的芯片平臺(tái)，兼容各種型號(hào)手機(jī)及IOT設(shè)備，還提供了配套的開(kāi)發(fā)工具，以幫助開(kāi)發(fā)者低代碼、自動(dòng)化地生成部署代碼，降低開(kāi)發(fā)成本；

AIUnit 端云融合運(yùn)行服務(wù)：除了集成AIBoost滿足常見(jiàn)的TFLite、ONNX等模型端側(cè)推理運(yùn)行外，還提供了全新的Android插件化資源框架Orange，可以幫助開(kāi)發(fā)者將自身應(yīng)用產(chǎn)品中的算法進(jìn)行插件化改造剝離，以獨(dú)立的形態(tài)實(shí)現(xiàn)云側(cè)發(fā)布，并且覆蓋范圍將會(huì)涉及全球至少六個(gè)國(guó)家或地區(qū)。端側(cè)運(yùn)行時(shí)將充分融合ColorOS系統(tǒng)優(yōu)勢(shì)，實(shí)現(xiàn)算法的全生命周期管理，以場(chǎng)景為維度做端云算法的切換調(diào)度，保證設(shè)備穩(wěn)定性和低功耗的同時(shí)提升用戶用機(jī)體驗(yàn)；

Odin 端云協(xié)同部署平臺(tái)：借助OPPO自研的安第斯智能云，端側(cè)AI平臺(tái)可以實(shí)現(xiàn)全球化發(fā)布和差異化部署，開(kāi)發(fā)者可以將自己的算法模型或插件按照自定義條件發(fā)布到任意OPPO設(shè)備，同時(shí)平臺(tái)還將統(tǒng)計(jì)和收集算法在端側(cè)的內(nèi)存、耗時(shí)、功耗等運(yùn)行時(shí)數(shù)據(jù)，可視化展示其性能指標(biāo)，輔助開(kāi)發(fā)者快速迭代。未來(lái)還將在用戶許可的條件下基于端側(cè)訓(xùn)練及聯(lián)邦學(xué)習(xí)生成用戶標(biāo)簽，幫助開(kāi)發(fā)者伙伴實(shí)現(xiàn)服務(wù)精準(zhǔn)推薦，建立起ColorOS系統(tǒng)與三方應(yīng)用的端側(cè)AI生態(tài)互融的友好合作關(guān)系；

AI能力測(cè)試平臺(tái)：開(kāi)發(fā)者在部署過(guò)程中會(huì)遇到二次部署開(kāi)發(fā)、測(cè)試腳本開(kāi)發(fā)、演示工具開(kāi)發(fā)和接口開(kāi)發(fā)等問(wèn)題，還需要對(duì)端側(cè)推理的性能做驗(yàn)證，AI能力測(cè)試平臺(tái)將面向這一痛點(diǎn)提供全套的插件化開(kāi)發(fā)套件，開(kāi)發(fā)者只需要少量的代碼即可完成上述物料的開(kāi)發(fā)工作，只需要將物料上傳到AI能力測(cè)試平臺(tái)，并且按需設(shè)定測(cè)試環(huán)境配置，即可在真機(jī)上完成端側(cè)的測(cè)試工作，從而驗(yàn)證算法在端側(cè)的客觀表現(xiàn)和性能指標(biāo)。

此外，在豐富的框架和開(kāi)發(fā)工具加持下，非AI開(kāi)發(fā)者也可以接入OPPO的AI能力快速實(shí)現(xiàn)AI場(chǎng)景。未來(lái)半年內(nèi)，OPPO還將支持全球化部署，上線測(cè)試平臺(tái)及開(kāi)發(fā)套件，平臺(tái)化的建設(shè)將助力開(kāi)發(fā)者從開(kāi)發(fā)、部署、測(cè)試、發(fā)布全鏈路實(shí)現(xiàn)算法的端到端落地。

OPPO基于端側(cè)AI平臺(tái)能力進(jìn)行了哪些創(chuàng)新實(shí)踐？

OPPO 推出全能掃碼算法，目前已應(yīng)用于Reno10 Pro+超級(jí)掃一掃功能，實(shí)現(xiàn)35米超遠(yuǎn)距離掃碼和10度超傾斜掃碼，全能掃碼檢測(cè)能力更快。

1）基于傳統(tǒng)圖像處理方法設(shè)計(jì)預(yù)檢測(cè)模塊，減少不必要的定位和檢測(cè)算法調(diào)用；

2）基于AIBoost實(shí)現(xiàn)檢測(cè)模型端側(cè)部署，減少碼類檢測(cè)耗時(shí)；通過(guò)小目標(biāo)檢測(cè)和變焦邏輯實(shí)現(xiàn)超遠(yuǎn)檢測(cè)功能；

3）針對(duì)遠(yuǎn)距離、小角度解碼問(wèn)題，使用碼類矯正、碼類等去模糊算法來(lái)增強(qiáng)成像質(zhì)量，提升極限場(chǎng)景下解碼能力；

開(kāi)發(fā)者Q &A 問(wèn)答

1、OPPO端側(cè)AI平臺(tái)在能力支持上有哪些優(yōu)勢(shì)？

OPPO 端側(cè)AI平臺(tái)的優(yōu)勢(shì)在于：支持算法類型更多，支持云側(cè)部署，端側(cè)推理支持的芯片平臺(tái)更豐富且支持異構(gòu)。

2、如何快速接入OPPO端側(cè)AI能力？

開(kāi)發(fā)者可以登錄OPPO開(kāi)放平臺(tái)官網(wǎng)，在產(chǎn)品列表中「端側(cè)AI」入口進(jìn)行申請(qǐng)接入。






審核編輯：劉清