近年來(lái),各類(lèi)短視頻、視頻應(yīng)用如雨后春筍般涌現(xiàn), “AI+ 視頻"的模式也是近期的熱點(diǎn)方向。奇觀(guān)是愛(ài)奇藝原創(chuàng)推出的 AI 創(chuàng)新應(yīng)用產(chǎn)品,它融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、臺(tái)詞實(shí)體抽取、BGM 識(shí)別等 AI 技術(shù),支持用戶(hù)在觀(guān)影過(guò)程中識(shí)別視頻中的明星人物、卡通角色、背景音樂(lè)和臺(tái)詞梗等視頻內(nèi)信息。
為了進(jìn)一步了解愛(ài)奇藝在“AI+ 視頻”方向上的探索,在 QCon 上海站前夕,InfoQ 有幸采訪(fǎng)了愛(ài)奇藝技術(shù)總監(jiān)朱俊敏,聽(tīng)他分享愛(ài)奇藝奇觀(guān)如何融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、BGM 識(shí)別、臺(tái)詞實(shí)體抽取等多種 AI 技術(shù)來(lái)挖掘視頻的周邊內(nèi)容。
愛(ài)奇藝在“AI+ 視頻”上的探索
作為視頻平臺(tái),愛(ài)奇藝一直致力于人工智能與視頻、娛樂(lè)產(chǎn)業(yè)的結(jié)合,并陸續(xù)推出了針對(duì)內(nèi)容創(chuàng)作、用戶(hù)推薦等方面的智能產(chǎn)品。奇觀(guān) 是愛(ài)奇藝原創(chuàng)推出的 AI 創(chuàng)新應(yīng)用產(chǎn)品,截至今年 7 月,奇觀(guān)功能累計(jì)使用量已超 20 億次。
據(jù)愛(ài)奇藝技術(shù)總監(jiān)朱俊敏介紹,作為一款融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、臺(tái)詞實(shí)體抽取、BGM 識(shí)別等 AI 技術(shù)的產(chǎn)品,奇觀(guān)的萌芽需求來(lái)源于用戶(hù)。當(dāng)時(shí)愛(ài)奇藝在分析用戶(hù)的彈幕時(shí)發(fā)現(xiàn),有一定比例的用戶(hù)都在詢(xún)問(wèn)“當(dāng)前的演員是誰(shuí)?”, “背景音樂(lè)是啥?” 等跟視頻強(qiáng)相關(guān)的問(wèn)題。原來(lái)用戶(hù)獲取該類(lèi)問(wèn)題的答案路徑是通過(guò)愛(ài)奇藝搜索或者百度搜索,但是效果并不是很好,造成這一結(jié)果的原因主要有兩方面:一方面是因?yàn)橛脩?hù)需要打破原來(lái)沉浸式的觀(guān)影體驗(yàn);另一方面在于搜索無(wú)法做到海量?jī)?nèi)容實(shí)時(shí)索引,內(nèi)容熱播的時(shí)候一般是無(wú)法搜索到用戶(hù)想要的結(jié)果的。
為了解決上述問(wèn)題,愛(ài)奇藝于 2019 年首先在 TV 端進(jìn)行了一些嘗試。用戶(hù)在觀(guān)影時(shí)(當(dāng)時(shí)的名字叫 AI 雷達(dá)),可以通過(guò)遙控上鍵識(shí)別視頻中的明星,奇觀(guān)產(chǎn)品推出后得到用戶(hù)的一致好評(píng),功能滲透率超出團(tuán)隊(duì)的預(yù)期。
后來(lái),研發(fā)團(tuán)隊(duì)又將該功能擴(kuò)展到移動(dòng)端,通過(guò)雙指雙擊的簡(jiǎn)單手勢(shì)觸達(dá)更多的用戶(hù)群體,滿(mǎn)足用戶(hù)了解內(nèi)容背后知識(shí)的需求。識(shí)別能力也逐漸從原來(lái)的明星識(shí)別, 擴(kuò)展到背景音樂(lè)識(shí)別,臺(tái)詞實(shí)體知識(shí),卡通角色識(shí)別等。
對(duì)紛繁復(fù)雜的明星、背景音樂(lè)、卡通角色等元素的精準(zhǔn)識(shí)別并不是件容易事。就拿多模態(tài)人物識(shí)別來(lái)說(shuō),愛(ài)奇藝針對(duì)視頻中人物身份識(shí)別的難點(diǎn)進(jìn)行了全方位的優(yōu)化改進(jìn),利用人臉質(zhì)量模型顯著減低了誤檢、差臉的干擾,綜合利用人臉、人頭、人體、聲紋等多維度特征信息,通過(guò)局部加全局聚類(lèi)的方式,對(duì)視頻中的人物進(jìn)行識(shí)別,大幅度提高了識(shí)別精度和召回。同時(shí),團(tuán)隊(duì)還提供人臉的多維度屬性標(biāo)簽,如年齡、男女、顏值等,并將屬性標(biāo)簽和人臉識(shí)別模型進(jìn)行整合,在保證精度的情況下,顯著降低資源開(kāi)銷(xiāo)、提高資源利用效率。目前線(xiàn)上模型包含 10+ 個(gè)屬性,相較于工業(yè)界的其他模型更加全面。愛(ài)奇藝人臉識(shí)別與屬性模型十五合一,一個(gè)模型可以同時(shí)識(shí)別身份屬性,且各項(xiàng)屬性的識(shí)別精度也比較高。目前線(xiàn)上奇觀(guān)服務(wù)的明星識(shí)別準(zhǔn)確率達(dá) 99.5%。
多模態(tài)人物識(shí)別技術(shù)的技術(shù)實(shí)現(xiàn)框圖如下:
朱俊敏坦言,為了達(dá)到 99.5% 的明星識(shí)別準(zhǔn)確率,算法團(tuán)隊(duì)付出了諸多努力。首先,他們分別訓(xùn)練了人臉、人頭、人體和聲紋特征的提取模型。再在人臉的幀級(jí)特征上增加了一個(gè) NetVLAD 模塊,將幀級(jí)特征轉(zhuǎn)換成視頻維度的特征,這樣可以充分利用幀級(jí)人臉信息,提高特征的表達(dá)能力。在特征融合層,為了充分利用多模態(tài)特征,并且降低了噪聲的干擾,團(tuán)隊(duì)還創(chuàng)新性地提出了 Multi-model Attention 模塊來(lái)自適應(yīng)地對(duì)各個(gè)模態(tài)分配不同的權(quán)重,并基于這些權(quán)重來(lái)進(jìn)行多模態(tài)特征的融合,顯著提高了算法的魯棒性,大幅度提高了視頻人物識(shí)別的精度。
下面的表格是研發(fā)團(tuán)隊(duì)從人臉特征開(kāi)始逐漸增加多模態(tài)特征信息、NetVLAD 和 MMA 模塊的精度收益情況,從表中可以得出,隨著多模態(tài)信息的增加,愛(ài)奇藝的人臉識(shí)別精度穩(wěn)定提升,這充分驗(yàn)證了愛(ài)奇藝多模態(tài)人物識(shí)別方法的有效性。
這樣一項(xiàng)識(shí)別準(zhǔn)確度高、廣受好評(píng)的產(chǎn)品,其實(shí)它的研發(fā)周期并沒(méi)有十分漫長(zhǎng)。朱俊敏表示,多年來(lái),愛(ài)奇藝在 NLP、聲音和視覺(jué)的 AI 能力方面有深厚的積累,得益于愛(ài)奇藝長(zhǎng)期對(duì)算法團(tuán)隊(duì)的投入,當(dāng)決定做奇觀(guān)產(chǎn)品時(shí),大部分的算法和基礎(chǔ)設(shè)施已經(jīng)比較成熟。團(tuán)隊(duì)只需從用戶(hù)需求出發(fā),根據(jù)實(shí)際場(chǎng)景對(duì)算法和方案進(jìn)行策略調(diào)整,快速實(shí)現(xiàn)產(chǎn)品化。朱俊敏稱(chēng):
如果將奇觀(guān)比喻為一棟房子,多模態(tài)人物識(shí)別、卡通角色識(shí)別、BGM 識(shí)別等 AI 技術(shù)就是地基。正是因?yàn)閷?duì) AI 長(zhǎng)期的投入,有堅(jiān)實(shí)的地基以支撐愛(ài)奇藝蓋出更漂亮的房子。
識(shí)別方案如何從云遷移到端
從奇觀(guān)萌生開(kāi)始,研發(fā)團(tuán)隊(duì)就決定采用純?cè)贫说淖R(shí)別方案,之所以會(huì)做出這樣的決定,朱俊敏介紹,主要是考慮到算法的復(fù)雜度,在客戶(hù)端既要播放視頻(需要處理解碼和上屏),又要處理 AI 算法,芯片性能可能跟不上,而且手機(jī)的散熱和電池問(wèn)題也會(huì)比較突出,所以奇觀(guān)一開(kāi)始定方案的時(shí)候是采用純?cè)贫说淖R(shí)別方案。
后來(lái),隨著算法的優(yōu)化和解耦,以人物識(shí)別為例,實(shí)現(xiàn)檢測(cè)和識(shí)別的解耦,而且人臉檢測(cè)的算法做到足夠輕量級(jí),實(shí)現(xiàn) CPU 可流暢推理。團(tuán)隊(duì)開(kāi)始尋求實(shí)現(xiàn)云 + 端的模式, 把算法解耦,檢測(cè)部署在端上,識(shí)別部署在云端。這樣做的好處是:一方面,在端上做檢測(cè),可以過(guò)濾很多無(wú)人物的情況,減少網(wǎng)絡(luò)傳輸和云端識(shí)別的計(jì)算資源浪費(fèi);另一方面,端上做檢測(cè),在用戶(hù)交互體驗(yàn)可以更優(yōu),實(shí)現(xiàn)人物區(qū)域可跟蹤。
端上的識(shí)別方案不是云端方案的簡(jiǎn)單復(fù)刻,朱俊敏提到,在實(shí)現(xiàn)“云 + 端”的過(guò)程中,其難點(diǎn)主要在于兩方面:一方面是芯片的適配,原來(lái)云端 GPU 的算法,考慮到客戶(hù)端上 GPU 的參差不齊,需要把算法改造成 CPU 推理模式。另一方面,算法模型遷移到客戶(hù)端,需要考慮到客戶(hù)端本身的限制,不能顯著增加整體 app 安裝包的大小。所以為了適配客戶(hù)端,算法本身需要做 CPU 遷移,并通過(guò)蒸餾壓縮模型大小,同時(shí)還需要客戶(hù)端的工程師配合集成相應(yīng)的算法 runtime,同時(shí)建立模型動(dòng)態(tài)加載的機(jī)制,盡可能地減少客戶(hù)端的包的大小。
“云 + 端”模式將更快普及和應(yīng)用
隨著 5G 的逐步發(fā)展,朱俊敏認(rèn)為,“云 + 端”這種模式會(huì)得到更快的普及和應(yīng)用。5G 將作為一種全新的網(wǎng)絡(luò)架構(gòu),提供 10Gbps 以上的峰值速率、更佳的移動(dòng)性能、毫秒級(jí)時(shí)延和超高密度連接。而且客戶(hù)端的性能越來(lái)越強(qiáng),前面提到的云 + 端難點(diǎn)將不再是問(wèn)題。這樣可以給算法部署和應(yīng)用更多的靈活性,業(yè)務(wù)可以根據(jù)自己場(chǎng)景和用戶(hù)體驗(yàn)來(lái)決定是否將更多的算法部署到客戶(hù)端。
而且 5G 網(wǎng)絡(luò)的特性,決定其更加去中心化,需要在網(wǎng)絡(luò)邊緣部署小規(guī)模或者便攜式數(shù)據(jù)中心,進(jìn)行終端請(qǐng)求的本地化處理,也就是人們所說(shuō)的邊緣計(jì)算,將來(lái)的服務(wù)可能會(huì)進(jìn)一步從“云 + 端”過(guò)度到“云 + 邊 + 端”的模式上。
除了在“云 + 端”模式上繼續(xù)發(fā)力外,奇觀(guān)下一步的重點(diǎn)會(huì)繼續(xù)擴(kuò)展識(shí)別的品類(lèi)。比如:動(dòng)植物的百科實(shí)體類(lèi)識(shí)別;電子產(chǎn)品和汽車(chē)等標(biāo)準(zhǔn)品的識(shí)別;以及各類(lèi)穿著垂類(lèi)商品的識(shí)別。另一方面會(huì)繼續(xù)優(yōu)化現(xiàn)有的識(shí)別體驗(yàn),提高整體有結(jié)果率,目標(biāo)是實(shí)現(xiàn)應(yīng)有盡有的識(shí)別。
因?yàn)樯硖幵趦?nèi)容行業(yè),朱俊敏還表示,他會(huì)繼續(xù)關(guān)注 AI 在聲音和視覺(jué)上的算法創(chuàng)新,探索交互方面的新場(chǎng)景,未來(lái),希望看到 AI 在內(nèi)容創(chuàng)意和創(chuàng)作方面也能發(fā)揮上賦能提效的作用。
嘉賓介紹:
朱俊敏,愛(ài)奇藝技術(shù)總監(jiān)。上海交通大學(xué)碩士,擁有 3 篇美國(guó)專(zhuān)利, 8 篇中國(guó)專(zhuān)利。2015 年加入愛(ài)奇藝,負(fù)責(zé) AI 產(chǎn)品落地和創(chuàng)新應(yīng)用開(kāi)發(fā),先后孵化了 HomeAI(智能語(yǔ)音交互平臺(tái)), 奇觀(guān)(智能識(shí)別平臺(tái)),逗芽(表情生產(chǎn)和分發(fā)平臺(tái)) 等創(chuàng)新應(yīng)用。
本文轉(zhuǎn)自 公眾號(hào):AI前線(xiàn) ,作者李冬梅,點(diǎn)擊閱讀原文
審核編輯:符乾江
-
人工智能
+關(guān)注
關(guān)注
1791文章
47208瀏覽量
238288 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121117
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論