OPPO 在以 “躍遷 · 致善”為主題的未來科技大會 2020(OPPO INNO DAY 2020)上,首次推出 OPPO FDF 全維人像視頻技術系統。該系統由感知人像和畫質增強兩大引擎組成,分別針對人像拍攝時的人物主體和整體畫面進行針對性優化。據悉,首款搭載該系統的產品將在 12 月問世。
OPPO 介紹,FDF 全維人像視頻技術系統由感知人像和畫質增強兩大引擎組成,分別針對人像拍攝時的人物主體和整體畫面進行針對性優化,共同實現人美、景美的拍攝效果,不管是單人還是多人,白天、夜間還是逆光,都可以實現全時段視頻創作自由。
具體來說,感知人像引擎擁有 AI 人臉檢測、AI 超清人像、OFL 膚質優化算法、人臉畸變矯正等功能,拒絕千篇一律,讓拍攝的作品更自然、真實、動人。
AI 人臉檢測通過對網絡模型的優化,實現 99.78% 的檢測準確率和 25ms 的單幀檢測耗時,不管是拍視頻還是拍照,都能快速的檢測出人臉區域,為后續臉部優化圈定精確的范圍。
同時,AI 算法在人臉區域標記了 296 個關鍵點來實現五官和輪廓細節的區分,并加入關鍵點是否可見判斷、人臉角度判斷等輔助信息,最終在業界權威的 WFLW 數據集上實現低至 4.71% 的 NME,這套算法在移動平臺上的運行幀率達到了 200fps 以上。
AI 超清人像在深度神經網絡模型中設計了 3 個子模塊對人臉進行超分計算、降噪優化和銳度優化。即使在暗光環境下,也能通過算法精準檢測臉部和鄰近區域并進行增強處理。
OFL 膚質優化算法能分別對膚色和膚質進行 AI 處理,拍攝時幫助用戶去掉臉部瑕疵、優化皮膚表現、讓整體氣色更出眾。這套算法可實現 96.5% 的皮膚區域的分割,面部皮膚精度達到了 97.4%。“膚色檢測”范圍不僅包括臉部皮膚,也包括脖子和手部的皮膚,幾乎涵蓋在拍攝人像視頻時會露出的所有皮膚區域。
OFL 膚質優化算法還能實現 AI 祛瑕疵效果,智能識別區分天生特征和后天瑕疵的特征,實現更自然地祛瑕疵效果。斑、痘、眼袋等后天瑕疵會被去掉,淚痣等天生臉部特征得到保留。
人臉畸變矯正在處理人臉畸變時,取透視投影中的背景部分,同時對人臉區域進行切割分離、再做一次球面投影,讓人臉保持正常的、符合人眼觀看習慣的形狀。
畫質增強引擎則包含新一代超級防抖算法、移動延時攝影、超級夜景視頻、DOL-HDR 等功能,可在畫面抖動較大、光線不足 / 過亮等場景下保障拍出滿意畫面。
超級防抖算法加入場景檢測過程,通過抓取陀螺儀、加速度計和 Sensor 的數據分別對運動軌跡、姿態和曝光進行判斷,從而區分不同場景,匹配不同的防抖策略。
針對手持移動延時攝影,OPPO 在超級防抖算法中加入運動趨勢判斷,不僅可以使被抽取的多幀畫面之間的過渡更平滑,還可以實現更長時間跨度的防抖,讓移動延時攝影的實拍表現幾乎達到云臺效果。
超級夜景視頻在前代算法基礎上和 HDR 算法進行融合,針對亮度調整曲線進行區分調試,算法先會根據當前的亮度環境智能判斷啟用夜景還是 HDR 亮度調整曲線,實現更通透、觀感更好的視頻效果。
DOL-HDR 方案解決用戶逆光拍攝痛點,其長短曝光幀幾乎是同時進行,大幅縮減了前后幀的間隔時間,大大改善鬼影問題,實現更好的 HDR 視頻拍攝效果。
OPPO 表示,首款搭載 OPPO 人像視頻技術系統的新品將于 12 月份問世。目前 OPPO 在 HDR、夜景、超級防抖等方面的技術已經陸續開放給抖音和快手等第三方平臺使用。
責任編輯:haq
-
OPPO
+關注
關注
20文章
5234瀏覽量
78932 -
AI
+關注
關注
87文章
30762瀏覽量
268905
發布評論請先 登錄
相關推薦
評論