與圖像處理相比，從視頻當中提取見解或使用AI技術(shù)既帶來新的挑戰(zhàn)，同時也提供可觀的優(yōu)化賒。有一種誤解認為，視頻AI只是簡單從視頻素材當中提取特定幀，并對各視頻幀運行計算機視覺算法。雖然這種作法確實可行，但卻并不能真正帶來分析見解。在今天的文章中，我們將通過幾項實例來了解這種處理單一視頻幀方法的缺點。但考慮到篇幅有限，這里我不會詳細討論克服這些缺點所需要的其它算法。感興趣的朋友可以參考Video Indexer，其提供了多種能夠?qū)崿F(xiàn)此類目標的特定視頻算法。

視頻中出現(xiàn)的人物

我們一起來看以下［視頻］中的前25秒

請注意，在這25秒當中Doug一直出現(xiàn)在畫面之內(nèi)。

如果要為Doug在視頻當中出現(xiàn)的情況繪制一條時間線，則應(yīng)該如下圖所示。

請注意，在這一過程當中Doug并非全程面向鏡頭。在視頻的第7秒當中，他有在盯著Emily——第23秒也出現(xiàn)了同樣的情況。

如果您在視頻中的對應(yīng)時段之內(nèi)運行人臉檢測，則Doug的面部將無法被檢測到（請參閱以下截圖）。

換句話來說，如果只是在各視頻幀上進行人臉檢測，大家將無法繪制出如上所示的時間線。要獲得這樣的時間線，我們必須有能力跨越視頻分段追蹤面部，并考慮其中出現(xiàn)的臉部側(cè)面視圖。Video Indexer能夠追蹤面部，這意味著您將能夠看到之前展示的完整時間軸。

使用光學(xué)字符識別提取主題/關(guān)鍵詞

請看以下兩幀內(nèi)容。

這兩幀來自主講人在舞臺上進行演講的視頻，后面背景墻上的“Microsoft”一詞一直時隱時現(xiàn)。作為人類觀看者，我們當然能夠輕松推斷出其顯示的是“Microsoft”。但如果在這兩張圖片上運行OCR，輸出結(jié)果將只有“Microsc”與“crosoft”。如果在視頻剪輯當中處理完整的視頻幀序列，您會得到大量這種殘缺不全的詞匯。為了順利從鏡頭中提取到正確且完整的詞匯，您需要對這種部分詞匯應(yīng)用算法。Video Indexer能夠?qū)崿F(xiàn)這項功能，并從視頻當中獲得更好的分析見解。

人臉識別

人臉識別系統(tǒng)由人臉數(shù)據(jù)庫組成，而該人臉數(shù)據(jù)庫則包含一組指向不同人物對象的訓(xùn)練用圖像。其還提供一項查詢功能，用于從查詢圖像當中提取面部特征，并將其與人臉數(shù)據(jù)庫相匹配。查詢函數(shù)的輸出結(jié)果包含可能的匹配列表以及置信度值。查詢功能的輸出質(zhì)量，將取決于人臉數(shù)據(jù)庫與查詢圖像的實際質(zhì)量。

在視頻處理場景下，其中將包含多個視頻幀，且人物會配合不同的頭部姿態(tài)及照明條件亮相。我們當然可以在每位人物出場時采取逐幀處理的方式進行人臉識別系統(tǒng)查詢，但這種作法可能導(dǎo)致各幀之間出現(xiàn)不同的人臉匹配結(jié)論與存在巨大差異的置信度值。換句話來說，我們需要使用額外的邏輯層來確定人臉匹配結(jié)果。作為優(yōu)化手段，我們可以選擇合適的幀子集進行有針對性的人臉識別系統(tǒng)查詢，從而減少該系統(tǒng)的實際查詢次數(shù)。

在處理視頻時，我們還可以通過使用來自多個視頻幀的人物訓(xùn)練圖像整理變化趨勢，從而構(gòu)建并增強人臉數(shù)據(jù)庫。另外，大家也能夠建立邏輯以追蹤跨幀人物并利用啟發(fā)式算法評估其中的變化。 Video Indexer同樣能夠?qū)崿F(xiàn)這一功能，意味著用戶將能夠從當前視頻當中構(gòu)建起質(zhì)量更高的人臉數(shù)據(jù)庫成果。