關(guān)鍵詞： 監(jiān)測(cè)系統(tǒng) , 視頻檢索 , 有線電視

1 引言  

全國(guó)有線廣播電視監(jiān)測(cè)網(wǎng)是基于國(guó)家廣電骨干網(wǎng)和省級(jí)干線網(wǎng)而建設(shè)的大型監(jiān)測(cè)網(wǎng)絡(luò)系統(tǒng)；隨著地面無(wú)線電視納入其監(jiān)測(cè)范圍，使得監(jiān)測(cè)規(guī)模越來(lái)越大被監(jiān)測(cè)的頻道和電視節(jié)目數(shù)越來(lái)越多。視頻信息技術(shù)的發(fā)展導(dǎo)致多媒體數(shù)據(jù)庫(kù)日益龐大，一些特殊應(yīng)用需要快速地完成特定目標(biāo)視頻片斷的檢索查詢，特別作為廣播電視監(jiān)測(cè)部門，更要面對(duì)與日俱增的廣告、視頻節(jié)目及特定內(nèi)容的快速檢索。在一個(gè)視頻節(jié)目中，如何快速查找某段節(jié)目(或某幾幀)是否存在、播放的起止時(shí)間等信息、傳統(tǒng)的方法是靠人工將視頻節(jié)目文件逐一播放，查找所要的內(nèi)容，整個(gè)過(guò)程耗時(shí)費(fèi)事，效率低，勞動(dòng)強(qiáng)度大。因而人工檢索方式無(wú)法滿足多媒體信息快速檢索需求，特別是對(duì)在存儲(chǔ)的視頻節(jié)目中尋找指定的視頻片斷這樣的應(yīng)用需求。因此，需要建立一套快速的智能視頻檢索系統(tǒng)．以提高有線電視監(jiān)測(cè)數(shù)據(jù)統(tǒng)計(jì)、分析和報(bào)告的質(zhì)量和效率。   

2 視頻檢索技術(shù)簡(jiǎn)介  

視頻檢索技術(shù)是世界各國(guó)學(xué)者研究的熱點(diǎn)問(wèn)題之一，如基于壓縮域的視頻檢索、基于語(yǔ)義的視頻檢索以及動(dòng)態(tài)特征的提取等。目前，國(guó)內(nèi)外已研究出多個(gè)視頻檢索系統(tǒng)，如：IBM Almaden研究中心開發(fā)的QBIC(Query ByImage Content)系統(tǒng)，美國(guó)哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級(jí)電視實(shí)驗(yàn)室共同研究的、一種在互聯(lián)網(wǎng)上使用的"基于內(nèi)容"的檢索系統(tǒng)VisualSeek，清華大學(xué)開發(fā)的視頻節(jié)目管理系統(tǒng)TV-FI(Tsinghua videoFind lt)等。  

視頻檢索把圖像檢索、模式識(shí)別、圖像數(shù)據(jù)庫(kù)等技術(shù)成果結(jié)合了起來(lái)，會(huì)有廣闊的發(fā)展前景。  

視頻檢索是從大量的視頻數(shù)據(jù)中找到所需的視頻片斷及自動(dòng)統(tǒng)計(jì)出所需要的信息。用戶提供的例子(模板)或特征描述，系統(tǒng)就能夠自動(dòng)地找到所需的視頻片斷點(diǎn)，即實(shí)現(xiàn)基于內(nèi)容的視頻檢索。通常，一段視頻可以劃分為幾個(gè)場(chǎng)景，每個(gè)場(chǎng)景包含一個(gè)或多個(gè)鏡頭，每個(gè)鏡頭又由一系列連續(xù)記錄的圖像幀組成。因此，原始視頻可以按照由粗到細(xì)的順序劃分為幾個(gè)層次結(jié)構(gòu)：視頻(video)、場(chǎng)景(scene)、鏡頭(shot)和圖像幀(frame)。視頻和圖像幀是視頻本身就具有的結(jié)構(gòu)，而鏡頭和場(chǎng)景是人為分離出來(lái)的結(jié)構(gòu)。鏡頭一般是由攝像機(jī)一次攝像的開始和結(jié)束的所有幀構(gòu)成，表示一個(gè)物理概念。而場(chǎng)景是指一連串語(yǔ)義相關(guān)的鏡頭，一般發(fā)生在相同的時(shí)間和地點(diǎn)，出現(xiàn)相同的人物或事件，表示的是一個(gè)語(yǔ)義概念。通過(guò)視頻解析技術(shù)提取出鏡頭和場(chǎng)景后，可以用一幀或幾幀來(lái)表示它們，這樣當(dāng)檢索需要視頻資料時(shí)，就不用從頭到尾地查找一段視頻，而是通過(guò)關(guān)鍵幀的非線性瀏覽來(lái)快速定位查詢的內(nèi)容，同時(shí)這種方式也有助于我們快速理解一段原始視頻的內(nèi)容，以決定是否是需要的資料。   

根據(jù)有線電視監(jiān)測(cè)的應(yīng)用需求．首先利用抽取關(guān)鍵幀的方法，將視頻檢索轉(zhuǎn)化為圖像檢索，基于內(nèi)容的圖像檢索理論和方法便可以很方便地應(yīng)用于圖像檢索當(dāng)中。基于內(nèi)容的圖像檢索，是指通過(guò)對(duì)圖像視覺(jué)特征和上下文聯(lián)系的分析，提取出圖像的內(nèi)容特征作為圖像索引來(lái)得到所需圖像，然后通過(guò)視頻片斷的匹配定位出需要查找的視頻片斷的位置，為查詢、下載、觀看所用。  

3 視頻檢索的關(guān)鍵技術(shù)  

視頻檢索的關(guān)鍵技術(shù)主要有：圖像特征提取、圖像特征的相似性度量、關(guān)鍵幀提取、視頻片斷匹配和評(píng)價(jià)指標(biāo)等。  

(1)圖像特征提取  

圖像特征提取是針對(duì)圖像內(nèi)容的底層物理特征進(jìn)行提取．如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種：數(shù)值信息、關(guān)系信息和文字信息。目前，多數(shù)系統(tǒng)采用的都是數(shù)值信息。  

(2)圖像特征的相似性度量  

相似性度量在鏡頭檢索上，早期的工作主要是從鏡頭中提取關(guān)鍵幀，把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如，在通常情況下，圖像的特征向量可看作是多維空間中的一點(diǎn)，因此，用特征空間中點(diǎn)與點(diǎn)之間的距離來(lái)代表它們的匹配程度。距離度量是一個(gè)比較常用的方法，還有相關(guān)計(jì)算、關(guān)聯(lián)系數(shù)計(jì)算等。此外，目前研究的問(wèn)題還在于怎樣對(duì)視頻中的時(shí)間信息充分進(jìn)行利用。  

相似性度量在片段檢索上，把視頻片段分為片段、幀兩層考慮，片段的相似性利用組成幀的相似性來(lái)直接度量，缺點(diǎn)在于限制相似的片段必須遵守同樣的時(shí)間順序，這種基于每幀的比較，也使得檢索速度比較慢。  

(3)關(guān)鍵幀提取  

關(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀，它反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件，因而描述應(yīng)盡可能準(zhǔn)確完全；另一方面，為便于管理，數(shù)據(jù)量應(yīng)盡量小，且計(jì)算不宜太復(fù)雜。  

關(guān)鍵幀的選取方法很多，比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個(gè)位置上像素值的平均值，然后將鏡頭中該點(diǎn)位置的像素值最接近平均值的幀作為關(guān)鍵幀；直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。   

(4)視頻片斷匹配  

先找出視覺(jué)上相似的片段，再根據(jù)不同的因子計(jì)算相似片段的相似度，最后按照相似度的大小從高到低排列它們。這種方法不會(huì)造成相似片段的遺漏，同時(shí)又能根據(jù)不同的因子度量相似片段的相似度。已經(jīng)有研究提出了最優(yōu)匹配法、最大匹配法和動(dòng)態(tài)規(guī)劃算法等。  

(5)評(píng)價(jià)指標(biāo)  

查準(zhǔn)率和查全率是視頻檢索常用的兩個(gè)評(píng)價(jià)指標(biāo)，描述了檢索結(jié)果的準(zhǔn)確性。此外，檢索效率也是一個(gè)重要的衡量指標(biāo)。影響這些指標(biāo)的因素有很多，例如源流文件質(zhì)量、匹配度、服務(wù)器性能、檢索鏡頭數(shù)等。  

4 基于內(nèi)容的圖像檢索常用算法  

圖像檢索就是根據(jù)對(duì)圖像內(nèi)容的描述，在目標(biāo)圖像集合中找到具有指定特征或包含指定內(nèi)容的圖像。圖像的內(nèi)容可以分為兩類：視覺(jué)內(nèi)容和信息內(nèi)容。視覺(jué)內(nèi)容對(duì)應(yīng)圖像的物理表示，如顏色、形狀、紋理等。信息內(nèi)容對(duì)應(yīng)圖像的語(yǔ)義，如主題、人物、場(chǎng)景等。圖像比對(duì)是圖像檢索的核心算法之一，即判斷原圖片與目標(biāo)圖片是否一致。常用的圖像比對(duì)算法主要有直接比較法、顏色特征法、紋理特征法、形狀特征法、以及壓縮域的圖像比對(duì)算法等。  

(1)直接比較法  

直接比較法就是將兩幀圖像的像素點(diǎn)的值直接進(jìn)行比較，方法簡(jiǎn)單易行，但是效率低且魯棒性能差。  

(2)顏色特征法  

顏色特征是圖像最直觀、最明顯的特征，一般用直方圖描述。直方圖的橫軸表示顏色等級(jí)，縱軸表示在某一個(gè)顏色等級(jí)上具有該顏色的像素在整幅圖像中所占的比例。以直方圖為特征的常用的匹配方法有：矢量距離法、直方圖交叉法和直接差值法。  

(3)紋理特征法   

紋理是圖像中一個(gè)重要而又難以描述的特性。很多圖像在局部區(qū)域內(nèi)可能呈現(xiàn)出不規(guī)則性，而在整體上卻表現(xiàn)出某種規(guī)律性。習(xí)慣上把圖像中這種局部不規(guī)則而整體有規(guī)律的特性稱之為紋理。從人類的感知經(jīng)驗(yàn)出發(fā)，紋理特征主要有粗糙性、方向性和對(duì)比度，這也是用于檢索的主要特征。  

(4)形狀特征法  

形狀特征是圖像目標(biāo)的一個(gè)顯著特征，很多查詢可能并不針對(duì)圖像的顏色，因?yàn)橥晃矬w可能有各種不同的顏色，但其形狀總是相似的。如檢索某輛汽車的圖像，汽車可以是紅的、綠的等，但形狀決不會(huì)與飛機(jī)外形相似。另外，對(duì)于圖形來(lái)說(shuō)，形狀是它唯一重要的特征。從圖像中提取的目標(biāo)邊緣稱為輪廓。基于形狀或輪廓的檢索是基于內(nèi)容檢索的一個(gè)重要方面，它能使用戶通過(guò)勾勒?qǐng)D像的形狀或輪廓，從圖像庫(kù)中檢索出形狀相似的圖像。  

(5)壓縮域的圖像比對(duì)算法  

基于壓縮域的圖像比對(duì)技術(shù)，實(shí)際上是把圖像的壓縮技術(shù)與比對(duì)技術(shù)融合在一起，能夠在不解碼(或不完全解碼)的情況下抽取到圖像可用于比對(duì)的信息特征。對(duì)于這種信息特征的提取，可以利用離散余弦變換DCT(Discrete CosineTransform)域的一些特征，主要包括顏色特征、輪廓特征和輪廓直方圖等。基于DCT壓縮域的圖像比對(duì)算法，能夠大大縮短檢索用時(shí)，是現(xiàn)階段視頻檢索的研究熱點(diǎn)，但是實(shí)際應(yīng)用還不夠成熟，有待于進(jìn)一步研究。   

(6)基于模糊的塊圖像比對(duì)算法  

考慮到有線電視信號(hào)的特殊性，針對(duì)監(jiān)測(cè)網(wǎng)的信號(hào)特征提出了一種模糊的塊圖像比對(duì)算法。即將一幀圖像的YUV彩色模型(Y代表亮度分量，U、V代表兩個(gè)色差分量)分量分為固定大小的小塊，然后將原圖像幀與目標(biāo)圖像幀一小塊為單位分別進(jìn)行對(duì)比，統(tǒng)計(jì)相似個(gè)數(shù)，作為兩幅圖像的相似性度量。通過(guò)與顏色直方圖法的比較，可以看出，在有線電視信號(hào)檢索中，該算法能夠增大比對(duì)算法的魯棒性且提高檢索速度。

5.1 系統(tǒng)功能  

有線電視視頻檢索系統(tǒng)的主要功能包括：樣本制作和管理、任務(wù)下發(fā)和管理、結(jié)果查詢和系統(tǒng)管理等。   

(1)樣本制作和管理  

樣本制作和管理包括錄像下載、源文件庫(kù)、樣本幀制作和樣本幀庫(kù)管理等模塊。在樣本制作時(shí)，支持MP4、WMV等多種視頻格式；制作完成后還可根據(jù)用戶需要進(jìn)行分類管理，如廣告類、電視劇類等。  

(2)任務(wù)下發(fā)和管理  

任務(wù)下發(fā)和管理包括單任務(wù)、多任務(wù)并發(fā)、特定內(nèi)容任務(wù)下發(fā)和管理模塊。用戶可根據(jù)任務(wù)需要設(shè)定相應(yīng)的匹配度。所謂匹配度，就是檢索結(jié)果幀數(shù)與樣本幀數(shù)的百分比值。因此，匹配度低．漏報(bào)少，但可能會(huì)產(chǎn)生誤報(bào)；反之，漏報(bào)可能增加，誤報(bào)減少。
  
(3)結(jié)果查詢  

結(jié)果查詢包括檢索結(jié)果查看和管理、結(jié)果下載和報(bào)表管理等模塊。  

(4)系統(tǒng)管理  

系統(tǒng)管理包括用戶管理、權(quán)限管理、設(shè)備管理、系統(tǒng)運(yùn)行狀態(tài)和基礎(chǔ)信息管理等。  

5.2 系統(tǒng)工作原理  

系統(tǒng)工作原理如圖1所示，分為中心系統(tǒng)、前端設(shè)備和傳輸網(wǎng)絡(luò)三部分。用戶通過(guò)WEB服務(wù)器下發(fā)檢索任務(wù)至數(shù)據(jù)庫(kù)服務(wù)器，調(diào)度服務(wù)器實(shí)時(shí)輪巡數(shù)據(jù)庫(kù)，一旦發(fā)現(xiàn)新的檢索任務(wù)，調(diào)度服務(wù)器自動(dòng)提取任務(wù)通過(guò)廣電專用網(wǎng)絡(luò)下發(fā)到前端檢索服務(wù)器；檢索服務(wù)器收到檢索任務(wù)后，同時(shí)向中心系統(tǒng)存儲(chǔ)服務(wù)器和有線電視前端分別調(diào)取樣本文件和目標(biāo)文件進(jìn)行比對(duì)，比對(duì)完成后，檢索服務(wù)器將結(jié)果及下載錄像路徑通過(guò)調(diào)度服務(wù)器回傳至數(shù)據(jù)庫(kù)服務(wù)器，最終將結(jié)果回傳到客戶端。  

5.3 圖像比對(duì)原理  

本系統(tǒng)采用的是基于模糊的塊圖像比對(duì)算法。  

可以從底層分解和高層分解兩部分來(lái)理解，底層分解包括視頻解碼、圖像比對(duì)、檢索結(jié)果分析和數(shù)據(jù)存儲(chǔ)等算法；高層分解可將系統(tǒng)分為生成樣本投影、解析樣本投影空間和檢索信息存儲(chǔ)三部分。  

首先從樣本源流文件中抽取所需的樣本幀，生成樣本序列，將目標(biāo)流文件進(jìn)行視頻解碼，解碼后逐幀與樣本序列幀進(jìn)行圖像比對(duì)，將所有相似幀放入樣本投影空間，再根據(jù)樣本的其他信息(例如：時(shí)間戳等)進(jìn)行有效性校驗(yàn)、片斷統(tǒng)計(jì)和結(jié)果篩選，最終檢索出目標(biāo)視頻片斷。

視頻檢索技術(shù)引入到有線電視監(jiān)測(cè)系統(tǒng)，建立了一種快速的智能視頻檢索手段。通過(guò)系統(tǒng)運(yùn)行測(cè)試．對(duì)于普通新聞、廣告、電視劇等類型的視頻，可以檢索出幾乎全部的視頻片斷；對(duì)于一些特殊視頻，也能夠檢索出大部分的視頻片斷，其檢索準(zhǔn)確度大于90％。單機(jī)單任務(wù)檢索效率大于1：10，單機(jī)多任務(wù)檢索效率大于1：20，與人工回放檢索相比大大節(jié)省了時(shí)間，理論上系統(tǒng)可支持分布式檢索前端大于1000個(gè)。  

通過(guò)系統(tǒng)建設(shè)的實(shí)踐，有以下幾個(gè)問(wèn)題是值得注意的：  

(1)由于有線電視信號(hào)在傳輸過(guò)程中存在衰減，各個(gè)前端由于距離、設(shè)備等因素不同，對(duì)信號(hào)的衰減補(bǔ)償產(chǎn)生的機(jī)械噪聲也不同，導(dǎo)致不同前端的信號(hào)會(huì)有所差異。再者，有線電視信號(hào)的衰減是非線性的，很難找到一個(gè)合適的補(bǔ)償算法使信號(hào)強(qiáng)弱都一樣。因此會(huì)影響到檢索結(jié)果的準(zhǔn)確性。   
(2)視頻檢索是針對(duì)已經(jīng)存儲(chǔ)的視頻文件，在對(duì)信號(hào)進(jìn)行采集、壓縮和存儲(chǔ)的過(guò)程中會(huì)產(chǎn)生部分損耗，也會(huì)影響檢索結(jié)果的準(zhǔn)確性。  
(3)系統(tǒng)采用大型網(wǎng)絡(luò)進(jìn)行傳輸且?guī)捰邢蓿蚨捎孟到y(tǒng)分布式的檢索模型和"短鏈接"通訊模式。所謂"短鏈接"，就是在沒(méi)有檢索任務(wù)時(shí)，中心系統(tǒng)與檢索前端服務(wù)器問(wèn)不保持通訊連接，一旦有檢索任務(wù)時(shí)，則在兩者間建立臨時(shí)性的TCP通道連接，檢索任務(wù)完成后，檢索前端自動(dòng)拆除該連接。  

由于上述原因，給系統(tǒng)的架構(gòu)和檢索算法帶來(lái)了很大困難，造成了檢索準(zhǔn)確度不能達(dá)到100％，因而，對(duì)于非常重要的檢索任務(wù)，仍需人工輔助核實(shí)。  

在電視監(jiān)測(cè)領(lǐng)域中建立快速智能的視頻檢索方法和視頻監(jiān)測(cè)數(shù)據(jù)的快速處理機(jī)制，為安全播出和行業(yè)管理提供了又一種監(jiān)測(cè)的重要應(yīng)急手段。實(shí)際證明，雖然有線電視信號(hào)的特殊性與檢索算法有限的實(shí)用性，使得查全率還未能達(dá)到100％，但是該視頻檢索系統(tǒng)為滿足監(jiān)測(cè)工作日益增長(zhǎng)的要求提供了一種有效的解決方案，已經(jīng)能夠有效幫助監(jiān)測(cè)工作人員完成大部分的檢索任務(wù)，大大提高了檢索效率。