人群的監(jiān)控與監(jiān)測(cè)已經(jīng)成為當(dāng)前的一個(gè)重要領(lǐng)域。政府和安全部門都已經(jīng)開始尋求在公共場(chǎng)所智能監(jiān)測(cè)人群的更先進(jìn)的方式，從而避免在來(lái)不及采取行動(dòng)之前檢測(cè)到任何異常活動(dòng)。但是在有效達(dá)成這一目的之前還需要克服一些障礙。例如，如果需要一天 24 小時(shí)同時(shí)監(jiān)測(cè)整個(gè)城市里所有可能的人群活動(dòng)，僅靠全人工監(jiān)測(cè)是不可能的，尤其在安裝有數(shù)千部 CCTV 攝像頭的情況下更是如此。

　　這個(gè)問題的解決方案在于開發(fā)全新的智能攝像頭或視覺系統(tǒng)，借助先進(jìn)的視頻分析技術(shù)自動(dòng)監(jiān)測(cè)人群的活動(dòng)，從而能夠立即向中央控制站報(bào)告任何異常事件。

　　設(shè)計(jì)這種智能攝像頭/視覺系統(tǒng)不僅需要標(biāo)準(zhǔn)的成像傳感器和光學(xué)設(shè)備，還需要高性能視頻處理器來(lái)執(zhí)行視頻分析工作。使用這種功能強(qiáng)大的板載視頻處理器的原因在于先進(jìn)視頻分析技術(shù)具有較高的處理要求，大多數(shù)此類技術(shù)通常會(huì)使用計(jì)算密集型視頻處理算法。

　　FPGA 非常適合于此類高性能要求的應(yīng)用。借助賽靈思Vivado Design Suite 中高層次綜合 （HLS） 功能實(shí)現(xiàn)的 UltraFast 設(shè)計(jì)方法，現(xiàn)在可以為 FPGA 輕松創(chuàng)建理想的高性能設(shè)計(jì)。此外，賽靈思 MicroBlaze等嵌入式處理器與 FPGA可重配置邏輯的完美融合，讓用戶現(xiàn)在能夠?qū)⒕哂袕?fù)雜控制流的應(yīng)用方便地移植到 FPGA 上。

　　鑒于這種情況，我們使用 Vivado HLS、賽靈思嵌入式開發(fā)套件 （EDK） 和 ISE Design Suite 中基于軟件的EDA工具，設(shè)計(jì)出一種用于人群運(yùn)動(dòng)分類和監(jiān)測(cè)系統(tǒng)的原型。這種設(shè)計(jì)方法基于我們所認(rèn)為的軟件控制和硬件加速架構(gòu)。我們的設(shè)計(jì)采用低成本的賽靈思 Spartan-6 LX45 FPGA。我們?cè)谳^短時(shí)間內(nèi)即完成了總體系統(tǒng)設(shè)計(jì)，其在設(shè)計(jì)的實(shí)時(shí)性能、低成本和高靈活性方面均展現(xiàn)出頗有前景的結(jié)果。

　　系統(tǒng)設(shè)計(jì)

　　總體系統(tǒng)設(shè)計(jì)分兩個(gè)階段完成。第一階段是開發(fā)人群運(yùn)動(dòng)分類算法。在這個(gè)算法的驗(yàn)證完成后，接下來(lái)是把它實(shí)現(xiàn)到 FPGA 中。在開發(fā)的第二階段，我們主要關(guān)注基于 FPGA 的實(shí)時(shí)視頻處理應(yīng)用的架構(gòu)設(shè)計(jì)方面。具體工作包括開發(fā)實(shí)時(shí)視頻流水線、開發(fā)硬件加速器，最后將二者集成并實(shí)現(xiàn)到算法控制和數(shù)據(jù)流中，從而完成系統(tǒng)設(shè)計(jì)。

　　下面介紹每個(gè)開發(fā)階段，首先從簡(jiǎn)要介紹算法設(shè)計(jì)開始，然后詳細(xì)介紹如何將算法實(shí)現(xiàn)到 FPGA 平臺(tái)上。

　　算法設(shè)計(jì)

　　就人群監(jiān)視和監(jiān)控而言，文獻(xiàn)中提出了多種算法。大多數(shù)此類算法從在人群場(chǎng)景中檢測(cè)（或布置）特征點(diǎn)

　　開始，然后隨時(shí)間推移跟蹤這些特征點(diǎn)，采集運(yùn)動(dòng)統(tǒng)計(jì)數(shù)據(jù)。隨后把這些運(yùn)動(dòng)統(tǒng)計(jì)數(shù)據(jù)投射到一些之前預(yù)先計(jì)算好的運(yùn)動(dòng)模型上，用來(lái)預(yù)測(cè)任何異常活動(dòng) 。進(jìn)一步改進(jìn)包括聚集特征點(diǎn)，跟蹤這些集群而非單獨(dú)的特征點(diǎn)。

　　本文的人群運(yùn)動(dòng)分類算法基于相同的概念，除了我們優(yōu)先使用模板匹配方法進(jìn)行運(yùn)動(dòng)估計(jì)，而不是采用 Kanade-Lucas- Tomasi （KLT） 特征跟蹤器等傳統(tǒng)方法。該模板匹配方法經(jīng)驗(yàn)證表明，增加一些計(jì)算量能顯著改善低對(duì)比度或?qū)Ρ榷炔粩嘧兓闆r下的運(yùn)動(dòng)估計(jì)。

　　為將這一方法用于運(yùn)動(dòng)估計(jì)，我們將視頻幀劃分為更小矩形貼片組成的網(wǎng)格，然后使用基于加權(quán)絕對(duì)差之和 （SWAD） 的方法對(duì)每個(gè)貼片的當(dāng)前圖像和之前圖像進(jìn)行運(yùn)動(dòng)計(jì)算。每個(gè)貼片相應(yīng)地提供一個(gè)運(yùn)動(dòng)向量，用于說(shuō)明該特定位置兩幀之間的運(yùn)動(dòng)范圍和方向。結(jié)果就是需要在整個(gè)圖像上計(jì)算超過(guò) 900 個(gè)運(yùn)動(dòng)向量。計(jì)算這些運(yùn)動(dòng)向量涉及的具體步驟如圖1所示。

　　圖1：計(jì)算運(yùn)動(dòng)向量的步驟，從圖像采集開始（上）

　　此外，我們使用加權(quán)高斯內(nèi)核實(shí)現(xiàn)圖像中遮擋區(qū)和零對(duì)比度區(qū)的可靠性。而且，用于計(jì)算一個(gè)運(yùn)動(dòng)向量的一個(gè)貼片處理工作獨(dú)立于其它貼片的處理工作，因此該方法非常適合使用 FPGA 上的并行實(shí)現(xiàn)方案。

　　在計(jì)算完整個(gè)圖像上的運(yùn)動(dòng)向量后，該算法隨即計(jì)算它們的統(tǒng)計(jì)屬性。這些屬性包括平均運(yùn)動(dòng)向量長(zhǎng)度、運(yùn)動(dòng)向量數(shù)量、運(yùn)動(dòng)的主導(dǎo)方向和類似指標(biāo)。

　　另外我們還計(jì)算了運(yùn)動(dòng)向量方向的 360 度柱狀圖，進(jìn)一步分析其標(biāo)準(zhǔn)偏差、平均偏差和偏差系數(shù)等屬性。這些統(tǒng)計(jì)屬性隨后被投射到預(yù)先計(jì)算好的運(yùn)動(dòng)模型上，從而將當(dāng)前運(yùn)動(dòng)分類到幾大類別之一。隨后我們運(yùn)用多個(gè)幀來(lái)解釋這些統(tǒng)計(jì)屬性，從而確認(rèn)分類結(jié)果。

　　預(yù)先計(jì)算好的運(yùn)動(dòng)模型采用加權(quán)決策樹分類器的形式構(gòu)建，其充分考慮了這些統(tǒng)計(jì)屬性來(lái)對(duì)所觀察到的運(yùn)動(dòng)進(jìn)行分類。例如，如果觀察到運(yùn)動(dòng)速度快而且場(chǎng)景中有動(dòng)量突變，同時(shí)運(yùn)動(dòng)方向隨機(jī)或超出圖像平面，就可以分類為可能的恐慌情況。該算法的開發(fā)工作使用微軟 Visual C++ 配合 OpenCV 庫(kù)完成。算法的完整演示請(qǐng)參閱本文文末提供的 Web 鏈接。