摘要:為了實現(xiàn)移動視頻監(jiān)控,提出了一種基于智能手機的遠程視頻監(jiān)控系統(tǒng)。介紹了監(jiān)控系統(tǒng)的體系結構和硬件平臺,闡述了嵌入式操作系統(tǒng)Android 應用程序的開發(fā)方法,并結合實際的應用系統(tǒng),重點論述了Android 平臺上視頻監(jiān)控客戶端的設計思路。移植了音視頻解碼庫FFmpeg 進行H. 264 視頻解碼,并采用OpenGL ES 實現(xiàn)實時視頻顯示。在無線局域網(wǎng)絡的環(huán)境下對視頻監(jiān)控終端進行測試,達到了利用手機進行移動視頻監(jiān)控的目的。
隨著多媒體技術、視頻壓縮技術以及網(wǎng)絡傳輸技術的發(fā)展,視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡化、智能化方向持續(xù)發(fā)展,并越來越廣泛地滲透到政府、教育、娛樂、醫(yī)療等領域。目前大部分的網(wǎng)絡視頻監(jiān)控系統(tǒng)是基于WEB 服務器的, 監(jiān)控終端為PC機,用戶使用瀏覽器獲取監(jiān)控服務。由于互聯(lián)網(wǎng)接入地點的限制,普通的網(wǎng)絡視頻監(jiān)控無法滿足用戶在任何時間、任何地點獲取監(jiān)控信息的需求。
參閱相關系列文章
Android系統(tǒng)開發(fā)全攻略(一)
本文介紹了一種以Android 智能手機為終端的視頻監(jiān)控系統(tǒng),該系統(tǒng)將傳統(tǒng)的視頻監(jiān)控與移動多媒體技術相結合,真正實現(xiàn)了移動視頻監(jiān)控。
1系統(tǒng)的結構
本文中的視頻監(jiān)控系統(tǒng)采用C/ S 體系結構。
如圖1 所示,該系統(tǒng)由視頻采集端( 攝像頭),視頻服務器以及監(jiān)控客戶端等構成。
圖1視頻監(jiān)控系統(tǒng)總體結構
視頻服務器是整個系統(tǒng)的核心部分,它將攝像頭采集到的原始模擬信號轉(zhuǎn)換為數(shù)字信號,并對視頻數(shù)據(jù)進行編碼壓縮,最后通過Internet 將壓縮后的數(shù)據(jù)傳送至客戶端。客戶端通過TCP/ IP 協(xié)議訪問服務器,通過對視頻數(shù)據(jù)的接收、解碼以及顯示,實現(xiàn)實時預覽功能。客戶端也可以根據(jù)用戶需求發(fā)送控制命令,實現(xiàn)對前端設備的控制操作,如云臺控制等。
服務器部分采用Hi3515 處理器芯片為硬件平臺,并移植了嵌入式操作系統(tǒng)Linux 作為整個系統(tǒng)運行的軟件環(huán)境。Hi3515 是一款基于ARM9 處理器內(nèi)核以及視頻硬件加速引擎的高性能通信媒體處理器,具有H. 264 和MJPEG 多協(xié)議編解碼能力。
本文以基于Hi3515 的遠程視頻監(jiān)控系統(tǒng)為例,重點介紹了Android 平臺上監(jiān)控客戶端的設計過程。
2Android 開發(fā)介紹
Android 是基于Linux 開放性內(nèi)核的操作系統(tǒng),是Google 公司在2007 年11 月5 日公布的手機操作系統(tǒng)。Android 采用軟件堆層的架構,主要分為三部分:底層以Linux 核心為基礎,提供基本功能;中間層包括函數(shù)庫和虛擬機;最上層是各種應用軟件。
Android 平臺顯著的開放性使其擁有眾多的開發(fā)者,應用日益豐富,不僅應用于智能手機,也向平板電腦、智能MP4 方面急速擴張。
Android 應用程序用Java 語言編寫,每個應用程序都擁有一個獨立的Dalvik 虛擬機實例,這個實例駐留在一個由Linux 內(nèi)核管理的進程中。Dalvik支持Java Native Interface(JNI)編程方式,Android 應用程序可以通過JNI 調(diào)用C/ C++開發(fā)的共享庫,實現(xiàn)“Java+C冶的編程方式。開發(fā)Android 應用程序最簡捷的方式是安裝Android SDK 和Eclipse IDE.
Eclipse 提供了一個豐富的Java 環(huán)境,Java 代碼通過編譯后,Android Developer Tools 會將它打包,用于安裝。
3 監(jiān)控客戶端的設計與實現(xiàn)
基于Android 平臺的監(jiān)控客戶端的總體框架如圖2 所示,分別由網(wǎng)絡通訊模塊、視頻解碼模塊以及視頻顯示模塊等構成。其中網(wǎng)絡通訊模塊接收來自服務器的所有數(shù)據(jù),對數(shù)據(jù)進行解析,并將視頻數(shù)據(jù)存入到視頻緩沖區(qū)。視頻解碼模塊負責從視頻緩沖區(qū)中讀取數(shù)據(jù)并送入H. 264 解碼器進行解碼。最后,采用OpenGL 圖形庫將解碼后圖像繪制到屏幕上實現(xiàn)視頻播放。
圖2客戶端總體框架。
3. 1 H. 264 視頻解碼器的實現(xiàn)
在網(wǎng)絡視頻監(jiān)控系統(tǒng)中,視頻的編碼壓縮是非常必要和關鍵的工作,沒有經(jīng)過壓縮的海量數(shù)據(jù)對網(wǎng)絡傳輸系統(tǒng)來說是無法承受的[7] .H.264 是目前最先進的視頻壓縮算法,它由視頻編碼層VCL 和網(wǎng)絡提取層NAL 兩部分組成。其中,VCL 進行視頻編解碼,包括運動補償預測、變換編碼和熵編碼等;NAL 采用適當?shù)母袷綄CL 視頻數(shù)據(jù)進行封裝打包。H.264 標準對編碼效率和圖像質(zhì)量進行了諸多改進,且抗丟包性能和抗誤碼性能好,適應各種網(wǎng)絡環(huán)境,非常適合于對壓縮率要求高,網(wǎng)絡環(huán)境復雜的移動視頻監(jiān)控。
客戶端接收的數(shù)據(jù)是經(jīng)過H.264 編碼壓縮后的數(shù)據(jù),需要經(jīng)過H.264 解碼還原視頻圖像后才能夠顯示,因此,H.264 解碼器是客戶端的關鍵部分。這里移植了開源的音視頻解碼庫FFmpeg 進行H.264 解碼。在Android 應用程序中使用FFmpeg 的步驟如下:
(1)在Linux 環(huán)境下安裝Android 原生開發(fā)工具包NDK.
(2) 創(chuàng)建jni 文件夾,將FFmpeg 工程復制到文件夾下。創(chuàng)建H264Decoder. c 源文件,提供Android程序使用的接口函數(shù),文件需要包括JNI 的操作頭文件《jni. h 》, 且函數(shù)名有固定的形式, 如com_ipcamera_PreView_H264Decoder 表示com_ipcamera包下面PreView 類中H264Decoder 函數(shù)。
(3)創(chuàng)建Android. mk 文件,該文件包含正確構建和命名庫的MakeFile 說明。分別在LOCAL_SRC_FILES 和LOCAL_C_INCLUDES 項中添加編譯模塊所需源文件和頭文件目錄。
(4)執(zhí)行NDK 開發(fā)包中的ndk鄄build 腳本,生成對應的。 so 共享庫,并復制到Android 工程下的libs/armeabi 目錄下。
(5) 在Android 程序中通過System. loadLibrary(”庫名稱冶)加載所需要的庫,加載成功后,應用程序就可以使用H264Decoder 函數(shù)進行H.264 的解碼。
3. 2 OpenGL ES 繪圖
為了提高繪圖的效率,客戶端使用OpenGL ES實現(xiàn)視頻圖像的顯示。OpenGL ES 是一個2D/3D輕量圖形庫,是跨平臺圖形庫OpenGL 的簡化版。
OpenGL ES 專門針對手機、PDA 和游戲主機等嵌入式設備而設計,目的是為了充分利用硬件加速,適合復雜的、圖形密集的程序。
Android 中使用GLSurfaceView 來顯示OpenGL視圖,該類繼承至SurfaceView 并包含了一個專門用于渲染3D 的接口Renderer,主要通過實現(xiàn)ON鄄DrawFrame、onSurfaceChanged 以及onSurfaceCreated等方法構建所需的Renderer.解碼器解碼一幀圖像后,調(diào)用GLSurfaceView 的requeSTRender 方法通知OpenGL ES 完成視頻圖像的顯示。使用OpenGL 繪圖的核心代碼如下:
3. 3多線程設計
視頻數(shù)據(jù)的接收和解碼都是復雜、持續(xù)的過程,如果其中一個過程出現(xiàn)阻塞會影響整個程序的運行,因此,客戶端使用多線程實現(xiàn)數(shù)據(jù)接收和視頻解碼的并行處理。在整個程序運行過程中,主線程響應用戶操作,負責屏幕刷新工作,并創(chuàng)建兩個子線程:數(shù)據(jù)接收和視頻解碼子線程,處理過程如圖3 所示。
圖3子線程處理流程。
在Java 中, 多線程的實現(xiàn)有兩種方式: 擴展java. lang. Thread 類或?qū)崿F(xiàn)java. lang. Runnable 接口。這里通過繼承Thread 類并覆寫run()方法實現(xiàn)兩個子線程。在多線程的應用中關鍵是處理好線程之間的同步問題,以解決對共享存儲區(qū)的訪問沖突,避免引起線程甚至整個系統(tǒng)的死鎖。Java 多線程主要利用synchronized 關鍵字和wait( )、notify( ) 等方法實現(xiàn)線程間的同步。
4 結束語
目前,該系統(tǒng)已經(jīng)在實驗室進行測試,服務器輸出15fps CIF 格式的H. 264 視頻數(shù)據(jù),客戶端安裝在Android 手機上,通過WIFI 接入無線局域網(wǎng)中與服務器建立連接,用戶界面如圖4 所示,可實現(xiàn)遠程視頻預覽、云臺控制等操作。
圖4 監(jiān)控客戶端
隨著3G 時代的到來,數(shù)據(jù)傳輸速度有了大幅提升,為移動實時視頻業(yè)務的實現(xiàn)創(chuàng)造更好的條件。
手機用戶可以直接接入3G 網(wǎng)絡訪問視頻監(jiān)控服務器,實現(xiàn)移動在線的實時視頻監(jiān)控。由此可見,手機視頻監(jiān)控市場潛力巨大,具有很好的發(fā)展前景。
評論
查看更多