隨著通信網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，基于網(wǎng)絡(luò)的高質(zhì)量視頻傳輸已逐步取代傳統(tǒng)的文字語音交互模式，成為當(dāng)今數(shù)字通信的主要研究領(lǐng)域之一。而隨著嵌入式操作系統(tǒng)和集成電路設(shè)計(jì)水平的不斷提高，嵌入式技術(shù)與通信網(wǎng)絡(luò)以及多媒體技術(shù)的融合將成為未來數(shù)字視頻通信領(lǐng)域的主流發(fā)展趨勢。

一直以來，針對網(wǎng)絡(luò)傳輸實(shí)時(shí)視頻對嵌入式軟硬件都有較高要求。本文利用基于ARM920T內(nèi)核的S3C2440嵌入式微處理器，采用壓縮比更高的H．264視頻壓縮標(biāo)準(zhǔn)和開源嵌入式Linux系統(tǒng)，設(shè)計(jì)了一款基于嵌入式視頻服務(wù)器的遠(yuǎn)程實(shí)時(shí)視頻采集系統(tǒng)。

1 采集系統(tǒng)平臺搭建

1．1 系統(tǒng)硬件平臺

該采集系統(tǒng)以PC作為客戶端，以廣東友善之臂計(jì)算機(jī)科技有限公司研發(fā)的ARM9開發(fā)板Mini2440作為視頻服務(wù)器，采用SamsungS3C2440為微處理器，用專業(yè)穩(wěn)定的CPU內(nèi)核電源芯片和復(fù)位芯片保證系統(tǒng)運(yùn)行時(shí)的穩(wěn)定性。三星公司推出的這款16／32位RISC微處理器S3C2440，采用ARM920T的內(nèi)核，典型主頻400 MHz，最高可達(dá)533 MHz，使用5級流水線技術(shù)，并采用豐富的控制模塊為各種應(yīng)用提供擴(kuò)展。該采集系統(tǒng)的結(jié)構(gòu)如圖1所示。

1．2 系統(tǒng)軟件平臺搭建

PC機(jī)端使用內(nèi)核版本為2．6．18的Linux 5紅帽子企業(yè)版，由于后續(xù)需要在Windows平臺進(jìn)行FTP資料傳輸?shù)裙ぷ鳎圆扇×颂摂M機(jī)安裝Linux的方式，這樣方便Linux和Windows的數(shù)據(jù)網(wǎng)絡(luò)交互。虛擬機(jī)軟件版本為Vmware 6．5．1，采用的傳輸軟件為基于SFTP協(xié)議的Flash Fxp。而交叉編譯工具主要為Binutils、Gcc和Glibc。

一個(gè)嵌入式系統(tǒng)軟件角度主要分為引導(dǎo)加載程序、Linux內(nèi)核和文件系統(tǒng)3個(gè)層次，其中引導(dǎo)加載程序是系統(tǒng)加電后運(yùn)行的第一段軟件代碼。BootLoader就是在操作系統(tǒng)內(nèi)核運(yùn)行之前運(yùn)行的一段程序。在負(fù)責(zé)引導(dǎo)用的Hash存儲器中，通常會按照圖2的順序分布。

因?yàn)楹笃谶M(jìn)行攝像頭驅(qū)動編寫移植過程需要大量的調(diào)試，基于網(wǎng)絡(luò)的NFS根文件系統(tǒng)就比較合適。基于這種考慮，選擇了網(wǎng)絡(luò)功能強(qiáng)大的U-boot作為BootLoader。移植U-boot主要做了以下工作：（1）修改編譯條件，添加寄存器定義，修改時(shí)鐘。（2）修改中斷禁止部分，添加S3C24 40的中斷禁止代碼。（3）在board目錄創(chuàng)建新開發(fā)板目錄。（4）以smdk2410．c為模板修改PLL以及UPLL的設(shè)置。（5）修改Makefile相應(yīng)配置行以支持該開發(fā)板。

修改完畢后進(jìn)入工作目錄進(jìn)行板級配置，通過交叉編譯工具鏈對改后代碼進(jìn)行編譯。利用H-JTAG軟件進(jìn)行燒寫，如圖3所示為燒寫成功并通過超級終端引導(dǎo)完成。

根文件系統(tǒng)掛載方式主要有ramdisk，NFS和initramfs這3種。制作自啟動的嵌入式設(shè)備需要用initramfs作為根文件系統(tǒng)的內(nèi)核進(jìn)行燒寫。先0地址處存放的是U-boot，約為100 kB；然后在0x0000～0x40000存放了約64 kB的環(huán)境變量。這兩項(xiàng)均固定，所以uImage的大小必須控制在1．75 MB以下，并從0x40000開始存放。uImage包括內(nèi)核和根文件系統(tǒng)兩部分，需要針對其進(jìn)行裁減，以符合項(xiàng)目要求。

在嵌入式系統(tǒng)中，BusyBox是構(gòu)造文件系統(tǒng)常用的一個(gè)軟件工具包。本文采用它來構(gòu)建根文件系統(tǒng)。本項(xiàng)目使用的目標(biāo)板內(nèi)核為Linux 2．6．29，但根據(jù)項(xiàng)目自啟動需要進(jìn)行相應(yīng)裁剪，根據(jù)最小系統(tǒng)標(biāo)準(zhǔn)進(jìn)行裁減，串口、網(wǎng)口、根文件系統(tǒng)可用，并保留本文所要求的攝像頭驅(qū)動，裁剪后的內(nèi)核大小為1．3 MB，滿足系統(tǒng)需要，如圖4所示。

2 視頻驅(qū)動編寫以及C／S軟件設(shè)計(jì)

2．1 T．264編碼庫優(yōu)化移植

T．264為中國視頻編碼自由組織聯(lián)合開發(fā)的開源編碼器，它對H．264的特性支持單一，編碼器可輸出標(biāo)準(zhǔn)264碼流，解碼器能解T．264編碼器生成的碼流，它吸收了JM、X264和XVID的優(yōu)點(diǎn)，適用于網(wǎng)絡(luò)流媒體的傳輸。由于本文研究的視頻采集系統(tǒng)應(yīng)用于可視電話視頻會議等應(yīng)用中，對網(wǎng)絡(luò)傳輸?shù)囊筝^高，綜合比較后，選用T．264作為本系統(tǒng)的軟件編碼器。

采用H．264中的基本檔次，僅使用CAVLC熵編碼方式即可滿足應(yīng)用要求。綜合不同平均碼率下的編碼性能以及網(wǎng)絡(luò)傳輸能力的考慮，對于QCIF格式運(yùn)動平緩的視頻序列，編碼輸出幀率為15 f·s-1時(shí)，設(shè)置平均碼率為128 kb·s-1是比較合適的選擇。使用T．264開源編碼器，并對T．264進(jìn)行代碼級優(yōu)化編譯。在編譯級添加了如下選項(xiàng)：（1）-fomit-frame-pointer選項(xiàng)忽略函數(shù)中不必要的幀指針，節(jié)省指令開銷。（2）-04幾乎打開了所有的優(yōu)化選項(xiàng)，以盡可能提高程序運(yùn)行效率。（3）-msoft-float：產(chǎn)生基于浮點(diǎn)運(yùn)算函數(shù)庫調(diào)用的軟浮點(diǎn)目標(biāo)代碼。

2．2 視頻驅(qū)動編寫以及C／S軟件設(shè)計(jì)

采用目前國內(nèi)市場占有率較大的***松翰SONIX613a主控芯片的攝像頭，該攝像頭支持Jpeg格式和4：2：0采樣的YUV原始視頻數(shù)據(jù)輸出，數(shù)據(jù)量小，可直接作為H．264等視頻壓縮編碼標(biāo)準(zhǔn)的原始視頻數(shù)據(jù)源，避免了對圖像的重采樣和色彩空間的變換等復(fù)雜的數(shù)字運(yùn)算處理，適合嵌入式的實(shí)時(shí)視頻采集應(yīng)用。

2．2．1 驅(qū)動程序Gspca的修改移植

Gspca／Spca5xx是自由軟件基金會發(fā)布的通用USB攝像頭驅(qū)動程序。但由于該解決方案在Linux內(nèi)核中并無驅(qū)動支持，所以必須針對其進(jìn)行驅(qū)動的添加和修改，如圖5所示。

2．2．2 C／S軟件設(shè)計(jì)

出于對特定的應(yīng)用對象以及成本的考慮，本文采用基于有線以太網(wǎng)絡(luò)流媒體傳輸H．264視頻的解決方案。采用開源軟件VLC作為流媒體服務(wù)器與客戶端播放器，進(jìn)行單向點(diǎn)對點(diǎn)實(shí)時(shí)視頻通信。圖6為視頻采集系統(tǒng)工作流程圖。

（1）服務(wù)器端軟件設(shè)計(jì)。

視頻采集系統(tǒng)的服務(wù)器端采用后臺控制程序video_server受理客戶端video_client對VLC視頻服務(wù)器的遠(yuǎn)程管理與設(shè)置，通過同一端口（3490）和同一套消息碼進(jìn)行通信。并在系統(tǒng)初始化腳本／etc／init．d／rcS中激活網(wǎng)卡后添加后臺運(yùn)行服務(wù)器控制程序Video Server的命令，使開發(fā)板啟動后在后臺自動運(yùn)行video_server，它首先創(chuàng)建服務(wù)器端的套接口描述符，并與服務(wù)器端口地址及與client端統(tǒng)一的通信端口綁定，接著進(jìn)入服務(wù)響應(yīng)的主循環(huán)體，偵聽套接口數(shù)據(jù)及連接，根據(jù)來自客戶端的消息請求提供不同服務(wù)。video_server軟件流程如圖7所示。

（2）客戶端軟件設(shè)計(jì)。

客戶機(jī)端程序Video Client的運(yùn)行于PC機(jī)平臺，用來向Server端發(fā)送遠(yuǎn)程控制命令。通過遠(yuǎn)程控制命令，可以配置服務(wù)器端的視頻格式碼率和傳輸協(xié)議、啟停服務(wù)器端VLC進(jìn)程、調(diào)本地VLC播放器接收并播放來自服務(wù)器端的視頻圖像等。

針對此程序利用跨平臺界面庫QT設(shè)計(jì)了GUI操作界面，有助于用戶的交互。

由于服務(wù)器端對CIF格式圖像采集及壓縮編碼速度較慢，因此程序僅支持這兩個(gè)檔次QCIF64 kb·s-1、QCIF-128 kb·s-1。設(shè)置完畢，點(diǎn)Connect按鈕，Client向Server發(fā)送附帶服務(wù)器設(shè)置參數(shù)的連接請求，若從Server接收到OK消息，表明server端接受了本地的連接請求并啟動了Server端的VLC服務(wù)器，這時(shí)客戶端將Connect按鈕置為Disconnect按鈕，同叫調(diào)用本地VLC播放器，接收并播放服務(wù)器發(fā)送的視頻數(shù)據(jù)：若從服務(wù)器接收到NOK消息，則出錯(cuò)。服務(wù)器在正常接收和播放服務(wù)器發(fā)送的視頻數(shù)據(jù)時(shí)，若點(diǎn)Disconnect按鈕，則向Server發(fā)送SRV_QUIT請求，同時(shí)關(guān)閉本地的VLC播放器，Server接收到SRV_QUIT消息后，關(guān)閉Server端的VLC服務(wù)器。

整個(gè)系統(tǒng)PC機(jī)是客戶端，基于S3C2440處理器的Mini2440開發(fā)平臺是嵌入式視頻服務(wù)器，Client程序通過以太網(wǎng)連接服務(wù)器，服務(wù)器響應(yīng)請求后啟動VLC進(jìn)行視頻采集并將視頻數(shù)據(jù)傳輸?shù)娇蛻舳耍驝lient程序調(diào)用VLC播放器窗口對接收到的碼流進(jìn)行實(shí)時(shí)播放，正常工作情況如圖8所示。

從視頻圖像幀率上看，經(jīng)過優(yōu)化的T．264編碼器對QCIF視頻平均碼率在128 kbit·s-1時(shí)，編碼速度能夠達(dá)到16 f·s-1，但由于USB攝像頭采集QCIF格式圖像在約13 f·s-1，因此需要在服務(wù)器端設(shè)置壓縮幀率為13 f·s-1，這樣可以保證客戶端以原有幀率解碼視頻流，從系統(tǒng)的整體性能考慮，這個(gè)碼率能夠滿足遠(yuǎn)程教育和視頻監(jiān)控等應(yīng)用。

3 結(jié)束語

研究了嵌入式Linux的開發(fā)技術(shù)，建立起基于Mini2440開發(fā)板的Linux開發(fā)平臺，包括搭建交叉編譯環(huán)境，設(shè)計(jì)裁減移植BootLoader和Linux2．6．29內(nèi)核，構(gòu)建基于BusyBox的根文件系統(tǒng)，開發(fā)針對視頻采集系統(tǒng)的專用攝像頭驅(qū)動。研究了H．264視頻壓縮編碼標(biāo)準(zhǔn)，針對該視頻采集系統(tǒng)對開源的T．264編碼器進(jìn)行編譯和代碼級優(yōu)化，達(dá)到實(shí)時(shí)應(yīng)用要求。研究了基于UDP協(xié)議的網(wǎng)絡(luò)傳輸方案，修改設(shè)計(jì)服務(wù)器端的采集程序和客戶端的視頻解碼播放程序，最終實(shí)現(xiàn)嵌入式視頻采集系統(tǒng)的運(yùn)行。