“嵌入式視覺”這一名詞是指在嵌入式系統(tǒng)中使用計算機視覺技術(shù)。換句話說,“嵌入式視覺”是指從視覺輸入中提取出其背后含義的嵌入式系統(tǒng)。與過去10年中無線通信技術(shù)的流行相類似,嵌入式視覺技術(shù)有望在今后10年得到廣泛應用。而在實際的應用系統(tǒng)中,嵌入式視覺技術(shù)如何才能發(fā)揮它的真正潛力呢?
在缺乏共通標準而使嵌入式視覺技術(shù)發(fā)展受阻之際,需要一種兼容各層面功能的標準,才能真正開啟并普及嵌入式視覺應用。例如,如果基于手勢的用戶介面變得普及,對于用戶而言,能夠使用一套具有多種不同機制的通用手勢功能將會變得十分重要。而如果3D成像成為視覺應用的共同工具,那么不管使用什么樣的傳感器,我們都將必須為視覺應用找到一個重現(xiàn)3D圖形數(shù)據(jù)的共同方式。
而對于嵌入式視覺系統(tǒng)所用的處理器,視覺演算法與應用大大地延伸了處理器性能要求的范圍,就運算能力的這一點而言,處理器的性能至關(guān)重要。但當你跨越學術(shù)研究到實際系統(tǒng)的鴻溝,采用先進演算法以即時執(zhí)行視頻輸入時,卻不可避免地會消耗掉許多的處理功率。在許多嵌入式系統(tǒng)中,設計人員面臨著尺寸、功耗與成本等嚴苛的限制條件,因此,能夠以低成本與低功耗提供充份的處理能力是至關(guān)重要的。
而在其它一些要求大量運算的嵌入式處理領(lǐng)域──如隨即浮現(xiàn)于我腦海中的消費性視頻設備──在某種程度上而言,演算法是標準化的。這意味著芯片設計人員可以使用功能固定的硬件加速器和協(xié)同處理器,以低功耗和低成本提供大量的處理器運算性能。
但在視覺應用方面,不同的應用之間往往采用不同的演算法,甚至是在同一款應用中,所用的演算法也可能因設計不同或時間不同而異。因此,除了極其少數(shù)的一些大量應用以外,功能固定的硬件往往無法作為解決方案。在嵌入式視覺系統(tǒng)中,我們需要的處理器必須能夠以低成本與低功耗,提供每秒數(shù)十億次即時運算處理性能,并具有彈性化的可編程性能。過去幾年來,已經(jīng)有這樣的處理器問世,并可協(xié)助嵌入式視覺技術(shù)進一步導入主流應用中。
處理器類別的選擇
視覺算法通常需要很強的計算能力。當然,所有的嵌入式系統(tǒng)一般都受限于嚴格的成本和功耗要求。在其他DSP應用領(lǐng)域,例如,數(shù)字無線通信等,芯片設計人員使用專用協(xié)處理器和加速器來完成應用所要求的苛刻的處理任務,同時滿足了高性能、低成本和低功耗需求,從而解決了這一難題。但是,芯片用戶一般不能對這些協(xié)處理器和加速器進行編程。
無線應用通常能夠接受這些優(yōu)缺點,無線應用標準意味著不同設備設計人員使用的算法之間有很強的共性。然而在視覺應用中,對算法的選擇并沒有標準約束。相反,一般可以選擇很多方法來解決某一特殊的視覺問題。因此,視覺算法是非常多樣的,往往隨著時間的變化而迅速變化。結(jié)果,與數(shù)字無線和以壓縮技術(shù)為主的消費類視頻設備等應用相比,視覺應用并不傾向于采用非可編程加速器和協(xié)處理器。
但是很難同時實現(xiàn)高性能、低成本和低功耗以及可編程功能。專用硬件通常能夠以低成本實現(xiàn)高性能,但是可編程能力較弱。通用CPU具有可編程能力,但是性能較差,性價比不高,能效也較低。要求較高的嵌入式視覺應用通常結(jié)合使用多個處理單元,例如,可能會包括:
●通用CPU,用于啟發(fā)式復雜判決、網(wǎng)絡訪問、用戶接口、存儲管理和總體控制等。
●高性能數(shù)字信號處理器,用于實時中等速率處理,不太復雜的算法等。
●用于簡單算法像素速率處理的一個或者多個高度并行的引擎。
任何處理器在理論上都可以用于嵌入式視覺,目前最有可能的類型是:
●高性能嵌入式CPU
●專用標準產(chǎn)品(ASSP)與CPU相結(jié)合
●具有CPU的圖形處理單元(GPU)
●具有加速器以及CPU的數(shù)字信號處理器
●移動“應用處理器”
●具有CPU的現(xiàn)場可編程門陣列(FPGA)
各類處理器,及其在嵌入式視覺應用上的關(guān)鍵優(yōu)缺點
高性能嵌入式CPU
在很多情況下,嵌入式CPU不能提供足夠的性能實現(xiàn)要求較高的視覺算法——也不能夠以可以接受的價格或者功耗來滿足性能要求。通常,存儲器帶寬是關(guān)鍵性能瓶頸,因為視覺算法通常使用大量的數(shù)據(jù),不會重復訪問相同的數(shù)據(jù)。嵌入式CPU的存儲器系統(tǒng)無法設計適應這類數(shù)據(jù)流。然而,與大部分處理器相類似,隨著時間的推移,嵌入式CPU的性能在逐漸增強,在某些情況下,能夠提供足夠的性能。
在可能的情況下,有足夠的理由在CPU上運行視覺算法。首先,大部分嵌入式系統(tǒng)需要CPU來實現(xiàn)各種功能。如果所需要的視覺功能能夠通過這種CPU來實現(xiàn),那么,相對于多處理器解決方案相比,這降低了系統(tǒng)的復雜度。而且,大部分視覺算法一開始是在PC上開發(fā)的,使用了通用CPU及其相關(guān)的軟件開發(fā)工具。PC CPU和嵌入式CPU (及其相關(guān)的工具)之間的相似性意味著,與其他類型的嵌入式視覺處理器相比,一般比較容易在嵌入式CPU上通過嵌入方式實現(xiàn)視覺算法。最后,嵌入式CPU 使用起來通常比其他類型的嵌入式視覺處理器更簡單,這是因為其相對直觀的體系結(jié)構(gòu)、成熟的工具以及其他的應用開發(fā)基礎支持平臺等,例如,操作系統(tǒng)。
結(jié)合了CPU的ASSP
ASSP 是專用、集成度很高的芯片,定制用于特殊應用或者專業(yè)應用。ASSP可以采用CPU,或者使用單獨的CPU芯片。憑借專業(yè)化,與其他類型的處理解決方案相比,ASSP通常具有優(yōu)異的成本和能效。在其他技術(shù)中,ASSP通過使用專用協(xié)處理器和加速器來提高效率。而且,由于ASSP主要集中在專業(yè)應用上,因此,通常需要大量的應用軟件。
這種專業(yè)化使得ASSP能夠?qū)崿F(xiàn)很高的效率,但是,也帶來了很大的局限:缺乏靈活性。設計用于某一應用的 ASSP一般不能用于其他應用,甚至目標應用相關(guān)的應用。ASSP使用唯一的體系結(jié)構(gòu),與其他類型的處理器相比,更難進行編程。實際上,某些ASSP并不支持用戶編程。另一方面的考慮是風險問題。ASSP通常由小供應商提供,這可能會增加難以提供芯片的風險,或者無法提供后續(xù)產(chǎn)品以幫助系統(tǒng)設計人員更新其設計,設計人員不得不從頭開始進行設計。
具有CPU的GPU
GPU主要是用于3D圖形,并且越來越多的用于實現(xiàn)其他功能,例如,視覺應用等。目前,個人計算機的GPU傾向于可編程,除了3D圖形還能完成其他功能。這類GPU被稱為“通用GPU”,或者“GPGPU”。 GPU有很強的并行處理能力。它們在個人計算機上是獨一無二的。可以免費使用GPU軟件開發(fā)工具,從GPGPU開始進行編程并不是很復雜。出于這些原因,在PC上第一次開發(fā)其計算機視覺算法的開發(fā)人員通常采用GPU作為并行處理引擎,他們出于仿真或者原型開發(fā)的目的,需要加速算法的執(zhí)行。
GPU 緊密集成了通用CPU,有時候是在同一芯片上。然而,GPU芯片的一種局限是目前能夠集成的CPU類型有限,而且支持這類集成的CPU操作系統(tǒng)也很有限。目前,可以提供設計用于智能電話和平板電腦等產(chǎn)品的低成本、低功耗GPU。但是,這些GPU一般不是GPGPU,因此,除了3D圖形之外,將其用在其他應用中有很大的難度。
具有加速器以及CPU的數(shù)字信號處理器
數(shù)字信號處理器是專門用于信號處理算法和應用的微處理器。對于視覺應用核心的信號處理等任務,這種專業(yè)化使得數(shù)字信號處理器的效率要遠遠高于通用CPU。而且,與其他類型的并行處理器相比,數(shù)字信號處理器相對比較成熟,使用起來更方便。
但是,雖然數(shù)字信號處理器在視覺算法上的性能和效率要高于通用CPU,但仍然難以提供足夠的性能來滿足算法要求。出于這一原因,DSP一般需要一個或者多個輔助協(xié)處理器。因此,視覺應用中一個典型的DSP芯片包括了CPU、數(shù)字信號處理器以及多個協(xié)處理器。這種異質(zhì)結(jié)合能夠產(chǎn)生很好的性能和很高的效率,但也難以編程。實際上,DSP供應商一般不支持用戶對協(xié)處理器進行編程;而是讓協(xié)處理器運行芯片供應商開發(fā)的軟件函數(shù)庫。
移動“應用處理器”
移動“應用處理器”是集成度非常高的芯片系統(tǒng),一般主要設計用于智能電話,而不是其他應用。應用處理器通常包括高性能CPU內(nèi)核,以及各種特殊的協(xié)處理器,例如,數(shù)字信號處理器、GPU、視頻處理單元(VPU)、2D圖形處理器,以及圖像采集處理器等。
這些芯片專門針對電池供電應用進行了設計,因此,能效非常高。而且,由于圍繞智能電話和平板電腦的應用越來越重要,因此,移動應用處理器一般有很強的軟件開發(fā)基礎支持平臺,包括,低成本開發(fā)電路板、Linux和Android端口等。然而,正如前面章節(jié)對數(shù)字信號處理器的討論,應用處理器中的專用協(xié)處理器一般不是用戶可編程的,限制了它們在視覺應用中的發(fā)展。
具有CPU的FPGA
FPGA是靈活的邏輯芯片,可以在門級和模塊級進行重新配置。這一靈活性使得用戶能夠隨時實現(xiàn)定制滿足應用需求的計算結(jié)構(gòu)。它還支持選擇滿足應用需求的I/O接口和片內(nèi)外設。能夠定制計算結(jié)構(gòu),結(jié)合現(xiàn)代FPGA中大量的資源,同時實現(xiàn)了高性能和良好的性價比和能效比。
但是,使用FGPA實際上是硬件設計功能,而不是軟件開發(fā)工作。一般在寄存器傳送級(RTL)使用硬件描述語言(Verilog或者VHLD)來進行 FPGA設計,寄存器傳送級是很低的抽象級。與使用本文討論的其他類型的處理器相比,這使得FPGA設計非常耗時,成本也高。
雖然如此,使用FPGA越來越方便了,這是由多種因素造成的。首先,是所謂的“IP模塊”庫——可重用FPGA設計組件庫,其功能越來越強大了。在某些情況下,這些庫能夠直接滿足視覺算法要求。在其他一些應用中,它們還支持視頻I/O端口或者掃描線緩沖等功能。而且,F(xiàn)GPA供應商及其合作伙伴提供了越來越多的參考設計——采用了FPGA的可重用系統(tǒng)設計,面向?qū)I(yè)應用。最后,利用高級綜合工具,設計人員使用高級語言,在FPGA中實現(xiàn)視覺和其他算法,而且效率越來越高。用戶可以在FPGA中實現(xiàn)性能相對低一些的CPU。而且,在少量的應用中,F(xiàn)PGA制造商在器件中集成了高性能CPU。
傳感器扮演什么角色?
很明顯,圖形傳感器是嵌入式視覺技術(shù)的關(guān)鍵。圖形傳感器在近年來已變得比較不那么昂貴了,這主要可歸功于行動電話普遍且大量且地采用了圖形傳感器。除了傳統(tǒng)的圖形傳感器以外,許多視覺應用都可以利用各式各樣的傳感器。例如,3D傳感器在微軟Kinect的應用即其一例,3D傳感器可說是許多應用的一大福音,因為有了3D影像后確實簡化了一些視覺任務。
在深入探索嵌入式系統(tǒng)以前,必須先具備哪些電腦視覺知識呢?
大多數(shù)的嵌入式系統(tǒng)設計工程師并不了解嵌入式視覺技術(shù)具有什么樣的能力。這是因為,一直到最近以前,在大多數(shù)的嵌入式系統(tǒng)中使用視覺技術(shù)仍不切實際;它畢竟還是太昂貴了。而今,為一系列廣泛的各種系統(tǒng)進一步納入視覺性能,在經(jīng)濟上已經(jīng)變得較為可行了;因此,對于系統(tǒng)設計者而言,熟悉這項技術(shù)、并進一步了解這項技術(shù)能做些什么是相當重要的。
早期采用視覺技術(shù)的工程師們現(xiàn)在已經(jīng)可以拿出一些令人驚喜的新產(chǎn)品和產(chǎn)品功能了。當然,工程師們不僅需要了解視覺技術(shù)能做什么,同時也要學會如何把視覺技術(shù)整合于自己的產(chǎn)品中。在這方面,目前雖然已經(jīng)累積了一些龐大的出版文獻可供參考,但其中絕大多數(shù)都是學術(shù)研究出版品,以及一些通常不適合協(xié)助工程師用于構(gòu)建解決方案的文獻。工程師們需要的是更實際的資訊,如指導方針、設計實例、架構(gòu)圖以及樣本程式碼等。
嵌入式視覺系統(tǒng)開發(fā)平臺
從頭開始打造一款視覺系統(tǒng)或子系統(tǒng),可說是一項龐大且復雜的工作。你必須從像影像傳感器與處理器等這一類的基本元素開始,以及從無到有著手建立一種演算法。這對于資源的利用而言,并不是非常有效率的作法,特別是因為在視覺應用中還存在著不斷周而復始出現(xiàn)的共同問題。
工程師們最好不要選擇這種卷土重來的做法,他們應該能夠針對特定應用的一些共同元素,重新使用業(yè)經(jīng)驗證的解決方案,然后再將自己的專才發(fā)揮在其設計獨特之處。我個人認為,這意味著我們需要專門針對視覺應用的先進開發(fā)平臺,例如,其中包括開發(fā)板以及合適的處理器、記憶體、I/O和圖形傳感器的視覺開發(fā)平臺。同時還伴隨有建置一個或多個視覺應用案例的應用軟件。此外,這一視覺開發(fā)平臺也提供了源代碼,使工程師們能夠參考這些范例應用立即開始工作,并對其設計進行修改,或添加所需的獨特功能。
這種開發(fā)平臺還將包括強大的開發(fā)工具,讓工程師們在定義所需的功能時,能夠作業(yè)于更高的抽象層,無需犧牲太多性能。同時,完整的開發(fā)平臺還提供一個最佳化視覺建構(gòu)功能的豐富工具庫。
先進的開發(fā)平臺將帶來莫大助益,以實現(xiàn)并加速視覺功能的普及。
總結(jié)
采用嵌入式視覺,業(yè)界進入了一種“良性循環(huán)”,這是很多其他DSP應用領(lǐng)域的特點。目前雖然很少有專門用于嵌入式視覺應用的芯片,但是,這些應用越來越多的采用了針對其他應用開發(fā)的高性能、高性價比處理芯片,包括,數(shù)字信號處理器、CPU、FPGA和GPU等。這些芯片單位成本、單位功率的可編程性能越來越高,因此,能夠支持實現(xiàn)大批量嵌入式視覺產(chǎn)品。這些大批量應用也相應的引起了硅片提供商更多的關(guān)注,他們會提供更好的性能、更高的效率和可編程處理能力。
?
評論
查看更多