?
從3D著色到影像變形,現(xiàn)今繪圖顯示控制器(GDC)的功能,透過各式各樣的應(yīng)用呈現(xiàn)在使用者的眼前。本白皮書將為您闡述這三種GDC功能,以及它們?nèi)绾芜_(dá)成各種應(yīng)用之目標(biāo)。文章最后將介紹富士通半導(dǎo)體陣容完備的GDC系列產(chǎn)品,還有該公司的360度環(huán)繞視訊影像技術(shù)。現(xiàn)今各種產(chǎn)品研發(fā)業(yè)者最重要的設(shè)計(jì)任務(wù)之一,就是充分發(fā)揮GDC各項(xiàng)功能優(yōu)勢,包括跑步機(jī)、電冰箱、智慧型手機(jī)和汽車等產(chǎn)品。
1 決定嵌入式繪圖架構(gòu)的因素
1.1 成本壓力
汽車產(chǎn)業(yè)是成本相對敏感應(yīng)用領(lǐng)域的一個(gè)很好的例子,對于系統(tǒng)研發(fā)業(yè)者而言,最重要的工作就是降低零組件(BOM)成本。就基本到中階的應(yīng)用而言,研發(fā)業(yè)者可采用系統(tǒng)單芯片(SoC)繪圖控制器來滿足此方面需求,利用這種元件作為單芯片解決方案,這些GDC能透過CAN總線來和其他汽車系統(tǒng)進(jìn)行通訊,并能切換到關(guān)機(jī)的電源模式來節(jié)省電池電力。由于內(nèi)部VRAM記憶體的容量有限,加上各項(xiàng)系統(tǒng)瓶頸(像是總線速度)的限制,因此這些裝置所支援的圖像功能,彈性,像素填充率,以及螢?zāi)怀叽缍紩?huì)受到局限。
?
當(dāng)成本因素的重要性不及效能時(shí),這類應(yīng)用可采用多重芯片架構(gòu)的高階芯片。這些GDC依賴外部車用微控制器來管理CAN傳輸作業(yè),電源,以及像是步進(jìn)馬達(dá)控制器等周邊元件。
此外,由于這些GDC沒有內(nèi)建VRAM與程式快閃記憶體,因此會(huì)利用外部VRAM來支援高效能作業(yè),在未來,運(yùn)用內(nèi)建式VRAM可進(jìn)一步降低高階車用GDC成本。
相較于汽車產(chǎn)業(yè),像是醫(yī)療和航空等領(lǐng)域的應(yīng)用,面臨的成本壓力相對較低。系統(tǒng)研發(fā)業(yè)者可選擇采用獨(dú)立高階GDC芯片,因?yàn)榭蛻粼敢舛嗷ㄒ稽c(diǎn)錢來購買更高效能。若系統(tǒng)一開始設(shè)計(jì)時(shí),需要重復(fù)使用軟體,而是把一個(gè)獨(dú)立GDC放到系統(tǒng)中就是個(gè)不錯(cuò)的作法。
運(yùn)用一顆時(shí)脈速度約1GHz的CPU,像是英特爾的Atom,制造商可在不同產(chǎn)品線上重復(fù)使用一部分的硬體與軟體。有些產(chǎn)品可使用內(nèi)建在CPU內(nèi)的GDC。有些對價(jià)位較敏感的產(chǎn)品,但對效能的要求不是很高,則可采用SoC產(chǎn)品,其中效能強(qiáng)大的CPU整合了GDC處理核心。
1.2 終端客戶的期盼
有些應(yīng)用必須配合智慧型手機(jī)常見的高階繪圖能,此類應(yīng)用之廣包括汽車與各種家電產(chǎn)品。
而在這些應(yīng)用中,系統(tǒng)研發(fā)業(yè)者必須確保GDC能繪制出流暢清晰的影像,讓系統(tǒng)能針對使用者的輸入訊息做快速反應(yīng),因此,若要提供能滿足最終使用者的經(jīng)驗(yàn),GDC就不能成為系統(tǒng)瓶頸,才不會(huì)產(chǎn)生延遲。
基本型與中階的應(yīng)用也許使用真單芯片的系統(tǒng)芯片SoC即足夠。但對于高階應(yīng)用而言,這類元件無法提供足夠效能,因此需要用到含有外部VRAM與快閃記憶體的高階(多芯片架構(gòu))芯片。
若產(chǎn)品的螢?zāi)恢г?4位RGB輸入訊號(hào),則24位RGB輸出功能的GDC可協(xié)助避免頻帶效應(yīng) - 亦即相同顏色的陰影會(huì)出現(xiàn)急劇變化。運(yùn)用24位色彩可確保圖像影像外觀流暢,否則,這樣的應(yīng)用就必須動(dòng)用GDC內(nèi)的抖色功能,來抵銷頻帶效應(yīng)。抖色可在畫面緩沖區(qū)中套用隨機(jī)的雜訊,以避免因有限的色彩深度導(dǎo)致的頻帶效應(yīng)。
盡管流暢鮮明的圖像總是能吸引目光,但像是工業(yè)電子設(shè)備等應(yīng)用,光靠較基本的圖像功能,就能達(dá)到堅(jiān)固易用的設(shè)計(jì)目標(biāo)。在許多應(yīng)用中,較低階的GDC就能提供令人驚艷的效能,而且不會(huì)讓零組件成本攀升。
1.3 繪圖內(nèi)容的性質(zhì) - 靜態(tài)或動(dòng)態(tài)
業(yè)者還必須根據(jù)圖像內(nèi)容的性質(zhì)來挑選GDC。若內(nèi)容屬于靜態(tài),而且能預(yù)先判斷,像是Spirite引擎這類低成本GDC就足堪重任。預(yù)先著色的位元圖可儲(chǔ)存在Sprint GDC的外部快閃記憶體。這類GDC非常適合用來處理不同色彩格式(包括使用色彩查找表或把實(shí)際像素值儲(chǔ)存在畫面緩沖區(qū)),而且還能處理透明與Alpha-blending的作業(yè)。運(yùn)用資源耗用較少的壓縮法,像是RLD(運(yùn)行長度解碼器),可大幅降低預(yù)先著色繪圖的儲(chǔ)存需求,進(jìn)而降低成本。
其他需要?jiǎng)討B(tài)圖像的應(yīng)用,像是地圖或隨機(jī)動(dòng)畫等,其所需內(nèi)容都是當(dāng)場立即決定,這些應(yīng)用需要一個(gè)具備全功能管線的GDC,可透過貼圖(紋理貼圖)2D或3D來著色模型。像是硬體光源與云霧等,也可發(fā)揮這類功能的效益。對于較復(fù)雜的作業(yè)而言,內(nèi)含著色器的圖像引擎可帶來更高彈性。
利用功能完備且具彈性的顯示控制器,不僅能簡化圖像建置的工作,還能支援更好的圖像功能,明確的說,圖像開發(fā)遠(yuǎn)比控制器功能來得簡單,像是彈性圖層法以及支援多圖層與Alpha-blending,還有各種色彩深度。
?
?
1.4 2D或3D圖像
運(yùn)用3D繪圖對于GDC的效能與功能需求會(huì)有顯著影響,例如,3D應(yīng)用需要的頂點(diǎn)處理性能遠(yuǎn)高于2D應(yīng)用,再加上像是貼圖與Mipmap貼圖等功能所需的視野校正,這些都是3D圖像需要的功能(Mipmap是主要貼圖的優(yōu)化與調(diào)整尺寸版本,這種貼圖和主要貼圖儲(chǔ)存在同一處)。它們讓系統(tǒng)不必立即調(diào)整主要貼圖的尺寸,對于效能提升有明顯幫助。
在3D圖像中光是加入?軸座標(biāo),就會(huì)大幅增加處理需求。相較之下,2D繪圖著色的過程則簡單許多,若內(nèi)容屬于靜態(tài),還能預(yù)先著色,就如同本文先前所討論,在2D或3D動(dòng)態(tài)內(nèi)容方面,需要用到一個(gè)全管線化的圖像引擎。
1.5 顯示屏解析度
因?yàn)槌叽巛^大,解析度較高的顯示屏必須處理更多像素,因此采用較大顯示屏的應(yīng)用就需要更快,更強(qiáng)大的GDC。航空與醫(yī)療方面的應(yīng)用,通常在其低階機(jī)種需要640 × 480像素的顯示屏,而在高階機(jī)種中就需要1280 × 1024像素解析度的顯示屏。在汽車市場,低階儀表板與中控臺(tái)的顯示屏尺寸通常為480X272像素,中階機(jī)種為800X480,而高階機(jī)種則為1280x480或更高像素。
1.6 顯示屏數(shù)量
不論是增加單一顯示屏的解析度,或是增加顯示屏數(shù)量,其所涉及到的像素?cái)?shù)量都會(huì)以倍數(shù)增加,并需提高GDC的處理需求。雖然可以運(yùn)用多個(gè)GDC來應(yīng)付需求,但也有某些GDC內(nèi)含的顯示屏控制器能透過單一控制器來支援多個(gè)顯示屏。這些GDC能多工處理視訊輸出資訊,其運(yùn)用兩倍的顯示屏或像素時(shí)脈頻率的速率,就像是處理一個(gè)顯示屏一樣,不過這兩個(gè)顯示屏必須擁有相同的時(shí)序?qū)傩耘c顯示屏解析度。這類GDC對于汽車儀表板相當(dāng)實(shí)用,因?yàn)閮x表板通常有兩個(gè)相同解析度的顯示屏。
另一方面,有些GDC整合了超過一個(gè)顯示屏控制器,能驅(qū)動(dòng)多個(gè)不同時(shí)序與解析度的顯示屏。這類控制器的成本會(huì)低于兩個(gè)獨(dú)立式GDC,設(shè)計(jì)工作也較簡化。這其中一個(gè)典型例子,就是車用抬頭顯示器(HUD),HUD在儀表板上的顯示屏解析度就低于主顯示屏,而也有一種汽車應(yīng)用是運(yùn)用單一GDC來控制儀表板與中控臺(tái)顯示屏。
?
1.7 視訊擷取的需求
GDC針對不同的顯示屏影像輸入來源提供各種功能,包括攝像頭或其他訊號(hào)來源。有些GDC整合了必要的模擬電路來支援模擬式NTSC(美規(guī))/ PAL(歐規(guī))的影像輸入訊號(hào),這些控制器對于基本視訊擷取應(yīng)用而言相當(dāng)實(shí)用。而其他GDC則支援?dāng)?shù)位YUV / RGB視訊格式,或需搭配AD轉(zhuǎn)換器。
對于需要擷取多重視訊的應(yīng)用而言,可采用較高階的GDC,這類元件整合多個(gè)視訊擷取單元,其顯示屏控制器亦必須更強(qiáng)大,才能處理多重輸入訊號(hào),并把視訊串流重疊到影像上。
汽車抬頭顯示器就是這種功能的另一項(xiàng)應(yīng)用。由于影像投射在擋風(fēng)玻璃上,為了配合擋風(fēng)玻璃的曲度,其影像的調(diào)整處理過程便會(huì)類似魚眼校正。
影像的變形需要有內(nèi)建3D功能的GDC來調(diào)整。若GDC能調(diào)整視訊影像的解析度高低,對系統(tǒng)會(huì)很有幫助。
支援多重?cái)z影處理的全景系統(tǒng)提升駕駛輔助系統(tǒng)之功能
另一項(xiàng)特殊應(yīng)用可能成為未來汽車的重要功能,就是利用裝在車體四周的多部攝影機(jī),將其輸入影像結(jié)合成一張圖像。這種應(yīng)用中的系統(tǒng)必須要能處理高解析度視訊,再加上各種特殊影像處理功能,以接合成一張環(huán)繞全景的影像。
理想的解決方案,是采用一個(gè)能夠支援多重視訊輸入格式,并具備高速影像處理功能的GDC,這種方案不需要外部FPGA就能建置這些功能,并達(dá)到必要效能,將3D著色功能納入GDC內(nèi),系統(tǒng)便可將接合影像對應(yīng)到碗狀表面,以顯示出逼真,無扭曲的360度車體四周環(huán)繞影像。
?
1.8 特殊需求
在許多情況中,各種特殊需求也會(huì)影響GDC的選擇。本章節(jié)接下來將會(huì)介紹這些需求。
1.8.1 影像變形調(diào)整
攝影機(jī)本身就存在鏡頭魚眼扭曲的問題,導(dǎo)致拍出的影像出現(xiàn)變形。若攝影機(jī)沒有內(nèi)建功能來校正此問題,GDC就必須運(yùn)用一種名為影像變形的功能來校正扭曲影像,此過程會(huì)將輸入視訊影像對應(yīng)到3D表面,借以消除魚眼扭曲。如下圖所示,圖像表面是由一組包含(X,Y,Z)座標(biāo)點(diǎn)的模型網(wǎng)格所產(chǎn)生。
?
1.8.2 安全應(yīng)用
在汽車產(chǎn)業(yè),像是影像增強(qiáng)與物體偵測等功能,可協(xié)助防范意外與拯救性命。建置這類功能,需要?jiǎng)佑肎DC內(nèi)部的特殊影像處理模塊。
世界許多地區(qū)的管理當(dāng)局規(guī)定許多安全功能,像是簽章單元 - 這種檢查碼功能可確保圖像內(nèi)容顯示在顯示面板上的正確位置。將這種功能內(nèi)建在系統(tǒng)中,可節(jié)省成本以及CPU耗用資源。
1.8.3 支援舊硬體/軟體和獨(dú)立GDC需求
某些應(yīng)用必須重復(fù)使用先前設(shè)計(jì)案的CPU,借以支援各種舊型需求,而且無法重頭開始設(shè)計(jì)。這些應(yīng)用通常可善加運(yùn)用獨(dú)立式GDC,這類GDC沒有內(nèi)建CPU,而且可透過記憶體, PCI,或PCI Express的總線來和舊型CPU進(jìn)行通訊。這種方式能支援可擴(kuò)充設(shè)計(jì),與各種不同效能和功能組合。
1.8.4 序列鏈路連結(jié)遠(yuǎn)端顯示屏
有些應(yīng)用需要連結(jié)遠(yuǎn)離GDC的遠(yuǎn)端顯示屏,這類產(chǎn)品需要利用像是APIX這類高速序列總線,來把視訊內(nèi)容傳送到顯示屏。這種組態(tài)讓系統(tǒng)能采用客戶機(jī)/服務(wù)器架構(gòu),由GDC扮演主控端,而顯示屏則是從屬端。分頭獨(dú)立開發(fā)從屬端與主控端系統(tǒng),將有助于降低主控端的軟體與檢驗(yàn)成本,因?yàn)橛∷㈦娐钒蹇芍貜?fù)用在整個(gè)系列的多款產(chǎn)品上。如果高速序列輸出功能是整合在GDC內(nèi),這類建置方案將會(huì)非常有用。
?
2 富士通的GDC方案
如下圖所示,富士通提供眾多GDC,涵蓋各種類型的應(yīng)用,包括高階型到基本型。在每個(gè)類型當(dāng)中,富士通均提供一款適合各類型應(yīng)用的系統(tǒng)芯片,整合CPU,GDC,以及各種周邊元件,這些元件將在以下章節(jié)詳細(xì)介紹。如果系統(tǒng)并不需要從基礎(chǔ)開始組裝,而且必須延用一部分的舊元件,富士通的全系列獨(dú)立GDC會(huì)是極具吸引力之方案。
?
2.1 以下產(chǎn)品適合支援需要基礎(chǔ)且獨(dú)立之GDC且對成本敏感之應(yīng)用
MB86291“Scarlet”是一款第二代GDC,具備3D著色功能以及一個(gè)幾何座標(biāo)處理器,此款元件支援視訊輸出與輸入功能。2MB的內(nèi)建VRAM記憶體可節(jié)省PCB空間與成本。
MB86276“Lime”與MB86277“Mint”是沒有內(nèi)建幾何座標(biāo)處理器的GDC,但仍支援z-buffer元件。Lime能同時(shí)驅(qū)動(dòng)兩個(gè)多工顯示屏。Lime與Mint(以及Scarlet)擁有SRAM介面來連結(jié)外部CPU。
MB88F332“Indigo”是APIX應(yīng)用的專屬元件,它具備所有汽車必要的微控制器周邊元件,包括脈沖調(diào)變器(PWM),步進(jìn)馬達(dá)控制器,類比至數(shù)位轉(zhuǎn)換器(ADC)等。
MB88F333“Indigo- L”是Indigo的低成本版本,它采用相同架構(gòu),但結(jié)合一組優(yōu)化的周邊元件,并采用較小封裝來降低成本。
富士通的中階應(yīng)用方案可兼顧成本,功能,以及效能:
MB8629x“Coral”系列的GDC屬于全功能獨(dú)立式3D產(chǎn)品,這些GDC運(yùn)作時(shí)頻率166MHz。
富士通的高階獨(dú)立式GDC提供卓越的效能與/或支援適合的專屬應(yīng)用。所有這些獨(dú)立式產(chǎn)品都能運(yùn)用GDC搭配外部CPU:
MB86297“CARMine”是一款極強(qiáng)大的OpenGL ES的1.1產(chǎn)品,支援兩個(gè)獨(dú)立視訊輸入與輸出端
MB86298“Ruby”是最新的獨(dú)立式GDC,采用的OpenGL ES 2.0核心,并內(nèi)建著色器引擎,這款產(chǎn)品支援四個(gè)獨(dú)立視訊輸入與兩個(gè)視訊輸出端。
富士通的GDC產(chǎn)品將CPU、GDC,以及周邊元件,都整合到一顆單芯片中,可提供高整合度以及具吸引力之成本:
MB91590“Sapphire”采用富士通的專利32位元RISC微控制器,并內(nèi)建一個(gè)雙核心GDC,包含位元模塊轉(zhuǎn)換器(位塊傳送或BLT),以及Sprite引擎。而其SoC芯片整合1MB的快閃記憶體與800KB的VRAM記憶體,并提供一個(gè)外部介面來連結(jié)平行或串行式快閃記憶體。Sapphire對于基本產(chǎn)品而言非常實(shí)用,讓這類產(chǎn)品能采用預(yù)先著色的圖像內(nèi)容,可驅(qū)動(dòng)較小的顯示屏。由于Sapphire亦支援類比與數(shù)位攝像頭輸入,因此對于簡單的攝影機(jī)應(yīng)用而言相當(dāng)實(shí)用。
在中階應(yīng)用方面,MB86R0x“Jade Family”系列提供多功能,低成本的芯片解決方案,此系列元件具備333MHz的的ARM926EJ - S強(qiáng)大的CPU,并內(nèi)含一個(gè)完整的3D圖像引擎。Jade系列支援獨(dú)立的雙視訊輸入與輸出端,此系列中的一款元件,B86R02“Jade- D”支援APIX,另一款MB86R03“Jade- L”則建置適合低成本系統(tǒng)的功能。Jade相當(dāng)適合支援中階應(yīng)用,這類應(yīng)用須處理動(dòng)態(tài)內(nèi)容并需要3D管線,但屏幕解析度則屬于800 × 480的等級(jí)。此系列元件亦支援較高的屏幕解析度 - 最高達(dá)1280x768的像素。由于其結(jié)合視訊擷取與3D功能,使此系列元件能處理影像變形功能,可校正攝影機(jī)或屏幕的扭曲。
MB86R1x“Emerald Family”是富士通最新的2D/3D 繪圖SOC芯片,整合了GDC與GPU。此款尖端元件包含一個(gè)強(qiáng)大的ARM的Cortex - A9處理器,時(shí)脈高達(dá)533MHz,并含有的OpenGL ES 2.0技術(shù)與著色器圖形引擎。Emerald擁有4個(gè)獨(dú)立視訊輸入端,以及3個(gè)獨(dú)立視訊輸出端,它還提供豐富的周邊組合。這些功能讓Emerald成為極具吸引力的元件,能為高解析度的屏幕提供動(dòng)態(tài)與精采的3D內(nèi)容。由于支援多重視訊輸入與內(nèi)建影像處理功能,Emerald亦適合用在多重?cái)z影機(jī)的駕駛輔助系統(tǒng)與安全應(yīng)用。Emerald- L與Emerald- P的主要差別,是Emerald- P速度較快,CPU主頻533MHz,且具備APIX介面來支援高速序列像素鏈路。Emerald-L的CPU主頻是400MHz。
2.2 富士通的360度環(huán)繞視訊影像技術(shù)
一組專門針對多重?cái)z影機(jī)先進(jìn)駕駛輔助系統(tǒng)之工具組
富士通亦提供360度環(huán)繞視訊影像技術(shù),作為一種多重?cái)z影機(jī)駕駛輔助與安全應(yīng)用,這種技術(shù)亦整合成富士通的繪圖芯片功能組。富士通的技術(shù)采用先進(jìn)的3D演算法,把四部攝影機(jī)的影像結(jié)合,組成一個(gè)涵蓋360度的全方位車輛圍繞視圖。富士通的技術(shù)具備一項(xiàng)重要?jiǎng)?chuàng)新,就是能提供動(dòng)態(tài)更新的可自設(shè)視角,或“自由視角點(diǎn)”。系統(tǒng)研發(fā)業(yè)者與駕駛?cè)丝衫谩白杂梢暯屈c(diǎn)“來選擇特定駕駛情境下的最佳視角 - 包括虛擬三維之”第三者“視角,可同時(shí)看到車輛與四周影像。
?
3 結(jié)語
總結(jié)來說,現(xiàn)今極廣泛的GDC功能,讓元件選擇成為應(yīng)用開發(fā)的一個(gè)重要環(huán)結(jié)。富士通協(xié)助簡化這種選擇工作,針對各種應(yīng)用提供許多量身打造的GDC選擇,這些GDC產(chǎn)品都具備多元功能,并且獲得業(yè)界肯定,具備競爭力與成本效益。
評(píng)論
查看更多