1. 引言
隨著市場對更高圖像質量的需求不斷增加,成像技術持續發展,各種新興技術(例如3D、計算、運動和紅外線)的不斷涌現。如今的成像應用對高質量、易用性、能耗效率、高集成度、快速上市和成本效益提出了全面要求。為了滿足這些要求,STM32 MCU 內置的數字照相機接口(DCMI),能夠高效連接并行照相機模塊。
對于使用STM32 DCMI 開發相機應用的客戶,經常有以下問題:STM32 DCMI 最大支持的像素時鐘是多少?STM32F4/F7/H7/U5 能支持1280×720 的相機分辨率嗎?最大的幀率是多少?如何判斷所設計的應用產生的帶寬是否能充足?相機輸出是選擇8 位、10位、12 位、還是14 位?
針對這些問題,本文檔從DCMI 使用的幾個方面,介紹了STM32 DCMI 在連續抓取模式下帶寬的估算,以及提升性能需要注意的事項。客戶在設計相機應用時可以參考。2.STM32 DCMI
STM32 數字照相機接口(DCMI)采用同步并行數據總線。它可以輕松集成并適應相機的特殊應用要求。DCMI 可連接8、10、12 和14 位CMOS 照相機模塊,并支持多種數據格式:8/10/12/14 位逐行視頻、YCbCr4:2:2 逐行視頻、RGB565 逐行視頻、JPEG 等。像素最大支持16 位色深。
2.1. STM32 智能架構中的DCMI
DCMI 應用需要用幀緩沖區來存儲采集的圖像。必須根據圖像大小和傳輸速度使用合適的目標存儲區。在某些應用中,必須連接外部存儲器(SDRAM),以便提供較大的數據存儲空間。對于支持DMA2D(Chrom-ART Accelerator?控制器)的STM32 系列,也可以用它做色彩空間轉換(例如RGB565 至ARGB8888),或使用DMA 從一個存儲區到另一個存儲區的數據轉移。
下面圖1 是STM32F2x7 系列智能架構中DCMI 的例子。這里DCMI 通過AHB2 外設總線連接到AHB 總線矩陣。DMA2 主控訪問DCMI,將DCMI 接收到的圖像數據傳輸到內部RAM 或外部SDRAM 中,具體目標位置取決于應用。
圖1. STM32F2x7系列智能架構中的DCMI從設備AHB2外設
2.2. DCMI 最大像素時鐘頻率
STM32 DCMI支持的像素時鐘頻率,與AHB時鐘頻率比值必須小于0.4。具體的像素時鐘頻率最大值要查詢所用STM32的數據手冊。下面表1中列出了部分STM32系列DCMI最大像素時鐘頻率及相關可用資源的信息。如需更詳細信息,請參考相應的參考手冊/數據手冊。
表1. DCMI及相關可用資源
2.3. DCMI 支持的圖像分辨率
STM32 DCMI僅對輸入像素時鐘頻率有硬件限制(DCMI_PCLK / fHCLK 最大0.4),對圖像的分辨率沒有限制。DCMI連續抓取模式下,圖像分辨率會影響幀率(幀率的大小會影響視頻的流暢度)。在固定的像素時鐘頻率下,高分辨率圖像的帶寬需求較高,對應的幀率則會下降。或者說,在相同的圖像分辨率下,提高幀率需要相應地提高像素時鐘頻率。例如下表2(摘自三星S5K5CAGA CMOS Image Sensor的數據手冊)所示,大家可以從中了解S5K5CAGA的像素頻率、圖像分辨率、幀率的關系(非RGB888,16位色深)。另外,圖像分辨率主要通過設置相機的輸出格式進行修改。
表2. S5K5CAGA YUV/RGB565像素時鐘頻率與幀率
對于中高分辨率的圖像,一般采用雙緩沖區或多緩沖區模式。這個主要原因是因為DCMI使用的DMA計數寄存器SxNDTR使用了16位用于計數。最大0xFFFF,即 65535 ,單位為32位Word,當圖像分辨率超過65535 Words(262140字節)時,則要使用雙緩沖區或多緩沖區模式。雙緩沖區地址由DMA_SxM0AR/DMA_SxM1AR設定。多緩沖區時,則需要動態交替DMA_SxM0AR/DMA_SxM1AR,使之指向圖像緩沖區的不同存儲位置,相當于分塊存儲。
2.4. DCMI 帶寬與性能
使用DCMI的相機應用,使用連續抓取模式,功能往往是由相機連續輸出所攝圖像數據流到STM32,STM32 DCMI捕獲視頻流后,再輸出到屏幕顯示(如監控)或做圖像數據處理、傳輸等。如果相機輸出的是高像素高色深高幀率的視頻流,DCMI在接收過程中,如不能及時處理,DCMI FIFO即會產生溢出錯誤(Overrun),進而導致圖像數據丟失,幀率下降等問題。
2.4.1. DCMI 帶寬與性能
DCMI帶寬計算公式為:帶寬 = 分辨率 * 色深 * 幀率。
以三星S5K5CAGA為例,如表2中第1行數據(這里相機采用RGB565,16位/像素,8位輸出格式),則QXGA輸出的帶寬需求 =(2048 * 1536)* 2 * 6 ≈ 38MBps。像素時鐘為40MHz,8位輸出,每2個CLK傳輸1個像素數據,對應的最大輸出能力為40 MBps。則QXGA在40MHz的像素時鐘頻率下是可以以6幀/秒的幀率輸入到DCMI的。DCMI捕獲圖像數據流,再由DMA傳輸到圖像緩沖區,該例中,圖像緩沖區(幀緩沖區)的大小為:2048 * 1546 * 2 ≈ 6.3 MByte。
高像素高色深的圖像,對應的圖像緩沖區較大。當MCU內置的SRAM不能滿足DCMI圖像緩沖區需求時,則需要用外部SDRAM來存儲。例如STM32F469 MCU(見表1,第6行數據),其FSMC支持的最大頻率為90MHz,寬度32位,則SDRAM的帶寬 = 90 * 4 = 360 MBps,能夠滿足DCMI帶寬的需求。一般,DCMI圖像緩沖區中的數據是需要再次傳輸或由CPU進行計算處理的,理論上DCMI輸入的帶寬需求最大不應超過SDRAM的帶寬的50%。這里需要注意SDRAM可能存在多個主控(如CPU、DMA、LTDC等)的訪問,如遇到SDRAM性能瓶頸問題,可考慮下列方面進行優化:
(1)將各主控設備訪問的存儲器盡量分開,以減少競爭訪問;
(2)將CPU訪問的SDRAM Bank 與DCMI圖像緩沖區的Bank分開;
(3)將DCMI圖像緩沖區區域設為不可緩沖,CPU 訪問的區域則可以設為可緩沖。
對于性能,另外一個重要因素是總線競爭問題。DCMI DMA申請的AHB總線訪問(即使在使用FIFO的情況下)并非長Burst的訪問。如果AHB總線上存在其它長Burst訪問(最大1KByte),會造成DMA延遲訪問DCMI,令其不能及時將DCMI FIFO中的數據傳輸出去。可以認定:DCMI需要傳輸數據時的總線繁忙是造成 其FIFO 溢出錯誤的根源。解決辦法除了直接為設備分配不同SDRAM之外(將長Burst訪問放在其他SDRAM),還可以考慮在內部SRAM增設DCMI LineBuffer,化零為整,巧妙避開AHB 長Burst 訪問造成的DCMI延遲問題。數據流如下:
(1)DCMI(經DMA)=> 內部SRAM(LineBuffer) ;
(2)內部SRAM(LineBuffer)=> 外部SDRAM(圖像Buffer)。
由LineBuffer 到SDRAM的數據中轉傳輸請求,可使用DCMI IT_LINE 中斷(行結束)觸發。這里MCU如果是STM32F7/H7系列,還可使用MDMA 充分發揮AXI總線的優勢,但要注意LineBuffer 最好是8字節的倍數(64位總線)。
2.4.2. DCMI 圖像大小調整功能
當考慮了上面的措施,仍無法滿足應用對高分辨率需求時,用戶可以通過設置相機,修改相機輸出分辨率,配合DCMI調整圖像大小功能,找到合適的折中方案。DCMI提供的相關功能如下:
(1)窗口裁剪:
使用寄存器DCMI_CWSTRT指定起始坐標;
使用寄存器DCMI_CWSIZE指定窗口大小。
(2)圖像數據調整(詳見寄存器DCMI_CS中LSM/BSM等位域):
- 行選擇:可選擇2選1,行數減半;
- 數據選擇:字節流上可進行2選1、4選1已經4選2 (注意:對于RGB565格式, 只能4選2可選,2選1及4選1會造成色彩數據錯亂)。
2.5. DCMI 10/12/14數據線輸入
DCMI 支持最多14條數據線(D13 - D0),如果將DCMI配置為接收10、12或14位數據,DCMI將用2個像素時鐘周期捕獲一個32位數據。以12位數據寬度為例,DCMI在第1個像素時鐘捕獲12位LSB(忽略D[13 :12]),存于DCMI_DR寄存器低16位字中低12位,高4位(D[15 :12)清零;第2像素時鐘捕獲的12位LSB則存于DCMI_DR高16位字的低12位,高4位(DCMI_DR的[31 : 28])清零。另外相機也必須配置為10/12/14位輸出。具體情況則由應用決定。
3.小結
本文通過介紹STM32 DCMI支持的最大像素時鐘頻率,支持的圖像分辨率及與幀率的關系,進而引出DCMI帶寬與性能提升的注意事項。另外附帶了DCMI圖像大小的調整及10~14數據線的簡介,為用戶遇到相關問題時提供思路參考。
來源:STM32單片機
免責聲明:本文為轉載文章,轉載此文目的在于傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請聯系小編進行處理(
審核編輯 黃宇
-
存儲
+關注
關注
13文章
4298瀏覽量
85802 -
帶寬
+關注
關注
3文章
926瀏覽量
40913 -
STM32
+關注
關注
2270文章
10896瀏覽量
355755 -
DCMI
+關注
關注
0文章
4瀏覽量
3162
發布評論請先 登錄
相關推薦
評論