自動駕駛汽車和高級駕駛輔助系統(ADAS)的開發和驗證是極其苛刻的過程,包括現實道路測試和詳盡的實驗室模擬。雖然真實世界的道路測試是發布汽車產品之前的最終步驟,但許多公司傾向于盡可能用現實的模擬或者記錄的真實世界數據來代替它,可控性更強,并普遍提高測試質量和驗證覆蓋率。
作為ADAS系統的主傳感器,相機應用的測試過程除了要驗證可用性和安全性外,在開發早期還要面臨大量的訓練過程來改進算法。這個過程需要用構建好的道路場景庫,即錄制好的大量視頻文件作為激勵,在實驗室環境回放視頻流給被測設備(DUT),通常是ADAS域控制器或者中央計算自動駕駛平臺。
視頻回灌功能極大地簡化了實驗室環境中的研發和測試。例如,計算機視覺系統可以在實驗室調試,根據特定的駕駛情況循環,無需額外的試駕。
1
技術要求
在回灌視頻時,ECU和相機斷開連接,需要一個特定的板卡來回放原始視頻數據,并且保證回放的準確度和精度。
VX1161是專為高帶寬數據采集和傳輸設計的可配置的多通道接口設備,其中面向Streaming應用的VX1161.5x系列板卡具有下述特點:
1.
支持廣泛的標準的攝像頭接口
通常ECU和相機之間是通過串行解串技術來傳輸視頻流,常見的串行解串協議有FPD-LINK III和GMSL2等。VX1161.5x系列具有多種型號的板卡可以接收、發送和路由不同協議的數據流,例如:
VX1161.51A 2xTAP TI954/TI953支持兩路FPD-LINK III協議的視頻流記錄和回放;
VX1161.51C 2xTAP MX9296A/MX9295A支持兩路GMSL2協議的視頻流記錄和回放。
2.
實時性和高帶寬
在有效地復現完整的測試車輛多攝像頭視頻系統和車載數據總線時,通常數據量可能高達幾個G,需要保證從讀取文件到傳輸數據的高帶寬,從而保證回放的時間準確度。
VX1161的10G以太網接口可以高效接收來自回灌工作站(Replay Station)的視頻流。
3.
同步性
VX1161板卡支持PTP同步功能,可以實現多通道的時間同步,同時其他支持PTP的總線設備也可以在一個時間域內同步回放,確保同步傳感器和總線數據回放,且抖動最小。
4.
模塊化
VX1161板卡均為模塊化設計,可根據使用需求靈活組合。同時VX1161板卡的回放API可以被CANoe的CAPL腳本調用,從而便于集成其它的系統測試過程。
2
視頻回灌原理
圖2 視頻回灌原理
通過VX1161視頻回灌的基本過程如下:
1)
CANoe作為系統的主控軟件
負責控制CAPL腳本的編輯和執行;
2)
CAPL腳本調用Stream Provider動態鏈接庫中的API函數
負責加載視頻文件(MF4);
連接VX1161板卡;
控制VX1161板卡開始和停止回灌;
3)
VP75xx回灌工作站(Replay Station)
負責存儲和讀取視頻文件的視頻流;
通過10G以太網將視頻流輸出到視頻硬件板卡;
4)
VX1161作為視頻回灌硬件
負責接收來自VP75xx回灌工作站的視頻流;
接收來自CANoe的控制命令;
通過各個板卡的GMSL2或FPDLINKIII串行器傳輸視頻流到ECU接收端。
視頻回灌中的時間同步機制
在視頻回灌中,如果涉及以下場景通常需要設計同步機制:
1)
多通道的視頻同步回灌,例如自動泊車(APA)環視攝像頭;
2)
在回灌視頻的同時,回灌其他傳感器或者ECU系統記錄的數據,例如CAN總線數據等等。
VX1161在回灌時通常使用PTP同步機制(亦支持其它同步機制,如GPIO),VTSS(Vector Time Synchronization Service)同步服務確保連接在VP75xx上的多個設備可以同步到一個時間域,板卡的視頻流按照PTP時間進行回放,每幀的播放時間需要在Stream Provider中計算并發送給板卡。具體過程如下:
圖3 視頻回灌系統的同步連接
1)
PTP主時鐘提供整個仿真系統的時間。
所有設備作為PTP從節點(Slave)被同步,包括VX1161的所有板卡,VN56xx等支持PTP功能的以太網接口卡;
其他不支持PTP的板卡可通過同步線連接到VN56xx來實現硬線同步。
2)
在開始回灌時,CANoe通過CAPL腳本從支持PTP的接口卡(如VN56xx,VX1161.41A/B)獲取PTP時鐘。
3)
CANoe調用并初始化Stream Provider。
4)
Stream Provider打開本地的視頻回灌文件并讀取圖像的時間戳,通過相對時間換算每一幀圖像的播放時間。
5)
VX1161.51板卡接收緩存圖像和播放時間,比較PTP時間和預設的播放時間,當到達播放時間時,圖像會按照CSI包送到串行器;ECU通過解串器接收視頻流。
以四路回放為例,CANoe在獲取當前的PTP時間后并沒有控制板卡立即回放,而是緩存圖像等待第一幀圖像時間對齊后同時回放。
在回放后的每一幀都是對齊的,因為:
所有圖像幀的第一幀啟動時間是相同的;
所有通道的文件里每幀時間是對齊的;
每一個板卡的通道都同步在一個PTP時間域,板卡是按照PTP絕對時間進行回放。
每一幀的實際回放時間就是由三部分累加產生的:
Presentation time = CANoe PTP time (start replay) + delay time + MDF frame time stamp
圖4 視頻回灌系統的同步時間
3
實例解析
圖5 回灌系統的實例
本實例通過另外一組VX1161板卡來接收回灌數據,從而模擬ECU接收視頻流的過程,同時驗證回灌視頻的同步性。
在回灌系統中,設置VX1161.51板卡通道2和通道4為發送模式(TX only),并將其IP地址分別設為192.168.10.12和192.168.10.13,這樣可以回放4路視頻。這些通道都已集成CSI串行器,并配置相應的寄存器。
與之對應的,設置VX1161.51板卡通道1和通道3為接收模式(RX only),并將其IP地址分別設為192.168.20.12和192.168.20.14的,這樣可以同時接收4路視頻。這些通道上都已集成CSI解串器,并配置相應的寄存器。
圖6 VX1161板卡的模式配置
圖7 CANoe的視頻回灌4路發送界面
在CANoe中通過Panel面板可以設置管理回灌板卡的IP和通道,并關聯回灌的視頻MF4文件。在點擊Group control Start/Stop時,CANoe會觸發相應的CAPL腳本控制板卡開始或停止回灌。
圖8 CANape接收4路回灌的視頻界面
與此同時,CANape可以同時接收4路視頻并預覽圖像,每個接收通道之間也是PTP同步的,這樣可以判斷每路視頻的幀同步的情況。
審核編輯:劉清
-
傳感器
+關注
關注
2550文章
51035瀏覽量
753083 -
ecu
+關注
關注
14文章
886瀏覽量
54485 -
adas
+關注
關注
309文章
2183瀏覽量
208632 -
DUT
+關注
關注
0文章
189瀏覽量
12373
原文標題:VX1161助力ADAS相機視頻回灌
文章出處:【微信號:VectorChina,微信公眾號:Vector維克多】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論