本文針對這幾個問題展開討論：仿真測試的必要性，為什么在自動駕駛中，需要引入仿真測試這個概念；仿真測試的系統組成；自動駕駛系統的傳感器仿真方案。

本文由經緯恒潤科技汽車電子前瞻技術負責人張大鵬主講，主題為《自動駕駛仿真測試-安全高效測試的必由之路》。

1.仿真測試的必要性，為什么在自動駕駛中，需要引入仿真測試這個概念；

2.仿真測試的系統組成；

3.自動駕駛系統的傳感器仿真方案；

4.經緯恒潤科技的仿真測試案例。

在瀏覽正文之前，可以帶著以下4個問題：

-相比于傳統的縱向開發流程，V流程有什么優勢？

-在復雜的交通場景中，智能駕駛的控制邏輯是如何的？

-VTD仿真軟件給仿真測試帶來了哪些便利？

-在智能駕駛系統中，各傳感器仿真解決方案是如何交互配合的？

主講實錄

張大鵬：首先給大家做個簡短的自我介紹，我是來自恒潤科技前瞻技術部的張大鵬，現在就開始我們今天的課程。

對于自動駕駛開發，我們首先要進行算法開發，驗證測試的手段是必不可少的，自動駕駛控制系統的功能也非常復雜，怎樣高效地進行測試驗證，確保開發不斷地向前推進，是個非常重要的問題。

我今天講的內容主要分為四個章節：

第一個是仿真測試的必要性，介紹為什么在做自動駕駛過程中，需要引入仿真測試這個概念；

第二個是仿真測試的系統組成；

第三個是自動駕駛系統的傳感器仿真方案；

最后是介紹一下我們公司的仿真測試案例。

自動駕駛系統，其實也是一種汽車電控系統。對于傳統的汽車電控系統，大家可能都稍微有些了解，比如像發動機控制器、變速箱的控制系統、車身穩定系統以及助力轉向底盤系統，類似的還有車身信息娛樂系統和新能源電控系統，比如說DMS-MCU和MCU等等一系列的監控系統。首先我們來看一下這些電控系統是怎么開發的。

這頁PPT是一條時間軸，我們能看到早期電控系統的功能算法還是比較簡單的。從上世紀50年代到現在這幾十年間，電控系統都是在逐步發展完善的，首先從發動機的控制逐漸演變到底盤的控制，然后到車身信息娛樂的控制，再到ADAS駕駛輔助以及最后到智能駕駛的過程，從對車身的控制邏輯來講，是從車輛縱向控制到車輛的橫向控制的發展。

我們發現在發展的過程中，汽車電控系統的功能越來越復雜，還涉及到之前電控系統的不斷迭代和更新。為了保證這種高效的測試，所以就衍生出一些先進的測試理論、方法及流程來確保整個系統開發測試的有效性和高效性。

我們看一下當代汽車電控系統算法的開發測試流程。左邊這張圖片叫做V流程，包括功能設計、快速控制原型、代碼集成與測試、HIL測試以及實車標定，這個過程不同于傳統的正向開發過程，我們知道傳統的正向開發都是先進行算法功能設計與開發，然后同步地進行硬件的算法開發，再把算法集成到整個硬件中，最后再做臺架實驗和實車標定。

使用傳統的正向開發流程會帶來一些問題，在試車的時候可能還會發現一些低級錯誤，因為無論是硬件還是軟件上，在正向開發的每個過程都會產生一些bug，如果在前期不進行充分的驗證，容易導致最終上車出問題。

實際上，這種V流程的開發模式是一種非常好的辦法，在開發算法的時候，我們可以通過plant model（被控對象模型）把算法模型一塊集成進去，然后進行MIL仿真和驗證，最后再做一下HIL（半實物仿真驗證系統）仿真與驗證。

首先進行純軟件的MIL算法驗證，再進行快速控制原型的半實物仿真驗證，這個階段中驗證如果沒有太大問題，就可以進入實車標定的階段，這時實車標定中出現的問題會比較少。

上圖的右邊是從一篇論文中截取的一張圖，在人們做了大量統計后發現，在汽車電控系統開發的過程中，測試驗證的時間越早，開發成本越低，驗證的時間越晚，開發成本越高。

因此整個V流程的核心思想就是確保在開發早期建立測試驗證的手段方法，首先進行仿真測試，然后再進行排架以及實車的標定設施，這樣能快速高效地發現問題，加速整個算法的迭代速度和收斂速度，從整體上提高開發效率，降低開發成本。

在上面的開發流程中提到了快速控制原型，是由恒潤科技開發的ARCP快速控制原型，用Infineon的TCL99做主處理芯片，功能強大，同時預留了CAN/CAN FD、LIN和ETH等通訊接口、一些基礎數字模擬量接口，可滿足正常智能駕駛快速控制原型的使用要求，大家可以把算法直接下載到該原型系統，做一些半實物仿真驗證，如果沒有太多問題就可以做實車驗證，這樣可以提升整體效率。

在V流程中提到了仿真測試，仿真測試包括純仿真測試以及半實物仿真測試。首先來看一下仿真測試的基本原理，真實的控制系統由傳感器和執行機構作用到真實控制器中去控制整個實車的過程。那么如何進行仿真測試呢？將真實控制器變成算法，其中開發的算法、傳感器以及執行機構也可以用一些模型替代，在實車中，會換成一些實時仿真的模型，構成仿真的測試系統。上面這張圖只給出半實物仿真測試系統。

上圖的右邊我們可以看到發動機控制系統、變速箱控制系統、車身穩定系統、電動助力轉向系統、電池管理系統以及整車控制器，這些基本都可以用左邊這張圖以及剛才講的原理來處理。

舉個例子，比如發動機控制系統的傳感器中有曲軸和凸輪軸這些轉速相位的傳感器，它的執行機構有節氣門、點火線圈等，控制對象是整個發動機，該發動機是汽車的動力系統，發動機輸出扭距作用到傳動軸，驅動車輛行駛。

接下來我們看一下智能駕駛汽車電控系統與傳統的發動機底盤電控系統有什么區別和共同點。

智能駕駛的控制系統類似于發動機和底盤的控制系統，它將整個發動機底盤的控制系統集成起來，相當于增強了復雜化，同時它的傳感器來源是整個交通場景，這一點和傳統的電控系統不同。

另外，傳感器又包括了攝像頭、雷達、GPS定位信號，同時包括了傳統控制器所需要的車輛運動學信號。

需要注意的一點是，由于現在智能駕駛系統的發展還不是很成熟，還是在L4包括L4以下的駕駛輔助系統，駕駛員是需要***整個車輛的，所以整個駕駛員和無人駕駛控制器之間有交互的過程。

我們發現交通場景與傳統的控制器是不同的，仿真需求也是不同的，那么對交通場景仿真有什么樣的需求呢？

對于智能駕駛，目標是L4或L5的等級，將來要實現全自動的無人駕駛，而無人駕駛的系統就是要完全替代駕駛員的作用，因此它接收到的傳感器信號，包括前方障礙物、車道線、交通標志等，這些信號需要和駕駛員所判別的是類似的。

與此同時，還要注意到，由于車輛是需要開在非常復雜的交通環境中，而這些復雜的交通環境中有行人、車輛以及各種復雜道路，如復雜的立交橋、隧道，這些復雜的環境都需要仿真出來。

目前智能駕駛開發的情況，美國以及北歐比較領先，從一些國外的數據我們可以看到，對于國外來說，也是把這種仿真測試的手段引入到整個智能駕駛開發過程中的，要驗證的自動駕駛汽車需要比人類有更好的性能，同時也是需要有非常高的里程數來保證，據統計這個數字是數十億英里。

仿真測試的意義還有什么呢？仿真測試相對于實車測試更容易，可以使用軟件設置復雜的交通場景，同時它的重復性很高，可以重復測試，這樣更容易發現與定位問題；另外也可以進行利用實車測試非常困難的極限的工況測試。做智能駕駛某些部分時，使用一些機器學習算法做仿真測試以及算法訓練也十分必要，包括HIL測試。

智能駕駛系統還需要和其他的一些控制節點一塊聯合控制整個車輛，利用仿真測試便于在實驗室里實現。

接下來講一下通用智能駕駛的測試手段方法，仿真測試是重要的手段方法，但它不能完全替代道路測試。

如上圖可見仿真測試、封閉場地測試、道路測試的一些優缺點和必要性。對于智能駕駛系統，仿真測試是非常重要的，它的不僅不會帶來測試安全問題，測試效率也非常高。

封閉場地測試和道路測試的優點比如封閉場地內測試的安全性高，可進行性能測試標定，這是仿真測試不具備的。另外，道路測試的優點如測試場景豐富，測試驗證最終是需要通過道路測試來實現的。

正常開發智能駕駛的測試流程比較高效和科學的一種手段是，先進行仿真測試，再進行封閉場地測試，最后進行道路測試。

而且由于現在智能駕駛系統還很不成熟，因此需要進行大量的仿真測試驗證。來自Waymo的報告，我們可以看到這是數十億英里的仿真測試，以及300多萬英里的道路測試。

我們來看一下仿真測試系統的組成。如上框圖，首先需要仿真測試平臺運行它的車輛模型和場景仿真軟件，之后再把智能駕駛控制系統和仿真平臺結合起來，利用程序自動化的測試手段對整個系統進行測試，同時仍然需要駕駛員模擬器來進行駕駛員的控制。因此剛才講到的駕駛員也會參與到現階段的智能駕駛行為中。

接下來講講駕駛員模擬器的主要作用。由于在仿真中是可以有駕駛員模型的，但無法對整個系統進行主觀評價；如果有真實的駕駛員去操控車輛，類似于大家玩過的極品飛車游戲，駕駛員加上智能駕駛系統在實驗室中做測試，對整個車輛和系統進行評價，同時還可做一些人機切換測試，包括駕駛員自己的行為分析以及交通車輛駕駛員行為的模擬。

右圖是駕駛員模擬器的結構，我們做的駕駛員模擬器效果優于游戲中的小型模擬器，我們這種大型模擬器仿真精度比較高，有大型的環屏包括真實車輛的改造，可將真實的轉向制動系統集成進去、六自由度的體感，可以使駕駛員產生真實的感覺。

在這樣高逼真、高保真度的系統中，駕駛員才有可能做出接近真實車輛操控的行為。

除了駕駛員模型，在仿真過程中需要車輛模型，恒潤選擇的是高保真度的車輛模型，該車輛模型是基于多體動力學搭建的模型，它實際是上包括了整個的車身懸架、轉向、制動、動力系統等真實部件的車輛模型。

使用這些復雜車輛模型，可以保證車輛的仿真精度更高，使被控對象更接近于真實的對象。

同時它還有一個較好的作用是在制作智能駕駛系統開發時可能涉及到一些轉向、制動、線控系統開發，這種系統也需要被控對象模型。有了這些被控對象模型后，我們就可以把真實的線控制動、線控轉向系統和智能駕駛系統集成到大系統***同做仿真測試，這樣測試的目的和意義主要是為了獨立驗證整個線控制動系統，同時還可以驗證智能駕駛系統與線控系統的交互。

在拿到這種復雜模型之后，還需要對模型進行參數化對標來確保車輛模型的保真度。如果不對整個車輛模型進行參數化對標，那么很難對智能駕駛控制系統包括線控系統構成閉環測試的條件。

上面講了車輛模型，下面還需要介紹一下場景仿真軟件，這個場景仿真軟件是與其他監控系統不同虛擬化的工具。

上面也介紹了對場景仿真的一些需求，恒潤現在代理一款叫VTD的場景仿真軟件，雖然它是在Linux系統運行，但它同時也有一些優勢，Linux是一個開放式的系統，大家可以自由地進行一些開發設計，這款軟件是非常靈活、高度模塊化的軟件，對于不同開發的需求都是非常有幫助的。

使用這款工具可以進行MILSIL以及各種XL的仿真，同時還可以進行多車在環仿真，也就是可以進行多個智能駕駛控制系統與整個仿真系統集成，驗證多個車輛在整個交通系統中的行為，可以大大增加仿真測試的效率。

我們可以看到VTD這款軟件它定義的標準是被業界是廣泛采用的，尤其是歐洲這些國家，它定義的包括OpenDrive（基于路網結構的道路信息）、OpenCRG（基于復雜道路表面信息）以及OpenSCENARIO（基于道路和交通行為），它已經構成了統一的標準。

接下來看一下VTD這款軟件的實際應用，它提供兩種道路和交通場景的搭建方式，一種是通過手動搭建道路，手動搭建道路是通過軟件編輯器來進行搭建，有豐富的交通標志庫和素材庫，搭建道路有專門的編輯器，它還提供了基于高清地圖導入的功能，可以把地圖轉化成OpenDrive格式的地圖，然后直接導入虛擬場景仿真軟件，這樣速度就變得非常的快了。

我們看到VTD軟件可以進行交通流的生成，包括交通車輛、行人，根據統計學的比例進行生成，這樣就不需要手動編輯器逐個添加，可以提升整個場景搭建的速度。

同時它是基于Linux系統的，有著豐富的網絡接口，可以和其他的車輛動力學軟件進行聯合仿真。

除此之外，VTD還提供了高保真度的場景，可以渲染出真實道路顆粒度的圖像、動畫以及光照，這些對做攝像頭的傳感器仿真非常有幫助。

恒潤可以提供這種交通場景的搭建服務，可以按照客戶的需求定制實驗場園區、城市高速公路以及鄉村道路的場景，再把它整合在一起提供給有需求的整車廠或者供應商。

介紹完仿真的一些基本部件，來看傳感器仿真是怎樣實現的。對于智能駕駛仿真系統，傳感器仿真也非常重要，在HIL流程圖中有傳感器和執行器，而智能駕駛系統的傳感器比較特殊，不同于其他的轉向制動系統，它包括動力系統的一些傳感器。

在講傳感器之前，首先看一下智能駕駛系統是怎么工作的，上圖是智能駕駛算法的基本框圖，其中傳感器種類有很多，包括攝像頭、毫米波雷達、超聲波雷達、激光雷達以及需要定位的DGPS+IMU傳感器以及高精度地圖，這些傳感器能是用來檢測周圍的一些交通場景，比如車輛和行人，也可以進行路徑規劃和定位，確認車輛在道路中的位置，再結合檢測出來的可行駛區域，進行局部的路徑規劃，最后進行控制整個車輛動力制動轉向系統。

把上面的邏輯框圖畫成如圖這張表以及流程圖，可以發現對于智能駕駛傳感器仿真實際上可以分為不同層級，這主要取決于客戶的需求以及實際使用的情況。

智能駕駛系統，首先通過傳感器采集信號，這些信號通過處理和融合之后，再傳輸到決策層，最后傳輸到整個執行機構。從仿真的角度來講，可以從三個不同的層級仿真，第一個是物理信號仿真，第二個是原始信號進行仿真，第三個是傳感器目標進行仿真。

物理信號仿真，就是直接仿真傳感器接收到的信號，如攝像頭：直接仿真攝像頭檢測到的光學信號；雷達：直接仿真聲波和電磁波信號。

原始信號仿真，是把傳感器探測的單元拆掉，因為控制電控嵌入式系統中有專門的數字處理芯片，可以直接仿真數字處理芯片的輸入單元。

最后一層傳感器目標仿真。做傳感器感知和決策如果是分為兩個不同層級的芯片來做，那么可以將傳感器檢測的理想目標直接仿真到決策層算法輸入端。

這種目標級輸入信號一般是CAN總線輸入信號或者其他通訊協議格式輸入信號。

如下表，攝像頭的物理信號仿真是通過視頻暗箱來實現，原始信號仿真是通過視頻注入來實現，傳感器目標仿真是通過CAN總線來實現；毫米波雷達可以用毫米波雷達模擬器進行物理信號的仿真，通過CAN總線進行傳感器目標的仿真；而激光雷達中，物理信號仿真還沒有解決方案，可以通過點云信號來進行原始信號的仿真，通過CAN總線信號進行目標仿真；超聲波雷達有相應的超聲波雷達仿真盒進行物理信號的仿真，CAN總線信號進行傳感器目標仿真。

高精地圖可以通CAN或者Ethernet協議來仿真；差分GPS和IMU可以通過串口通訊來仿真。

最后是關于車聯網相關部件V2X，由于目前V2X還有一些技術上的問題沒有完全解決，因此現在用的人并不是很多，都處于研發階段，我們也提供了相當于物理信號仿真的手段，比如使用無線信道模擬器來直接仿真這種射頻信號，在此不再展開講解。

接下來看毫米波雷達的物理級仿真方案。恒潤開發了毫米波雷達模擬器，已經向客戶提供過。這是一套高精密儀器，因為光的電子波傳輸速度非?？欤枰韧ㄟ^接收探頭檢測雷達的發射探測波，然后經過物理處理，再加上仿真模型把障礙物信息疊加到所需要監測接收到的回波，由于雷達發射接收一次都非?？欤虼诉@個系統相對來說也是比較復雜的。同時圖中可以看到毫米波雷達可以模擬多個方向的目標，模擬多方向的目標實際上是通過多個轉盤來進行仿真模擬，也就是仿真不同方向的空間相位的反射。

攝像頭是通過視頻黑箱拍攝的解決方案來實現的，通過攝像頭直接對著顯示器進行拍攝仿真出來的交通場景仿真動畫作為攝像頭的輸入，攝像頭中的內部算法會根據動畫來識別障礙車和行人。

這種暗箱適用性好，可以多自由度進行調節，適用于多款不同焦距的單目攝像頭。

超聲波的仿真方案和毫米波類似，裝超聲波探頭進行回波，把檢測到的超聲波信號再利用模型計算出反射時間，再給到超聲波這個回波，同時可支持多個超聲波傳感器，這樣就可以做自主泊車、半自主泊車等測試。另外，在做智能駕駛測試中對超聲波雷達也有一些需要。

接下來探討攝像頭視頻注入仿真方案，這個方案實際上是把傳感器的探頭和攝像頭的鏡頭拿掉，直接把仿真的數據注入到圖像處理芯片中去進行仿真。它的仿真優點在于可以模擬不同的鏡頭仿真，包括了單目攝像頭、三目攝像頭、多目攝像頭、魚眼攝像頭。由于多目攝像頭和魚眼攝像頭畸變比較大、視場角比較大，因此是很難通過視頻暗箱進行仿真的。

接下來看激光點云的仿真方案。對于激光點云，沒辦法進行物理仿真，但是可以把仿真檢測出來的點云信號給到點云信息處理算法的前面去，可以通過交通產品仿真軟件生成出不同的點云效果，包括16線、64線，同時還可以定制不同廠家、不同線的激光雷達點云信號。

傳感器目標仿真也非常重要，它是在最后目標級，我們可以直接去模擬最后的CAN總線信號，比如采用總線仿真直接給到決策算法中，對要做決策算法開發的供應商，這個也是非常必要的，也非常靈活，比如可以對開發毫米波、攝像頭這些檢測出來的目標級信號的格式進行一些更改和對標，相當于對傳感器通訊信號進行二次開發，再給到決策算法前，這樣就可以做智能駕駛決策算法的測試了。

最后介紹一下恒潤科技的團隊和案例，大家都知道這是一家汽車電子公司，實際上，恒潤科技做仿真業務已有很多年，專門為整車廠提供半實物仿真測試解決方案。

其中包括各種車身和各種系統，包括動力系統、新能源、底盤、車身、駕駛輔助以及娛樂系統和智能駕駛系統，甚至把這些系統集成起來，構成整部虛擬車輛的仿真平臺。做過的車型包括乘用車、商用車等各種不同的車型。

上圖可以看到恒潤科技的半實物仿真案例在逐漸增長，這兩年發展非常迅猛，尤其是在新能源和智能駕駛技術創新開發的熱潮中。

我們有龐大的隊伍來支持整個仿真測試，其中包括駐地工程師團隊，從整個業務劃分的角度來講，我們也是模塊化劃分，分別由模型團隊、硬件團隊、軟件團隊以及測試團隊來維持整個業務的發展。做過的項目案例也很多，從整車意義的電控系統來講，都有涉獵。

上圖是我們已交付的ADAS項目案例，正在進行的項目更多，恒潤科技基于自主開發的單目攝像頭做的測試驗證，同時基于MobileEyes的系統和基于wabco的毫米波雷達控制器做出來的雷達模擬系統，目前這些都已交付給客戶，并已經進行測試驗證。

現在同時進行這種項目的客戶群有很多，我們發現有傳統的整車廠以及一些新興的整車廠，比如蔚來汽車、車和家以及小鵬汽車都是新興整車廠，并且立志于做智能駕駛開發，也有一些傳統的整車廠在做前瞻技術和智能駕駛開發，這些項目目前也都在開展中。

今天的講解就到這里，感謝大家的聆聽。