傳感器仿真模型的可信度評(píng)估方案

一、引言

由于仿真是對(duì)真實(shí)世界進(jìn)行抽象建模并通過編程實(shí)現(xiàn)，仿真得到的計(jì)算結(jié)果與真實(shí)仿真對(duì)象的表現(xiàn)存在差異，因此模擬仿真測(cè)試的可信度成為當(dāng)前亟需解決的關(guān)鍵問題，需要提出有效的評(píng)估方法。傳感器建模是仿真測(cè)試的關(guān)鍵環(huán)節(jié)之一，其建模質(zhì)量決定了仿真測(cè)試中智能網(wǎng)聯(lián)汽車感知環(huán)境目標(biāo)對(duì)象的保真度。延續(xù)《自動(dòng)駕駛傳感器仿真模型的可信度研究》的思路，本篇文章對(duì)傳感器模型的可信度評(píng)估方法進(jìn)行深入研究，并且提出基于“典型場景-感知目標(biāo)集-評(píng)價(jià)指標(biāo)”的方法論，為企業(yè)開展傳感器模型可信度評(píng)估工作提供參考。

二、可信度評(píng)估框架及方法

本章節(jié)的思路主要可分為兩部分：一方面，根據(jù)不同建模層級(jí)的傳感器模型，采用不同的評(píng)估方法；另一方面，根據(jù)不同的評(píng)估方法，基于ADS功能確定典型場景、觀測(cè)量并選取相應(yīng)的評(píng)價(jià)指標(biāo)。

2.1評(píng)估框架：三個(gè)層級(jí)

根據(jù)對(duì)真實(shí)世界感知結(jié)果的保真度以及傳感器建模的復(fù)雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個(gè)層級(jí)。基于傳感器的不同建模層級(jí)分類以及傳感器仿真建模評(píng)價(jià)研究，可信度評(píng)估框架如圖1所示。

圖1傳感器模型可信度評(píng)估框架

理想傳感器：理想傳感器的工作方式為直接從仿真軟件的環(huán)境數(shù)據(jù)中提取探測(cè)范圍內(nèi)的環(huán)境真值（Ground Truth，GT），并將其作為傳感器感知目標(biāo)的檢測(cè)結(jié)果。若將理想傳感器的感知結(jié)果與真實(shí)傳感器的檢測(cè)結(jié)果作為真值進(jìn)行對(duì)比，理想傳感器感知結(jié)果存在過精度（精度過高的情況）；若將理想傳感器的輸出結(jié)果直接與環(huán)境真值進(jìn)行對(duì)比，由于其結(jié)果即為環(huán)境真值，則無需進(jìn)行可信度評(píng)估。

混合傳感器：在理想傳感器的基礎(chǔ)上，考慮噪聲和目標(biāo)物屬性等因素，在理想待輸出對(duì)象的數(shù)據(jù)信息中增加誤差信號(hào)。由于疊加的誤差參數(shù)可能不夠準(zhǔn)確且不夠全面，混合傳感器在輸出目標(biāo)列表時(shí)可能存在與真實(shí)傳感器輸出目標(biāo)列表不一致的問題。因此，需通過對(duì)比修正后的目標(biāo)列表，開展傳感器模型的可信度評(píng)估。

物理傳感器：對(duì)傳感器工作鏈路進(jìn)行物理級(jí)建模，建模過程中考慮傳感器與目標(biāo)物特性對(duì)信號(hào)產(chǎn)生的干擾與影響，以此間接獲得傳感器感知結(jié)果的偏差。由于該層級(jí)建模過程存在中間建模環(huán)節(jié)和中間量采集，因此，為更全面評(píng)估可信度，除在目標(biāo)列表層級(jí)展開評(píng)估外，還應(yīng)盡可能通過對(duì)比圖像、點(diǎn)云等原始數(shù)據(jù)，或各模塊輸出的中間量，來對(duì)傳感器模型的可信度進(jìn)行評(píng)估。

2.2評(píng)估方法

基于“典型場景-感知目標(biāo)集-評(píng)價(jià)指標(biāo)”的評(píng)估方法，主要通過典型場景設(shè)計(jì)，確定感知目標(biāo)及其觀測(cè)量并選取評(píng)價(jià)指標(biāo)，進(jìn)行傳感器模型與真實(shí)傳感器輸出結(jié)果的比對(duì)。

圖2 傳感器模型可信度評(píng)估流程

2.2.1典型場景

基于自動(dòng)駕駛感知功能及其設(shè)計(jì)運(yùn)行域，確定場景元素，構(gòu)建典型場景。考慮到不同測(cè)試場景中，場景元素的復(fù)雜程度會(huì)對(duì)感知結(jié)果產(chǎn)生影響，進(jìn)而影響傳感器模型可信度的評(píng)估結(jié)果，賽目科技提出“簡單場景→復(fù)雜場景”的典型場景設(shè)計(jì)框架，如圖3所示。

圖3 典型場景設(shè)計(jì)框架

參考GB/T《智能網(wǎng)聯(lián)汽車 自動(dòng)駕駛系統(tǒng)設(shè)計(jì)運(yùn)行條件》[1]，基于ODD基礎(chǔ)元素集合，通過組合疊加不同類型的場景元素（包括道路、道路設(shè)施、目標(biāo)物和天氣環(huán)境），構(gòu)建典型測(cè)試場景。典型場景中的感知目標(biāo)應(yīng)全面覆蓋自動(dòng)駕駛功能ODD范圍內(nèi)的各類要素。感知測(cè)試場景元素部分示例如圖4所示。

圖4 場景基礎(chǔ)元素-示例

2.2.2感知目標(biāo)集

基于測(cè)試場景中常見的感知目標(biāo)種類，可進(jìn)一步區(qū)分其對(duì)應(yīng)的目標(biāo)ID、顏色、位置、速度、加速度等屬性，梳理出場景中涉及的感知目標(biāo)集（如圖5所示），其中①為目標(biāo)類型，②~⑦為觀測(cè)量。更多感知測(cè)試項(xiàng)內(nèi)容還可參考T/CSAE 266.1—2022《智能網(wǎng)聯(lián)汽車 輔助駕駛前向視覺感知性能要求及測(cè)評(píng)方法 第1部分：通用方法及指標(biāo)定義》[2]。

圖5 感知目標(biāo)類型及觀測(cè)量

基于典型場景的特點(diǎn)并結(jié)合不同類型的傳感器，確定場景中需識(shí)別的目標(biāo)對(duì)象，并選取對(duì)應(yīng)的目標(biāo)列表/原始數(shù)據(jù)觀測(cè)量。以相機(jī)模型為例，在目標(biāo)列表層面，將真實(shí)相機(jī)與仿真模型輸出的車道線三次方程進(jìn)行對(duì)比；在原始數(shù)據(jù)層面，利用真實(shí)鏡頭效果的圖片和仿真鏡頭效果的圖片進(jìn)行對(duì)比，統(tǒng)計(jì)每個(gè)像素點(diǎn)的對(duì)應(yīng)的RGB數(shù)值，以此來實(shí)現(xiàn)對(duì)圖像質(zhì)量的驗(yàn)證。

圖6 “傳感器類型-目標(biāo)列表/原始數(shù)據(jù)”觀測(cè)量

特別地，若針對(duì)相機(jī)傳感器進(jìn)行物理級(jí)建模，還可通過對(duì)比模型輸出的中間量開展評(píng)估。

圖7相機(jī)傳感器物理級(jí)建模框架

2.2.3評(píng)價(jià)指標(biāo)

根據(jù)感知系統(tǒng)觀測(cè)量在整個(gè)測(cè)試過程的試驗(yàn)結(jié)果計(jì)算各評(píng)價(jià)指標(biāo)，主要可分為以下兩種類型。① 目標(biāo)識(shí)別正確與否的判斷：通過準(zhǔn)確率、精確率、召回率、Jaccard系數(shù)等指標(biāo)來進(jìn)行評(píng)價(jià)，并利用這些指標(biāo)計(jì)算出綜合的誤差進(jìn)行比較，②觀測(cè)量為連續(xù)型數(shù)據(jù)：通過數(shù)值精度、擬合優(yōu)度等指標(biāo)進(jìn)行評(píng)價(jià)。感知目標(biāo)集中觀測(cè)量類別對(duì)應(yīng)的評(píng)價(jià)指標(biāo)[3]如表1所示。

表1 觀測(cè)量類別-評(píng)價(jià)指標(biāo)

（1）準(zhǔn)確率-Accuracy

指預(yù)測(cè)正確的結(jié)果占總樣本的百分比，用于判斷總的正確率，準(zhǔn)確率的計(jì)算方法如公式（1）所示。

（2）精確率-Precision

所有被預(yù)測(cè)為正的樣本中實(shí)際為正的樣本的概率。精確率和準(zhǔn)確率看上去有些類似，但是完全不同的兩個(gè)概念。精確率代表對(duì)正樣本結(jié)果中的預(yù)測(cè)準(zhǔn)確程度，而準(zhǔn)確率則代表整體的預(yù)測(cè)準(zhǔn)確程度，既包括正樣本，也包括負(fù)樣本。精確率的計(jì)算方法如公式（2）所示。

（3）召回率-Recall

實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率，又稱查全率。召回率的計(jì)算方法如公式（3）所示。

（4）F1分?jǐn)?shù)-F1 score

精確率和召回率的調(diào)和平均數(shù)。F1分?jǐn)?shù)的最大值是1，最小值是0，值越大意味著模型的性能越好。F1分?jǐn)?shù)可以看作是模型精確率和召回率的一種調(diào)和平均，它的計(jì)算考慮了精確率和召回率的重要性。F1分?jǐn)?shù)的計(jì)算方法如公式（4）所示。

（5）Jaccard系數(shù)

用于度量兩個(gè)集合的相似度，僅關(guān)心個(gè)體間共同具有的特征是否一致。Jaccard系數(shù)的取值范圍在0到1之間，值越大表示兩個(gè)集合越相似，值為0表示兩個(gè)集合沒有任何交集，值為1表示兩個(gè)集合完全相同。Jaccard系數(shù)的計(jì)算方法如公式（5）所示。

其中：

——集合A與B的交集中元素的個(gè)數(shù)；

——集合A與B的并集中元素的個(gè)數(shù)。

（6）多目標(biāo)識(shí)別準(zhǔn)確度（MOTA）

用于統(tǒng)計(jì)在識(shí)別過程中的誤差積累情況，包括誤檢數(shù)FP、漏檢數(shù)FN、誤配數(shù)IDSW以及真實(shí)結(jié)果GT。多目標(biāo)識(shí)別準(zhǔn)確率的計(jì)算方法如公式（6）所示。

其中：

FN ——在第i幀中該目標(biāo)沒有假設(shè)位置與其匹配；

FP ——在第i幀中給出的假設(shè)位置沒有跟蹤目標(biāo)與其匹配；

IDSW——在第i幀中跟蹤目標(biāo)發(fā)生ID切換的次數(shù)（多發(fā)生在遮擋情況下）。

（7）多目標(biāo)識(shí)別精確度（MOTP）

用于衡量目標(biāo)位置確定的精確程度，包括正檢數(shù)TP、預(yù)測(cè)結(jié)果DUT和真實(shí)結(jié)果GT。多目標(biāo)識(shí)別精確度的計(jì)算方法如公式（7）所示。

其中：TP——在第i幀中該目標(biāo)有假設(shè)位置與其匹配，即第i幀目標(biāo)與假設(shè)的匹配個(gè)數(shù)。

（8）數(shù)值精度（Meanaccuracy）

用于表示觀測(cè)值與真值的接近程度，是預(yù)測(cè)結(jié)果與被測(cè)真值之間的百分比誤差，包括預(yù)測(cè)結(jié)果DUT和真實(shí)結(jié)果GT。數(shù)值精度的計(jì)算方法如公式（8）所示。

（9）擬合優(yōu)度（）

回歸分析中用來檢驗(yàn)樣本數(shù)據(jù)點(diǎn)聚集在回歸線周圍的密集程度，用于評(píng)價(jià)回歸方程對(duì)樣本觀測(cè)值的擬合程度。的值越接近1，說明模型對(duì)觀測(cè)值的擬合程度越好。擬合優(yōu)度計(jì)算方法如公式（9）所示。

其中：

——樣本目標(biāo)變量的真實(shí)值；

——使用回歸模型預(yù)測(cè)的目標(biāo)變量值；

?——樣本目標(biāo)變量的平均值。

（10）歐幾里得度量（Euclidean Metric）

基于真實(shí)點(diǎn)云中每個(gè)點(diǎn)到模擬點(diǎn)云每個(gè)點(diǎn)的最小歐幾里得距離進(jìn)行計(jì)算，真實(shí)的點(diǎn)云用GT＝（）表示，模擬的點(diǎn)云用DUT＝（）表示，最小歐幾里得距離的計(jì)算方法如公式（10）所示。

其中：

——點(diǎn)云距離度量；

——真實(shí)或模擬點(diǎn)云的最大點(diǎn)數(shù)。

3.可信評(píng)估方案應(yīng)用

本章節(jié)主要針對(duì)目標(biāo)列表層面對(duì)應(yīng)典型場景的可信度評(píng)估方案進(jìn)行應(yīng)用示例。根據(jù)自動(dòng)駕駛系統(tǒng)感知功能設(shè)計(jì)典型場景，確定關(guān)鍵參數(shù)取值（如道路類型、車道線顏色、測(cè)試車輛初始速度等），并明確場景中的感知目標(biāo)。以自適應(yīng)巡航控制系統(tǒng)（ACC）功能為例，基于2.3.1中的“簡單場景→復(fù)雜場景”設(shè)計(jì)理論，列舉典型場景示例如表2所示。

表2典型測(cè)試場景-示例

（1）場景構(gòu)建

為驗(yàn)證傳感器模型可信度，初步構(gòu)建一個(gè)“前方存在靜止目標(biāo)車”的簡單場景開展對(duì)比試驗(yàn)。

場景描述：一條雙向四車道長直道路，車道寬度為3 m。試驗(yàn)車輛同車道前方79.86 m處存在靜止的目標(biāo)車輛，試驗(yàn)車輛以初始速度36 km/h從初始位置出發(fā)，按照預(yù)設(shè)軌跡路線行駛3 s后，以1.1 m/s2的減速度減速至停止。

圖8 仿真場景搭建

（2）感知目標(biāo)-觀測(cè)量

基于上述測(cè)試場景，確定場景中需識(shí)別的目標(biāo)對(duì)象為車道線和目標(biāo)車輛，基于不同傳感器種類，選取對(duì)應(yīng)的觀測(cè)量分別為三次多項(xiàng)式常數(shù)項(xiàng)和目標(biāo)車輛相對(duì)距離。

（3）評(píng)價(jià)指標(biāo)

本文初步采用數(shù)值精度的評(píng)價(jià)指標(biāo)，通過公式（8）進(jìn)行混合傳感器模型的可信度評(píng)估。

基于Sim Pro中混合相機(jī)傳感器模型開展驗(yàn)證，輸出的車道線三次多項(xiàng)式的常數(shù)項(xiàng)（左正右負(fù)）與路采數(shù)據(jù)的對(duì)比結(jié)果如圖9所示。

圖9混合相機(jī)-仿真與路采結(jié)果對(duì)比（車道線）

基于Sim Pro中混合相機(jī)傳感器模型、混合毫米波雷達(dá)傳感器模型、混合激光雷達(dá)傳感器模型開展驗(yàn)證，輸出的目標(biāo)車輛相對(duì)距離與路采數(shù)據(jù)的對(duì)比結(jié)果如圖10所示。

圖10混合傳感器-仿真與路采結(jié)果對(duì)比（目標(biāo)車輛相對(duì)距離）

小結(jié)

本篇文章基于三種傳感器建模層級(jí)的評(píng)估框架進(jìn)行分析，對(duì)傳感器模型的可信度評(píng)估提出“典型場景-感知目標(biāo)集-評(píng)價(jià)指標(biāo)”的方法論，分別論述典型場景構(gòu)建、感知目標(biāo)集確定以及對(duì)應(yīng)評(píng)價(jià)指標(biāo)選取的思路。最后，基于傳感器模型可信度評(píng)估方案，以混合傳感器模型為例進(jìn)行應(yīng)用對(duì)比驗(yàn)證。未來，賽目科技還將從智能網(wǎng)聯(lián)汽車“三支柱”測(cè)試方法論知識(shí)體系持續(xù)開展研究，敬請(qǐng)期待！