在SLAM中評(píng)估大規(guī)模的點(diǎn)云地圖仍頗具挑戰(zhàn)，主要原因在于缺乏統(tǒng)一、穩(wěn)健且高效的評(píng)估框架。本文提出了MapEval，這是一個(gè)用于點(diǎn)云地圖綜合評(píng)估的開源框架。在模擬數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上開展的大量實(shí)驗(yàn)表明，MapEval在保持評(píng)估完整性的同時(shí)，速度至少提高了100-500倍。MapEval庫(kù)將會(huì)開源，以推動(dòng)機(jī)器人領(lǐng)域標(biāo)準(zhǔn)化的地圖評(píng)估實(shí)踐。

01 本文核心內(nèi)容

A.動(dòng)機(jī)與挑戰(zhàn)

SLAM已成為移動(dòng)機(jī)器人領(lǐng)域的一項(xiàng)基礎(chǔ)性技術(shù)，能夠?qū)崿F(xiàn)機(jī)器人在未知環(huán)境中的自主導(dǎo)航。盡管SLAM包含定位和建圖任務(wù)，但當(dāng)前的評(píng)估方法主要側(cè)重于軌跡精度，這只是通過(guò)定位性能間接反映地圖質(zhì)量。這種間接評(píng)估方式，再加上獲取高精度真實(shí)軌跡數(shù)據(jù)的固有困難，對(duì)現(xiàn)實(shí)世界中SLAM的部署構(gòu)成了顯著限制，因?yàn)榈貓D質(zhì)量直接影響諸如路徑規(guī)劃和避障等下游任務(wù)。直接的地圖質(zhì)量評(píng)估提供了更全面、更可靠的評(píng)估范式。例如，如圖1所示，不同區(qū)域的地圖精度差異顯著，這凸顯了評(píng)估全局幾何精度和局部一致性的必要性。這些互補(bǔ)的方面能夠捕捉到不同的誤差來(lái)源和尺度，然而現(xiàn)有的評(píng)估方法通常只關(guān)注其中一個(gè)方面，導(dǎo)致對(duì)SLAM性能的評(píng)估不完整。缺乏一個(gè)能同時(shí)兼顧這兩個(gè)方面的統(tǒng)一評(píng)估框架，已成為推進(jìn)SLAM技術(shù)以及確保其在現(xiàn)實(shí)應(yīng)用中的可靠性的關(guān)鍵瓶頸。盡管其重要性毋庸置疑，但以下三個(gè)基本挑戰(zhàn)阻礙了穩(wěn)健的地圖評(píng)估框架的發(fā)展：

1)缺乏統(tǒng)一的評(píng)估標(biāo)準(zhǔn)：軌跡評(píng)估得益于諸如EVO等標(biāo)準(zhǔn)化工具，但地圖質(zhì)量評(píng)估卻呈現(xiàn)碎片化。現(xiàn)有的方法聚焦于孤立的方面，如全局精度或局部一致性，缺乏一個(gè)能整合這些互補(bǔ)指標(biāo)的統(tǒng)一框架。這種碎片化阻礙了不同SLAM系統(tǒng)之間的公平和全面比較。

2)傳統(tǒng)指標(biāo)的固有局限性：SLAM地圖具有大規(guī)模、環(huán)境噪聲以及稀疏的真實(shí)基準(zhǔn)等獨(dú)特特征，這給現(xiàn)有指標(biāo)帶來(lái)了獨(dú)特的挑戰(zhàn)。當(dāng)前的指標(biāo)難以在噪聲敏感度、完整性(COM)以及同時(shí)捕捉全局和局部屬性的能力之間取得平衡，往往導(dǎo)致對(duì)SLAM性能的誤導(dǎo)性評(píng)估。

3)可擴(kuò)展性和計(jì)算效率：傳統(tǒng)指標(biāo)，如倒角距離(ChamferDistance，CD)和瓦瑟斯坦距離(地球搬運(yùn)工距離，WassersteinDistance，EMD)，在應(yīng)用于包含數(shù)百萬(wàn)個(gè)點(diǎn)的SLAM地圖時(shí)，計(jì)算成本變得過(guò)高。這種可擴(kuò)展性的限制嚴(yán)重制約了它們?cè)诂F(xiàn)實(shí)世界場(chǎng)景中的實(shí)際應(yīng)用，在系統(tǒng)部署中，高效評(píng)估至關(guān)重要。

02 主要貢獻(xiàn)

我們構(gòu)建了MapEval，這是一個(gè)用于全面點(diǎn)云地圖評(píng)估的開源框架，對(duì)現(xiàn)有評(píng)估指標(biāo)進(jìn)行了系統(tǒng)性分析，并為一致性的質(zhì)量評(píng)估確立了清晰的指導(dǎo)準(zhǔn)則。

我們借助體素化高斯近似對(duì)瓦瑟斯坦距離加以改進(jìn)，提出了新穎的評(píng)估指標(biāo)，在相同的誤差標(biāo)準(zhǔn)下達(dá)成了高效且穩(wěn)健的性能表現(xiàn)。

我們?cè)诟黝怱LAM系統(tǒng)中開展了大量實(shí)驗(yàn)來(lái)驗(yàn)證我們的框架，與傳統(tǒng)方法相比，實(shí)現(xiàn)了100-500倍的提速。

03 方法架構(gòu)

MapEval評(píng)估流程概述。該框架首先從真實(shí)傳感器和SLAM算法獲取稠密點(diǎn)云地圖（左側(cè)），接著利用初始姿態(tài)估計(jì)進(jìn)行稠密地圖對(duì)齊（中間），最后進(jìn)行映射評(píng)估。

04 實(shí)驗(yàn)

A.實(shí)驗(yàn)設(shè)置

1)數(shù)據(jù)集與基準(zhǔn)真值：我們?cè)谒膫€(gè)不同的數(shù)據(jù)集上對(duì)MapEval進(jìn)行評(píng)估，分別是：FusionPortable（FP）、NewerCollege（NC）、GEODE（GE）以及我們自行收集的MS數(shù)據(jù)集。這些數(shù)據(jù)集涵蓋了多樣的環(huán)境條件和掃描模式，基準(zhǔn)真值地圖是通過(guò)高精度掃描儀以毫米級(jí)精度獲取的。MS數(shù)據(jù)集是通過(guò)我們的多傳感器平臺(tái)（見圖3）收集的，采用精度為6毫米的LeicaRTC360掃描儀。表II總結(jié)了每個(gè)序列的關(guān)鍵特征。

2)基準(zhǔn)方法：我們將MapEval與兩個(gè)先進(jìn)的SLAM系統(tǒng)進(jìn)行基準(zhǔn)比較：FAST-LIO2（FL2）和PALoc。這些系統(tǒng)代表了不同的地圖構(gòu)建方式，PALoc結(jié)合了閉環(huán)優(yōu)化和先驗(yàn)地圖約束，以減少在大規(guī)模環(huán)境中的全局漂移誤差。

3)實(shí)現(xiàn)細(xì)節(jié)：我們的評(píng)估實(shí)驗(yàn)整合了軌跡和地圖質(zhì)量評(píng)估。對(duì)于軌跡評(píng)估，我們采用了絕對(duì)軌跡誤差（ATE）。在地圖質(zhì)量評(píng)估中，對(duì)于AWD和SCS指標(biāo)，使用了對(duì)應(yīng)閾值τ=0.2米和體素大小為3.0米。MME計(jì)算在所有序列中均采用一致的0.1米搜索半徑。我們使用Open3D和PCL庫(kù)來(lái)實(shí)現(xiàn)該框架，實(shí)驗(yàn)在配備了英特爾i7-12700kCPU和96GBRAM的臺(tái)式計(jì)算機(jī)上進(jìn)行。

B.模擬實(shí)驗(yàn)

我們利用序列S2的基準(zhǔn)真值地圖（28,633,510個(gè)點(diǎn)，覆蓋30m×7m×4m區(qū)域）進(jìn)行模擬實(shí)驗(yàn)，以驗(yàn)證我們所提出的MapEval框架的穩(wěn)健性和有效性。

1)噪聲敏感性分析：為評(píng)估度量對(duì)噪聲的穩(wěn)健性，我們有系統(tǒng)地向基準(zhǔn)真值地圖引入隨機(jī)采樣的對(duì)稱高斯噪聲（1厘米-50厘米）。表III中的實(shí)驗(yàn)結(jié)果呈現(xiàn)了幾個(gè)驗(yàn)證我們所提框架的關(guān)鍵發(fā)現(xiàn)。首先，AC隨著噪聲水平從20厘米增加到50厘米，呈現(xiàn)出與直覺(jué)相悖的行為，其值降低，而CD和AWD則表現(xiàn)出一致的誤差增長(zhǎng)。這種差異是因?yàn)锳C僅考慮距離閾值τ（方程2）內(nèi)的內(nèi)點(diǎn)。相比之下，AWD通過(guò)基于體素的高斯近似（方程4）納入完整的點(diǎn)分布，從而保持穩(wěn)健性。對(duì)均值差異和協(xié)方差結(jié)構(gòu)的Wasserstein距離（方程5）的考量使得AWD能夠捕捉全局變形，同時(shí)對(duì)局部變化保持穩(wěn)健。其次，在存在小尺度噪聲（1厘米-10厘米）時(shí)，SCS對(duì)局部幾何變化表現(xiàn)出預(yù)期的敏感性，同時(shí)保持穩(wěn)健性。隨著噪聲水平進(jìn)一步增加（10厘米-50厘米），由于直接依賴于點(diǎn)級(jí)統(tǒng)計(jì)數(shù)據(jù)，傳統(tǒng)度量指標(biāo)（如MME）變得不穩(wěn)定。然而，SCS通過(guò)利用Wasserstein距離的空間分布，在表征局部一致性方面保持穩(wěn)定行為。這種穩(wěn)健性源于我們基于體素的方法，其通過(guò)統(tǒng)計(jì)聚合有效地過(guò)濾了點(diǎn)級(jí)噪聲。

2)異常值穩(wěn)健性分析：我們進(jìn)一步通過(guò)向基準(zhǔn)真值地圖引入不同的異常值比率（0.01%-10%）和高斯異常值距離（10厘米-100,000厘米）來(lái)評(píng)估我們所提出的度量指標(biāo)。表IV揭示了我們所提出度量指標(biāo)的卓越穩(wěn)健性。對(duì)于極小的異常值污染（0.1%）和大的噪聲范圍（10厘米-100,000厘米），傳統(tǒng)度量指標(biāo)表現(xiàn)出極大的敏感性，AC由于其點(diǎn)級(jí)閾值機(jī)制趨近于零，而CD由于直接依賴點(diǎn)到點(diǎn)距離（方程3），如圖4所示表現(xiàn)出不穩(wěn)定的增長(zhǎng)。相比之下，AWD通過(guò)利用Wasserstein距離的統(tǒng)計(jì)特性保持了穩(wěn)健的性能。基于體素的高斯近似通過(guò)考慮異常值對(duì)整體分布而非單個(gè)點(diǎn)的影響，有效地處理了異常值。在中等噪聲尺度（1000厘米-10,000厘米）下，CD由于局部結(jié)構(gòu)愈發(fā)扭曲而無(wú)法提供有意義的評(píng)估。AWD通過(guò)在Wasserstein距離計(jì)算中考慮位置和結(jié)構(gòu)差異，成功捕捉到噪聲增加的趨勢(shì)。對(duì)于更高的異常值比率（10%），SCS保持了對(duì)局部一致性的穩(wěn)健表征，而MME由于對(duì)點(diǎn)級(jí)熵變化的敏感性而表現(xiàn)出反直覺(jué)的行為。這一全面的驗(yàn)證表明，我們所提出的度量指標(biāo)顯著提高了點(diǎn)云地圖評(píng)估的穩(wěn)健性，特別是在存在大量噪聲和異常值的挑戰(zhàn)性場(chǎng)景中。

C.真實(shí)世界實(shí)驗(yàn)

1)基于定位精度的地圖評(píng)估：我們首先分析了室內(nèi)（S5-S10）和室外環(huán)境（S14）中地圖質(zhì)量與定位精度之間的關(guān)聯(lián)。此實(shí)驗(yàn)將定位精度作為驗(yàn)證我們所提出度量標(biāo)準(zhǔn)的參考。表V中的結(jié)果在不同場(chǎng)景下呈現(xiàn)出顯著的模式。在有限的室內(nèi)環(huán)境（S5-S10）中，F(xiàn)L2覆蓋的局部地圖自然限制了閉環(huán)的優(yōu)勢(shì)，兩種算法實(shí)現(xiàn)了可比擬的全局精度。然而，傳統(tǒng)度量呈現(xiàn)出不一致的表現(xiàn)：在序列S5中，盡管PALoc在定位精度上更優(yōu)，反映在更好的CD、COM和AWD值上，但其AC得分較低。同樣，在序列S7、S9和S10中，F(xiàn)L2實(shí)現(xiàn)了更好的定位精度，AWD得分更優(yōu)，但CD表現(xiàn)較差。這種差異突顯了CD在表征局部地圖質(zhì)量方面的局限性，同時(shí)驗(yàn)證了AWD在捕捉有意義的幾何差異方面的穩(wěn)健性。室外場(chǎng)景（S14）為我們的度量標(biāo)準(zhǔn)的有效性提供了極具說(shuō)服力的證據(jù)。由于PALoc采用了閉環(huán)優(yōu)化，其在定位精度上顯著優(yōu)于FL2。雖然CD在兩種方法之間顯示出極小的差異，但我們的AWD成功捕捉到了這種全局精度的提升，與第II-C節(jié)中描述的Wasserstein距離的理論優(yōu)勢(shì)相符。圖5提供了S14的詳細(xì)可視化，通過(guò)誤差圖、體素誤差分布和一致性度量對(duì)FL2和PALoc進(jìn)行了比較。結(jié)果表明，PALoc通過(guò)更好的AC、AWD和CDF度量實(shí)現(xiàn)了更卓越的全局精度。然而，PALoc的SCS性能相較于FL2略有下降，這與MME評(píng)估結(jié)果一致。此觀察揭示了一個(gè)重要的權(quán)衡：盡管閉環(huán)優(yōu)化減少了全局漂移，但可能會(huì)引入影響地圖一致性的局部幾何變形。

2)多樣化環(huán)境中的地圖評(píng)估：我們進(jìn)一步在具有挑戰(zhàn)性的場(chǎng)景中驗(yàn)證了我們的度量標(biāo)準(zhǔn)，包括走廊（S0）、自動(dòng)扶梯（S4）、樓梯（S12）和植被密集區(qū)域（S13），如表V所示。在這些更廣闊的環(huán)境中，PALoc相較于FL2展現(xiàn)出顯著提升的全局精度，這被AWD準(zhǔn)確捕獲。然而，我們的SCS度量表明這種全局優(yōu)化偶爾會(huì)損害局部一致性。傳統(tǒng)度量未能察覺(jué)這種全局精度與局部一致性之間的權(quán)衡，這體現(xiàn)了AWD和SCS在地圖評(píng)估中的互補(bǔ)性質(zhì)。圖6中的自動(dòng)扶梯場(chǎng)景（S3）尤其突出了我們方法的優(yōu)勢(shì)。盡管視覺(jué)檢查和AC值證實(shí)了PALoc具有更優(yōu)的局部精度，但CD由于對(duì)噪聲的敏感性給出了矛盾的結(jié)果。我們的AWD通過(guò)基于體素的高斯近似，在準(zhǔn)確反映真實(shí)質(zhì)量差異的同時(shí)保持了穩(wěn)健性。這些真實(shí)世界的實(shí)驗(yàn)驗(yàn)證了我們所提出度量標(biāo)準(zhǔn)的兩個(gè)關(guān)鍵優(yōu)勢(shì)。其一，AWD相較于CD在大規(guī)模環(huán)境中（特別是存在顯著漂移時(shí)）對(duì)全局精度的評(píng)估更可靠。其二，AWD和SCS的結(jié)合使得能夠?qū)θ志群途植恳恢滦赃M(jìn)行全面評(píng)估，揭示了傳統(tǒng)度量所遺漏的重要權(quán)衡。

D.計(jì)算效率

我們對(duì)表II中所有數(shù)據(jù)集上MapEval的計(jì)算效率進(jìn)行了剖析，將傳統(tǒng)度量（AC/CD+MME）與我們所提出的方法（Voxel.+AWD+SCS）加以對(duì)比。鑒于龐大的點(diǎn)云數(shù)量，我們甚至為快速計(jì)算MME采用了多線程技術(shù)。表VII給出了不同地圖規(guī)模下的處理時(shí)長(zhǎng)。對(duì)于密集場(chǎng)景（約10^9個(gè)點(diǎn)，S1、S3、S4、S11、S13、S14），傳統(tǒng)度量需要數(shù)百至數(shù)千秒，而我們的單線程實(shí)現(xiàn)僅需數(shù)十秒即可完成。在中等密度環(huán)境（10^6-10^7個(gè)點(diǎn)，S5-S10）中，我們的方法實(shí)現(xiàn)了亞秒級(jí)的處理時(shí)間，在保持評(píng)估質(zhì)量的同時(shí)，相比傳統(tǒng)方法實(shí)現(xiàn)了100-500倍的提速。

E.參數(shù)敏感性分析

我們針對(duì)序列S1開展了參數(shù)敏感性分析，旨在探究體素大小對(duì)度量性能的影響。圖7闡釋了體素大小與三個(gè)關(guān)鍵指標(biāo)：AWD、SCS以及計(jì)算時(shí)間之間的關(guān)系。AWD隨著體素大小呈現(xiàn)近乎線性的增長(zhǎng)，從5厘米體素時(shí)的4.90厘米增至70厘米體素時(shí)的135.66厘米。這一趨勢(shì)反映出在較大體素的Wasserstein距離計(jì)算中，均值差異占據(jù)主導(dǎo)地位。相比之下，SCS在不同體素大小下保持穩(wěn)定，展現(xiàn)出其在捕捉局部一致性模式方面不依賴于空間分辨率的穩(wěn)健性。計(jì)算時(shí)間隨著體素大小的增加顯著降低，直至在約15厘米處達(dá)到拐點(diǎn)，從5厘米時(shí)的162.10秒降至60厘米以上時(shí)的約5秒。基于計(jì)算效率和度量穩(wěn)定性之間的平衡，我們建議在實(shí)際應(yīng)用中采用2.0米至4.0米的體素大小。

05 總結(jié)

我們提出了MapEval，這是一個(gè)用于SLAM中點(diǎn)云地圖綜合評(píng)估的開源框架。該框架引入了兩個(gè)互補(bǔ)的度量指標(biāo)：AWD和SCS，分別用于全局精度和局部一致性的評(píng)估。通過(guò)廣泛的實(shí)驗(yàn)，我們表明，與傳統(tǒng)方法相比，我們的方法實(shí)現(xiàn)了100-500倍的提速，同時(shí)在各種不同的場(chǎng)景中保持了強(qiáng)勁的性能。MapEval將會(huì)發(fā)布，以促進(jìn)機(jī)器人領(lǐng)域標(biāo)準(zhǔn)化的地圖質(zhì)量評(píng)估，推動(dòng)可靠的SLAM系統(tǒng)的發(fā)展。