作者：K.Fire | 來源：3D視覺工坊 在公眾號「3D視覺工坊」后臺，回復(fù)「原論文」即可獲取論文pdf。 添加微信：cv3d007，備注：SLAM，拉你入群。文末附行業(yè)細(xì)分群。

本文通過生成具有最小推理時間的緊湊且具有判別性的特征描述符來解決多機(jī)器人探索過程中保持低水平通信帶寬的同時進(jìn)行精確定位的問題；文中將描述符生成轉(zhuǎn)化為老師-學(xué)生框架下的學(xué)習(xí)問題。首先設(shè)計一個緊湊的學(xué)生網(wǎng)絡(luò)，通過從預(yù)訓(xùn)練的大型教師模型中轉(zhuǎn)移知識來學(xué)習(xí)它。為了減少從教師到學(xué)生的描述符維度，文中提出了一種新的損失函數(shù)，使知識在兩個不同維度的描述符之間轉(zhuǎn)移。

1 前言

多機(jī)器人SLAM系統(tǒng)（MR-SLAM系統(tǒng)）相比單機(jī)器人系統(tǒng)最主要的限制是：通信帶寬的限制。在MR-SLAM系統(tǒng)中，為了整合整個團(tuán)隊的所有軌跡，團(tuán)隊中的每個機(jī)器人都需要共享其關(guān)鍵幀數(shù)據(jù)(包括關(guān)鍵幀姿態(tài)和觀察到的特征點(diǎn))，以處理機(jī)器人間的閉環(huán)和全局定位。這種類型的數(shù)據(jù)交換占用了很高的通信容量，很可能降低實(shí)時性能。

一些工程上的解決方案比如降低頻率、減少關(guān)鍵點(diǎn)數(shù)量可以降低通信帶寬，但會導(dǎo)致定位精度降低；提高精度則會導(dǎo)致帶寬升高；如果降低描述符維度會導(dǎo)致匹配性能變差。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法已經(jīng)顯示出對手工描述符的優(yōu)越性能，但基于CNN的方法多適用于單機(jī)器人系統(tǒng)（SR-SLAM），高模型復(fù)雜性和描述符維度是阻礙基于學(xué)習(xí)的方法在MR-SLAM中應(yīng)用的兩個主要障礙。

本文提出了一個基于知識蒸餾(KD)的描述符學(xué)習(xí)框架。該框架是一個經(jīng)典的師生組合，其中學(xué)生是我們要學(xué)習(xí)的緊湊模型，而教師是一個預(yù)訓(xùn)練的更大的網(wǎng)絡(luò)，其預(yù)測用于監(jiān)督學(xué)生的學(xué)習(xí)。為了解決老師和學(xué)生之間輸出維度的不同，本文還設(shè)計了一種新的損失函數(shù)。

本文模型與傳統(tǒng)模型的比較如下圖所示：

本文主要貢獻(xiàn)如下：

設(shè)計了一個師生模型來生成緊湊的二進(jìn)制描述符。

提出了一種新的基于距離的蒸餾損失，它允許具有不同輸出維度的模型之間的知識轉(zhuǎn)移。

開發(fā)了一個基于新描述符模型的MR-SLAM系統(tǒng)作為評估平臺。

2 算法框架

2.1 基于學(xué)習(xí)的描述符生成

本文類似于主流的CNN方法，通過Siamese框架結(jié)構(gòu)學(xué)習(xí)描述符。它是一個雙胞胎模型，在訓(xùn)練過程中共享相同的權(quán)重。在Siamese框架下，每個訓(xùn)練階段都準(zhǔn)備兩批。批次中的每個圖像塊對另一個都是負(fù)的，同一時代的兩個批是一一對應(yīng)的。

它有兩個主要的損耗用于訓(xùn)練：

Triplet loss：它強(qiáng)制匹配的對盡可能接近，而不匹配的對盡可能遠(yuǎn)。最近的方法大多遵循HardNet策略，只提取包含最小距離的負(fù)對進(jìn)行訓(xùn)練:

為當(dāng)前實(shí)值描述子，為對應(yīng)的正描述子，為最接近的負(fù)描述子，n為批大小。dis計算兩個描述符之間的L2距離。

Binarization loss：它旨在最小化實(shí)值描述符與對應(yīng)的二進(jìn)制描述符之間的差異：

B(k)為二進(jìn)制描述子B的第k個值，R(k)為實(shí)值描述子R的第k個值，D為描述子的維數(shù)。

2.2 老師-學(xué)生蒸餾框架

如上圖所示，所有的老師卷積層之后是濾波響應(yīng)歸一化(FRN)和閾值線性單元(TLU)。批處理歸一化(BN)和l2歸一化放在最后的卷積層之后。

學(xué)生卷積層第一部分是深度卷積，它對每個輸入通道應(yīng)用一個卷積濾波器。第二部分是1×1卷積，稱為逐點(diǎn)卷積。

基于該體系結(jié)構(gòu)，每個模型都能夠?qū)D像補(bǔ)丁嵌入到實(shí)值描述符中。為了得到二進(jìn)制描述符，使用以下方程對實(shí)值描述符進(jìn)行二值化:

2.3 蒸餾損失函數(shù)

它由一個實(shí)值項和一個二元值項組成，它們分別強(qiáng)制學(xué)生模型的描述符批在實(shí)值和二元空間上具有與教師模型相似的分布。

實(shí)值項負(fù)描述符損失項:

其中是相對于當(dāng)前描述符的負(fù)描述符的總數(shù)。和分別是教師和學(xué)生產(chǎn)生的當(dāng)前重估描述符，和是相應(yīng)的負(fù)描述符。此外，由于教師和學(xué)生之間的維度不同，我們增加了一個系數(shù)λr，設(shè)置為0.95來調(diào)整教師側(cè)距離的尺度

二值項負(fù)描述符損失項:

其中λb是縮放系數(shù)，通常設(shè)置為兩個模型的輸出維度之間的比率:Ds/Dt。在訓(xùn)練階段的到二進(jìn)制描述符計算公式：

這里是防止被0整除的系數(shù)，設(shè)為1e-5。

最后，將這兩個損失項合并為蒸餾損失函數(shù)：

其中是二值項的加權(quán)系數(shù)。

2.4 學(xué)生訓(xùn)練

第一階段，使用學(xué)習(xí)率為0.01的ADAM優(yōu)化器訓(xùn)練教師模型。這個過程使模型能夠生成高質(zhì)量的128維描述符。基本損耗函數(shù)為:

其中是控制二值化損失的加權(quán)系數(shù)。

在第二階段，在老師的監(jiān)督下訓(xùn)練學(xué)生模型，學(xué)習(xí)率設(shè)為0.01。因此，目標(biāo)函數(shù)既包括基本損失Lbasic，也包括蒸餾損失Ldistillation，可表示為:

其中為蒸餾損失加權(quán)系數(shù)，在訓(xùn)練時設(shè)置為2。

4 實(shí)驗與結(jié)果

4.1 特征匹配實(shí)驗

使用UBC數(shù)據(jù)集：整個數(shù)據(jù)集包含大約400k個64×64個帶標(biāo)簽的補(bǔ)丁，在一個子集上訓(xùn)練模型，并在另外兩個子集上測試它。通過報告95%召回率(FPR95)的假陽性率來展示匹配性能。

采用幾種方法作為基準(zhǔn)方法。第一類是基于cnn的方法，包括HardNet、SOSNet、HyNet等。第二類方法是一些傳統(tǒng)的方法，包括SIFT、BRIEF、LDAHash、BinBoost。還報告了每種CNN方法的參數(shù)數(shù)量和時間消耗(生成500個描述符)，以可視化描述符生成效率。

此外，為了測試泛化能力，文章評估了在HPatches數(shù)據(jù)集上訓(xùn)練并在UBC數(shù)據(jù)集上測試的CNN方法的性能。

實(shí)驗結(jié)果如下表所示：

由表1可以看出，基于cnn的方法明顯優(yōu)于傳統(tǒng)方法。另一方面，匹配結(jié)果表明，即使沒有蒸餾，所提出的方法也可以與大多數(shù)基于cnn的方法相媲美。此外，在KD方法的幫助下，文中的網(wǎng)絡(luò)能夠優(yōu)于所有基線方法。

由表2可以看出，文中的模型比基線CNN模型輕30%左右，運(yùn)行速度也比基線方法快。

由表3可以看出，因為盡管在不同的數(shù)據(jù)集上訓(xùn)練，但它的性能與CNN方法相當(dāng)。

4.2 MR-SLAM實(shí)驗

MR-VINS的詳細(xì)框架如下圖所示：

整個系統(tǒng)采用集中式架構(gòu)，即MR-SLAM系統(tǒng)由多個機(jī)器人和一個中央服務(wù)器組成。將視覺慣性里程計模塊放在機(jī)器人上，而將后端模塊放在服務(wù)器上。在此框架的基礎(chǔ)上，在機(jī)器人一側(cè)添加了CNN描述符模型，主要將描述符用于循環(huán)閉合和全局定位。作者將描述符模型放在機(jī)器人通信模塊之前，以便描述符可以集成到發(fā)送到服務(wù)器的關(guān)鍵幀消息中。

使用公共EuRoC數(shù)據(jù)集，采用定位精度和通信帶寬兩項指標(biāo)進(jìn)行評價。

SLAM精度的定量結(jié)果如下表所示。

與原始MR-VINS相比，可以看出，基于cnn的方法能夠提高定位性能，尤其是MR-SLAM。此外，在單機(jī)器人和多機(jī)器人任務(wù)上，文中的方法總體上達(dá)到了與CNN方法相當(dāng)?shù)木取Ｈ欢捎赟LAM的性能不僅僅取決于圖像匹配，定位精度優(yōu)勢并不像特征匹配結(jié)果那么明顯。

下表顯示了不同SLAM系統(tǒng)的帶寬。

結(jié)果表明，文中的方法比原來的MR-VINS和CCM-SLAM具有更低的帶寬。由于文中模型的消息頻率是CCM-SLAM的3倍，所以文中模型的關(guān)鍵幀信息的大小比CCM-SLAM小10倍左右。窄帶寬歸因于文中的描述符極其緊湊的尺寸(普通BRIEF描述符的1/4)。此外，由于關(guān)鍵幀尺寸緊湊，就不需要在MR-SLAM任務(wù)期間專門降低關(guān)鍵幀頻率。

5 總結(jié)

在本文中，探討了如何學(xué)習(xí)MR-SLAM的緊湊描述符的問題。本文提出了一個師生框架，該框架利用緊湊的學(xué)生模型來估計低維描述符。由于教師和學(xué)生之間的輸出維度不同，作者提出了一個基于距離的蒸餾損失函數(shù)，使知識在不同的維度描述符之間蒸餾傳遞。通過特征匹配實(shí)驗和MR-SLAM系統(tǒng)的實(shí)驗，驗證了本文所提出算法的有效性。