圖像匹配
應(yīng)用:
目標識別、目標跟蹤、超分辨率影像重建、視覺導(dǎo)航、圖像拼接、三維重建、視覺定位、場景深度計算
方法:
基于深度學(xué)習(xí)的特征點匹配算法、實時匹配算法、3維點云匹配算法、共面線點不變量匹配算法,以及基于深度學(xué)習(xí)的圖像區(qū)域匹配等。
分類:
局部不變特征點匹配、直線匹配、區(qū)域匹配
Part1:局部不變特征點匹配-2D
1. 什么是圖像特征點?- 關(guān)鍵點+描述子
關(guān)鍵點:指特征點在圖像中的位置,具有方向、 尺度等信息;
描述子:描述子通常是一個向量,描述關(guān)鍵點鄰域的像素信息。
2. 如何進行特征點匹配 ?- 人工設(shè)計檢測器
在向量空間對兩個描述子進行比較,距離相近則判定為同一個特征點
角點、邊緣點等都可以作為潛在特征點
角點檢測算法- 最常用:基于圖像灰度的方法
Harris【1】:通過兩個正交方向上 強度的變化率對角點進行定義,其本身存在尺度固 定、像素定位精度低、偽角點較多和計算量大等問題。
Harris改進算法【6】:將多分辨率思想引入 Harris 角點,解決了 Harris 算法不具有尺度變化的問題。
Harris改進算法【7】:在 Harris 算法中兩次篩選候選點集,利用最小二乘加 權(quán)距離法實現(xiàn)角點亞像素定位,大幅度提高角點檢測效率和精度。
Harris改進算法【8】:將灰度差分及模板與 Harris 算法相結(jié)合,解決了 Harris 算法中存在較多偽角 點和計算量大等問題。
鄰域像素檢測
Fast【2】:通過鄰域像素對比進行特征點檢測并引入機器學(xué)習(xí)加速這一過程,可應(yīng)用在對實時性要求較高的場合,如視頻監(jiān)控中的目標識別。由于FAST 僅處理單一尺度圖像,且檢測的不僅僅是“角點”這一特征,還可以檢測到其他 符合要求的特征點,如孤立的噪點等。當圖像中噪 點較多時會產(chǎn)生較多外點,導(dǎo)致魯棒性下降。
SIFT【3】:不再局限于對角點檢測
SIFT總結(jié)【5】:許允喜等,對局部圖像描述符進行分析描述,對這類方法的計算復(fù)雜度、評價方法和應(yīng)用領(lǐng)域 予以總結(jié)。
SIFT總結(jié)【4】:劉立等,對 SIFT 算法的演變以及在 不同領(lǐng)域的典型應(yīng)用進行了較為全面的論述,并比 較了各類算法的優(yōu)缺點。
SIFT算法改進【9】【10】【11】:針對算法時間復(fù)雜度高,PCA-SIFT, SURF, SSIF
SIFT算法改進【12】:對彩色圖 像進行處理的 CSIFT( colored SIFT)
SIFT算法改進【13】:使用對數(shù)極坐標分級結(jié)構(gòu)的 GLOH( gradient location and orientation histogram)
SIFT算法改進【14】:具有仿射不變性的ASFIT( affine SIFT)
3. 如何進行特征點匹配 ?
3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點的重復(fù)檢測
FAST-ER算法【15】:把特征點檢測器定義為一種檢測高重復(fù)點的三元決策樹,并采用模擬退火算法對決策樹進行優(yōu)化,從而提高檢測重復(fù)率。由于在每次 迭代過程中,都需要對重新應(yīng)用的新決策樹進行檢 測,且其性能受到初始關(guān)鍵點檢測器的限制,降低了 該算法的魯棒性。
時間不變特征檢測器( TILDE) 【16】:Verdie 等人提出,能夠較好地對由天氣、季節(jié)、時 間等因素引起的劇烈光照變化情況下的可重復(fù)關(guān)鍵 點進行檢測。參與訓(xùn)練的候選特征點是由多幅訓(xùn)練 圖像中采用 SIFT 算法提取的可重復(fù)關(guān)鍵點組成,如 圖a ; 正樣本是以這些點為中心的區(qū)域,負樣本 是遠離這些點的區(qū)域。
在進行回歸訓(xùn)練時,正樣本 在特征點位置返回最大值,遠離特征點位置返回較 小值,如圖 b ; 回歸測試時,將測試圖像分成固定 大小的圖像塊,其回歸響應(yīng)如圖c ,然后根據(jù)非 極大值抑制提取特征點,如圖d 。該方法適用于處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為同一場景的圖像。(TILDE 采用手動標記的數(shù)據(jù)作為區(qū)分性特征訓(xùn)練,使用DOG-difference of Gaussian收集訓(xùn)練集,對于跨模態(tài)任務(wù)如RGB/深度模態(tài)對不再適用)
基于學(xué)習(xí)的協(xié)變特征檢測器【17】:綜合考慮兩個局部特征檢測器特性(檢測可區(qū)分的特征;協(xié)變約束-在不同的變換下重復(fù)檢測一致特征),Zhang 等人提出。該方法將 TILDE 的輸出作為候選標準圖像塊,通過變換預(yù)測 器的訓(xùn)練建立學(xué)習(xí)框架,將局部特征檢測器的協(xié)變 約束轉(zhuǎn)化為變換預(yù)測器的協(xié)變約束,以便利用回歸 ( 如深度神經(jīng)網(wǎng)絡(luò)) 進行變換預(yù)測。
預(yù)測的變換有 兩個重要性質(zhì): 1) 變換的逆矩陣能將觀察到的圖像 塊映射到“標準塊”,“標準塊”定義了具有可區(qū)分性 的圖像塊以及塊內(nèi)“典型特征”( 如單位圓) 的位置 和形狀; 2) 將變換應(yīng)用到“典型特征”可以預(yù)測圖像 塊內(nèi)變換特征的位置和形狀。
Quadnetworks【18】:采用無監(jiān)督學(xué)習(xí)方式進行特征點檢測。Savinov 等人 提出,該方法將關(guān)鍵點檢測問題轉(zhuǎn)化為圖像變換上的關(guān)鍵點 一致性排序問題,優(yōu)化后的排序在不同的變換下具 有重復(fù)性,其中關(guān)鍵點來自響應(yīng)函數(shù)的頂/底部分位 數(shù)。
Quad-networks 的訓(xùn)練過程如圖所示,在兩幅 圖像中提取隨機旋轉(zhuǎn)像塊對( 1,3) 和( 2,4) ; 每個塊 經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出一個實值響應(yīng) H( p w) ,其中 p 表示點,w 表示參數(shù)向量; 通過四元組的排序一致 函數(shù)計算鉸鏈損失,并通過梯度下降法優(yōu)化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重復(fù)檢測性能均優(yōu)于 DOG,可以和基于學(xué)習(xí)的描述符 相結(jié)合進行圖像匹配,還可用于視頻中的興趣幀檢測。
3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)
用于特征點描述符判別學(xué)習(xí)的 DeepDesc【19】:Simo-Serra 等人提出,該方法采用 Siamese 網(wǎng)絡(luò)側(cè)重訓(xùn)練難以區(qū)分 類別的樣本,輸入圖像塊對,將 CNN 輸出的非線性 映射作為描述符,采用歐氏距離計算相似性并最小 化其鉸鏈損失。該方法適用于不同的數(shù)據(jù)集和應(yīng) 用,包括寬基線圖像匹配、非剛性變形和極端光照變 化的情況,但該方法需要大量的訓(xùn)練數(shù)據(jù)來保證其魯棒性。
3.3 深度學(xué)習(xí)各階段統(tǒng)一
Yi 等人提出【20】:基于學(xué)習(xí)的不變特征變換( LIFT)結(jié)合空間變換網(wǎng)絡(luò)【21】和 Softargmax 函數(shù),將基于深度學(xué)習(xí)的特征點檢測【16】、基于深度學(xué)習(xí)的方向估計【22】和基于深度 學(xué)習(xí)的描述符【19】連接成一個統(tǒng)一網(wǎng)絡(luò),從而實現(xiàn)完 整特征點匹配處理流水線。
其中圖像塊的裁剪和旋 轉(zhuǎn)通過空間變換網(wǎng)絡(luò)實現(xiàn),訓(xùn)練階段采用四分支 Siamese 網(wǎng)絡(luò),輸入特征點所在圖像塊, 其位置和方向均來自 SFM 算法的輸出,其中 P1 和 P2 為同一3D 點在不同視角下的圖像,P3 為不同3D 點的投影的圖像塊,P4 為不包含任何特征點的圖像 快,S 為得分圖,x 代表特征點位置。采用從后至前 的訓(xùn)練策略,即先訓(xùn)練描述子,再訓(xùn)練方向估計,最 后訓(xùn)練特征點檢測。測試階段,將特征點檢測與方 向估計及描述子分開,使優(yōu)化問題易于處理。LIFT 方法的輸入為多尺度圖像,以滑窗形式進行特征點 檢測,提取局部塊逐個分配方向,再計算描述子。與 SIFT 相比,LIFT 能夠提取出更為稠密的特征點,且 對光照和季節(jié)變化具有很高的魯棒性。
3.4 不同對象或場景的匹配方法研究( 圖像語義匹配):
與考慮在時間( 光流) 或空間( 立體) 相鄰的圖像特 征對應(yīng)不同,語義對應(yīng)的特征是圖像具有相似的高 層結(jié)構(gòu),而其精確的外觀和幾何形狀可能不同。
3.4.1 相同對象類的像對匹配
經(jīng) 典 SIFT 流方法【23】:提出不同場景的稠密對應(yīng)概念, 通過平滑約束和小位移先驗計算不同場景間的稠密 對應(yīng)關(guān)系。
Bristow 等人【24】:將語義對應(yīng)問題轉(zhuǎn)化為 約束檢測問題,并提出 Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對匹配圖像 中的每個像素學(xué)習(xí)一個 Examplar-LDA 分類器,然后 以滑動窗口形式將其應(yīng)用到目標圖像,并將所有分 類器上的匹配響應(yīng)與附加的平滑先驗結(jié)合,從而獲 得稠密的對應(yīng)估計。該方法改善了語義流的性能,在背景雜亂的場景下具有較強魯棒性。
3.4.2 不同對象類的像對匹配
Novotny 等人【25】:提出基于幾何敏感特征的弱監(jiān)督學(xué)習(xí)方法 AnchorNet。在只有圖像級標簽的監(jiān)督下,AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具 有正交響應(yīng)的多樣過濾器,該過濾器在同一類別的 不同實例或兩個相似類別之間具有幾何一致性。AnchorNet 通 過 在 ILSVRC12 ( imagenet large scale visual recognition competition 2012) 上預(yù)先訓(xùn)練的深 度殘差網(wǎng)絡(luò)( ResNet50) 模型初始化網(wǎng)絡(luò)參數(shù),并采 用兩階段優(yōu)化與加速訓(xùn)練完成匹配。
3.4.3 多圖像語義匹配
可以找到多個圖像間的一致對應(yīng)關(guān)系,從而在應(yīng)用中發(fā)揮更為重要的作用
對象類模型重建【26】
自動地標注釋【27】
Wang 等人【28】:將多圖像間的語義匹 配問題轉(zhuǎn)化為特征選擇與標注問題,即從每幅圖像 的初始候選集中選擇一組稀疏特征點,通過分配標 簽建立它們在圖像間的對應(yīng)關(guān)系。該方法可以為滿 足循環(huán)一致性和幾何一致性的圖像集合建立可靠的 特征對應(yīng)關(guān)系,其中循環(huán)一致性可以對圖像集合中 的可重復(fù)特征進行選擇和匹配。低秩約束用于確保 特征對應(yīng)的幾何一致性,并可同時對循環(huán)一致性和 幾何一致性進行優(yōu)化。該方法具有高度可擴展性, 可以對數(shù)千幅圖像進行匹配,適用于在不使用任何 注釋的情況下重構(gòu)對象類模型。
3.5 圖像匹配應(yīng)用于臨床的精確診療
通過精確比對器官的幾何形狀,來判斷臟器是否存在病變; 通過分析腫瘤的幾何特征,來判斷腫瘤是否為惡性。
Yu 等人[29]提 出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMREG( parallel optimization based on gaussian mixture model registration) 相結(jié)合的方法,改進了特征提取和匹配過程。ANSIFT 為加速版 NSIFT,采用 CUDA 編程加速 NSIFT 的前兩個步驟,用于提取匹配圖像和待匹配圖像中 的特征點( 僅保留位置信息) 。PO-GMMREG 是基 于并行優(yōu)化的高斯混合模型( GMM) 匹配算法,并行 優(yōu)化使得匹配圖像和待匹配圖像可以任意旋轉(zhuǎn)角度 對齊。該方法可以減少時間消耗,提高大姿態(tài)差異 下的匹配精度。
TV-L1 ( total variation-L1 ) 光流模型[30]能有效地保 持圖像邊緣等特征信息,但對于保持具有弱導(dǎo)數(shù)性 質(zhì)的紋理細節(jié)信息仍不夠理想。
張桂梅等人[31]將 G-L ( Grünwald-Letnikov ) 分 數(shù) 階 微 分 理 論 引 入 TV-L1 光流模型,代替其中的一階微分,提出分數(shù)階 TV-L1 光流場模型 FTV-L1 ( fractional TV-L1 ) 。同 時給出匹配精度和 G-L 分數(shù)階模板參數(shù)之間關(guān)系, 為最佳模板選取提供依據(jù)。FTV-L1 模型通過全變分 能量方程的對偶形式進行極小化以獲得位移場,可 以解決圖像灰度均勻,弱紋理區(qū)域匹配結(jié)果中的信 息模糊問題。該方法能有效提高圖像匹配精度,適合于包含較多弱紋理和弱邊緣信息的醫(yī)學(xué)圖像匹配。
為了解決待匹配圖像對中目標的大形變和灰度 分布呈各向異性問題,陸雪松等人[32]將兩幅圖像的 聯(lián)合 Renyi α -entropy 引入多維特征度量并結(jié)合全 局和局部特征,從而實現(xiàn)非剛性匹配。首先,采用最 小距離樹構(gòu)造聯(lián)合 Renyi α -entropy 度量準則; 其 次,根據(jù)該度量相對形變模型 FFD( free-form deformation) 的梯度解析表達式,采用隨機梯度下降法進 行優(yōu)化; 最后,將圖像的 Canny 特征和梯度方向特征 融入度量中,實現(xiàn)全局和局部特征的結(jié)合。該方法 的匹配精度與傳統(tǒng)互信息法和互相關(guān)系數(shù)法相比有 明顯提高,且新度量方法能克服因圖像局部灰度分 布不一致造成的影響,能夠在一定程度上減少誤 匹配。
Yang 等人[33] 提出的 FMLND( feature matching with learned nonlinear descriptors) 采用基于學(xué)習(xí)的局 部非線性描述符 LND 進行特征匹配,對來自 T1w 和 T2w 兩種不同成像參數(shù)的磁共振成像( MRI) 數(shù)據(jù)的 CT( computed tomography) 圖像進行預(yù)測。該過程分 為兩個階段: 學(xué)習(xí)非線性描述符和預(yù)測 pCT( pseudo CT) 圖像。
第 1 階段,首先采用稠密 SIFT 提取 MR 圖像的特征; 其次通過顯式特征映射將其投影到高 維空間并與原始塊強度結(jié)合,作為初始非線性描述 符; 最后在基于改進的描述符學(xué)習(xí)( SDL) 框架中學(xué) 習(xí)包含監(jiān)督的 CT 信息的局部描述符。第 2 階段, 在訓(xùn)練 MR 圖像的約束空間內(nèi)搜索輸入 MR 圖像 的局部描述符的 K 最近鄰域,和對應(yīng)原始 CT 塊進 行映射,對重疊的 CT 塊進行加權(quán)平均處理得到最 終的 pCT 塊。與僅使用成像參數(shù) T1w 或 T2w 的 MR 圖像方法相比,F(xiàn)MLND 方法提高了預(yù)測的準 確率。
對骨盆CT和MRI匹配可以促進前列腺癌放射治療兩種方式的有效融合。由于骨盆器官的模態(tài)外 觀間隙較大,形狀/外觀變化程度高,導(dǎo)致匹配困難。基于此,Cao 等人【34】提出基于雙向圖像合成的區(qū)域 自適應(yīng)變形匹配方法,用于多模態(tài)骨盆圖像的匹配, 雙向圖 像 合 成,即 從MRI合 成CT并 從CT合 成MRI。
多目標回歸森林 MT-RF 采用CT模式和MRI模式對方向圖像合成進行聯(lián)合監(jiān)督學(xué)習(xí),消除模態(tài) 之間的外觀差異,同時保留豐富的解剖細節(jié),其匹配 流程為: 首先,通過 MT-RF 合成雙向圖像,獲得實際CT和合成CT( S-CT) 的CT像對以及實際MRI和合成 MRI( S-MRI) 的 MRI 像對; 其次,對CT像對的骨骼區(qū)域和 MRI像對的軟組織區(qū)域進行檢測,以結(jié)合 兩種模式中的解剖細節(jié); 最后,利用從兩種模式中選 擇的特征點進行對稱匹配。在匹配過程中,特征點 數(shù)量逐漸增加,對形變場的對稱估計起到較好的分 級指導(dǎo)作用。該方法能夠較好地解決骨盆圖像匹配 問題,具有較高的準確性和魯棒性。
3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率
何夢夢等人【35】對細節(jié)紋理信息豐富的高分辨率光學(xué)及 SAR( synthetic aperture radar) 遙感圖像進行分析,提出一種特征 級高分辨率遙感圖像快速自動匹配方法。該方法首 先對匹配圖像和待匹配圖像進行 Harr 小波變換,將 其變換到低頻近似圖像再進行后續(xù)處理,以提高圖 像匹配速度; 接著對光學(xué)圖像和 SAR 圖像分別采用 Canny 算子和 ROA( ratio of averages) 算子進行邊緣 特征提取,并將邊緣線特征轉(zhuǎn)換成點特征。
而后通過 匹配圖像和待匹配圖像中每對特征點之間的最小和 次小角度之比確定初始匹配點對,并通過對隨機抽 樣一致性算法( RANSAC) 添加約束條件來濾除錯誤 匹配點對; 最后采用分塊均勻提取匹配點對的方法, 進一步提高匹配精度。該方法能快速實現(xiàn)并具有較 高的配準精度和較好的魯棒性。
3.7 剔除誤差匹配
3.7.1 幾何約束為參數(shù)的情況,如要求相應(yīng)點位于極線上
Fischler 等 人[36]提出 RANSAC 方法,采用迭代方式從包含離群 數(shù)據(jù)的數(shù)據(jù)集中估算出數(shù)學(xué)模型。進行匹配點對的 提純步驟為: 1) 從已匹配的特征點對數(shù)據(jù)集中隨機 抽取四對不共線的點,計算單應(yīng)性矩陣 H,記作模型 M; 2) 設(shè)定一個閾值 t,若數(shù)據(jù)集中特征點與 M 之間 的投影誤差小于 t,就把該點加入內(nèi)點集,重復(fù)以上 步驟,迭代結(jié)束后對應(yīng)內(nèi)點數(shù)量最多的情況即為最 優(yōu)匹配。RANSAC 對誤匹配點的剔除依賴單應(yīng)性矩 陣的計算,存在計算量大、效率低等問題。
文獻[37]通過引入針對內(nèi)點和外點的混合概 率模 型 實 現(xiàn) 了 參 數(shù) 模 型 的最大似然估計。
文獻[38]使用支持向量回歸學(xué)習(xí)的對應(yīng)函數(shù),該函 數(shù)將一幅圖像中的點映射到另一幅圖像中的對應(yīng)點, 再通過檢驗它們是否與對應(yīng)函數(shù)一致來剔除異常值。
將點對應(yīng)關(guān)系通過圖匹配進行描述[39-40]
為了在不依賴 RANSAC 情況下恢復(fù)大量內(nèi)點,Lin 等人【41】提出 BF( bilateral functions) 方法,從含 有噪聲的匹配中計算全局匹配的一致函數(shù),進而分 離內(nèi)點與外點。BF 從一組初始匹配結(jié)果開始,利用 每個匹配定義的局部仿射變換矩陣計算兩幅圖像之 間的仿射運動場。在給定運動場的情況下,BF 為每 個特征在描述符空間尋找最近鄰匹配以恢復(fù)更多對 應(yīng)關(guān)系。與 RANSAC 相比,雙邊運動模型具備更高 的查全率和查準率。
受 BF 啟發(fā),Bian 等人【42】將運動平滑度作為統(tǒng)計量,提出基于網(wǎng)格的運動統(tǒng)計( GMS)方法,根據(jù) 最近鄰匹配數(shù)量區(qū)分正確匹配和錯誤匹配點對。GMS 算法的核心為運動統(tǒng)計模型,如圖 4 所示。其 中,si 和 sj 分別表示正確匹配 xi 和錯誤匹配 xj 的運 動統(tǒng)計,為了加速這一過程,可將整幅圖像劃分成 G = 20 × 20 的網(wǎng)格,并在網(wǎng)格中進行操作。由于 GMS 算法在進行網(wǎng)格劃分時,并未考慮圖像大小, 對于長寬比例不一致的圖像,會生成矩形狀的網(wǎng)格, 導(dǎo)致網(wǎng)格中特征分布不均。基于此,文獻[43]通過 計算五宮格特征分數(shù)剔除外點,并將圖像大小作為 約束對圖像進行方形網(wǎng)格劃分,能夠在提高運算速 度的同時獲得與 GMS 算法相同的匹配精度。
3.7.2 幾何約束為非參數(shù)
Ma 等人[44]提出 VFC( vector field consensus) 方法,利用向量場的光滑先驗,從帶有外點的樣本中尋找向量場的魯棒估計。向量場的光滑 性由再生核希爾伯特空間( RKHS) 【45】范數(shù)表征,VFC 算法基于這一先驗理論,使用貝葉斯模型的最 大后驗( MAP) 計算匹配是否正確,最后使用 EM 算法將后驗概率最大化。VFC 算法的適用范圍: 1) 誤匹配比例高的時候( 遙感圖像、紅外圖像和異質(zhì)圖像) ; 2) 無法提供變換模型的時候( 如非剛性變形、 相機參數(shù)未知) ; 3) 需要一個快速匹配算法且不需要求解變換參數(shù)的時候。
Part2:局部不變特征點匹配-3D
3維圖像常用的表現(xiàn)形式包括: 深度圖( 以灰 度表達物體與相機的距離) 、幾何模型( 由 CAD 軟 件建立) 、點云模型( 所有逆向工程設(shè)備都將物體采 樣成點云) ,3 維點匹配算法中常見的是基于點云模 型的和基于深度模型的。點云模型中的每個點對應(yīng) 一個測量點,包含了最大的信息量。
1.特征檢測
PointNet【46】可以直接將 3D 點云作為輸入,其改進版 PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視 覺中發(fā)揮重要作用,是解決對應(yīng)估計、匹配、目標檢 測和形狀檢索等的前提,廣泛應(yīng)用在機器人技術(shù)、導(dǎo) 航( SVM) 和場景重建中。點云匹配中的 3 維幾何 描述符一直是該領(lǐng)域的研究熱點,這種描述符主要 依賴 3 維局部幾何信息。
Deng 等人[48]提出具有全局感知的局部特征提取網(wǎng)絡(luò) PPFNet( point pair feature network) 。PPFNet 結(jié)構(gòu)如圖 5 所示。塊描述 Fr 由點對特征( PPF) 集合、局部鄰域內(nèi)的點及法線 構(gòu)成,首先采用 PointNet 處理每個區(qū)域塊,得到局部 特征; 其次通過最大池化層將各個塊的局部特征聚 合為全局特征,將截然不同的局部信息匯總到整個 片段的全局背景中。
最后將該全局特征連接到每個 局部特征,使用一組多層感知機( MLP) 進一步將全 局和局部特征融合到最終全局背景感知的局部描述 符中。PPFNet 在幾何空間上學(xué)習(xí)局部描述符,具有 排列不變性,且能充分利用原始點云的稀疏性,提高 了召回率,對點云的密度變化有更好的魯棒性。但 其內(nèi)存使用空間與塊數(shù)的 2 次方成正比,限制了塊 的數(shù)量,目前只能設(shè)置為 2 K。
在基于深度模型的匹配算法中,Zhou 等人【49】基于多視圖融合技術(shù) Fuseption-ResNet(FRN),提出 多視圖描述符 MVDesc。FRN 能將多視圖特征映射 集成到單視圖上表示,如圖 6 所示。其中,視圖池化 ( view pooling) 用于快捷連接,F(xiàn)useption 分支負責(zé)學(xué) 習(xí)殘差映射,兩個分支在精度和收斂率方面互相加強。采用 3 × 3、1 × 3 和 3 × 1 3 種不同內(nèi)核尺寸的 輕量級空間濾波器提取不同類型的特征,并采用上 述級聯(lián)特征映射的 1 × 1 卷積負責(zé)跨通道統(tǒng)計量的合并與降維。將 FRN 置于多個并行特征網(wǎng)絡(luò)之上, 并建立 MVDesc 的學(xué)習(xí)網(wǎng)絡(luò),其中卷積 6 的通道數(shù) 與特征網(wǎng)絡(luò)輸出的特征映射通道數(shù)相同。
與依 賴多視圖圖像或需要提取固有形狀特征的卷積神經(jīng)網(wǎng)絡(luò)不同,Wang 等人[50]提出一種可以根據(jù) 3 維曲面形狀生成局部描述符的網(wǎng)絡(luò)框架。該方法將關(guān)鍵點的鄰域進行多尺度量化并參數(shù)化為 2 維網(wǎng)格,并 將其稱之為幾何圖像,描述符的訓(xùn)練過程如下: 首先 提取曲面上關(guān)鍵點鄰域的多尺度局部塊,根據(jù)這些塊構(gòu)造一組幾何圖像; 其次將這些塊輸入 Triplet 網(wǎng) 絡(luò),每個網(wǎng)絡(luò)分支采用 ConvNet ( convolutional networks) 訓(xùn)練; 最后輸出 128 維描述符,并采用 MinCV Triplet 損失函數(shù)最小化錨樣本和正樣本距離的變異系數(shù)( CV) 之比。相對于其他局部描述符學(xué)習(xí)方法,該方法具有更好的可區(qū)分性、魯棒性及泛化 能力。
Georgakis 等人[51]提出用于特征點檢測和描述符學(xué)習(xí)的端到端框架。該框架基于 Siamese 體系結(jié) 構(gòu),每個分支都是一個改進的 Faster R-CNN[52]。如 圖 7 所示,采用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特征,一方面經(jīng)過RPN( region propose network) 處理,產(chǎn)生特征點的候選區(qū)域( 橙色區(qū)域) 及分數(shù) S 。
另一方面輸入到 RoI( region of interest) 池化層,經(jīng)過全連接層將特征點候選區(qū)域映射 到對應(yīng)卷積特征 f 上; 采樣層以候選區(qū)域的質(zhì)心 x、 卷積特征 f 、深度圖像值 D、相機姿態(tài)信息 g 和相機 內(nèi)在參數(shù)作為輸入,動態(tài)生成局部塊對應(yīng)標簽( 正 或負) ,并采用對比損失函數(shù) Lcontr 最小化正樣本對間的特征距離,最大化負樣本對間的距離,該方法對視角變化具有一定的魯棒性。
2. 誤差剔除
采用基于圖模型的3維誤匹配點剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對之間的相 鄰關(guān)系,并通過置信傳播對每個匹配對進行推斷驗 證,從而提高 3 維點匹配的準確性和魯棒性。
Part3:直線匹配
研究直線匹配首先要克服線特征本身存在的一 些問題,如端點位置不準確、圖像邊緣特征不明顯、 線段碎片問題等,與點特征相比,線特征包含更多場 景和對象的結(jié)構(gòu)信息。線特征匹配方法可以大致分 為 3 種: 基于單線段匹配方法、基于線段組方法和基于共面線—點不變量( LP) 方法。
1.基于單線段匹配
Wang 等人[53]提出 的 MSLD( mean standard deviation line descriptor) 方 法通過統(tǒng)計像素支持區(qū)域內(nèi)每個子區(qū)域 4 個方向的 梯度向量構(gòu)建描述子矩陣,進而提高描述符的魯棒 性。MSLD 對具有適當變化的紋理圖像有較好的匹 配效果,可以應(yīng)用在 3 維重建和目標識別等領(lǐng)域。為了解決 MSLD 對尺度變化敏感問題,文獻[54]將 區(qū)域仿射變換和 MSLD 相結(jié)合,利用核線約束確定 匹配圖像對應(yīng)的同名支持域,并對該支持域進行仿 射變換以統(tǒng)一該區(qū)域大小,實現(xiàn)不同尺度圖像上直 線的可靠匹配。
與 MSLD 相似,Zhang 等人[55]提出 線帶描述符( LBD),在線支持區(qū)域( LSR) 中計算描 述符,同時利用直線的局部外觀和幾何特性,通過成 對幾何一致評估提高對低紋理圖像直線匹配的精確 度。該方法可在不同尺度空間中檢測線段,能夠克 服線段碎片問題,提高抗大尺度變化的魯棒性。
2.基于線段組方法
當像對間旋轉(zhuǎn)角度過大時,單線段匹配方法的匹配準確率不高,可以采用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人[56]基于線段局部聚類的方式提出半局部特征 LS( line signature),用于寬基線像對匹配,并采用多尺度方案提 高尺度變化下的魯棒性。
為了提高在光照不受控制 情況下對低紋理圖像的匹配準確度,López 等人[57] 將直線的幾何特性、局部外觀及線鄰域結(jié)構(gòu)上下文 相結(jié)合,提出雙視圖( two-view) 直線匹配算法 CA。首先對線特征進行檢測: 1) 在高斯尺度空間利用基 于相位的邊緣檢測器提取特征; 2) 根據(jù)連續(xù)性準則 將邊緣特征局部區(qū)域近似為線段; 3) 在尺度空間進 行線段融合。其次,該方法中的相位一致性對于圖 像亮度和對比度具有較高不變性,線段融合可以減 少重疊線段以及線段碎片出現(xiàn)。最后,線特征匹配 采用迭代方式進行,通過不同直線鄰域的局部結(jié)構(gòu) 信息來增強每次迭代的匹配線集,該方法適用于低 紋理圖像中線特征的檢測與匹配。
基于線段組匹配方法對線段端點有高度依賴性,圖像變換及部分遮擋可能導(dǎo)致端點位置不準確, 進而影響匹配效果。
3.基于共面線—點不變量( LP) 方法
Fan 等人[58-59]利用線及其鄰域點的局部幾何信息構(gòu)造共面線—點不變量( LP) 用 于線匹配。LP 包括: “一線 + 兩點”構(gòu)成的仿射不 變量和“一線 + 四點”構(gòu)成的投影不變量。該投影 不變量和“兩線 + 兩點”構(gòu)成的投影不變量[60] 相 比,可以直接用于線匹配而無需復(fù)雜的組合優(yōu)化。根據(jù)直線的梯度方向,將線鄰域分為左鄰域和右鄰 域( 線梯度方向) ,以獲得左右鄰域內(nèi)與線共面的匹 配點,進行線相似性度量時,取左右鄰域相似性的最大值。
該方法對誤匹配點和圖像變換具有魯棒性, 但高度依賴匹配關(guān)鍵點的準確性。為此,Jia 等 人[61]基于特征數(shù) CN[62]提出一種新的共面線—點 投影不變量。CN 對交叉比進行擴展,采用線上點 和線外點描述基礎(chǔ)幾何結(jié)構(gòu)。通過“五 點”構(gòu) 造 線—點不變量,其中兩點位于直線上,另外三點位于 直線同一側(cè)但不共線,如圖 8 所示。點 KP1 l ,KP2 l , P1 ,P2 ,P3 用于構(gòu)造該不變量,通過兩點連線可以 獲得其他特征點。
計算直線鄰域相似性時,把線鄰 域按照線梯度方向分為左鄰域和右鄰域( 梯度方 向) ,根據(jù)線點不變量分別計算左、右鄰域的相似 性。這種相似性度量方法受匹配特征點的影響較 小。該方法對于低紋理和寬基線圖像的線匹配效果 要優(yōu)于其他線匹配算法,對于很多圖像失真也有較 好魯棒性。由于該線—點不變量是共面的,對于非平面場景圖像的處理具有局限性。
對航空影像進行線匹配時,線特征通常會出現(xiàn)遮擋、變形及斷裂等情況,使得基于形態(tài)的全局描述 符不再適用。基于此,歐陽歡等人[63]聯(lián)合點特征匹 配優(yōu)勢,通過對線特征進行離散化描述并結(jié)合同名 點約束實現(xiàn)航空影像線特征匹配。線特征離散化, 即將線看做離散點,通過統(tǒng)計線上同名點的分布情 況來確定線特征的初匹配結(jié)果,最后利用點線之間 距離關(guān)系對匹配結(jié)果進行核驗。同名點約束包括單 應(yīng)性約束和核線約束,單應(yīng)性約束實現(xiàn)線特征之間 的位置約束,核線約束將匹配搜索空間從 2 維降至 1 維。
線上離散點的匹配約束如圖 9 所示,IL 為目 標影像,l1 為目標線特征,p 為其上一點; IR 為待匹 配影像,線 E 代表 p 所對應(yīng)核線,p' 為 p 由單應(yīng)性矩 陣映射得到的對應(yīng)點,虛線圓為單應(yīng)性矩陣的約束 范圍,l'1 、l'2 、l'3 是由約束確定的候選線特征,點 p1、p2 、p3 為 p 的候選同名點。該算法匹配正確率 高,匹配速度相對較快,可實現(xiàn)斷裂線特征的多對多匹配,但匹配可靠性仍受到點特征匹配的影響,對于 難以獲得初始同名點的區(qū)域,其適用性不高。
Part4:區(qū)域匹配
1.區(qū)域特征提取與匹配方法
區(qū)域特征具有較高的不變性與穩(wěn)定性,在多數(shù)圖像中可以重復(fù)檢測,與其他檢測器具有一定互補性,被廣泛應(yīng)用于圖像識別、圖像檢索、圖像拼接、3 維重建、機器人導(dǎo)航等領(lǐng)域。
Matas 等人[64]于 2002 年提 出最大穩(wěn)定極值區(qū)域( MSER) 采用分水嶺方法,通 過對灰度圖像取不同閾值分割得到一組二值圖,再 分析相鄰二值圖像的連通區(qū)域獲得穩(wěn)定區(qū)域特征。經(jīng)典 MSER 算法具有較高的時間復(fù)雜度。
Nistér 等 人[65]基于改進的分水嶺技術(shù)提出一種線性計算 MSER 的算法,該算法基于像素的不同計算順序,獲 得與圖像中存在灰度級數(shù)量相同的像素分量信息, 并通過組件樹表示對應(yīng)灰度級。MSER 這類方法可 用于圖像斑點區(qū)域檢測及文本定位,也可與其他檢 測器結(jié)合使用,如文獻[66]將 SURF 和 MSER 及顏 色特征相結(jié)合用于圖像檢索,文獻[67]將 MSER 與 SIFT 結(jié)合用于特征檢測。
區(qū)域特征檢測還可利用計算機技術(shù)中的樹理論 進行穩(wěn)定特征提取,Xu 等人[68]提出一種基于該理 論的拓撲方法 TBMR( tree-based Morse regions)。該 方法以 Morse 理論為基礎(chǔ)定義臨界點: 最大值點、最小值點和鞍點,分別對應(yīng)最大樹葉子節(jié)點、最小樹葉 子節(jié)點和分叉節(jié)點。TBMR 區(qū)域?qū)?yīng)樹中具有唯一 子節(jié)點和至少具有一個兄弟節(jié)點的節(jié)點。
如圖 10 所示,節(jié)點 A 和 C 代表最小值區(qū)域; 節(jié)點 H 和 E 代 表最大值區(qū)域; 節(jié)點 A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點區(qū)域; 節(jié)點 A ∪ B 、C ∪ D 、E ∪ F 為所求 TBMR 區(qū)域。該方法僅依賴拓撲信息,完全繼承形狀空間不變性,對視角變化具有魯棒性,計算 速度快,與 MSER 具有相同復(fù)雜度,常用于圖像配準 和 3 維重建。
2. 模板匹配:
模板匹配是指給定一個模板( 通常是一塊小圖像區(qū)域) ,在目標圖像中尋找與模板對應(yīng)區(qū)域的方法,被廣泛應(yīng)用于目標跟蹤、目標檢測及圖像拼接等領(lǐng)域。
模板和目標圖像子窗口間的相似性度量是模板 匹配的主要部分,常采用逐像素比較的計算方式,如 上述方法采用的 SAD、CSAD 和 SV-NCC,此外還有 差值平方和 SSD 等,這些方法在圖像背景雜亂或發(fā) 生復(fù)雜形變的情況下不再適用。
Korman 等人[69]提出可以處理任意仿射變換的模板匹配算法 FAST-Match( fast affine template matching) ,該方法首先將彩色圖像灰度化,再構(gòu)建 仿射變換集合,并遍歷所有可能的仿射變換,最后計 算模板與變換后區(qū)域之間絕對差值的和 SAD,求取 最小值作為最佳匹配位置。該方法能夠找到全局最 優(yōu)匹配位置,但對彩色圖像匹配時,需預(yù)先轉(zhuǎn)換成灰 度圖像,而這一過程損失了彩色空間信息,降低了圖像匹配的準確率。
Jia 等人[70]將灰度空間的 SAD 拓 展到 RGB 空間形成 CSAD( colour SAD) ,提出適合 彩色 圖 像 的 模 板 匹 配 算 法CFAST-Match( colour FAST match) 。該方法通過矢量密度聚類算法計算 每個像素點所屬類別,并統(tǒng)計同類像素個數(shù)及 RGB 各通道的累計值,以此求解每個分類的矢量中心,將 矢量中心作為 CSAD 的判定條件,同類像素個數(shù)的 倒數(shù)作為分值系數(shù),以此建立新的相似性度量機制。
上方法對存在明顯色差的區(qū)域具有較高匹配精度, 但部分參數(shù)依據(jù)經(jīng)驗設(shè)置,且不適合處理大尺寸圖 像。為了解決這一問題,文獻[71]提出一種基于分值圖的模板匹配算法。該方法依據(jù)彩色圖像的多通道特征,采用抽樣矢量歸一化互相關(guān)方法 ( SVNCC) 度量兩幅圖像間的區(qū)域一致性,以降低光照和噪聲影響。
Dekel 等人[72-73]基 于模板與目標圖像間的最近鄰( NN) 匹配屬性提出 一種新的 BBS( best-buddies similarity) 度量方法,采 用不同圖像特征( 如顏色、深度) 通過滑動窗口方式 統(tǒng)計模板點與目標點互為 NN 的匹配數(shù)量,并將匹 配數(shù)量最多的窗口視為最終匹配位置。但該算法在 發(fā)生劇烈非剛性形變或處于大面積遮擋及非均勻光 照等環(huán)境下匹配魯棒性差。文獻[74]利用曼哈頓 距離代替 BBS 算法中的歐氏距離,并對生成的置信 圖進行閾值篩選和濾波,能夠較好地解決光照不均 勻、模板中外點較多與旋轉(zhuǎn)變形等多種復(fù)雜條件下 的匹配問題。
采用雙向 NN 匹配導(dǎo)致 BBS 的計算時間較長,Talmi 等人[75]提出基于單向 NN 匹配的 DDIS( deformable diversity similarity) 方法。首先計算目標圖 像窗口點在模板中的 NN 匹配點,并統(tǒng)計對應(yīng)同一 匹配點的數(shù)量,計算像素點的置信度。其次采用歐 氏距離計算目標點和對應(yīng) NN 匹配點間距離,最后 結(jié)合度量模板和目標圖像窗口間的相似性獲得匹配 結(jié)果。盡管 DDIS 降低了算法復(fù)雜度并提高了檢測 精度,但當形變程度較大時依然會影響匹配效果。
由于 DDIS 對每個滑動窗口單獨計算 NN 匹配且滑 動窗口的計算效率較低,導(dǎo)致模板在與較大尺寸的 目標圖像進行匹配時,處理時間較長。為此,Talker 等人[76]基于單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基于目 標圖像窗口點不同,DIWU 計算整幅目標圖像點在 模板中的最近鄰匹配點,若多個像素的 NN 匹配點 相同,則像素的置信分數(shù)就低,匹配的正確性就低。DIWU 以第 1 個圖像窗口的分數(shù)為基礎(chǔ),逐步計算 之后的每個窗口分數(shù),該方法在保證匹配準確性的同時,提高了運算速度,使得基于 NN 的模板匹配適合實際應(yīng)用。
BBS 和 DDIS 均采用計算矩形塊間的相似性度量解決幾何形變和部分遮擋問題,但滑動窗口的使 用限制了遮擋程度。Korman 等人[77]基于一致集最 大化( CSM) 提出適用于存在高度遮擋情況下的模 板匹配算法 OATM( occlusion aware template matching) 。OATM 通過約簡方法,將單個向量和 N 個目 標向量間的匹配問題轉(zhuǎn)化為兩組 槡N 向量間的匹配 問題,并基于隨機網(wǎng)格哈希算法進行匹配搜索。匹 配搜索的過程為尋找 CSM 的過程,即使用閾值內(nèi)的 殘差映射進行變換搜索。OATM 提高了算法的處理 速度,較好地解決了遮擋問題。
與基于歐氏距離的像素間的相似性不同,共現(xiàn) 統(tǒng)計( cooccurrence statistics) 是從數(shù)據(jù)中學(xué)習(xí)像素間 的相似性。Kat 等人[78]通過統(tǒng)計模板點和目標點在 目標圖像窗口共同出現(xiàn)的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色 圖時,采用 k-means 聚類算法將圖像量化為 k 個類 簇,根據(jù)共現(xiàn)矩陣統(tǒng)計模板和目標圖像中的類簇對 在目標圖像中共同出現(xiàn)的次數(shù),再基于每個類簇的 先驗概率進行歸一化,構(gòu)造點互信息( PMI) 矩陣,值 越大表明共現(xiàn)概率越高,誤匹配率越低。最后根據(jù) PMI 計算模板類簇中的像素和目標圖像窗口中包含 的類簇中的像素之間的相關(guān)性,選出最佳匹配位置。CoTM 也適用于顏色特征之外的其他特征,如深度 特征,可將共現(xiàn)統(tǒng)計( 捕獲全局統(tǒng)計) 與深度特征 ( 捕獲局部統(tǒng)計數(shù)據(jù)) 相結(jié)合,在基于標準數(shù)據(jù)集的 模板匹配中提升匹配效果。
3. 深度學(xué)習(xí)方法-塊匹配:
近年來,基于深度學(xué)習(xí)的圖像區(qū)域匹配成為研 究熱點,卷積神經(jīng)網(wǎng)絡(luò)( CNN) 在局部圖像區(qū)域匹配的應(yīng)用中,根據(jù)是否存在度量層可以分為兩類:
第一 類為具有度量層的方法,這類網(wǎng)絡(luò)通常把圖像塊對 匹配問題視為二分類問題。
Han 等 人[79] 提出 的 MatchNet通過 CNN 進行圖像區(qū)域特征提取和相似 性度量,過程如圖 11 所示。對于每個輸入圖像塊, 特征網(wǎng)絡(luò)輸出一個固定維度特征,預(yù)處理層的輸入 為灰度圖像塊,起到歸一化作用。卷積層激活函數(shù) 為 ReLU,瓶頸( bottlebeck) 層為全連接層,能夠降低 特征維度并防止網(wǎng)絡(luò)過擬合。采用 3 個全連接層組 成的度量網(wǎng)絡(luò)計算特征對的匹配分數(shù),雙塔結(jié)構(gòu)在 監(jiān)督環(huán)境下聯(lián)合訓(xùn)練特征網(wǎng)絡(luò)和度量網(wǎng)絡(luò)。
Zagoruyko 等人[80] 提出 DeepCompare 方法,通 過 CNN 比較灰度圖像塊對的相似性。該方法對基 礎(chǔ)網(wǎng)絡(luò)框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進行描述,并在此基礎(chǔ)上采用深度網(wǎng)絡(luò)、中心環(huán)繞雙 流網(wǎng)絡(luò)( central-surround two-stream,2stream) 和空間 金字塔池化( SPP) 網(wǎng)絡(luò)提升基礎(chǔ)框架性能。
為了提高衛(wèi)星影像的配準率,范大昭等人[81]提 出基于空間尺度雙通道深度卷積神經(jīng)網(wǎng)絡(luò)方法 ( BBS-2chDCNN)。BBS-2chDCNN 是在雙通道深度 卷積神經(jīng)網(wǎng)絡(luò)( 2chDCNN) 前端加入空間尺度卷積 層,以加強整體網(wǎng)絡(luò)的抗尺度特性。2chDCNN 將待 匹配點對局部合成的兩通道影像作為輸入數(shù)據(jù),依 次進行 4 次卷積、ReLU 操作、最大池化操作,3 次卷 積和 ReLU 操作,最后進行扁平化和兩次全連接操 作輸出一維標量結(jié)果。該方法適用于處理異源、多 時相、多分辨率的衛(wèi)星影像,較傳統(tǒng)匹配方法能提取 到更為豐富的同名點。
第二類方法不存在度量層,這類網(wǎng)絡(luò)的輸出即為特征描述符,在某些應(yīng)用中可以直接代替?zhèn)鹘y(tǒng)描述符。
Balntas 等人[82]提出的 PN-Net 采用 Triplet 網(wǎng) 絡(luò)訓(xùn)練,訓(xùn)練過程如圖 14 所示。圖像塊三元組 T = { p1,p2,n} ,包 括 正 樣 本 對 ( p1,p2 ) 和 負 樣 本 對 ( p1,n) 、( p2,n) ,采用 SoftPN 損失函數(shù)計算網(wǎng)絡(luò)輸 出描述子間相似性,以確保最小負樣本對距離大于 正樣本對距離。表 2 給出所采用的 CNN 體系結(jié)構(gòu) 的參數(shù),采用 32 × 32 像素的圖像塊作為輸入,括號 內(nèi)的數(shù)字表示卷積核大小,箭頭后面的數(shù)字表示輸 出通道數(shù),Tanh 為激活函數(shù)。與其他特征描述符相 比,PN-Net 具有更高效的描述符提取及匹配性能, 能顯著減少訓(xùn)練和執(zhí)行時間。
Yang 等人[83]提出用于圖像塊表示的一對互補 描述符學(xué)習(xí)框架 DeepCD。該方法采用 Triplet 網(wǎng)絡(luò) 進行訓(xùn)練,輸出主描述符( 實值描述符) 和輔描述符 ( 二值描述符) ,如圖 15 所示,輸入圖像區(qū)域包括正 樣本對 ( a,p) ,負樣本對 ( a,n) 和 ( p,n) ,L 代表 主描述符,C 代表輔描述符,Δ 代表主描述符距離, Δ 珚代表輔描述符距離。數(shù)據(jù)相關(guān)調(diào)制層( DDM) 通過學(xué)習(xí)率的動態(tài)調(diào)整實現(xiàn)輔助描述符對主導(dǎo)描述符 的輔助作用。該方法能夠有效地提高圖像塊描述符 在各種應(yīng)用和變換中的性能。
以上這些方法都是對圖像塊對或三元組進行的 處理,Tian 等人[84]提出的 L2-Net通過 CNN 在歐氏 空間將一批圖像塊轉(zhuǎn)換成一批描述符,將批處理中 的最近鄰作為正確匹配描述符。如圖 16 所示,每個 卷積層左邊數(shù)字代表卷積核大小,右邊數(shù)字表示輸 出通道數(shù),2 表示下采樣層的步長; 3 × 3 Conv 由卷 積、批歸一化( BN) 和 ReLU( rectified linear unit) 組 成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應(yīng)歸一化層( LRN) 作為單元描述符的輸出層,獲 得 128 維描述符。
CS L2-Net 由兩個獨立 L2-Net 級 聯(lián)成雙塔結(jié)構(gòu),左側(cè)塔輸入和 L2-Net 相同,右側(cè)塔 輸入是中心裁剪后的圖像塊。采用漸進式采樣策 略,在參與訓(xùn)練的批樣本中,從每對匹配樣本中隨機 抽取一個組成若干不匹配樣本,增加負樣本數(shù)量。與成對樣本和三元組樣本相比,能夠利用更多負樣 本信息。
比較
2維點匹配
TILDE
https://cvlab.epfl.ch/research/tilde
協(xié)變特征檢測[17]
http://dvmmweb.cs.columbia.edu/files/3129.pdf
https://github.com/ColumbiaDVMM/Transform_Covariant_Detector
DeepDesc
http://icwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf
https://github.com/etrulls/deepdesc-release
LIFT
https://arxiv.org/pdf/1603.09114.pdf
https://github.com/cvlab-epfl/LIFT
Quad-networks
https://arxiv.org/pdf/1611.07571.pdfGMShttp://jwbian.net/gmsVFC
http://www.escience.cn/people/jiayima/cxdm.html
3維點匹配
http://tbirdal.me/downloads/tolga-birdal-cvpr-2018-ppfnet.pdf http://cn.arxiv.org/pdf/1802.07869 http://cn.arxiv.org/pdf/1807.05653 http://openaccess.thecvf.com/content_ECCV_2018/papers/Hanyu_Wang_Learning_3D_Keypoint_ECCV_2018_paper.pdf
PPFNet
文獻[51]
文獻[49]
文獻[50]
語義匹配
樣本LDA分類器
http://ci2cv.net/media/papers/2015_ICCV_Hilton.pdf
https://github.com/hbristow/epic
AnchorNet
http://openaccess.thecvf.com/content_cvpr_2017/papers/Novotny_AnchorNet_A_Weakly_CVPR_2017_paper.pdf
文獻[28]
http://cn.arxiv.org/pdf/1711.07641
線匹配
LBD
http://www.docin.com/p-1395717977.html
https://github.com/mtamburrano/LBD_Descriptor
新線點投影不變量[61]
https://github.com/dlut-dimt/LineMatching
模板匹配
FAST-Match
http://www.eng.tau.ac.il/~simonk/FastMatch/
CFAST-Match
https://wenku.baidu.com/view/3d96bf9127fff705cc1755270722192e453658a5.html
DDIS
https://arxiv.org/abs/1612.02190
https://github.com/roimehrez/DDIS
DIWU
http://liortalker.wixsite.com/liortalker/code
CoTM
http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2450.pdf
OATM
http://cn.arxiv.org/pdf/1804.02638
塊匹配
MatchNet
http://www.cs.unc.edu/~xufeng/cs/papers/cvpr15-matchnet.pdf
https://github.com/hanxf/matchnet
DeepCompare
http://imagine.enpc.fr/~zagoruys/publication/deepcompare/
PN-Net
https://arxiv.org/abs/1601.05030
https://github.com/vbalnt/pnnet
L2-Net
http://www.nlpr.ia.ac.cn/fanbin/pub/L2-Net_CVPR17.pdf
https://github.com/yuruntian/L2-Net
DeepCD
https://www.csie.ntu.edu.tw/~cyy/publications/papers/Yang2017DLD.pdf
https://github.com/shamangary/DeepCD
責(zé)任編輯:xj
原文標題:圖像匹配論文與方法超全整理
文章出處:【微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
算法
+關(guān)注
關(guān)注
23文章
4613瀏覽量
92948 -
圖像匹配
+關(guān)注
關(guān)注
0文章
21瀏覽量
8815
原文標題:圖像匹配論文與方法超全整理
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論