色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

圖像匹配應(yīng)用及方法

新機器視覺 ? 來源:新機器視覺 ? 作者:夢寐mayshine ? 2020-12-26 11:08 ? 次閱讀

圖像匹配

應(yīng)用:

目標識別、目標跟蹤、超分辨率影像重建、視覺導(dǎo)航、圖像拼接、三維重建、視覺定位、場景深度計算

方法:

基于深度學(xué)習(xí)的特征點匹配算法、實時匹配算法、3維點云匹配算法、共面線點不變量匹配算法,以及基于深度學(xué)習(xí)的圖像區(qū)域匹配等。

分類:

局部不變特征點匹配、直線匹配、區(qū)域匹配

Part1:局部不變特征點匹配-2D

1. 什么是圖像特征點?- 關(guān)鍵點+描述子

關(guān)鍵點:指特征點在圖像中的位置,具有方向、 尺度等信息;

描述子:描述子通常是一個向量,描述關(guān)鍵點鄰域的像素信息。

2. 如何進行特征點匹配 ?- 人工設(shè)計檢測

在向量空間對兩個描述子進行比較,距離相近則判定為同一個特征點

角點、邊緣點等都可以作為潛在特征點

角點檢測算法- 最常用:基于圖像灰度的方法

Harris【1】:通過兩個正交方向上 強度的變化率對角點進行定義,其本身存在尺度固 定、像素定位精度低、偽角點較多和計算量大等問題。

Harris改進算法【6】:將多分辨率思想引入 Harris 角點,解決了 Harris 算法不具有尺度變化的問題。

Harris改進算法【7】:在 Harris 算法中兩次篩選候選點集,利用最小二乘加 權(quán)距離法實現(xiàn)角點亞像素定位,大幅度提高角點檢測效率和精度。

Harris改進算法【8】:將灰度差分及模板與 Harris 算法相結(jié)合,解決了 Harris 算法中存在較多偽角 點和計算量大等問題。

鄰域像素檢測

Fast【2】:通過鄰域像素對比進行特征點檢測并引入機器學(xué)習(xí)加速這一過程,可應(yīng)用在對實時性要求較高的場合,如視頻監(jiān)控中的目標識別。由于FAST 僅處理單一尺度圖像,且檢測的不僅僅是“角點”這一特征,還可以檢測到其他 符合要求的特征點,如孤立的噪點等。當圖像中噪 點較多時會產(chǎn)生較多外點,導(dǎo)致魯棒性下降。

SIFT【3】:不再局限于對角點檢測

SIFT總結(jié)【5】:許允喜等,對局部圖像描述符進行分析描述,對這類方法的計算復(fù)雜度、評價方法和應(yīng)用領(lǐng)域 予以總結(jié)。

SIFT總結(jié)【4】:劉立等,對 SIFT 算法的演變以及在 不同領(lǐng)域的典型應(yīng)用進行了較為全面的論述,并比 較了各類算法的優(yōu)缺點。

SIFT算法改進【9】【10】【11】:針對算法時間復(fù)雜度高,PCA-SIFT, SURF, SSIF

SIFT算法改進【12】:對彩色圖 像進行處理的 CSIFT( colored SIFT)

SIFT算法改進【13】:使用對數(shù)極坐標分級結(jié)構(gòu)的 GLOH( gradient location and orientation histogram)

SIFT算法改進【14】:具有仿射不變性的ASFIT( affine SIFT)

3. 如何進行特征點匹配 ?

3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點的重復(fù)檢測

FAST-ER算法【15】:把特征點檢測器定義為一種檢測高重復(fù)點的三元決策樹,并采用模擬退火算法對決策樹進行優(yōu)化,從而提高檢測重復(fù)率。由于在每次 迭代過程中,都需要對重新應(yīng)用的新決策樹進行檢 測,且其性能受到初始關(guān)鍵點檢測器的限制,降低了 該算法的魯棒性。

時間不變特征檢測器( TILDE) 【16】:Verdie 等人提出,能夠較好地對由天氣、季節(jié)、時 間等因素引起的劇烈光照變化情況下的可重復(fù)關(guān)鍵 點進行檢測。參與訓(xùn)練的候選特征點是由多幅訓(xùn)練 圖像中采用 SIFT 算法提取的可重復(fù)關(guān)鍵點組成,如 圖a ; 正樣本是以這些點為中心的區(qū)域,負樣本 是遠離這些點的區(qū)域。

在進行回歸訓(xùn)練時,正樣本 在特征點位置返回最大值,遠離特征點位置返回較 小值,如圖 b ; 回歸測試時,將測試圖像分成固定 大小的圖像塊,其回歸響應(yīng)如圖c ,然后根據(jù)非 極大值抑制提取特征點,如圖d 。該方法適用于處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為同一場景的圖像。(TILDE 采用手動標記的數(shù)據(jù)作為區(qū)分性特征訓(xùn)練,使用DOG-difference of Gaussian收集訓(xùn)練集,對于跨模態(tài)任務(wù)如RGB/深度模態(tài)對不再適用)

基于學(xué)習(xí)的協(xié)變特征檢測器【17】:綜合考慮兩個局部特征檢測器特性(檢測可區(qū)分的特征;協(xié)變約束-在不同的變換下重復(fù)檢測一致特征),Zhang 等人提出。該方法將 TILDE 的輸出作為候選標準圖像塊,通過變換預(yù)測 器的訓(xùn)練建立學(xué)習(xí)框架,將局部特征檢測器的協(xié)變 約束轉(zhuǎn)化為變換預(yù)測器的協(xié)變約束,以便利用回歸 ( 如深度神經(jīng)網(wǎng)絡(luò)) 進行變換預(yù)測。

預(yù)測的變換有 兩個重要性質(zhì): 1) 變換的逆矩陣能將觀察到的圖像 塊映射到“標準塊”,“標準塊”定義了具有可區(qū)分性 的圖像塊以及塊內(nèi)“典型特征”( 如單位圓) 的位置 和形狀; 2) 將變換應(yīng)用到“典型特征”可以預(yù)測圖像 塊內(nèi)變換特征的位置和形狀。

Quadnetworks【18】:采用無監(jiān)督學(xué)習(xí)方式進行特征點檢測。Savinov 等人 提出,該方法將關(guān)鍵點檢測問題轉(zhuǎn)化為圖像變換上的關(guān)鍵點 一致性排序問題,優(yōu)化后的排序在不同的變換下具 有重復(fù)性,其中關(guān)鍵點來自響應(yīng)函數(shù)的頂/底部分位 數(shù)。

Quad-networks 的訓(xùn)練過程如圖所示,在兩幅 圖像中提取隨機旋轉(zhuǎn)像塊對( 1,3) 和( 2,4) ; 每個塊 經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出一個實值響應(yīng) H( p w) ,其中 p 表示點,w 表示參數(shù)向量; 通過四元組的排序一致 函數(shù)計算鉸鏈損失,并通過梯度下降法優(yōu)化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重復(fù)檢測性能均優(yōu)于 DOG,可以和基于學(xué)習(xí)的描述符 相結(jié)合進行圖像匹配,還可用于視頻中的興趣幀檢測。

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

用于特征點描述符判別學(xué)習(xí)的 DeepDesc【19】:Simo-Serra 等人提出,該方法采用 Siamese 網(wǎng)絡(luò)側(cè)重訓(xùn)練難以區(qū)分 類別的樣本,輸入圖像塊對,將 CNN 輸出的非線性 映射作為描述符,采用歐氏距離計算相似性并最小 化其鉸鏈損失。該方法適用于不同的數(shù)據(jù)集和應(yīng) 用,包括寬基線圖像匹配、非剛性變形和極端光照變 化的情況,但該方法需要大量的訓(xùn)練數(shù)據(jù)來保證其魯棒性。

3.3 深度學(xué)習(xí)各階段統(tǒng)一

Yi 等人提出【20】:基于學(xué)習(xí)的不變特征變換( LIFT)結(jié)合空間變換網(wǎng)絡(luò)【21】和 Softargmax 函數(shù),將基于深度學(xué)習(xí)的特征點檢測【16】、基于深度學(xué)習(xí)的方向估計【22】和基于深度 學(xué)習(xí)的描述符【19】連接成一個統(tǒng)一網(wǎng)絡(luò),從而實現(xiàn)完 整特征點匹配處理流水線。

其中圖像塊的裁剪和旋 轉(zhuǎn)通過空間變換網(wǎng)絡(luò)實現(xiàn),訓(xùn)練階段采用四分支 Siamese 網(wǎng)絡(luò),輸入特征點所在圖像塊, 其位置和方向均來自 SFM 算法的輸出,其中 P1 和 P2 為同一3D 點在不同視角下的圖像,P3 為不同3D 點的投影的圖像塊,P4 為不包含任何特征點的圖像 快,S 為得分圖,x 代表特征點位置。采用從后至前 的訓(xùn)練策略,即先訓(xùn)練描述子,再訓(xùn)練方向估計,最 后訓(xùn)練特征點檢測。測試階段,將特征點檢測與方 向估計及描述子分開,使優(yōu)化問題易于處理。LIFT 方法的輸入為多尺度圖像,以滑窗形式進行特征點 檢測,提取局部塊逐個分配方向,再計算描述子。與 SIFT 相比,LIFT 能夠提取出更為稠密的特征點,且 對光照和季節(jié)變化具有很高的魯棒性。

3.4 不同對象或場景的匹配方法研究( 圖像語義匹配):

與考慮在時間( 光流) 或空間( 立體) 相鄰的圖像特 征對應(yīng)不同,語義對應(yīng)的特征是圖像具有相似的高 層結(jié)構(gòu),而其精確的外觀和幾何形狀可能不同。

3.4.1 相同對象類的像對匹配

經(jīng) 典 SIFT 流方法【23】:提出不同場景的稠密對應(yīng)概念, 通過平滑約束和小位移先驗計算不同場景間的稠密 對應(yīng)關(guān)系。

Bristow 等人【24】:將語義對應(yīng)問題轉(zhuǎn)化為 約束檢測問題,并提出 Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對匹配圖像 中的每個像素學(xué)習(xí)一個 Examplar-LDA 分類器,然后 以滑動窗口形式將其應(yīng)用到目標圖像,并將所有分 類器上的匹配響應(yīng)與附加的平滑先驗結(jié)合,從而獲 得稠密的對應(yīng)估計。該方法改善了語義流的性能,在背景雜亂的場景下具有較強魯棒性。

3.4.2 不同對象類的像對匹配

Novotny 等人【25】:提出基于幾何敏感特征的弱監(jiān)督學(xué)習(xí)方法 AnchorNet。在只有圖像級標簽的監(jiān)督下,AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具 有正交響應(yīng)的多樣過濾器,該過濾器在同一類別的 不同實例或兩個相似類別之間具有幾何一致性。AnchorNet 通 過 在 ILSVRC12 ( imagenet large scale visual recognition competition 2012) 上預(yù)先訓(xùn)練的深 度殘差網(wǎng)絡(luò)( ResNet50) 模型初始化網(wǎng)絡(luò)參數(shù),并采 用兩階段優(yōu)化與加速訓(xùn)練完成匹配。

3.4.3 多圖像語義匹配

可以找到多個圖像間的一致對應(yīng)關(guān)系,從而在應(yīng)用中發(fā)揮更為重要的作用

對象類模型重建【26】

自動地標注釋【27】

Wang 等人【28】:將多圖像間的語義匹 配問題轉(zhuǎn)化為特征選擇與標注問題,即從每幅圖像 的初始候選集中選擇一組稀疏特征點,通過分配標 簽建立它們在圖像間的對應(yīng)關(guān)系。該方法可以為滿 足循環(huán)一致性和幾何一致性的圖像集合建立可靠的 特征對應(yīng)關(guān)系,其中循環(huán)一致性可以對圖像集合中 的可重復(fù)特征進行選擇和匹配。低秩約束用于確保 特征對應(yīng)的幾何一致性,并可同時對循環(huán)一致性和 幾何一致性進行優(yōu)化。該方法具有高度可擴展性, 可以對數(shù)千幅圖像進行匹配,適用于在不使用任何 注釋的情況下重構(gòu)對象類模型。

3.5 圖像匹配應(yīng)用于臨床的精確診療

通過精確比對器官的幾何形狀,來判斷臟器是否存在病變; 通過分析腫瘤的幾何特征,來判斷腫瘤是否為惡性。

Yu 等人[29]提 出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMREG( parallel optimization based on gaussian mixture model registration) 相結(jié)合的方法,改進了特征提取和匹配過程。ANSIFT 為加速版 NSIFT,采用 CUDA 編程加速 NSIFT 的前兩個步驟,用于提取匹配圖像和待匹配圖像中 的特征點( 僅保留位置信息) 。PO-GMMREG 是基 于并行優(yōu)化的高斯混合模型( GMM) 匹配算法,并行 優(yōu)化使得匹配圖像和待匹配圖像可以任意旋轉(zhuǎn)角度 對齊。該方法可以減少時間消耗,提高大姿態(tài)差異 下的匹配精度。

TV-L1 ( total variation-L1 ) 光流模型[30]能有效地保 持圖像邊緣等特征信息,但對于保持具有弱導(dǎo)數(shù)性 質(zhì)的紋理細節(jié)信息仍不夠理想。

張桂梅等人[31]將 G-L ( Grünwald-Letnikov ) 分 數(shù) 階 微 分 理 論 引 入 TV-L1 光流模型,代替其中的一階微分,提出分數(shù)階 TV-L1 光流場模型 FTV-L1 ( fractional TV-L1 ) 。同 時給出匹配精度和 G-L 分數(shù)階模板參數(shù)之間關(guān)系, 為最佳模板選取提供依據(jù)。FTV-L1 模型通過全變分 能量方程的對偶形式進行極小化以獲得位移場,可 以解決圖像灰度均勻,弱紋理區(qū)域匹配結(jié)果中的信 息模糊問題。該方法能有效提高圖像匹配精度,適合于包含較多弱紋理和弱邊緣信息的醫(yī)學(xué)圖像匹配。

為了解決待匹配圖像對中目標的大形變和灰度 分布呈各向異性問題,陸雪松等人[32]將兩幅圖像的 聯(lián)合 Renyi α -entropy 引入多維特征度量并結(jié)合全 局和局部特征,從而實現(xiàn)非剛性匹配。首先,采用最 小距離樹構(gòu)造聯(lián)合 Renyi α -entropy 度量準則; 其 次,根據(jù)該度量相對形變模型 FFD( free-form deformation) 的梯度解析表達式,采用隨機梯度下降法進 行優(yōu)化; 最后,將圖像的 Canny 特征和梯度方向特征 融入度量中,實現(xiàn)全局和局部特征的結(jié)合。該方法 的匹配精度與傳統(tǒng)互信息法和互相關(guān)系數(shù)法相比有 明顯提高,且新度量方法能克服因圖像局部灰度分 布不一致造成的影響,能夠在一定程度上減少誤 匹配。

Yang 等人[33] 提出的 FMLND( feature matching with learned nonlinear descriptors) 采用基于學(xué)習(xí)的局 部非線性描述符 LND 進行特征匹配,對來自 T1w 和 T2w 兩種不同成像參數(shù)的磁共振成像( MRI) 數(shù)據(jù)的 CT( computed tomography) 圖像進行預(yù)測。該過程分 為兩個階段: 學(xué)習(xí)非線性描述符和預(yù)測 pCT( pseudo CT) 圖像。

第 1 階段,首先采用稠密 SIFT 提取 MR 圖像的特征; 其次通過顯式特征映射將其投影到高 維空間并與原始塊強度結(jié)合,作為初始非線性描述 符; 最后在基于改進的描述符學(xué)習(xí)( SDL) 框架中學(xué) 習(xí)包含監(jiān)督的 CT 信息的局部描述符。第 2 階段, 在訓(xùn)練 MR 圖像的約束空間內(nèi)搜索輸入 MR 圖像 的局部描述符的 K 最近鄰域,和對應(yīng)原始 CT 塊進 行映射,對重疊的 CT 塊進行加權(quán)平均處理得到最 終的 pCT 塊。與僅使用成像參數(shù) T1w 或 T2w 的 MR 圖像方法相比,F(xiàn)MLND 方法提高了預(yù)測的準 確率。

對骨盆CT和MRI匹配可以促進前列腺癌放射治療兩種方式的有效融合。由于骨盆器官的模態(tài)外 觀間隙較大,形狀/外觀變化程度高,導(dǎo)致匹配困難。基于此,Cao 等人【34】提出基于雙向圖像合成的區(qū)域 自適應(yīng)變形匹配方法,用于多模態(tài)骨盆圖像的匹配, 雙向圖 像 合 成,即 從MRI合 成CT并 從CT合 成MRI。

多目標回歸森林 MT-RF 采用CT模式和MRI模式對方向圖像合成進行聯(lián)合監(jiān)督學(xué)習(xí),消除模態(tài) 之間的外觀差異,同時保留豐富的解剖細節(jié),其匹配 流程為: 首先,通過 MT-RF 合成雙向圖像,獲得實際CT和合成CT( S-CT) 的CT像對以及實際MRI和合成 MRI( S-MRI) 的 MRI 像對; 其次,對CT像對的骨骼區(qū)域和 MRI像對的軟組織區(qū)域進行檢測,以結(jié)合 兩種模式中的解剖細節(jié); 最后,利用從兩種模式中選 擇的特征點進行對稱匹配。在匹配過程中,特征點 數(shù)量逐漸增加,對形變場的對稱估計起到較好的分 級指導(dǎo)作用。該方法能夠較好地解決骨盆圖像匹配 問題,具有較高的準確性和魯棒性。

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

何夢夢等人【35】對細節(jié)紋理信息豐富的高分辨率光學(xué)及 SAR( synthetic aperture radar) 遙感圖像進行分析,提出一種特征 級高分辨率遙感圖像快速自動匹配方法。該方法首 先對匹配圖像和待匹配圖像進行 Harr 小波變換,將 其變換到低頻近似圖像再進行后續(xù)處理,以提高圖 像匹配速度; 接著對光學(xué)圖像和 SAR 圖像分別采用 Canny 算子和 ROA( ratio of averages) 算子進行邊緣 特征提取,并將邊緣線特征轉(zhuǎn)換成點特征。

而后通過 匹配圖像和待匹配圖像中每對特征點之間的最小和 次小角度之比確定初始匹配點對,并通過對隨機抽 樣一致性算法( RANSAC) 添加約束條件來濾除錯誤 匹配點對; 最后采用分塊均勻提取匹配點對的方法, 進一步提高匹配精度。該方法能快速實現(xiàn)并具有較 高的配準精度和較好的魯棒性。

3.7 剔除誤差匹配

3.7.1 幾何約束為參數(shù)的情況,如要求相應(yīng)點位于極線上

Fischler 等 人[36]提出 RANSAC 方法,采用迭代方式從包含離群 數(shù)據(jù)的數(shù)據(jù)集中估算出數(shù)學(xué)模型。進行匹配點對的 提純步驟為: 1) 從已匹配的特征點對數(shù)據(jù)集中隨機 抽取四對不共線的點,計算單應(yīng)性矩陣 H,記作模型 M; 2) 設(shè)定一個閾值 t,若數(shù)據(jù)集中特征點與 M 之間 的投影誤差小于 t,就把該點加入內(nèi)點集,重復(fù)以上 步驟,迭代結(jié)束后對應(yīng)內(nèi)點數(shù)量最多的情況即為最 優(yōu)匹配。RANSAC 對誤匹配點的剔除依賴單應(yīng)性矩 陣的計算,存在計算量大、效率低等問題。

文獻[37]通過引入針對內(nèi)點和外點的混合概 率模 型 實 現(xiàn) 了 參 數(shù) 模 型 的最大似然估計。

文獻[38]使用支持向量回歸學(xué)習(xí)的對應(yīng)函數(shù),該函 數(shù)將一幅圖像中的點映射到另一幅圖像中的對應(yīng)點, 再通過檢驗它們是否與對應(yīng)函數(shù)一致來剔除異常值。

將點對應(yīng)關(guān)系通過圖匹配進行描述[39-40]

為了在不依賴 RANSAC 情況下恢復(fù)大量內(nèi)點,Lin 等人【41】提出 BF( bilateral functions) 方法,從含 有噪聲的匹配中計算全局匹配的一致函數(shù),進而分 離內(nèi)點與外點。BF 從一組初始匹配結(jié)果開始,利用 每個匹配定義的局部仿射變換矩陣計算兩幅圖像之 間的仿射運動場。在給定運動場的情況下,BF 為每 個特征在描述符空間尋找最近鄰匹配以恢復(fù)更多對 應(yīng)關(guān)系。與 RANSAC 相比,雙邊運動模型具備更高 的查全率和查準率。

受 BF 啟發(fā),Bian 等人【42】將運動平滑度作為統(tǒng)計量,提出基于網(wǎng)格的運動統(tǒng)計( GMS)方法,根據(jù) 最近鄰匹配數(shù)量區(qū)分正確匹配和錯誤匹配點對。GMS 算法的核心為運動統(tǒng)計模型,如圖 4 所示。其 中,si 和 sj 分別表示正確匹配 xi 和錯誤匹配 xj 的運 動統(tǒng)計,為了加速這一過程,可將整幅圖像劃分成 G = 20 × 20 的網(wǎng)格,并在網(wǎng)格中進行操作。由于 GMS 算法在進行網(wǎng)格劃分時,并未考慮圖像大小, 對于長寬比例不一致的圖像,會生成矩形狀的網(wǎng)格, 導(dǎo)致網(wǎng)格中特征分布不均。基于此,文獻[43]通過 計算五宮格特征分數(shù)剔除外點,并將圖像大小作為 約束對圖像進行方形網(wǎng)格劃分,能夠在提高運算速 度的同時獲得與 GMS 算法相同的匹配精度。

3.7.2 幾何約束為非參數(shù)

Ma 等人[44]提出 VFC( vector field consensus) 方法,利用向量場的光滑先驗,從帶有外點的樣本中尋找向量場的魯棒估計。向量場的光滑 性由再生核希爾伯特空間( RKHS) 【45】范數(shù)表征,VFC 算法基于這一先驗理論,使用貝葉斯模型的最 大后驗( MAP) 計算匹配是否正確,最后使用 EM 算法將后驗概率最大化。VFC 算法的適用范圍: 1) 誤匹配比例高的時候( 遙感圖像、紅外圖像和異質(zhì)圖像) ; 2) 無法提供變換模型的時候( 如非剛性變形、 相機參數(shù)未知) ; 3) 需要一個快速匹配算法且不需要求解變換參數(shù)的時候。

Part2:局部不變特征點匹配-3D

3維圖像常用的表現(xiàn)形式包括: 深度圖( 以灰 度表達物體與相機的距離) 、幾何模型( 由 CAD 軟 件建立) 、點云模型( 所有逆向工程設(shè)備都將物體采 樣成點云) ,3 維點匹配算法中常見的是基于點云模 型的和基于深度模型的。點云模型中的每個點對應(yīng) 一個測量點,包含了最大的信息量。

1.特征檢測

PointNet【46】可以直接將 3D 點云作為輸入,其改進版 PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視 覺中發(fā)揮重要作用,是解決對應(yīng)估計、匹配、目標檢 測和形狀檢索等的前提,廣泛應(yīng)用在機器人技術(shù)、導(dǎo) 航( SVM) 和場景重建中。點云匹配中的 3 維幾何 描述符一直是該領(lǐng)域的研究熱點,這種描述符主要 依賴 3 維局部幾何信息。

Deng 等人[48]提出具有全局感知的局部特征提取網(wǎng)絡(luò) PPFNet( point pair feature network) 。PPFNet 結(jié)構(gòu)如圖 5 所示。塊描述 Fr 由點對特征( PPF) 集合、局部鄰域內(nèi)的點及法線 構(gòu)成,首先采用 PointNet 處理每個區(qū)域塊,得到局部 特征; 其次通過最大池化層將各個塊的局部特征聚 合為全局特征,將截然不同的局部信息匯總到整個 片段的全局背景中。

最后將該全局特征連接到每個 局部特征,使用一組多層感知機( MLP) 進一步將全 局和局部特征融合到最終全局背景感知的局部描述 符中。PPFNet 在幾何空間上學(xué)習(xí)局部描述符,具有 排列不變性,且能充分利用原始點云的稀疏性,提高 了召回率,對點云的密度變化有更好的魯棒性。但 其內(nèi)存使用空間與塊數(shù)的 2 次方成正比,限制了塊 的數(shù)量,目前只能設(shè)置為 2 K。

在基于深度模型的匹配算法中,Zhou 等人【49】基于多視圖融合技術(shù) Fuseption-ResNet(FRN),提出 多視圖描述符 MVDesc。FRN 能將多視圖特征映射 集成到單視圖上表示,如圖 6 所示。其中,視圖池化 ( view pooling) 用于快捷連接,F(xiàn)useption 分支負責(zé)學(xué) 習(xí)殘差映射,兩個分支在精度和收斂率方面互相加強。采用 3 × 3、1 × 3 和 3 × 1 3 種不同內(nèi)核尺寸的 輕量級空間濾波器提取不同類型的特征,并采用上 述級聯(lián)特征映射的 1 × 1 卷積負責(zé)跨通道統(tǒng)計量的合并與降維。將 FRN 置于多個并行特征網(wǎng)絡(luò)之上, 并建立 MVDesc 的學(xué)習(xí)網(wǎng)絡(luò),其中卷積 6 的通道數(shù) 與特征網(wǎng)絡(luò)輸出的特征映射通道數(shù)相同。

39cda7ee-4698-11eb-8b86-12bb97331649.jpg

與依 賴多視圖圖像或需要提取固有形狀特征的卷積神經(jīng)網(wǎng)絡(luò)不同,Wang 等人[50]提出一種可以根據(jù) 3 維曲面形狀生成局部描述符的網(wǎng)絡(luò)框架。該方法將關(guān)鍵點的鄰域進行多尺度量化并參數(shù)化為 2 維網(wǎng)格,并 將其稱之為幾何圖像,描述符的訓(xùn)練過程如下: 首先 提取曲面上關(guān)鍵點鄰域的多尺度局部塊,根據(jù)這些塊構(gòu)造一組幾何圖像; 其次將這些塊輸入 Triplet 網(wǎng) 絡(luò),每個網(wǎng)絡(luò)分支采用 ConvNet ( convolutional networks) 訓(xùn)練; 最后輸出 128 維描述符,并采用 MinCV Triplet 損失函數(shù)最小化錨樣本和正樣本距離的變異系數(shù)( CV) 之比。相對于其他局部描述符學(xué)習(xí)方法,該方法具有更好的可區(qū)分性、魯棒性及泛化 能力。

Georgakis 等人[51]提出用于特征點檢測和描述符學(xué)習(xí)的端到端框架。該框架基于 Siamese 體系結(jié) 構(gòu),每個分支都是一個改進的 Faster R-CNN[52]。如 圖 7 所示,采用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特征,一方面經(jīng)過RPN( region propose network) 處理,產(chǎn)生特征點的候選區(qū)域( 橙色區(qū)域) 及分數(shù) S 。

另一方面輸入到 RoI( region of interest) 池化層,經(jīng)過全連接層將特征點候選區(qū)域映射 到對應(yīng)卷積特征 f 上; 采樣層以候選區(qū)域的質(zhì)心 x、 卷積特征 f 、深度圖像值 D、相機姿態(tài)信息 g 和相機 內(nèi)在參數(shù)作為輸入,動態(tài)生成局部塊對應(yīng)標簽( 正 或負) ,并采用對比損失函數(shù) Lcontr 最小化正樣本對間的特征距離,最大化負樣本對間的距離,該方法對視角變化具有一定的魯棒性。

2. 誤差剔除

采用基于圖模型的3維誤匹配點剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對之間的相 鄰關(guān)系,并通過置信傳播對每個匹配對進行推斷驗 證,從而提高 3 維點匹配的準確性和魯棒性。

Part3:直線匹配

研究直線匹配首先要克服線特征本身存在的一 些問題,如端點位置不準確、圖像邊緣特征不明顯、 線段碎片問題等,與點特征相比,線特征包含更多場 景和對象的結(jié)構(gòu)信息。線特征匹配方法可以大致分 為 3 種: 基于單線段匹配方法、基于線段組方法和基于共面線—點不變量( LP) 方法。

1.基于單線段匹配

Wang 等人[53]提出 的 MSLD( mean standard deviation line descriptor) 方 法通過統(tǒng)計像素支持區(qū)域內(nèi)每個子區(qū)域 4 個方向的 梯度向量構(gòu)建描述子矩陣,進而提高描述符的魯棒 性。MSLD 對具有適當變化的紋理圖像有較好的匹 配效果,可以應(yīng)用在 3 維重建和目標識別等領(lǐng)域。為了解決 MSLD 對尺度變化敏感問題,文獻[54]將 區(qū)域仿射變換和 MSLD 相結(jié)合,利用核線約束確定 匹配圖像對應(yīng)的同名支持域,并對該支持域進行仿 射變換以統(tǒng)一該區(qū)域大小,實現(xiàn)不同尺度圖像上直 線的可靠匹配。

與 MSLD 相似,Zhang 等人[55]提出 線帶描述符( LBD),在線支持區(qū)域( LSR) 中計算描 述符,同時利用直線的局部外觀和幾何特性,通過成 對幾何一致評估提高對低紋理圖像直線匹配的精確 度。該方法可在不同尺度空間中檢測線段,能夠克 服線段碎片問題,提高抗大尺度變化的魯棒性。

2.基于線段組方法

當像對間旋轉(zhuǎn)角度過大時,單線段匹配方法的匹配準確率不高,可以采用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人[56]基于線段局部聚類的方式提出半局部特征 LS( line signature),用于寬基線像對匹配,并采用多尺度方案提 高尺度變化下的魯棒性。

為了提高在光照不受控制 情況下對低紋理圖像的匹配準確度,López 等人[57] 將直線的幾何特性、局部外觀及線鄰域結(jié)構(gòu)上下文 相結(jié)合,提出雙視圖( two-view) 直線匹配算法 CA。首先對線特征進行檢測: 1) 在高斯尺度空間利用基 于相位的邊緣檢測器提取特征; 2) 根據(jù)連續(xù)性準則 將邊緣特征局部區(qū)域近似為線段; 3) 在尺度空間進 行線段融合。其次,該方法中的相位一致性對于圖 像亮度和對比度具有較高不變性,線段融合可以減 少重疊線段以及線段碎片出現(xiàn)。最后,線特征匹配 采用迭代方式進行,通過不同直線鄰域的局部結(jié)構(gòu) 信息來增強每次迭代的匹配線集,該方法適用于低 紋理圖像中線特征的檢測與匹配。

基于線段組匹配方法對線段端點有高度依賴性,圖像變換及部分遮擋可能導(dǎo)致端點位置不準確, 進而影響匹配效果。

3.基于共面線—點不變量( LP) 方法

Fan 等人[58-59]利用線及其鄰域點的局部幾何信息構(gòu)造共面線—點不變量( LP) 用 于線匹配。LP 包括: “一線 + 兩點”構(gòu)成的仿射不 變量和“一線 + 四點”構(gòu)成的投影不變量。該投影 不變量和“兩線 + 兩點”構(gòu)成的投影不變量[60] 相 比,可以直接用于線匹配而無需復(fù)雜的組合優(yōu)化。根據(jù)直線的梯度方向,將線鄰域分為左鄰域和右鄰 域( 線梯度方向) ,以獲得左右鄰域內(nèi)與線共面的匹 配點,進行線相似性度量時,取左右鄰域相似性的最大值。

該方法對誤匹配點和圖像變換具有魯棒性, 但高度依賴匹配關(guān)鍵點的準確性。為此,Jia 等 人[61]基于特征數(shù) CN[62]提出一種新的共面線—點 投影不變量。CN 對交叉比進行擴展,采用線上點 和線外點描述基礎(chǔ)幾何結(jié)構(gòu)。通過“五 點”構(gòu) 造 線—點不變量,其中兩點位于直線上,另外三點位于 直線同一側(cè)但不共線,如圖 8 所示。點 KP1 l ,KP2 l , P1 ,P2 ,P3 用于構(gòu)造該不變量,通過兩點連線可以 獲得其他特征點。

計算直線鄰域相似性時,把線鄰 域按照線梯度方向分為左鄰域和右鄰域( 梯度方 向) ,根據(jù)線點不變量分別計算左、右鄰域的相似 性。這種相似性度量方法受匹配特征點的影響較 小。該方法對于低紋理和寬基線圖像的線匹配效果 要優(yōu)于其他線匹配算法,對于很多圖像失真也有較 好魯棒性。由于該線—點不變量是共面的,對于非平面場景圖像的處理具有局限性。

對航空影像進行線匹配時,線特征通常會出現(xiàn)遮擋、變形及斷裂等情況,使得基于形態(tài)的全局描述 符不再適用。基于此,歐陽歡等人[63]聯(lián)合點特征匹 配優(yōu)勢,通過對線特征進行離散化描述并結(jié)合同名 點約束實現(xiàn)航空影像線特征匹配。線特征離散化, 即將線看做離散點,通過統(tǒng)計線上同名點的分布情 況來確定線特征的初匹配結(jié)果,最后利用點線之間 距離關(guān)系對匹配結(jié)果進行核驗。同名點約束包括單 應(yīng)性約束和核線約束,單應(yīng)性約束實現(xiàn)線特征之間 的位置約束,核線約束將匹配搜索空間從 2 維降至 1 維。

線上離散點的匹配約束如圖 9 所示,IL 為目 標影像,l1 為目標線特征,p 為其上一點; IR 為待匹 配影像,線 E 代表 p 所對應(yīng)核線,p' 為 p 由單應(yīng)性矩 陣映射得到的對應(yīng)點,虛線圓為單應(yīng)性矩陣的約束 范圍,l'1 、l'2 、l'3 是由約束確定的候選線特征,點 p1、p2 、p3 為 p 的候選同名點。該算法匹配正確率 高,匹配速度相對較快,可實現(xiàn)斷裂線特征的多對多匹配,但匹配可靠性仍受到點特征匹配的影響,對于 難以獲得初始同名點的區(qū)域,其適用性不高。

3a6f0bf2-4698-11eb-8b86-12bb97331649.jpg

Part4:區(qū)域匹配

1.區(qū)域特征提取與匹配方法

區(qū)域特征具有較高的不變性與穩(wěn)定性,在多數(shù)圖像中可以重復(fù)檢測,與其他檢測器具有一定互補性,被廣泛應(yīng)用于圖像識別、圖像檢索、圖像拼接、3 維重建、機器人導(dǎo)航等領(lǐng)域。

Matas 等人[64]于 2002 年提 出最大穩(wěn)定極值區(qū)域( MSER) 采用分水嶺方法,通 過對灰度圖像取不同閾值分割得到一組二值圖,再 分析相鄰二值圖像的連通區(qū)域獲得穩(wěn)定區(qū)域特征。經(jīng)典 MSER 算法具有較高的時間復(fù)雜度。

Nistér 等 人[65]基于改進的分水嶺技術(shù)提出一種線性計算 MSER 的算法,該算法基于像素的不同計算順序,獲 得與圖像中存在灰度級數(shù)量相同的像素分量信息, 并通過組件樹表示對應(yīng)灰度級。MSER 這類方法可 用于圖像斑點區(qū)域檢測及文本定位,也可與其他檢 測器結(jié)合使用,如文獻[66]將 SURF 和 MSER 及顏 色特征相結(jié)合用于圖像檢索,文獻[67]將 MSER 與 SIFT 結(jié)合用于特征檢測。

區(qū)域特征檢測還可利用計算機技術(shù)中的樹理論 進行穩(wěn)定特征提取,Xu 等人[68]提出一種基于該理 論的拓撲方法 TBMR( tree-based Morse regions)。該 方法以 Morse 理論為基礎(chǔ)定義臨界點: 最大值點、最小值點和鞍點,分別對應(yīng)最大樹葉子節(jié)點、最小樹葉 子節(jié)點和分叉節(jié)點。TBMR 區(qū)域?qū)?yīng)樹中具有唯一 子節(jié)點和至少具有一個兄弟節(jié)點的節(jié)點。

如圖 10 所示,節(jié)點 A 和 C 代表最小值區(qū)域; 節(jié)點 H 和 E 代 表最大值區(qū)域; 節(jié)點 A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點區(qū)域; 節(jié)點 A ∪ B 、C ∪ D 、E ∪ F 為所求 TBMR 區(qū)域。該方法僅依賴拓撲信息,完全繼承形狀空間不變性,對視角變化具有魯棒性,計算 速度快,與 MSER 具有相同復(fù)雜度,常用于圖像配準 和 3 維重建。

2. 模板匹配:

模板匹配是指給定一個模板( 通常是一塊小圖像區(qū)域) ,在目標圖像中尋找與模板對應(yīng)區(qū)域的方法,被廣泛應(yīng)用于目標跟蹤、目標檢測及圖像拼接等領(lǐng)域。

模板和目標圖像子窗口間的相似性度量是模板 匹配的主要部分,常采用逐像素比較的計算方式,如 上述方法采用的 SAD、CSAD 和 SV-NCC,此外還有 差值平方和 SSD 等,這些方法在圖像背景雜亂或發(fā) 生復(fù)雜形變的情況下不再適用。

Korman 等人[69]提出可以處理任意仿射變換的模板匹配算法 FAST-Match( fast affine template matching) ,該方法首先將彩色圖像灰度化,再構(gòu)建 仿射變換集合,并遍歷所有可能的仿射變換,最后計 算模板與變換后區(qū)域之間絕對差值的和 SAD,求取 最小值作為最佳匹配位置。該方法能夠找到全局最 優(yōu)匹配位置,但對彩色圖像匹配時,需預(yù)先轉(zhuǎn)換成灰 度圖像,而這一過程損失了彩色空間信息,降低了圖像匹配的準確率。

Jia 等人[70]將灰度空間的 SAD 拓 展到 RGB 空間形成 CSAD( colour SAD) ,提出適合 彩色 圖 像 的 模 板 匹 配 算 法CFAST-Match( colour FAST match) 。該方法通過矢量密度聚類算法計算 每個像素點所屬類別,并統(tǒng)計同類像素個數(shù)及 RGB 各通道的累計值,以此求解每個分類的矢量中心,將 矢量中心作為 CSAD 的判定條件,同類像素個數(shù)的 倒數(shù)作為分值系數(shù),以此建立新的相似性度量機制。

上方法對存在明顯色差的區(qū)域具有較高匹配精度, 但部分參數(shù)依據(jù)經(jīng)驗設(shè)置,且不適合處理大尺寸圖 像。為了解決這一問題,文獻[71]提出一種基于分值圖的模板匹配算法。該方法依據(jù)彩色圖像的多通道特征,采用抽樣矢量歸一化互相關(guān)方法 ( SVNCC) 度量兩幅圖像間的區(qū)域一致性,以降低光照和噪聲影響。

Dekel 等人[72-73]基 于模板與目標圖像間的最近鄰( NN) 匹配屬性提出 一種新的 BBS( best-buddies similarity) 度量方法,采 用不同圖像特征( 如顏色、深度) 通過滑動窗口方式 統(tǒng)計模板點與目標點互為 NN 的匹配數(shù)量,并將匹 配數(shù)量最多的窗口視為最終匹配位置。但該算法在 發(fā)生劇烈非剛性形變或處于大面積遮擋及非均勻光 照等環(huán)境下匹配魯棒性差。文獻[74]利用曼哈頓 距離代替 BBS 算法中的歐氏距離,并對生成的置信 圖進行閾值篩選和濾波,能夠較好地解決光照不均 勻、模板中外點較多與旋轉(zhuǎn)變形等多種復(fù)雜條件下 的匹配問題。

采用雙向 NN 匹配導(dǎo)致 BBS 的計算時間較長,Talmi 等人[75]提出基于單向 NN 匹配的 DDIS( deformable diversity similarity) 方法。首先計算目標圖 像窗口點在模板中的 NN 匹配點,并統(tǒng)計對應(yīng)同一 匹配點的數(shù)量,計算像素點的置信度。其次采用歐 氏距離計算目標點和對應(yīng) NN 匹配點間距離,最后 結(jié)合度量模板和目標圖像窗口間的相似性獲得匹配 結(jié)果。盡管 DDIS 降低了算法復(fù)雜度并提高了檢測 精度,但當形變程度較大時依然會影響匹配效果。

由于 DDIS 對每個滑動窗口單獨計算 NN 匹配且滑 動窗口的計算效率較低,導(dǎo)致模板在與較大尺寸的 目標圖像進行匹配時,處理時間較長。為此,Talker 等人[76]基于單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基于目 標圖像窗口點不同,DIWU 計算整幅目標圖像點在 模板中的最近鄰匹配點,若多個像素的 NN 匹配點 相同,則像素的置信分數(shù)就低,匹配的正確性就低。DIWU 以第 1 個圖像窗口的分數(shù)為基礎(chǔ),逐步計算 之后的每個窗口分數(shù),該方法在保證匹配準確性的同時,提高了運算速度,使得基于 NN 的模板匹配適合實際應(yīng)用。

BBS 和 DDIS 均采用計算矩形塊間的相似性度量解決幾何形變和部分遮擋問題,但滑動窗口的使 用限制了遮擋程度。Korman 等人[77]基于一致集最 大化( CSM) 提出適用于存在高度遮擋情況下的模 板匹配算法 OATM( occlusion aware template matching) 。OATM 通過約簡方法,將單個向量和 N 個目 標向量間的匹配問題轉(zhuǎn)化為兩組 槡N 向量間的匹配 問題,并基于隨機網(wǎng)格哈希算法進行匹配搜索。匹 配搜索的過程為尋找 CSM 的過程,即使用閾值內(nèi)的 殘差映射進行變換搜索。OATM 提高了算法的處理 速度,較好地解決了遮擋問題。

與基于歐氏距離的像素間的相似性不同,共現(xiàn) 統(tǒng)計( cooccurrence statistics) 是從數(shù)據(jù)中學(xué)習(xí)像素間 的相似性。Kat 等人[78]通過統(tǒng)計模板點和目標點在 目標圖像窗口共同出現(xiàn)的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色 圖時,采用 k-means 聚類算法將圖像量化為 k 個類 簇,根據(jù)共現(xiàn)矩陣統(tǒng)計模板和目標圖像中的類簇對 在目標圖像中共同出現(xiàn)的次數(shù),再基于每個類簇的 先驗概率進行歸一化,構(gòu)造點互信息( PMI) 矩陣,值 越大表明共現(xiàn)概率越高,誤匹配率越低。最后根據(jù) PMI 計算模板類簇中的像素和目標圖像窗口中包含 的類簇中的像素之間的相關(guān)性,選出最佳匹配位置。CoTM 也適用于顏色特征之外的其他特征,如深度 特征,可將共現(xiàn)統(tǒng)計( 捕獲全局統(tǒng)計) 與深度特征 ( 捕獲局部統(tǒng)計數(shù)據(jù)) 相結(jié)合,在基于標準數(shù)據(jù)集的 模板匹配中提升匹配效果。

3. 深度學(xué)習(xí)方法-塊匹配:

近年來,基于深度學(xué)習(xí)的圖像區(qū)域匹配成為研 究熱點,卷積神經(jīng)網(wǎng)絡(luò)( CNN) 在局部圖像區(qū)域匹配的應(yīng)用中,根據(jù)是否存在度量層可以分為兩類:

第一 類為具有度量層的方法,這類網(wǎng)絡(luò)通常把圖像塊對 匹配問題視為二分類問題。

Han 等 人[79] 提出 的 MatchNet通過 CNN 進行圖像區(qū)域特征提取和相似 性度量,過程如圖 11 所示。對于每個輸入圖像塊, 特征網(wǎng)絡(luò)輸出一個固定維度特征,預(yù)處理層的輸入 為灰度圖像塊,起到歸一化作用。卷積層激活函數(shù) 為 ReLU,瓶頸( bottlebeck) 層為全連接層,能夠降低 特征維度并防止網(wǎng)絡(luò)過擬合。采用 3 個全連接層組 成的度量網(wǎng)絡(luò)計算特征對的匹配分數(shù),雙塔結(jié)構(gòu)在 監(jiān)督環(huán)境下聯(lián)合訓(xùn)練特征網(wǎng)絡(luò)和度量網(wǎng)絡(luò)。

Zagoruyko 等人[80] 提出 DeepCompare 方法,通 過 CNN 比較灰度圖像塊對的相似性。該方法對基 礎(chǔ)網(wǎng)絡(luò)框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進行描述,并在此基礎(chǔ)上采用深度網(wǎng)絡(luò)、中心環(huán)繞雙 流網(wǎng)絡(luò)( central-surround two-stream,2stream) 和空間 金字塔池化( SPP) 網(wǎng)絡(luò)提升基礎(chǔ)框架性能。

為了提高衛(wèi)星影像的配準率,范大昭等人[81]提 出基于空間尺度雙通道深度卷積神經(jīng)網(wǎng)絡(luò)方法 ( BBS-2chDCNN)。BBS-2chDCNN 是在雙通道深度 卷積神經(jīng)網(wǎng)絡(luò)( 2chDCNN) 前端加入空間尺度卷積 層,以加強整體網(wǎng)絡(luò)的抗尺度特性。2chDCNN 將待 匹配點對局部合成的兩通道影像作為輸入數(shù)據(jù),依 次進行 4 次卷積、ReLU 操作、最大池化操作,3 次卷 積和 ReLU 操作,最后進行扁平化和兩次全連接操 作輸出一維標量結(jié)果。該方法適用于處理異源、多 時相、多分辨率的衛(wèi)星影像,較傳統(tǒng)匹配方法能提取 到更為豐富的同名點。

第二類方法不存在度量層,這類網(wǎng)絡(luò)的輸出即為特征描述符,在某些應(yīng)用中可以直接代替?zhèn)鹘y(tǒng)描述符。

Balntas 等人[82]提出的 PN-Net 采用 Triplet 網(wǎng) 絡(luò)訓(xùn)練,訓(xùn)練過程如圖 14 所示。圖像塊三元組 T = { p1,p2,n} ,包 括 正 樣 本 對 ( p1,p2 ) 和 負 樣 本 對 ( p1,n) 、( p2,n) ,采用 SoftPN 損失函數(shù)計算網(wǎng)絡(luò)輸 出描述子間相似性,以確保最小負樣本對距離大于 正樣本對距離。表 2 給出所采用的 CNN 體系結(jié)構(gòu) 的參數(shù),采用 32 × 32 像素的圖像塊作為輸入,括號 內(nèi)的數(shù)字表示卷積核大小,箭頭后面的數(shù)字表示輸 出通道數(shù),Tanh 為激活函數(shù)。與其他特征描述符相 比,PN-Net 具有更高效的描述符提取及匹配性能, 能顯著減少訓(xùn)練和執(zhí)行時間。

Yang 等人[83]提出用于圖像塊表示的一對互補 描述符學(xué)習(xí)框架 DeepCD。該方法采用 Triplet 網(wǎng)絡(luò) 進行訓(xùn)練,輸出主描述符( 實值描述符) 和輔描述符 ( 二值描述符) ,如圖 15 所示,輸入圖像區(qū)域包括正 樣本對 ( a,p) ,負樣本對 ( a,n) 和 ( p,n) ,L 代表 主描述符,C 代表輔描述符,Δ 代表主描述符距離, Δ 珚代表輔描述符距離。數(shù)據(jù)相關(guān)調(diào)制層( DDM) 通過學(xué)習(xí)率的動態(tài)調(diào)整實現(xiàn)輔助描述符對主導(dǎo)描述符 的輔助作用。該方法能夠有效地提高圖像塊描述符 在各種應(yīng)用和變換中的性能。

以上這些方法都是對圖像塊對或三元組進行的 處理,Tian 等人[84]提出的 L2-Net通過 CNN 在歐氏 空間將一批圖像塊轉(zhuǎn)換成一批描述符,將批處理中 的最近鄰作為正確匹配描述符。如圖 16 所示,每個 卷積層左邊數(shù)字代表卷積核大小,右邊數(shù)字表示輸 出通道數(shù),2 表示下采樣層的步長; 3 × 3 Conv 由卷 積、批歸一化( BN) 和 ReLU( rectified linear unit) 組 成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應(yīng)歸一化層( LRN) 作為單元描述符的輸出層,獲 得 128 維描述符。

CS L2-Net 由兩個獨立 L2-Net 級 聯(lián)成雙塔結(jié)構(gòu),左側(cè)塔輸入和 L2-Net 相同,右側(cè)塔 輸入是中心裁剪后的圖像塊。采用漸進式采樣策 略,在參與訓(xùn)練的批樣本中,從每對匹配樣本中隨機 抽取一個組成若干不匹配樣本,增加負樣本數(shù)量。與成對樣本和三元組樣本相比,能夠利用更多負樣 本信息。

比較

3b10bf4c-4698-11eb-8b86-12bb97331649.jpg

3b56cc30-4698-11eb-8b86-12bb97331649.jpg

3b7f6726-4698-11eb-8b86-12bb97331649.jpg

2維點匹配

TILDE

https://cvlab.epfl.ch/research/tilde

協(xié)變特征檢測[17]

http://dvmmweb.cs.columbia.edu/files/3129.pdf

https://github.com/ColumbiaDVMM/Transform_Covariant_Detector

DeepDesc

http://icwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf

https://github.com/etrulls/deepdesc-release

LIFT

https://arxiv.org/pdf/1603.09114.pdf

https://github.com/cvlab-epfl/LIFT

Quad-networks

https://arxiv.org/pdf/1611.07571.pdfGMShttp://jwbian.net/gmsVFC

http://www.escience.cn/people/jiayima/cxdm.html

3維點匹配

http://tbirdal.me/downloads/tolga-birdal-cvpr-2018-ppfnet.pdf http://cn.arxiv.org/pdf/1802.07869 http://cn.arxiv.org/pdf/1807.05653 http://openaccess.thecvf.com/content_ECCV_2018/papers/Hanyu_Wang_Learning_3D_Keypoint_ECCV_2018_paper.pdf

PPFNet

文獻[51]

文獻[49]

文獻[50]

語義匹配

樣本LDA分類器

http://ci2cv.net/media/papers/2015_ICCV_Hilton.pdf

https://github.com/hbristow/epic

AnchorNet

http://openaccess.thecvf.com/content_cvpr_2017/papers/Novotny_AnchorNet_A_Weakly_CVPR_2017_paper.pdf

文獻[28]

http://cn.arxiv.org/pdf/1711.07641

線匹配

LBD

http://www.docin.com/p-1395717977.html

https://github.com/mtamburrano/LBD_Descriptor

新線點投影不變量[61]

https://github.com/dlut-dimt/LineMatching

模板匹配

FAST-Match

http://www.eng.tau.ac.il/~simonk/FastMatch/

CFAST-Match

https://wenku.baidu.com/view/3d96bf9127fff705cc1755270722192e453658a5.html

DDIS

https://arxiv.org/abs/1612.02190

https://github.com/roimehrez/DDIS

DIWU

http://liortalker.wixsite.com/liortalker/code

CoTM

http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2450.pdf

OATM

http://cn.arxiv.org/pdf/1804.02638

塊匹配

MatchNet

http://www.cs.unc.edu/~xufeng/cs/papers/cvpr15-matchnet.pdf

https://github.com/hanxf/matchnet

DeepCompare

http://imagine.enpc.fr/~zagoruys/publication/deepcompare/

PN-Net

https://arxiv.org/abs/1601.05030

https://github.com/vbalnt/pnnet

L2-Net

http://www.nlpr.ia.ac.cn/fanbin/pub/L2-Net_CVPR17.pdf

https://github.com/yuruntian/L2-Net

DeepCD

https://www.csie.ntu.edu.tw/~cyy/publications/papers/Yang2017DLD.pdf

https://github.com/shamangary/DeepCD

責(zé)任編輯:xj

原文標題:圖像匹配論文與方法超全整理

文章出處:【微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4613

    瀏覽量

    92948
  • 圖像匹配
    +關(guān)注

    關(guān)注

    0

    文章

    21

    瀏覽量

    8815

原文標題:圖像匹配論文與方法超全整理

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    手寫圖像模板匹配算法在OpenCV中的實現(xiàn)

    OpenCV中的模板匹配是支持基于NCC相似度查找的,但是不是很好用,一個主要的原因是查找最大閾值,只能匹配一個,自己比對閾值,又導(dǎo)致無法正確設(shè)定閾值范圍,所以問題很多。于是我重新寫了純Python版本的NCC圖像模板
    的頭像 發(fā)表于 11-11 10:12 ?250次閱讀
    手寫<b class='flag-5'>圖像</b>模板<b class='flag-5'>匹配</b>算法在OpenCV中的實現(xiàn)

    使用語義線索增強局部特征匹配

    視覺匹配是關(guān)鍵計算機視覺任務(wù)中的關(guān)鍵步驟,包括攝像機定位、圖像配準和運動結(jié)構(gòu)。目前最有效的匹配關(guān)鍵點的技術(shù)包括使用經(jīng)過學(xué)習(xí)的稀疏或密集匹配器,這需要成對的
    的頭像 發(fā)表于 10-28 09:57 ?245次閱讀
    使用語義線索增強局部特征<b class='flag-5'>匹配</b>

    圖像檢測和圖像識別的原理、方法及應(yīng)用場景

    圖像檢測和圖像識別是計算機視覺領(lǐng)域的兩個重要概念,它們在許多應(yīng)用場景中發(fā)揮著關(guān)鍵作用。 1. 定義 1.1 圖像檢測 圖像檢測(Object Detection)是指在
    的頭像 發(fā)表于 07-16 11:19 ?4261次閱讀

    圖像識別算法都有哪些方法

    圖像識別算法是計算機視覺領(lǐng)域的核心任務(wù)之一,它涉及到從圖像中提取特征并進行分類、識別和分析的過程。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,圖像識別算法已經(jīng)取得了顯著的進展。本文將介紹圖像識別算法的
    的頭像 發(fā)表于 07-16 11:14 ?5621次閱讀

    機器人視覺技術(shù)中常見的圖像分割方法

    機器人視覺技術(shù)中的圖像分割方法是一個廣泛且深入的研究領(lǐng)域。圖像分割是將圖像劃分為多個區(qū)域或?qū)ο蟮倪^程,這些區(qū)域或?qū)ο缶哂心撤N共同的特征,如顏色、紋理、形狀等。在機器人視覺中,
    的頭像 發(fā)表于 07-09 09:31 ?720次閱讀

    機器人視覺技術(shù)中圖像分割方法有哪些

    和分析。本文將詳細介紹圖像分割的各種方法,包括傳統(tǒng)的圖像處理方法和基于深度學(xué)習(xí)的方法。 閾值分割法 閾值分割法是一種基于像素的
    的頭像 發(fā)表于 07-04 11:34 ?1013次閱讀

    人臉檢測的五種方法各有什么特征和優(yōu)缺點

    來實現(xiàn)人臉檢測。這種方法通常使用膚色模型來描述人臉膚色的分布,然后通過膚色模型與圖像像素的匹配程度來判斷是否為人臉。 優(yōu)點: 計算簡單,實現(xiàn)容易。 對于膚色分布較為均勻的圖像,檢測效果
    的頭像 發(fā)表于 07-03 14:47 ?859次閱讀

    電路的阻抗如何匹配

    。這在射頻電路和高速數(shù)字電路設(shè)計中非常關(guān)鍵。以下是實現(xiàn)阻抗匹配的一些基本方法:1.傳輸線匹配:保證傳輸線的特性阻抗與源和負載阻抗相匹配。例如在射頻應(yīng)用中,常見的同軸
    的頭像 發(fā)表于 06-28 08:29 ?2290次閱讀
    電路的阻抗如何<b class='flag-5'>匹配</b>

    變頻器與電機應(yīng)該如何匹配

    在工業(yè)自動化領(lǐng)域中,變頻器與電機的匹配問題至關(guān)重要。合理的匹配能夠確保電機的穩(wěn)定運行,提高生產(chǎn)效率,同時降低能耗和故障率。本文將詳細探討變頻器與電機匹配的原則、方法、注意事項及實際應(yīng)用
    的頭像 發(fā)表于 05-31 15:20 ?5395次閱讀

    如何提取、匹配圖像特征點

    我們習(xí)慣從圖像中選取比較有代表性的點,然后,在此基礎(chǔ)上,討論相機位姿估計問題,以及這些點的定位問題。 在經(jīng)典 SLAM 模型中,把它們稱為路標,而在視覺 SLAM 中,路標則是指圖像特征(Features)。
    的頭像 發(fā)表于 04-19 11:41 ?668次閱讀

    榮耀終端發(fā)布指紋匹配專利,聚焦電子設(shè)備領(lǐng)域

    此項技術(shù)研究揭示了一種指紋匹配方法及其對應(yīng)的電子設(shè)備應(yīng)用,具有增強指印解鎖圖像與指紋模板圖像配對成功率的優(yōu)勢,從而提升用戶的使用體驗。其具體策略包括:在指印解鎖圖像無法與電子設(shè)備指紋模
    的頭像 發(fā)表于 03-21 09:43 ?614次閱讀
    榮耀終端發(fā)布指紋<b class='flag-5'>匹配</b>專利,聚焦電子設(shè)備領(lǐng)域

    圖像識別技術(shù)原理 圖像識別技術(shù)的應(yīng)用領(lǐng)域

    圖像識別技術(shù)是一種通過計算機對圖像進行分析和理解的技術(shù)。它借助計算機視覺、模式識別、人工智能等相關(guān)技術(shù),通過對圖像進行特征提取和匹配,找出圖像
    的頭像 發(fā)表于 02-02 11:01 ?2488次閱讀

    改進棉花根系圖像分割方法

    的重要方法,受限于圖像質(zhì)量、復(fù)雜土壤環(huán)境、低效傳統(tǒng)方法,根系圖像分割存在一定挑戰(zhàn)。河北農(nóng)業(yè)大學(xué)機電工程學(xué)院、河北省教育考試院、河北農(nóng)業(yè)大學(xué)農(nóng)學(xué)院組成王楠科研團隊,為提高根系
    的頭像 發(fā)表于 01-18 16:18 ?305次閱讀

    機器視覺的圖像目標識別方法操作要點

    通過加強圖像分割,能夠提高機器視覺的圖像目標識別的自動化水平,使得圖像目標識別效果更加顯著。圖像分割的方法有很多種,不同
    發(fā)表于 01-15 12:17 ?439次閱讀

    如何用3D Occupancy處理遮擋問題下的圖像匹配

    圖像匹配是各種視覺應(yīng)用中基本且關(guān)鍵的任務(wù),如同時定位與地圖構(gòu)建( Simultaneous Localization and Mapping,SLAM )和圖像檢索,這些應(yīng)用都需要精確的位姿估計。
    的頭像 發(fā)表于 01-06 10:24 ?677次閱讀
    如何用3D Occupancy處理遮擋問題下的<b class='flag-5'>圖像</b><b class='flag-5'>匹配</b>?
    主站蜘蛛池模板: 亚洲一在线| 桃色园社区| 亚洲欧美一级久久精品| 国产白丝JK被疯狂输出视频| 欧美人与禽zoz0性伦交app| 最近的2019中文字幕国语版| 久久成人精品免费播放| 亚洲中文有码字幕日本| 国产性夜夜春夜夜爽1A片| 微拍秒拍99福利精品小视频| 国产成人高清精品免费5388密| 三八成人网| 调教玩弄奶头乳夹开乳震动器| 人与禽交3d动漫羞羞动漫| YELLOW日本动漫免费动漫| 欧洲馒头大肥p| yellow免费观看在线| 青青草原国产在线观看| 被送到黑人性奴俱乐部| 日本另类z0zxhd| 丰满少妇发泄14p| 色狐直播免费观看| 国产白浆视频在线播放| 无罩看奶禁18| 国产强奷糟蹋漂亮邻居在线观看| 香蕉97超级碰碰碰碰碰久| 国产人妻人伦精品1国产| 亚洲 天堂 国产在线播放| 国产在线精品视频免费观看| 亚洲AV久久久噜噜噜噜| 果冻传媒在线观看高清完整免费| 亚洲精品久久久久久久蜜臀老牛| 饥渴的40岁熟妇完整版在线| 伊人色啪啪天天综合婷婷| 巨黄的肉辣文np| 99re在线播放| 人妻免费久久久久久久了| 动漫美女的阴| 午夜免费小视频| 精品成人在线视频| 中文字幕爆乳JULIA女教师|