本文介紹了一種可學習的變形假設采樣器（DeformSampler），用于解決精確PatchMatch多視圖立體（MVS）中嘈雜深度估計的挑戰(zhàn)性問題。我們觀察到PatchMatch MVS求解器所采用的啟發(fā)式深度假設采樣模式對以下兩個方面不敏感：（i）物體表面深度的分段平滑分布，（ii）沿著表面點射線方向的深度預測概率的隱式多模態(tài)分布。因此，作者開發(fā)了DeformSampler，以學習對分布敏感的樣本空間，以便（i）沿著物體表面?zhèn)鞑ヅc場景幾何一致的深度，（ii）擬合逼近實際深度沿射線方向的點級概率分布的拉普拉斯混合模型。作者將DeformSampler集成到可學習的PatchMatch MVS系統(tǒng)中，以提高在挑戰(zhàn)性區(qū)域（如分段不連續(xù)的表面邊界和紋理較弱的區(qū)域）的深度估計能力。在DTU和Tanks＆Temples數(shù)據(jù)集上的實驗結(jié)果表明，與最先進的競爭對手相比，其表現(xiàn)優(yōu)越且具有很好的泛化能力。

讀者理解：

該方法的主要貢獻是提出了一種可學習的變形假設采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計的挑戰(zhàn)問題。DeformSampler 通過學習分布敏感的樣本空間，能夠傳播與場景幾何一致的深度，并擬合逼近實際深度分布的拉普拉斯混合模型。

實驗結(jié)果表明，該方法在 ETH3D 數(shù)據(jù)集上表現(xiàn)優(yōu)異，甚至超過了其他最新的基于學習的 MVS 模型。

具體來說，該方法的創(chuàng)新點包括：

提出了一種可學習的變形假設采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計的挑戰(zhàn)問題。通過學習分布敏感的樣本空間，DeformSampler 能夠傳播與場景幾何一致的深度，并擬合逼近實際深度分布的拉普拉斯混合模型。

實驗結(jié)果表明，該方法在 ETH3D 數(shù)據(jù)集上表現(xiàn)優(yōu)異，甚至超過了其他最新的基于學習的 MVS 模型。

1 引言

這篇論文主要解決了多視圖立體（MVS）中深度估計的挑戰(zhàn)性問題。傳統(tǒng)方法在低紋理、鏡面和反射區(qū)域內(nèi)的匹配困難，學習型方法引入全局語義信息以提高魯棒性，但準確性與效率之間存在差距。學習型方法通常構(gòu)建3D成本體，利用3D CNN進行深度回歸。然而，資源有限限制了這些方法的成本體和CNN的3D形式。

為了解決這些限制，研究致力于減少成本體大小和修改正則化技術。近期出現(xiàn)的一種有前景的解決方案將傳統(tǒng)的PatchMatch MVS轉(zhuǎn)化為端到端框架，但這些方法未充分考慮場景內(nèi)隱含的深度分布，導致深度估計性能下降。

因此，論文提出了DeformSampler，一種可學習的變形假設采樣器，用于在學習型PatchMatch框架中學習隱含深度分布，指導可變形的假設采樣。DeformSampler在傳播和擾動階段支持每個像素進行最優(yōu)假設采樣。通過平面指示器捕捉分段平滑深度分布，以實現(xiàn)結(jié)構(gòu)感知的深度傳播，并利用概率匹配器對深度預測概率的多模態(tài)分布進行建模，實現(xiàn)不確定性感知的擾動。集成DeformSampler到學習型PatchMatch框架中，能在具有挑戰(zhàn)性的分段不連續(xù)表面邊界和紋理較弱區(qū)域獲得優(yōu)秀的深度估計性能，并展現(xiàn)出在室外和室內(nèi)場景中的強大泛化能力。

2 方法

本文提出了一種全新的學習型PatchMatch MVS框架，DS-PMNet，并嵌入了DeformSampler。這個框架能夠以端到端的方式學習隱含深度分布，指導可變形的深度采樣。論文總體框架在圖2中展示，主要包括四個階段的優(yōu)化：初始化、傳播、評估和擾動。其中，傳播階段通過平面指示器Pθ捕捉物體表面的分段平滑深度分布，指導結(jié)構(gòu)感知的假設傳播；而擾動階段則利用概率匹配器Mθ模擬深度預測概率的多模態(tài)分布，指導不確定性感知的擾動。

具體實現(xiàn)中，DS-PMNet通過特征金字塔Ψ提取了不同尺度的特征，用于深度估計。在階段I中，隨機初始化參考圖像的深度圖。在階段II，平面指示器Pθ利用自相似性特征編碼，指導結(jié)構(gòu)感知的假設傳播，生成可靠的假設集合。在階段III，概率匹配器Mθ模擬了深度預測概率的分布，輸出不確定性，指導下一步的擾動。階段IV則利用推斷出的混合分布來引導擾動，進一步優(yōu)化深度估計。這個框架能夠提高深度估計性能，在圖像特征和深度估計中起到關鍵作用。

此外，文中提到的平面指示器Pθ由兩部分組成：內(nèi)視圖相關金字塔和平面流解碼器。內(nèi)視圖相關金字塔利用卷積運算計算特征之間的相關性，而平面流解碼器則逐漸推斷出平面流場。概率匹配器Mθ則基于多視圖成本金字塔，預測深度估計概率的分布參數(shù)，進一步提高深度估計的準確性。

最后，論文采用了負對數(shù)似然損失函數(shù)作為監(jiān)督，用于監(jiān)督深度估計的擬合混合拉普拉斯分布，進一步優(yōu)化模型?？偟膩碚f，DS-PMNet框架通過DeformSampler的引導，能夠提升MVS中的深度估計性能，對于深度估計及場景特征提取有著重要的作用。

3 總結(jié)

本文提出了一種可學習的DeformSampler，嵌入到PatchMatch MVS框架中，有助于在復雜場景中實現(xiàn)準確的深度估計。所提出的DeformSampler能夠在傳播和擾動過程中，幫助采樣對分布敏感的假設空間。在多個具有挑戰(zhàn)性的MVS數(shù)據(jù)集上進行了廣泛實驗，結(jié)果顯示DeformSampler能夠有效學習物體表面的分段平滑深度分布，可靠地傳播深度，并成功捕捉深度預測概率的多模態(tài)分布，從而實現(xiàn)精細化的假設采樣。與現(xiàn)有方法的比較也表明，我們的方法在MVS基準測試上能夠達到最先進的性能水平。

審核編輯：黃飛