圖1所示。從彩色圖像進行人體數字化。ECON結合了自由形式隱式表示的最佳方面，以及明確的擬人化正則化，以推斷高保真度的3D人類，即使是寬松的衣服或具有挑戰性的姿勢。

0.筆者個人體會

這篇文章討論了單圖像的穿著人類重建問題。
隱式方法可以用來表示任意3D穿著人類形狀，因為它不依賴于拓撲結構，因此具有更高的靈活性。這種方法的缺點是難以擴展到多種服裝樣式，限制了其在真實場景中的應用。
相比之下，顯式方法則使用網格或深度圖或點云來重建3D人類。這些方法主要關注于估計或回歸最小穿著的3D身體網格，而忽略了衣服。為了考慮穿著人類的形狀，另一類工作通過添加3D偏移量到身體網格上來進行建模。這種方法與當前的動畫管道兼容，因為它們繼承了從統計身體模型中得出的層次化骨架和權重。然而，這種方法對于寬松的衣服來說不夠靈活，因為它們與身體拓撲結構有很大的不同，例如衣服和裙子。為了增加拓撲靈活性，一些方法通過識別服裝類型并使用適當的模型來重建它。但是，這種方法很難擴展到多種服裝樣式，限制了其在真實場景中的泛化能力。
這篇文章介紹了穿著人類重建的最新進展和挑戰，通過將隱式方法和顯式方法相結合實現了更好的單圖穿衣人重建。這里也推薦「3D視覺工坊」新課程《徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進》。

1.摘要

深度學習、藝術家策劃的掃描和隱式功能(IF)的結合，使從圖像中創建詳細的、有衣的3D人體成為可能。然而，現有的方法還遠遠不夠完美。基于隱式功能(IF)的方法恢復了自由幾何形狀，但會產生無實體的肢體或退化的形狀，以實現新穎的姿勢或衣服。為了增加這些情況的魯棒性，現有工作使用顯式的參數化的身體模型來約束表面重建，但這限制了自由形狀表面的恢復，例如偏離身體的寬松衣服。我們想要的是一種結合隱式表示和顯式體正則化的最佳特性的方法。為此，我們做了兩個關鍵的觀察:(1)目前的網絡比全3d表面更擅長推斷詳細的2D地圖，(2)參數化模型可以被看作是將詳細的表面斑塊拼接在一起的“畫布”。基于這些，我們的方法ECON有三個主要步驟:(1)它推斷出一個穿著衣服的人的正面和背面的詳細2D法線圖。(2)從中，它恢復2.5D前后表面，稱為d-BiNI，這些表面同樣詳細，但不完整，并在SMPL-X的幫助下相互注冊這些w.r.t.，在從照片恢復的SMPL-X身體面片的幫助下該方法通過在d-BiNI表面之間“修復”丟失的幾何形狀，可以推斷出高保真的3D人物，即使在穿著寬松的衣服和擺出具有挑戰性的姿勢時也能做到。根據在CAPE和Renderpeople數據集上的定量評估，這超過了以前的方法。此外，感知研究還表明，ECON的感知現實主義也明顯更好。

2.算法解析

給定RGB圖像，ECON首先估計前后法線貼圖(第2.1節)，然后將它們轉換為前后部分表面(第2.2節)，最后在IF-Nets+(第2.3節)的幫助下“繪制”缺失的幾何形狀。參見圖3中的ECON概述。

圖3。概述。ECON以RGB圖像I和SMPL-X主體M'作為輸入。在渲染的前后車身法線圖像N的條件下，ECON首先預測前后服裝法線圖N，這兩個圖，連同車身深度圖2，被饋送到d-BiNI優化器中，以產生前后表面{Mr, MB)。基于這樣的局部曲面，和身體估計M’。IF-Nets+隱式完成Rir。可選的Face或hands來自M’，經過篩選的泊松將一切結合為最終的水密R。

2.1.詳細法線圖預測

在大量RGB圖像和法線圖像對的訓練下，使用圖像到圖像的轉換網絡可以從RGB圖像中準確地估計出“前”法線映射 ，如PIFuHD或ICON。這兩種方法還可以從圖像中推斷出一個“反向”法線貼圖 。但是，缺少圖像線索會導致 過于光滑。為了解決這個問題，我們對ICON的背面正常預測器 進行了微調，增加了額外的MRF損失，通過最小化特征空間中預測的 和ground truth (GT) 之間的差異來增強局部細節。
為了指導法線貼圖預測并使其對各種身體姿態具有魯棒性，ICON訓練了法線映射預測模塊，在身體法線貼圖 ，從估計的身體 中渲染。因此，準確地對齊估計的身體和衣服輪廓是很重要的。除了ICON中使用的和外，我們還在額外的損失項中應用2D身體標志來進一步優化從PIXIE或PyMAF-X推斷的SMPL-X身體M。

2.2.前后表面重建

現在我們將覆蓋的法線貼圖提升到2.5D表面。我們期望這些2.5D表面滿足三個條件:(1)高頻表面細節與預測的覆蓋法線圖一致;(2)低頻表面變化(包括不連續面)與SMPL-X的一致;(3)前后輪廓的深度彼此接近。
與PIFuHD或ICON訓練神經網絡從法線圖回歸隱式表面不同，我們使用變分法正交積分方法，對深度與法線的關系進行顯式建模。具體的，我們利用粗略先驗、深度圖和輪廓一致性，對最近提出的雙向正常集成(BiNI)方法進行定制，用于全身網格重建。
為了滿足這三個條件，我們提出了一種深度感知輪廓一致的雙邊法向積分(d-BiNI)方法，對前后服裝深度圖進行聯合優化

通過Eq.(3)，我們做出了兩個超出BiNI的技術貢獻。首先，我們使用先前從SMPL-X體網格中渲染的粗深度來正則化BiNI:這解決了將前后表面以連貫的方式放在一起形成一個完整的身體的關鍵問題。其次，我們使用輪廓一致性項來鼓勵前后輪廓邊界處的深度值相同，在域中計算(圖4):

該項提高了重建的前后衣深圖的物理一致性。

2.3.人形補全

對于沒有自我遮擋的簡單身體姿勢，如FACSMILE和Moduling Humans中所做的那樣，以直接的方式合并前后d-BiNI表面，可以產生完整的3D服裝掃描。然而，通常會導致自咬合，從而導致大部分表面缺失。在這種情況下，泊松表面重建(PSR)會導致斑點狀偽影。

使用SMPL-X ()完成PSR。“填充”缺失表面的一種簡單方法是利用估計的SMPL-X體。我們從中移除前后攝像頭可見的三角形。剩下的三角形“湯”包含側視圖邊界和遮擋區域。我們將PSR應用于和d-BiNI曲面{}的并集，得到一個水密重建r。雖然避免了四肢或側面的缺失，但由于SMPL-X與實際的衣服或頭發之間的差異，它不能為原來缺失的衣服和頭發表面產生一致的表面;見圖5中的。

使用IF-Nets+ ()進行繪畫。為了提高重建的一致性，我們使用學習的隱函數(IF)模型來“補繪”給定的前后缺失的幾何形狀d-BiNI表面。具體來說，我們將通用形狀補全方法IF-Nets定制為SMPL-X引導的方法，稱為IF-Nets+。IF-Nets從缺乏的3D輸入(如不完整的3D人體形狀或低分辨率體素網格)完成3D形狀。受Li等人[44]的啟發，我們通過在體素化的SMPL-X身體上調節IF-Nets來處理姿態變化。IF-Nets+以體素化的正面和背面地真深度圖()和體素化(估計的)的身體網格()作為輸入進行訓練，并使用地真3D形狀進行監督。在訓練過程中，為了對遮擋的魯棒性，我們隨機屏蔽。在推理過程中，我們將估計的和輸入IF-Nets+中以獲得占用場，并從中提取入畫網格，并使用Marching cubes。

用 ()完成PSR。為了獲得我們最終的網格R，我們應用PSR來縫合(1)d-BiNI表面，(2)來自Rir的側面和閉塞的三角形湯紋，以及(3)從估計的SMPL-X裁剪的臉或手,(3)的必要性源于的手/臉重建不佳，見圖6的差異。該方法表示為。

圖6。臉部和手部細節。原始重建的臉和手可以換成SMPL-X身體的臉和手。

值得注意的是，盡管已經是一個完整的人體網格，但由于輸入的有損體素化和Marching cubes算法的有限分辨率，它在某種程度上平滑了的細節，這些細節是通過d-BiNI優化的(見圖5中的 vs )。雖然更好地保留了d-BiNI的細節，但的側視圖和遮擋部分在泊松步驟中被融合。

3.實驗

在實驗方面，作者將ECON與身體不可知論方法(即PIFu和PIFuHD)和身體感知方法(即PaMIR和ICON)進行比較，見表1。

表1 對技術水平的評估。

為了公平比較，作者使用ICON中的PIFu和PaMIR的重新實現，因為它們具有相同的網絡設置和輸入數據。的性能與ICON相當，并且在包含偏離分布(OOD)姿勢(CAPE)的圖像上優于其他方法，距離誤差低于1cm。在分發套件(Renderpeople)方面，的表現與PaMIR相當，比PIFuHD要好得多。當涉及到法線測量的高頻細節時，在兩個數據集上都達到了SOTA的性能。
為評估野外圖像上的ECON。測試圖像分為三類:“具有挑戰性的姿勢”、“寬松的衣服”和“時尚圖像”。挑戰性姿勢和寬松服裝的例子如圖9所示。

圖9。野外圖像的定性結果。我們展示了8個從圖像中重建詳細的穿衣服的3D人的例子:(a)具有挑戰性的姿勢和(b)寬松的衣服。對于每個例子，我們都顯示了輸入圖像以及重建的3D人體的兩個視圖(正面和旋轉)。我們的方法對姿勢變化具有魯棒性，可以很好地推廣到寬松的衣服，并包含詳細的幾何形狀。

參與者被要求在基線方法和ECON之間選擇他們認為更現實的重建方法。我們在表2中計算了每個基線優于ECON的可能性。這里也推薦「3D視覺工坊」新課程《徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進》。

表2。知覺的研究。數字表示參與者更喜歡重建競爭方法而不是ECON重建野外圖像的可能性。0.5的值表示相同的偏好。值< 0.5有利于ECON，而值< 0.5有利于競爭對手。

感知研究的結果證實了表1中的定量評估。對于“具有挑戰性的姿勢”圖像，ECON明顯優于PIFuHD，并且優于ICON。對于穿著寬松衣服的人的圖像，ECON比ICON更受歡迎和優于PIFuHD。
最后在消融實驗里作者將d-BiNI和BiNI，IF-Nets+和IF-Nets進行了比較，實驗結果如下表所示：

表3。BiNI和d-BiNI。BiNI曲面與d-BiNI曲面w.r.t.重建精度和優化速度的比較。

同時作者也比較了比較了IF-Nets+和IF-Nets在遮擋情況下的幾何“補繪”，結果如圖5所示：

圖5。“補繪”缺失的幾何圖形。我們通過屏蔽正常圖像來模擬不同的遮擋情況，并呈現不同設計選擇的中間和最終3D重建。雖然IF-Nets遺漏了某些身體部位，但IF-Nets+產生了一個合理的整體形狀。由于經過學習的形狀分布，ECONir產生的服裝表面比ECONEx更一致。

4.展望

雖然ECON在單圖人體三維重建上達到了一個全新的高度，但是從單個圖像中恢復SMPL-X體(或類似模型)仍然是一個開放的問題，并沒有完全解決。任何故障都可能導致ECON故障，如圖8-A和圖8-B所示。由于合成數據變得足夠逼真，它們與真實數據的領域差距顯著縮小，可以預見，這種限制將被消除。ECON的重建質量主要依賴于預測法線圖的準確性。較差的法線貼圖會導致前后表面過近甚至相交，如圖8-C和圖8-D所示。

圖8。ECON的失敗案例。(A-B)恢復SMPL-X體結果的失效，例如，彎曲的腿或錯誤的肢體姿勢，估計會為ECON提供錯誤的幾何形狀。擴展導致ECON故障。(C-D)法線映射中的失效

未來的工作。除了解決上述限制之外，其他幾個方向對實際應用也很有用。目前，ECON只重建三維幾何。人們還可以恢復底層骨骼和皮膚權重，以獲得完全可動畫的化身。此外，生成后視紋理將產生完全紋理的頭像。從恢復的幾何圖形中分離服裝、發型或配飾，將使模擬、合成、編輯和轉移這些樣式成為可能。ECON的重建，連同它下面的SMPL-X體，可以在學習神經化身之前作為3D形狀使用。