計算機視覺倚靠幾何洞察發展
如今，深度學習已顛覆計算機視覺領域，端到端的深度學習模型幾乎是任何問題的最佳解決方案。尤其是卷積神經網絡（CNN），因為它效果拔群而廣受歡迎。可是，這些深度學習模型都像是一個個黑盒子，盒子內的奧秘仍然不為人所知。筆者認為，現在的研究人員只是簡單地寫少量代碼來調用深度學習接口，盡管這種直白的使用方式能解決大多數計算機視覺問題，但是最終效果顯然還存在更大的提升空間。
是我曾經開發的一種使用深度學習技術判斷攝像頭姿態的算法。這是計算機視覺領域的一個經典問題，并且有非常完整的相關理論研究。當時用深度學習訓練了一個端到端的模型，這個模型取得了很好的效果。可是，現在回想，覺得當時自己完全忽略了這個問題的已有理論背景。在本文的末尾作者補充了相關工作的最新進展，從更偏向理論的角度重新審視了問題，并用基于幾何的方法取得了巨大的效果提升。
簡單地調用深度學習接口就能解決問題的時代即將結束，計算機視覺領域的下一次進步將源自對幾何形態的深入研究。
為何源自幾何
在計算機視覺領域，幾何描述這個世界的結構和形狀，涉及深度、體積、形狀、姿態、視差、運動和光流等測量角度。
幾何在視覺模型中地位較高的原因在于幾何定義了這個世界的結構，而且我們人類能理解這種結構（比如，從經典的中學習）。因此，有很多復雜的幾何關系并不需要利用深度學習技術從頭學起，比如，物體的深度和運動狀態等。通過使用已有的幾何知識構建體系結構，我們可以將它們對應到現實中，簡化了學習過程。本文結尾的一些示例將介紹如何使用幾何來提高深度學習架構的性能。
另一種范式是使用語義表示。語義表示指的是用語言來描述物體在現實中的關系。例如，我們可以將物體描述為“貓”或“狗”。但是，幾何在語義上有兩大特性：
幾何形態可以直接觀察。人們直接用視覺觀察這個世界的幾何形態。在最基本的層面上，人們可以通過追蹤幀與幀之間相應像素的關系來直接觀察物體的運動狀態和深度情況。另外一些有趣的例子，包括根據陰影觀察形狀或是從立體視差推測深度。與此相反，語義表示是人類語言所特有的，每個標簽對應于一個名詞實體，無法直接觀察。
幾何是基于測量的連續變量。例如，人們可以用“米”來度量深度或是用像素來衡量視差，而語義表征則是離散量或二值標簽。
為什么這些屬性很重要呢？其中一個重要的原因在于這些屬性對無監督學習非常有幫助。
無監督學習
無監督學習無需標注數據就能學習物體的表示和結構。獲取大量的已標注訓練數據需要耗費財力物力，因此無監督學習提供了更具擴展性的框架。
作者上面提到幾何學的兩個特性正好可以用來訓練無監督學習模型：可觀察性和連續表示。
例如筆者去年發表的一篇，介紹了如何利用無監督訓練和幾何形態來預測物體的深度，這篇論文給出了幾何學原理與上述兩個特性結合形成無監督學習模型的絕佳案例，也有幾篇思路類似的。
語義還不夠嗎？
語義在計算機視覺領域一直備受關注，許多高引用論文成果都來自圖像分類和語義分割領域。
僅依靠語義來設計一套表達方式會存在問題，因為語義是由人類定義的。人工智能系統理解語義并提供與人類交互的接口必不可少，而語義是人類定義的，很有可能這種定義并不是最合理的定義方式。直接從觀察到的幾何世界學習可能更自然。
與此同時，低層次的幾何形態也是嬰兒學習觀察世界的形式。根據的調查，人類在出生后的前九個月學習協調眼睛的聚焦和感知深度、顏色和幾何形狀等屬性。直到第十二個月才學會如何識別物體和語義。這說明在人類視覺中學習幾何學的基礎是非常重要的，人類會很好地把這些洞察融入到計算機視覺模型中。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%