Marr的視覺計算理論[Marr1982]立足于計算機科學，系統地概括了心理生理學、神經生理學等方面業已取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論．Marr建立的視覺計算理論，使計算機視覺研究有了一個比較明確的體系，并大大推動了計算機視覺研究的發展．人們普遍認為，計算機視覺這門學科的形成與Marr的視覺理論有著密切的關系．事實上，盡管20世紀70年代初期就有人使用計算機視覺這個名詞[Binford，1971]，但正是Marr 70年代末建立的視覺理論促使計算機視覺這一名詞的流行．下面簡要地介紹Marr的視覺理論的基本思想及其理論框架．
1．2．1 三個層次
Marr認為, 視覺是一個信息處理系統，對此系統研究應分為三個層次：計算理論層次，表示(representation)與算法層次，硬件實現層次，如表1-1所示．

按照Marr的理論，計算視覺理論要回答視覺系統的計算目的和策略是什么，或視覺系統的輸入和輸出是什么，如何由系統的輸入求出系統的輸出．在這個層次上，信息系統的特征是將一種信息(輸入)映射為另一種信息(輸出)．比如，系統輸入是二維灰度圖像，輸出則是三維物體的形狀、位置和姿態，視覺系統的任務就是如何建立輸入輸出之間的關系和約束，如何由二維灰度圖像恢復物體的三維信息．表示與算法層次是要進一步回答如何表示輸入和輸出信息，如何實現計算理論所對應的功能的算法，以及如何由一種表示變換成另一種表示，比如創建數據結構和符號．一般來說，不同的輸入、輸出和計算理論，對應不同的表示，而同一種輸入、輸出或計算理論可能對應若干種表示．在解決了理論問題和表示問題后，最后一個層次是解決用硬件實現上述表示和算法的問題，比如計算機體系結構及具體的計算裝置及其細節．從信息處理的觀點來看，至關重要的乃是最高層次，即計算理論層次．這是因為構成知覺的計算本質，取決于解決計算問題本身，而不取決于用來解決計算問題的特殊硬件．換句話說，通過正確理解待解決問題的本質，將有助于理解并創造算法． 如果考慮解決問題的機制和物理實現，則對理解算法往往無濟于事．