人類級別的表現、人類級別的精度……在開發AI系統的企業中，我們經常會聽到這類表述，其指向范圍則涵蓋人臉識別、物體檢測，乃至問題解答等各個方面。隨著機器學習與深度學習的不斷進步，近年來越來越多卓越的產品也開始將AI算法作為自身的實現基礎。

但是，這種比較往往只考慮到在有限數據集上對深度學習算法進行的測試結果。一旦貿然將關鍵性任務交付給AI模型，這種草率的考核標準往往會導致AI系統的錯誤期望，甚至可能產生危險的后果。

最近一項來自德國各組織及高校的研究，強調了對深度技術在視覺數據處理領域進行性能評估時所面臨的實際挑戰。研究人員們在這篇題為《人與機器的感知比較：眾所周知的難題》的論文中，著重指出了當前深度神經網絡與人類視覺系統的識別能力比較方法存在的幾個重要問題。

在這項研究中，科學家們進行了一系列實驗，包括深入挖掘深度學習結果的深層內容，并將其與人類視覺系統的功能做出比較。他們的發現提醒我們，即使AI看似擁有與人類相近甚至已經超越人類的視覺識別能力，我們仍然需要以謹慎的態度看待這方面結果。

人類與計算機視覺的復雜性

對于人類感知能力的基本原理，特別是重現這種感知效果的無休止探索當中，以深度學習為基礎的計算機視覺技術帶來了最令人稱道的表現。卷積神經網絡（CNN）是計算機視覺深度學習算法中所常用的架構，能夠完成種種傳統軟件根本無法實現的高難度任務。

然而，將神經網絡與人類感知進行比較，仍是一項巨大的挑戰。一方面是因為我們對人類的視覺系統乃至整個人類大腦還不夠了解，另一方面則是因為深度學習系統本身的復雜運作機制同樣令人難以捉摸。事實上，深度神經網絡的復雜度之高，往往令創造者也對其感到困惑。

近年來，大量研究試圖評估神經網絡的內部工作原理，及其在處理現實情況中表現出的健壯性。德國研究人員們在論文中寫道，“盡管進行了大量研究，但對人類感知與機器感知能力進行比較，仍然極度困難?！?/p>

在此次研究中，科學家們主要關注三個核心領域，借此評估人類與深度神經網絡究竟如何處理視覺數據。

神經網絡如何感知輪廓？

第一項測試為輪廓檢測。在此項實驗中，人類與AI參與者需要說出所面對的圖像中是否包含閉合輪廓。其目標在于了解深度學習算法是否掌握了閉合與開放形狀的概念，以及其能夠在各類條件下都順利檢測出符合概念定義的目標。

▲你能判斷出，以上哪幅圖像中包含閉合圖形嗎？

研究人員們寫道，“對于人類來說，圖中所示為一個閉合輪廓，其周邊則分布著大量開放輪廓。相比之下，DNN則可能很難檢測到閉合輪廓，因為神經網絡可能會把閉合輪廓與其他圖形視為統一的整體?！?/p>

在實驗當中，科學家們使用了ResNet-50，即由微軟公司AI研究人員們開發的一套流行卷積神經網絡。他們使用遷移學習技術，使用14000個閉合與開放輪廓圖像對該AI模型進行了微調。

接下來，他們又通過其他類似的訓練數據（使用不同指向的圖形）進行AI測試。初步發現表明，經過訓練的神經網絡似乎掌握了閉合輪廓的基本概念。即使訓練數據集中僅包含直線圖形，模型也能夠在處理曲線圖形時帶來良好表現。

科學家們寫道，“這些結果表明，我們的模型確實掌握了開放輪廓與閉合輪廓的概念，而且其判斷過程與人類非常相似?！?/p>

但進一步調查顯示，某些不會影響到人類判斷的因素卻有可能降低AI模型的判斷準確率。例如，調整線條的顏色與寬度會導致深度學習模型的準確率驟然下降。而當形狀的尺寸超過特定大小時，模型似乎也難以正確對形狀作出判斷。

此外，神經網絡對于對抗性干擾也顯得非常敏感。所謂對抗性干擾，屬于一類精心設計的變化。人眼雖然無法察覺這些變化，但卻會給機器學習系統的行為帶來巨大影響。

為了進一步研究AI的決策過程，科學家們使用了特征袋（Bag-of-Feature）網絡，這項技術旨在對深度學習模型決策中所使用的數據位進行定位。分析結果證明，“神經網絡在進行分類標記時，確實會使用某些局部特征，例如具有端點與短邊，作為強依據?！?/p>

機器學習能夠對圖像做出推理嗎？

第二項實驗旨在測試深度學習算法在抽象視覺推理中的表現。用于實驗的數據基于合成視覺推理測試（SVRT），AI需要在其中回答一系列關于圖像中不同形狀間關系的問題。測試問題分為找不同（例如，圖像中的兩個形狀是否相同？）以及空間判斷（例如，較小的形狀是否位于較大形狀的中心？）等。人類觀察者能夠輕松解決這些問題。

▲SVRT挑戰，要求AI模型解決找不同與空間判斷類型的任務。在實驗當中，研究人員們使用RESNet-50測試了其在不同大小的訓練數據集中的表現。結果表明，通過28000個樣本進行微調訓練之后的模型，在找不同與空間判斷任務上均表現良好。（之前的實驗，使用的是一套小型神經網絡并配合100萬張樣本圖像）隨著研究人員減少訓練示例的數量，AI的性能也開始下滑，而且在找不同任務中的下滑速度更快。

研究人員們寫道，“相較于空間判斷類任務，找不同任務對于訓練樣本的需求量更大。當然，這并不能作為前饋神經網絡與人類視覺系統之間存在系統性差異的證據。”

研究人員們指出，人類視覺系統天然就在接受大量抽象視覺推理任務的訓練。因此，直接比較對于只能在低數據樣本量下進行學習的深度學習模型并不公平。所以，不能貿然給出人類與AI內部信息處理方式之間存在差異的結論。

研究人員們寫道，“如果真的從零開始進行訓練，人類視覺系統在這兩項識別任務中，沒準會與表現出ResNet-50類似的情況?！?/p>

衡量深度學習的間隙判別

間隙送別可以算是視覺系統當中最有趣的測試之一。以下圖為例，大家能不能猜出完整的圖像呈現的是什么？

毫無疑問，這是一只貓。從左上方的局部圖來看，大家應該能夠輕松預測出圖像的內容。換言之，我們人類需要看到一定數量的整體形狀與圖案，才能識別出圖像中的物體。而局部放大得越夸張，失去的特征也就越多，導致我們越難以區分圖像中的內容。

深度學習系統的判斷也以特征為基礎，但具體方式卻更加巧妙。神經網絡有時候能夠發現肉眼無法察覺的微小特征，而且即使把局部放得很大，這些特征仍然能夠得到正確檢測。

在最終實驗當中，研究人員們試圖通過逐漸放大圖像，直到AI模型的精度開始顯著下降，借此衡量深度神經網絡的間隙判別。

這項實驗表明，人類的圖像間隙判別與深度神經網絡之間存在很大差異。但研究人員們在其論文中指出，以往關于神經網絡間隙判別的大多數測試，主要基于人類選擇的局部圖。這些局部的選擇，往往有利于人類視覺系統。

在使用“機器選擇”的局部圖對深度學習模型進行測試時，研究人員們發現人類與AI的間隙判別表現基本一致。

▲間隙判別測試能夠評估局部圖對于AI判斷準確率的具體影響。

研究人員們寫道，“這些結果顯示，只有在完全相同的基礎之上進行人機比較測試，才能避免人為設計給結果造成的偏差。人與機器之間的所有條件、命令與程序都應盡可能接近，借此保證觀察到的所有差異都源自決策策略——而非測試程序中的差異?！?/p>

縮小AI與人類智能之間的鴻溝

隨著AI系統復雜程度的不斷提升，我們也需要開發出越來越復雜的方法以進行AI測試。這一領域之前的研究表明，大部分用于衡量計算機視覺系統準確率的流行基準測試中存在一定誤導性。德國研究人員們的工作，旨在更好地衡量人工智能表現，并準確量化AI與人類智能之間的真實差異。他們得出的結論，也將為未來的AI研究提供方向。

研究人員們總結道，“人與機器之間的比較性研究，往往受到人類自發解釋思維這一強烈偏見的影響。只有選擇適當的分析工具并進行廣泛的交叉核查（例如網絡架構的變化、實驗程序的統一、概括性測試、對抗性示例以及受約束的網絡測試等），我們才能對結果做出合理解釋，并正視這種自發性偏見的存在。總而言之，在對人類與機器的感知能力進行比較時，必須注意不要向其中人為強加任何系統性的偏見?！?br /> 責編AJX