伴隨著大數據，AI在沉寂了多年之后，又迎來了新的高潮。在這場涉及大部分科學的革命中，人工神經網絡釋放了人工智能。但科學家們發現，這一關鍵技術暗含著一個問題：人工神經網絡就是一個“黑匣子”。

我們都知道，無論人工神經網絡有多么復雜，都可以將其看作是三部分：輸入層、輸出層和隱含層。其中，我們通過深度學習，對神經網絡進行一層一層的疊加訓練，以此來有效調整神經網絡各級神經元的權重。但是，這里有一個問題，除去輸入和輸出，我們對隱含層發生了什么一無所知，即對神經網絡內部邏輯行為無從認知。

華盛頓大學的研究生Marco Ribeiro使用過一種叫做反事實探測的方法來了解這個“黑匣子”。此方法具體就是通過給輸入一點微小的變化，隨即查看輸出的變化，并記錄這些變化。但是很顯然，這一方法需要上千次的操作和嘗試，而且無法幫助我們全面認識人工神經網絡。

而Google的另一位計算機科學家Mukund Sundararajan設計了一種探測器，大大減少了輸入。不同于Ribeiro采取的隨機輸入，Sundararajan的研究創新點是引入一個空白的參考。

首先，Sundararajan輸入一個零排列的數組，隨后讓輸入數據逐步向需要測試的目標數據轉變，以此通過輸出變化來反過來研究內在邏輯。這里值得注意的是，隨著每一步的變化，科學家們就能看到它確切的變化軌跡，從而可以以此預測變化特征。但這依然不可信，預測的結果仍然是存在很大誤差的。

對此，美國華盛頓州微軟研究所計算機科學家RiCh Caruana融入廣義加法模型（GAM）來對數據間的復雜關系進行處理。我們都知道，統計學中GAM就是一種基于線性回歸，然后在一組數據中找到線性趨勢的方法。Caruana增加了這一過程，他先利用機器學習來輸出變化，隨后將網絡輸出的數據輸入到GAM，找出變化之間的相關性，以此來研究神經網絡的內在邏輯。

除此之外，在圖像研究領域，還有科學家利用生成式對抗網絡（GAN）對神經網絡進行研究，然而所有的這些努力都是嘗試，普適的研究方法至今尚未得出。

現在，不僅科學家認識到這一問題的緊迫性，多國政府也意識到這一問題。根據歐盟的一項指示，明年所有有巨大影響力的公司需向公眾解釋其模型的內在邏輯。此外，美國軍方的藍天研究機構國防高級研究計劃署也正在向一個稱為“可解釋AI”的新計劃投入7000萬美元。

Google的機器學習研究員Maya Gupta說，硅谷的研究人員們也在試圖打開AI的“黑匣子”。除了運行后操作的準確性，所有人心中還有一個非常大的顧忌：因為不知道它在做什么，所以不確定能不能相信它。

伴隨著人工智能（AI）應用的蓬勃之勢，出于安全隱患的考慮，神經網絡內在邏輯的這一“盲點”確實急需規避。