從「2001: A Space Odyssey」（2001：太空漫游）中的 HAL9000，到「The Hitchhiker’sGuide to the Galaxy」中的 Eddie，科幻小說中到處都是智能電腦的例子。這些虛擬機器的一個共同點是容易出錯，對故事中的人物造成傷害。HAL 謀殺了木星登陸計劃中的三個宇航員。Eddie 沉迷于瑣事，使它控制的航天器面臨毀滅的危險。這兩個例子，都是本想構建一個有用的事物，結果創造出了一個怪物。

成功的科幻小說必然會給人們帶來真正的希望和恐懼。在 20 世紀 60 年代和 70 年代，人們夢想 HAL 和 Eddie 時，創造人工智能（ AI ）這一嘗試陷入了困境，所以希望和恐懼都是假設出來的。但后來變了。深度學習技術使用被稱為神經網絡的特殊計算機程序，通過大量的數據尋找和記憶模式。因為更聰明而被廣泛地傳播。從語音轉文字到檢測早期的失明跡象都已應用這一技術。如今，通過 AI 可以在工廠中進行質量控制，并在數據中心的冷卻系統中發揮作用。政府希望用它來識別***的宣傳網站并將其從網絡上移除。在自動駕駛汽車的開發中，它也是重要的部分。在全球最有價值的十大公司中，有七家表示他們計劃將深度學習型人工智能作為其業務的核心。

真正的人工智能遠不如通常小說中那樣先進。它明顯缺乏科幻事物的明顯意識動機。但它確實使希望和恐懼發生在今天，而不是一個不確定的未來。許多人擔心即使是今天的「AI-lite」也可能會變身成怪物。不再服從指令的設備并不可怕，可怕的是按照自己的方式（至少試圖這么做），而不是被告知的方式來行事，而它們的方式往往還令人難以理解。

造成這種恐懼的原因是，深度學習程序通過重新安排數字內部的數據以響應他們處理數據中的模式進行學習。具體來說，它們通過改變自己內部設計得和神經元一樣效果的計算機代碼之間的聯系，模仿神經學家認為的真正大腦運行的方式。這意味著一旦網絡被訓練，即使是神經網絡的設計者也不知道它是如何做到的。允許這些系統運行關鍵設施或作出醫療決定意味著將人們的生命寄托在一個人們無法真正了解的設備上。

但是，如果 AI 系統可以以某種方式解釋它們所做的事情及其原因，就會增加彼此的信任，這些系統也會變得更有用。如果事情出現問題，AI 系統可以對其行為作出解釋，使之后的調查變得更容易。即使它們出了問題，HAL 和 Eddie 都能夠解釋它們的行為。事實上，這是它們故事情節的關鍵部分。更簡單地說，這種自我解釋的力量是軟件工程師想在真正 AI 中效仿的東西。

通過不同的方法，試圖打開人工智能「黑匣子」

試圖打開人工智能「黑匣子」的第一批正式研究項目之一是由美國國防部高級研究計劃局（DARPA）組織的可解釋人工智能（Explainable AI ：XAI）項目，許多美國的軍事研究都由該組織負責。特別是美國的軍隊希望用 AI 來幫助偵查。XAI 的負責人 Dave Gunning 注意到，通過間諜飛機或衛星從高處監控像朝鮮這樣的地方會產生大量的數據。如果這樣的 AI 技術可以解釋其決策，那么它也是有價值的，這樣被警告的人就能發現不可避免的誤報。Gunning 說，美國間諜機構 NSA 的分析師已經招架不住老式模式識別軟件的建議，被迫去檢查某些特定的信息。隨著人工智能洪流的擴大，計算機程序應該解釋它們為什么要喚起操作人員的注意，這比以往更加重要。

NSA 對此回應說這是個秘密，這也在情理之中。但民間計劃也試圖讓神經網絡可以通過以人類可理解的方式傳達自己的內部狀態來解釋自己。例如，加利福尼亞大學伯克利分校的 Trevor Darrell 的人工智能研究小組，正在研究可以識別照片中不同種類的鳥類的軟件。它不僅僅是在識別，拿北美鸊鷉（Western Grebe）來說，這個軟件解釋了正在討論的圖片是北美鸊鷉的原因，因為它里面的鳥有長長的白色脖子，尖尖的黃色喙和紅色的眼睛。該程序借助第二個神經網絡來實現，此神經網絡被訓練為利用人們寫下的句子通過匹配系統的內部特征來進行識別（即其「神經元」之間的連接模式），描述從檢查圖片中看到的東西。因此，當一個 AI 系統學習對鳥類進行分類時，另一個系統也在學習對第一個系統的行為進行分類，來解釋該系統是如何作出此決定的。

由佐治亞理工學院的 Mark Riedl 領導的一個團隊采用了類似的技術來鼓勵玩游戲的 AI 來解釋其動作。該團隊要求人們講述他們玩街機游戲「Frogger」的經歷。然后他們訓練了一個 AI 系統將這些敘述與第二個系統的內部特征相匹配。最后通過人類語言片段描述了第二個系統玩游戲的方式。

這種打開人工智能黑匣子的方式發展到了一定程度。但人們并不需要，因為它們本質上是對人類的解釋。因為人們可以理解鳥類圖片和電子游戲的復雜性，并把它們轉化為文字，所以，可以復制人類模式的機器也是如此。但是，人們很難分析和描述大型數據中心的能量供應或某人的健康狀況，人工智能在這些任務中已經超越了人們，所以人類的解釋不能用作模型。

幸運的是，還可以通過檢查和理解 AI 輸出結果的方式。例如，匹茲堡卡內基梅隆大學的計算機科學家 Anupam Datta 并不打算與 Darrell 博士和 Riedl 博士采取一樣的方式，試圖直接窺視黑盒子的內部，而是選擇繞道而行，通過對訓練系統的輸出進行「壓力測試」，例如，對求職者的評估。

Datta 博士給測試系統提供一系列輸入數據，并檢查其輸出是否存在不正確的、有害的或不公平的結果。他舉了一個通過自動化系統招聘新員工的搬遷公司的例子。該系統輸入候選人的年齡、性別、舉重能力、婚姻狀況和受教育程度（如申請中所述），最終顯示為候選人成為優秀員工的得分。

顯然，其中的一個信息——能夠舉起重物——既與要求相符又可能利于男性候選人。因此，這種情況下，為了測試系統是否對女性存在偏見，Datta 博士的程序將從女性中隨機選擇的應用程序變為更像從男性獲得的，另外，又從男女申請人中隨機交換了女申請人的舉重能力。如果性別的隨機化不會使 AI 提供工作的女性人數變化，而舉重能力隨機化會（因為有些女性現在似乎具有「男性」舉重能力），那很明顯，招聘只受舉重能力的影響，而不受申請人性別的影響。

Datta 博士的方法并沒有涉及到系統如何以及為什么做出決定的核心，但像壓力測試飛機一樣，它有助于阻止不良結果，使制作和操作 AI 的人確保他們對正確的輸入作出決策，而不是有害的虛假的決策。還有一些窺視機器思想的方法。例如，一些工程師正在轉向諸如人類用來理解自己想法認知心理學之類的技術。他們認為，人工神經網絡可以像大腦一樣運作，因此使用人類心理學工具來調查它們是有意義的。

此方法的一個例子是 Google 的母公司 Alphabet 旗下的一家倫敦的 AI 公司 DeepMind 進行的研究。這個項目對公司設計的一款圖像匹配軟件的行為產生了有趣的見解。由 David Barrett 領導的一組 DeepMind 的工程師展示了三幅圖像的軟件集，每個軟件集中的第一個是某種形狀和顏色的「探測」圖像，另外兩個，一個與形狀匹配，一個與顏色匹配。通過測量系統選擇形狀匹配而不是顏色匹配的頻率，Barrett 博士和他的團隊能夠推斷出 DeepMind 的圖像匹配器等同于圖像之于人類，即根據形狀而不是顏色來推斷。在世界部署時通過這種方式闡釋特定 AI 如何作出決策的通用原則可能會有用。它也可能幫助事故調查人員，對發生事故的原因作出最佳解釋。

那些傾向于試圖打開人工智能「思想」的人們現在有很多方法。然而，有些人認為這些方法是錯誤的。他們發現 AI 最難做的決定通常很復雜，因此也可能是最有用的。對玩視頻游戲和對鳥命名這些任務價值有限。平衡電網或管理城市交通流量所做出的決策很難解釋，特別是其中許多決策超出了人類處理能力的水平。蒙特利爾大學的計算機科學家 Yoshua Bengio 稱這種處理為人工直覺（artificial intuition）。

Bengio 博士說，這種人工直覺曾在深度學習最公開的演示中展示出來。這是 2016 年舉行的一場 AI 系統和世界上最優秀的人類運動員 Lee Sedol 的比賽。在這里討論的 AlphaGo 是由 DeepMind 公司進行訓練的。它有時會做出人類專家無法解釋的意外舉動，起初這些舉動似乎是錯的，但隨后 AlphaGo 選了令人驚訝的位置來掌控剩下的比賽。

有趣的是，這些動作有時也是由人類的主人制造的。他們在日語中被稱作 kami no itte（「上帝的手」或「神的舉動」）。顧名思義，像被神指導著的一個玩家通常無法說出他是何或為什么這么做。事實上，玩家無法解釋他們最佳行為背后的原因提供了一個暗示，就是為什么其于正式邏輯的舊式 Go-playing 計算機為什么從來都沒有這么好。神經學習系統，包括已經在大腦中演變和現在被存入電腦的系統，可以處理 playing Go 的任務，但人類語言無法描述它。

如同潘多拉盒子，人工智能「黑匣子」將面臨大量社會問題

然而，人類對自己行為的解釋與機器提供的解釋之間存在著至關重要的差異。正如巴黎 Jean Nicod 研究所的認知科學家 Dan Sperber 觀察到的，人們傾向于構建他們行為的理由，這些理由與說話人和聽眾互相提供的信息與他們自己的興趣愛好相一致，而不是準確地描述他們作決定時的準確想法。正如他說的：「給出理由的原因是其他人會評估你的行為和信念。」而目前的自動機器沒有自己的興趣，它們的解釋是由人類制造的。

有人推測，如果人工智能的開發與虛構的一樣，有了自己的目的，而不只被人類控制，那未來可能會改變。國際法專家 Jacob Turner 建議，如果這些先進的系統所傷害的人要求賠償和伸張正義，就必須賦予人工智能以人格權。

這可能發生在遙遠的未來。但即使現在的人工智能也可能引發棘手的法律問題。特別是，無法自我解釋的機器思維或其具體的行為超出了人類語言的領域，造成了刑法問題。正如牛津大學的法律學者 Rebecca Williams 所說，如果機器缺乏解釋其行為的能力，現行法律可能難以找出因他們作出的決定而產生犯罪行為的意圖。她說：「在刑法中，有趣的是讓第三方打破非人類的因果關系鏈，這是件新鮮事」。

這不是 Turner 推測未來一天人工智能系統本身可能會做犯罪的事情的問題。但如果因為機器及其制造者都無法解釋其行為，一臺機器作出決定的過程不會被收到盤問，那就無法判定與此決定相關的人有罪還是無罪。

例如，如果一個授權貸款的神經網絡無法解釋它為什么給某些人那樣看起來不公平的分數，那將無法確定是其運營商有意安排這種情況（這在大多數情況下是違法的），還是其設計師編程時犯懶導致了這種情況（這可能是民事法庭而不是刑事案件的事）。同樣，如果運行無人駕駛出租車的視覺系統的 AI 是一個不能被詢問其選擇的黑匣子，那么可能很難知道該車造成的死亡是由制造商負責還是負責維護車輛的公司負責。

距離無人駕駛汽車的案件在法庭上出現還有幾年的時間。然而，即便現在，社會偏見的情況也可想而知。它不需要 HAL 和 Eddie 的發明人 Arthur C. Clarke 和 Douglas Adams 設想出的軟件優點——既可以采取行動，又可以解釋其行為背后的原因。