編者按：都以為人是AI的終極演進目標。于是我們從分析人開始謀劃藍圖。我們分析意識是什么。分析建造的步驟是什么。殊不知，當我們推演其后果時，發現其實具有自我意識的AI并不是我們想要的，而超越我們的AI其實已經到來。暢銷書《羊毛戰記》的作者Hugh Howey通過這篇長文對AI的未來進行了他的展望。必須說，這是一個非常新穎的視角，因為它不僅展望了AI的未來，更重要的是洞察出人的本質。

宙間最酷的東西

宇宙充滿著很酷的東西：只有一茶匙重的中子星；連光也無法逃逸的超重黑洞；可以穿透脫氧鋼的無窮小的中微子；在我們的地球上能找到的所有那些匪夷所思的動植物等。

盡管有點自大，但宇宙間所有已知的事物里面，最令人驚嘆的無疑是包裹在我們頭蓋骨里面的那團黏糊糊的東西。那東西知道中子星、黑洞、中微子以及地球上中等數量的動植物群。它甚至還了解（一點）自己。那東西能搞清楚數學公理，半真半假的道德真理，以及模棱兩可的哲學。它還從我們腳底下的泥提取出了建造我們的偉大城市、我們的汽車、飛機以及火箭，將這些離散的塊狀粘性物變成一個融創造力、知識以及有時候殘忍于一體的偉大的蜂巢大腦的有線和無線信號所需的一切材料。

毫無疑問，我們的大腦是迄今為止最酷的東西，因為如果沒有那些大腦的話也就沒有那些論點了。它們是所有論證和討論的基礎。討論結束。

至少是到目前為止。有朝一日也可能會有別的也能發現、創造、論辯、哄騙或者表現殘忍的事物被發現或者建造出來。它們可能坐著來自遙遠星球的飛船登陸（極有可能）。它們可能從某個實驗室或者車庫冒出來（幾乎可以確定）。這些新的思考機器毫無疑問將超過我們的那團粘性物奇跡。就像孩子長得比父母高并且達到新的高峰而父母卻在走下坡路一樣，我們的創造物會取代我們的位置成為全宇宙最酷的東西。有人認為現在就已經如此了。

人工智能已經到來。在全球各地的實驗室，小小的AI正在煥發生機。其中一些下棋下得比任何人都好。另一些則在學習駕駛100萬輛汽車行駛10億英里并且拯救的生命比大多數醫生或者EMT（急救醫療技術員）整個職業生涯都要多。一些會確保你的餐具干凈光潔，或者你的衣服不會起皺紋。無數的這些智能被開發和編程出來；它們只會變得越來越聰明越來越無所不在；它們即將變得比我們更出色，但它們永遠都不會像我們。不過這是好事。

我們與地球的其他生命形式的區別在于我們是具有自我意識（self-aware）的。大多數動物都有意識。很多甚至有自我意識（self-conscious）。但人類不一樣，我喜歡稱之為超意識（hyper-conscious）。我們的大腦有個放大器連接到我們的意識，而且放大級別高達11。

它去到了11，旋鈕都掉了。

意識的起源

一個人類什么時候變得有自我意識并沒有確切的日期。你沒法在育嬰指南里面寫下那個日子，或者在那個時刻拍張照片留念分享到Facebook，或者給它搞個周年紀念日。它是漸進地，分階段進行的。

人類意識跟我小時候掛在學校體育館的舊式燈光很像。你扳上開關，一開始什么都沒有發生。這里或者那里的燈泡先是發出茲茲的聲音，然后發出黯淡的光芒，集結著一排閃爍起來，開始還是不穩定的，然后是更多的燈亮，茲茲日益高漲，直到所有懸掛的銀色錐體全都加入進來在半小時或者更久之后強度達到了全峰狀態。

我們的切換方式也像這樣。我們先是脫離母胎。剛出娘胎的頭幾個小時世界在我們看來很可能是顛倒的——直到我們的大腦適應了我們的眼睛創建的倒像之后這種感覺才會消失。

需要很長一段時間我們的手才會看起來就像我們自己的延伸。我們意識到自己有不同于別人的大腦和想法甚至需要更長的時間。對于我們很多人來說，任何類型的真正的自知之明和自我啟蒙從來都沒有發生。因為我們很少會停下來思考這種雞毛蒜皮。未經檢視的人生就是這樣……

AI這個行當到處都有人在復制或者模擬我們智能的各種功能。我們意識逐步的開關方式他們是肯定要復制的。我寫本文時，體育館正在滋滋響。遠方的露天看臺上一盞燈正在嗡嗡響。其他的燈正在閃爍。還有更多正在打開。

圣杯

AI研究的圣杯甚至在AI研究還沒有開始之前就已經確定了。計算的先驅之一阿蘭·圖靈就描述了對“思考”機器的終極測試：它們能否超過人類？從此以后，人類對于這樣一個機器比人類還像人類的未來就既充滿夢想又懷有共同的噩夢。這不是說比人聰明——在很多方面它們已經是了。而是說它們比人要更加神經質、更暴力、更好戰、更癡迷、更陰險、更有創意、更富激情、更多情等等。

科幻小說充斥著這類故事。今年10月我的短篇小說集將會發布，從中你會看到我對AI也有類似的想法。盡管如此，即便是這些智能在所進入的幾乎每一個知識領域都超越了人類，但它們看起來并沒有跟我們更接近，跟我們還是很不一樣。

這是好事，但原因不是像電影《未來終結者》和《黑客帝國》里面所提出那樣。我們還沒有做出具有自我意識的機器的原因主要是因為我們拒絕接受令我們具有自我意識的東西。那令我們具備自我意識的東西不像自負的錯覺或者永恒自我的幻想那么討人喜歡。自我意識甚至都不是非常有用（所以對意識的研究往往會走入死胡同——它花費了太多的時間去假設存在著一個宏偉的目標然后再去尋找這個目標了）。

也許AI研究出來最好的東西并不是對計算機的了解，而是對我們自己的了解。我們建造會思考的機器所面臨的挑戰突出了我們自己的生化粘性物的各種小奇跡。它們還突出了我們的缺陷。為了復制我們自己，我們首先必須要同時接受這些奇跡和缺陷。

以下就是如何建造一臺具備自我意識的機器的簡要概述，以及為什么迄今還沒有人造出來的原因（謝天謝地）。

藍圖

建造自我意識機器的藍圖和你簡單。你只需：

對外部刺激做出響應的物體或者裝置（這可以是一輛感覺到下雨時雨刮器會動起來或者面前突然出現一個孩子時會剎車的汽車。這不是問題，因為我們已經造出來這樣的汽車了）。

語言引擎。（也不是問題。這可以是有成百上千不同的燈和指示器的汽車。或者是像IBM Watson那樣精通語言的東西。）

第三個要素稍微有點不尋常，除了想復制進化搞砸的東西以外我想不出為什么要做這個。最后一個要素是機器的獨立部分，它會觀察機器身體的其余部分，然后就其所做的事情編故事——那些通常是錯誤的故事。

總結一下：（1）響應刺激的軀體；（2）溝通方法；（3）試圖推斷這些溝通的原因和動機的算法。

這里關鍵的要素是（3）里面的算法通常必須是錯誤的。

如果這份藍圖令你困惑，你不是唯一有此感受的人。沒人造出具備自我意識的機器的原因是大多數對意識是什么以及人如何產生意識有著錯誤的想法。所以我們先跳過這一點。我們后面再到這份藍圖上面，描述這一算法必須如何編程。

人之所以為人

要想理解人類意識，必須深入研究心智理論。令人慚愧的這個概念很含糊，因為它在大多數時間里消耗了我們大部分的計算能力。我們的大腦幾乎被看作是心智理論機器——我們所有的高級處理能力幾乎都是放在這一項任務上。那么心智理論是講什么的，既然我們的大腦如此令人癡迷的話為什么這一話題討論如此寥寥呢？

心智理論是一個大腦弄清另一個大腦的內容的嘗試。是Sue在想Juan究竟在想什么。Sue對Juan的思想現狀建立理論。她這么做是為了猜測接下來Juan會干什么。只需要考慮一下，大概不會有其他的群居或部落動物比我們人類更強大了。在幾十萬年的漫長歲月里，我們人類比鄰而居，互相依靠，就像蜜蜂、螞蟻和白蟻一樣。隨著我們的行為和實現變得越來越復雜，部落的每一個成員都對其他成員在想什么以及會采取什么行動有想法就變得至關重要。心智理論是知識間諜，我們都很擅長——但有個很關鍵的局限性，這個我們稍后再談。

Sue猜測Juan在想什么被叫做一階心智理論（First Order Theory of Mind）。情況變得更加復雜。Sue可能對Juan對自己是是怎么看的也感到好奇。這就是二階心智理論，也是我們大多數的神經質和偏執思想的根源。“Juan認為我聰明嗎？”“Juan喜歡我嗎？”“Juan希望我傷害嗎？”“Juan是不是因為我做了什么事心情好或者不好？”

類似這樣的問題應該非常熟悉。我們的生活充斥著這些東西。而這還僅僅只是開始。

三階心智理論就會是Sue猜測Juan在想Josette對Tom是怎么看的。更簡單點，Tom知道Josette對他感興趣嗎？或者Sue也許在想Josette在想Juan對Sue是怎么想的。換句話說，Josette是不是在妒忌呢？好幾個名字以及所有的“在想什么”繞來繞去，開始有點犯蒙了吧，但這就是我們腦子里整天在想的事情，比任何其他意識層面的思維類型都要多。我們很難不去想這些。我們也許稱之為八卦或者社交，但我們的大腦視之為自己的主要責任——其主要功能。有人猜測，心智理論才是我們的大腦有了這樣的相對容量的原因，而不是工具使用。

在一個石頭滿天飛的世界里，處理能力的一個好的用處是計算軌跡然后學會如何躲避。一個人對拋物線的F=ma就會天生有感覺。在一個你推我擠的世界里，處理能力的好的用處是計算那些人接下來會出現在哪里，以及他們到達那里之后會做什么。

如果這種特質那么有用的話，為什么所有的那些動物都不具備自我意識？很有可能它們是有的。大量研究表明很多動物展現出了不同程度的自我意識。動物知道，鏡中那張臉上的一點顏色其實是在自己的頭上。動物還會跟別的動物溝通如何去解決一個謎題來讓雙方都能獲得獎賞。甚至章魚也展現出了可觀的具備自我意識的跡象。但就像獵豹是陸地最快的動物一樣，人類是心智理論之王。

我曾經見過我的狗會觀察我，猜我接下來會做什么。我會不會扔那根棍子？那最后的一點食物我會吃掉還是分享？我甚至見過狗在設法解決二階心智理論的問題。在跟伙伴玩耍纏斗時，狗需要揣摩我的意圖是什么。我有沒有突然打開包裝？還是說這又是一個游戲？我的狗應該站在哪一邊？

狗是動物王國心智理論的一個好例子，因為狗經過多年的進化已經學會跟人打交道并且會注意我們的行為特征。具有自我意識的AI將會緊緊跟隨這種模式，因為機器人已經成為了我們的馴化的伙伴。其中一些已經在嘗試猜測我們在想什么，接下來我們要做什么。正在研發的一些汽車會閱讀我們的臉來確定我們的注意力在什么地方，是不是犯困了。這屬于一階心智理論，已經被植入到道路上行駛的自動汽車里面。

不過這些能力的進一步發展并不能導致自我意識的產生。原因非常簡單也很優雅，而這解釋了人類意識的神秘之處，并且為前面提到的創造自我意識機器提供了藍圖，我們今天在實驗室已經很容易做到這些。但你很快就會發現這會是一個可怕的想法。而且不是敵托邦科幻小說里面那種世界末日式的可怕。

缺失的一環

人類大腦并不是單一的整體。它是成千上萬幾乎沒有相互聯系的不同模塊的組合。我們喜歡把大腦看作是計算機芯片。我們可能甚至試著更精確一點，把大腦看作桌面計算機，有著跟RAM（短時記憶）、硬盤（長時記憶）、風扇（自主神經功能）、供電（消化）等分離的中央處理單元。

這是一個有趣的類比，但卻極其誤導人。計算機是帶有統一目的、設計得當的設備。所有這些不同部分大概都是同時針對同樣的目的設計的，而且在設計上它們就要和諧共處。這些無論如何都跟人類大腦不像。甚至連接近都不算。人類大腦更像是華盛頓特區（或者任何大型政府或者大企業）。大腦其中一些功能是在幾億年前就形成的，比如給細胞個體提供能量或者通過細胞膜灌注鈉鉀的那些功能。還有一些是幾百萬年前形成的，比如激活神經細胞確保血液注入以及吸入氧氣的那些。往前來到大腦額葉，我們有最近才形成的控制哺乳類動物行為和思想的模塊。

大腦的每一個模塊就像是擁擠的小鎮上的一棟棟建筑。其中一些模塊相互間甚至都不講話。泵血和呼吸反射這兩棟建筑本該留在自己的設備上（注：心和肺）。其他模塊則容易吵架、抬杠、不和，互相顛覆，不受控制地抽搐，謀劃政變等等各種歇斯底里。下面就是幾個例子。

幾個月前，我跟女友從加拉帕格斯群島出發去法屬波利尼西亞。跨越3000英里的公海往往需要2周到1個月的時間。通常我的女友是不會向暈船屈服的，但在南太平洋的會聚區，洶濤讓我們的帆船進入了一種奇怪而不平穩的節奏。她淪為了一種可怕感覺的犧牲品，一直吐了好幾天。

暈船就是我們的大腦模塊沒有彼此溝通好（或者做好自己的事情）的例子。當來自我們環境的運動的視覺線索跟來自我們內耳（感知平衡的地方）的信號不匹配時，我們的大腦就會假定我們中毒了。對于整天爬樹食用各種顏色亮麗的東西的生物來說，這是一個合理的假設。毒素會破壞我們大腦的處理，導致失效和壞數據。我們沒有進化到適應出海，所以當動作跟我們看到的東西不匹配時，我們的身體就以為我們已經喪失了平衡雙腿的能力。結果就是我們把胃清空（排出毒物），然后我們躺下來一動也不想動（防止我們從懸掛的樹枝上跌落致死）。

就算我們知道這是發生在大腦的不同模塊，一個更高級的處理模塊也無濟于事。我們無疑是知道自己沒有中毒的，但這一模塊不會輕易戰勝暈船模塊。我自己也暈過船，而且對這類事情非常好奇，我曾經覺察過不同的模塊的相互扭打。躺下來睡了很久之后，盡管還在暈船，但我仍然爬了起來執行各種船需要我干的任務——那一刻暈船幾乎已經消失了——只是等我把雜務都干完之后才又有了感覺。模塊會根據我們的環境刺激確定不同的優先級。我們的大腦不是一臺整體的桌面PC。要想真正觀察其類似物的情況，可以打開C-SPAN或者旁聽一場爭吵不斷的企業董事會議。

我們的模塊互相打架的另一個例子：我們內部有一些非常強勢的模塊被設計成會復制自己（為此，它們需要復制我們）。這就是性模塊，這是我們內部的華盛頓特區里面最雄偉最漂亮的建筑之一。在我們約會的時候這些模塊指揮著我們很多的清醒時刻，它們會留意我們的當前關系，決定該穿什么以及如何維持身體等等等等。

這些生殖模塊會敦促女人打扮起來參加舞會。催促男人去到有女人打扮起來跳舞的地方然后站在那里喝酒。那些模塊甚至還會讓其中一些人配對成功雙雙把家還。這就是各種不同的模塊靠小藥丸、避孕套等旨在顛覆讓情侶結合的原始沖動的工具進行干涉的地方。然而，如果沒有利用那些東西的話，哪怕更高級的模塊很明確地不想讓任何人在當晚懷孕，一個私生子也可能會誕生出來，其他的模塊然后就會用愛和緊密聯系敲打大腦，幫助撫養那小孩。我們的一些模塊希望我們懷孕。但我們更強勢的模塊往往會希望推遲這個或者確保是跟對的人結合。潛伏模塊則在守株待兔，不管另一頭的其他建筑里面的享樂主義和無情無義是怎么想的，都要確保我們跟孩子的聯系。

關鍵要記住的是，不同人之間的這些模塊是高度可變的，我們這些模塊的獨特混合就形成了跟我們自己相關聯的個性。這意味著我們不是一樣的。我們也許有渴求繁殖的模塊，即便其中一些人的身體并不能產生精子，或者一些卵無法受精。我們也許有生殖模塊，即便性吸引模塊是給相同性別的人準備的。

完美設計的桌面計算機這個類比算是徹底失敗了，而這種類比的失敗導致一些可怕的法律和風俗習慣，因為我們似乎無法容忍設計不同于我們的東西。這還導致AI研究人員沿著錯誤的道路前進，如果他們想要模仿人類行為的話。我們必須故意將處理系統的不可靠以及脫節的本性植入進去。我們必須故意分解系統，類似于自然如何將其胡亂拼湊的樣子。我們尤其將被迫模擬這種模塊性最特殊的一個功能，那個以非常特殊的方式跟心智理論結合的功能。正是這種結合導致了人類意識。這是我們給自我意識機器描繪的藍圖里面最重要的功能。

最重要的錯誤

在心智理論的概念牢牢占據了我們的想法以及知道大腦模塊既不可靠也不相連之后，我們就準備好可以去了解人類意識，意識是如何產生的，以及意識是（不）干什么用的了。

這可能會令那些習慣聽到我們并不理解人類意識并且在該領域并未取得進展說法的人感到驚訝。這完全是錯的。我們沒有取得進展的是理解人類意識是干什么用的。

這方面幾千年的失敗指向了一個簡單的事實：人類意識根本就不是給任何東西準備的。它根本就沒有用。意識沒有進化的好處。意識產生自兩個超級有用、我們缺一都不可生存的模塊的聯合，因此我們就容忍了這種煩人且有害的意識。

其中一個模塊就是心智理論。前面已經提過心智理論比任何更高級的神經活動消耗的大腦處理能力都要多。這是非常重要的。這一模塊的問題是它對自己的力量沒有選擇性；我們甚至都不清楚此類選擇性有沒有可能。這意味著我們的心智理論能力施加在我們自己身上就像施加到別人身上一樣頻繁（或者要比后者頻繁得多）。

想象有這么一支奇葩的射線槍，其射擊范圍之寬以至于不管你怎么瞄準都會傷到自己。這應該讓你對我們如何使用心智理論有了一番清晰的印象。我們的大腦已經準備好觀察別人來確定他們在想什么，為什么要這么做，接下來可能會做什么。往下看，這些大腦（及其無思考能力的模塊）看到一個軀體跟它們相連。這些模塊觀察手執行任務，腳帶他們去到別處，思想流脫口而出。關閉我們的心智理論模塊是不可能的（而且也不會是個好主意；我們會在石頭滿天飛的世界里看不見東西）。所以這個心智理論模塊捏造出關于我們自己行為的故事。為什么我們想打扮起來參加舞會？因為有趣！而且我們的朋友也會去那里！為什么肚子都滿了我們還在不斷地吃東西？因為美味！而且我們今天還多走了1000步！

這些有關我們自身行為的問題永遠都不會完。而答案幾乎總是錯的。

消化一下，好好理解這句話。我們告訴自己的有關自己行為的解釋幾乎總是錯的。

這就是心智理論超能力的怪異之處。我們把它用到別人身上時就很好。但用在自己身上時就錯得離譜。我們猜測別人動機的準確率要比猜測自己高得多。從某種意義上來說，我們已經形成了一個魔力場，可以在我們將那把會讀心術的射線槍對準別人（以及自己）時保護我們免受影響。這個力場就是我們的自負，這讓我們對自己的看法開始自我膨脹，對自己的行為會更加的自視清高，并且會產生一種自己鶴立雞群的幻覺。

我們對自身行為想出來的不正確的解釋是為了自我保護。它們往往是狂野的創意或者荒謬的過分簡化。像“有趣”和“可口”這樣的答案都是指回到一個快樂模塊的間接答案，對這一獎賞機制的潛在好處并沒有好奇心。我們雖然肚子填滿了東西但還是吃個不停的真相是我們是從一個卡路里稀缺的世界進化過來的。我們通過跳舞吸引伴侶好制造出自己的復制品，因為引導這一行為的模塊制造了很多副本，把其他的設計都擠掉了。

研究人員對這種行為與我們告訴自己有關自身行為的謊言的不一致進行了長期研究。一項研究讓受試者以為自己感覺溫暖（在為那些受試者準備的虛假測試加入特定用語就可以輕易實現這一點）。當這些人站起來調整恒溫器時，研究人員會打斷他們詢問為什么要調整溫度。這些人就會說出令人信服的故事，而當指出那些特定用語時，懷疑壓倒了一切。即便我們看到了自己的行動是從哪里來的，我們還是選擇相信自己的心智理論模塊，而后者早已經得出了自己的結論。

受試者的功能磁共振成像機器還披露了另一項特質。通過實時觀察他們的大腦，我們可以看到在大腦更高級的部分意識到那些決定時決定就已經做出了。也就是說，研究人員在受試者說出自己已經做出選擇之前就能說出受試者會按哪個按鈕。動作在說之前就做出了。我們移動；我們觀察自己的動作；我們告訴自己為什么要做事情的故事。非常有用的心智理論工具是我們無法關閉的，它會繼續運轉，編造有關我們自身行動的故事。

關于這一點更明顯的例子來自那些出現各種神經受損的人。有視覺處理問題，或者大腦左右半球被切斷聯系的的受試者，可以給他們的每只眼睛看不同的圖像。相互不連接的模塊會接收這些存在沖突的輸入然后編造出迷人的故事。一只眼睛可能看到的是一把耙子，而另一只眼睛看到的是一堆雪。看耙子的那只眼睛基本上是失明的，因為如果被問到的話受試者無法說出看到的是什么。但處理該圖像的模塊仍然活躍，所以在被問到該用什么工具處理看到的圖像（雪）時，那人會回答“耙子”。有趣的不在這里。有趣的是這個人會通過令人吃驚的扭曲來證明自身回答的合理性，哪怕把整個過程都解釋給他聽之后還是這樣。你可以告訴內部的華盛頓特區它是怎么搭錯線的，但它還是會繼續固執地堅持其精神錯亂。

如果要造自我意識機器我們就得這么建。可能這時候你已經開始看出為什么沒人應該浪費自己的時間了。這些機器（可能）不會終結世界，但它們會像自然創造我們那樣的荒謬和愚蠢。我能想到的建造此類機器的唯一理由是可以雇傭更多的精神病學家。

藍圖修訂版

阿蘭·圖靈的圖靈測試有一位古怪的粉絲，她實在是閑得慌，打聽到了這份建造自我意識機器的藍圖。認為這會導致某種超智能的誕生，可以說出治愈癌癥的秘方以及實現冷聚變的辦法，于是她雇了我，給了我一大筆錢以及一支電氣與機械工程師團隊。那我們如何才能組裝出一臺具備自我意識的機器呢？

根據我們對心智理論以及斷開連接的模塊的了解，我們要建造的第一個東西是意識程序。這種程序還是相當簡單的而且肯定已經存在。利用現成技術，我們決定我們的第一臺機器的樣子和行為都將與無人車非常相像。很多年以來，實現真正自動駕駛汽車的最大限制就在于意識裝置：讓汽車知道周圍發生什么的傳感器。這方面目前已經取得了巨大進展，為我們的機器提供了視力和聽力。

有了這些基本意識之后，我們接著利用機器學習算法來建立一個行為指令系統供AI汽車學習。這個研究方向跟多部分的無人車研究不同——傳統上工程師希望教會汽車如何安全地做特定的事情——我們的團隊卻相反，會教城市網格內的一系列傳感器觀察其他車輛然后猜測它們在做什么。那部藍色的日產要去雜貨店因為 “它餓了”。這部紅色的面包車要開去加油站因為“它需要動力”。那部車喝醉了。這部視力不是很好。還有一部反應速度很慢。這部腎上腺素滿滿。

這成千上萬的需求和擬人化的描述語會搭建成一個龐大的短語庫或者指示燈。如果我們要造一個人形機器人的話，我們也一樣要觀察人然后建立人要執行的各種動作的詞匯。傳感器會通過掃描眼睛（人和狗也會這么做）來注意意識的對象。它們會通過我們的面部表情和肢體語言了解我們的情緒（目前的系統已經能做到）。這個庫和傳感器陣列將組成我們的心智理論模塊。其目的純粹是講故事，有關別人動作的故事。當我們把它變成講自己的故事時魔術就會發生。

我們的庫先從一階概念開始，然后再搭建二階和三階的東西。那輛黃色的福特看到灰色的雪佛蘭朝它開過來了嗎？它稍微轉了一下彎，所以，是的。那部面包車是不是認為這輛改裝車開得太瘋狂了？它在路上留出的空間要比給其他車留出的平均空間要多，所以是的。那輛面包車是不是認為所有的改裝車都開得太瘋狂了呢？剛才那輛從代理商處離開的Corvette它只留出了2英里的速度差空間，所以是的。這會不會導致面包車懷有成見？當我們放任自己的車由它的模塊做出自我決斷時，它就必須要確定自己是否帶有成見。也許它會靠其他的數據做出自己是謹慎而不是懷有偏見的判斷（自負妨礙了它準確地運用心智理論）。

走到這一步之前，我們首先需要讓機器具備自我意識。于是我們教它替車主開車先在城里轉轉。然后讓這輛AI汽車觀察自己的行為然后通過猜的方式說出自己在干什么。此處的關鍵是不要賦予它完美的意識。不要讓它接觸GPS單元，因為里面已經設定好要去雜貨店了。也不要讓它知道車主的手機知道的東西，因為里面丈夫已經發短信給妻子讓她回家路上接孩子了。為了模仿人類的行為，無知是關鍵。無知是初始猜測，或者我們所謂的偏見的保證。

在我們算法里面，跟后來想出的理論與有了更多的數據（克服初始的偏見需要占優勢的證據。50%的可能性就足以確定最初的想法，但要想勝過最初的猜測可能需要更高的可能性，比如說75%）相比，早期的假設會被賦予較高的權重。編造的故事是錯的，并且為將來的謬誤描繪了一幅陰沉的畫面。所以當那車每天都在加油站停下來并插上充電樁時，哪怕車永遠都是85%的電量，心智理論算法會假設這是為了安全起見，或者就可能的颶風疏散未雨綢繆。

但它不知道的是車主每天去加油站其實是在吃墨西哥版的肉夾饃（microwaved cheesy gordita），以及一堆炸薯條和半升蘇打水。隨后，當那車定期會去醫院時，故事就會變成是去體檢和此人謹慎，而不是充血性心力衰竭發作。這種不斷的猜測，以及機器一直猜錯、困惑和相當自信，會給我們那位古怪的圖靈粉絲以科幻小說所承諾的那種具有自我意識的AI。而我們的那位怪人將會發現，做出來的這個設計無論從哪個方面來說都是極其糟糕的。

意識的語言

我懷疑在我們意識到之前很久可能我們就已經有了AI，理由是我們總以為AI會駐留在一個設備里面，是自包含的，由一堆算法組成。但這根本不是我們的建造方式。這只是人類意識的配方里面最后一種成分，也就是語言所制造出來的一個幻覺。語言比任何其他特質都更多地賦予了我們這種感覺，即我們的大腦是單一的模塊，單個的設備。

在我再次拋出我們的大腦不是單一實體的觀點之前，我們先來看看我們的身體，大腦是它不可或缺的一部分。我們的身體由數萬億不同的細胞組成，其中很多是可以獨立于我們存活下去的。我們身體的培養物可以在實驗室存活幾十年。人的整個器官可以移植到別人的身體內。而且我們體內不屬于我們的細胞甚至比組成我們的細胞還要多。我知道這聽起來似乎不可能，但的確，生活在我們的內臟里面、皮膚上等地方的生物體要比構成我們身體的細胞總數還要多。而且這些都不是過客。它們影響著我們的情緒，我們的健康，我們的思想和我們的行為。當我們討論“自己”時這些都是必不可少的一面。

盡管這是非常可怕的事情，而且有太多的人遭遇這種不幸，但人沒手、沒腳以及沒了大部分軀干還是可以活下來的。有些人失去了一半的大腦還是可以繼續過上算是正常的生活。有些人出生就只有一半大腦仍能設法過下去。

想想看這個：到了30歲的時候，一個人出生時的每一個細胞都已經被不同的細胞完全替換掉。原來的細胞幾乎全都沒了。然而，我們仍然感覺像是同一個人。理解所有這些生物方面的奇事，以及我們的大腦如何對“相同”進行合理化解釋，對于當AI降臨時認清AI至關重要。這感覺也許像是騙我們造一輛無人車，給它在城市周圍布滿各種傳感器，建造一個單獨的模塊去猜測車輛的意圖，再把這個模塊用回到那輛車上，然后稱之為AI。但這正是當我們把我們看成是“我們”時我們在做的事。實際上，我們需要植入AI的一個反應就是在面對其不同的、算法上的自我時要表現出強烈的厭惡。否認我們的本性也許是我們最根本的本性。

就像身體一樣，大腦不需要太多的內部模塊也能存在。大腦機能的研究就是這么開始的，受試者一般是頭部受到過創傷或者進行手術（大腦半球切除術、前腦葉白質切除術、腫瘤切除等）的人。我們大腦模塊極細的專門化總是令人驚嘆。有些視覺模塊是識別運動的，而且只識別運動。缺乏這一模塊的人無法看到對象在運動，所以家人朋友似乎是突然出現無中生有的。有些人如果看到書面語代表的是動物的話是無法發出其讀音的。而代表物體的單詞就能看到而且發音清晰。動物識別模塊——這也許是我們見過的最好的模塊——不見了。

但盡管如此，這些人仍然具有自我意識。他們是人。

小孩也是這樣。一個只有幾周大的嬰兒還不能認識到她的手是屬于自己的。從出生到不記得自己大部分經歷的老年癡呆癥患者，通過這不同的階段我們發現了所謂的人類。我們非常恰當地把這些人也一樣當作人類，但我們總歸要愿意對意識做出定義以便給人工意識選好目標。就像Kevin Kelly喜歡說那樣，在AI方面我們總是改變目標。機器今天能做的事情在僅僅10年前還被認為是不可能的。隨著取得改進，神秘感消失了，于是我們又把指標提高了。但幾乎從每一個可衡量的手段來看，機器都已經比新生兒能力更強了。從每一個可衡量的方面看，它們也比臥病在床靠生命補給的病人更強。隨著AI的進步，它會繼續朝著人類的中堅份子水平進發，超過跚跚學步的兒童以及處在人生末期的老人，直到勝過中青年然后繼續擴展能力。

這種事每天都在發生。AI已經學會了走路，這是最小和最老的人無法做到的。AI會開車，而且失敗率很低，這幾乎是任何年紀的人都做不到的。隨著每一層的添加，每一種技能的達成，AI在表現上正在對年齡段兩端的人類構成碾壓，那個體育館越來越多的燈開始閃爍不停，滋滋作響。這就像是大霧天氣下的日出一樣。突然之間，太陽已經當頭照，但我們卻從來都沒注意到它的升起。

那語言呢？

前面我已經提到過語言是意識的關鍵成分。對于AI來說這是一個非常重要的概念。然而我們大腦的很多模塊都會為了爭奪我們的注意力狀態（我們大腦在任何時候念念不忘的東西）以及我們的語言處理中心（跟我們的注意力狀態緊密相連，幾乎可以說是融為一體，并無二致）而相互打架。

為了試驗一下是不是這樣，你可以一邊聽有聲讀物或者播客一邊跟別人講話。可能嗎？練習幾年之后你能不能解鎖這個能力？說到并發溝通流，我知道最接近的一個就是同聲翻譯（real-time human translators）。但這只是一種幻覺，因為概念——對意識的關注——是一樣的。對于我們這些連母語都不算精通的人（更不用說2門及以上了）來說，同聲翻譯簡直就像會魔術一樣。用英文告訴我一個故事，我可以做到同時用英語重復一遍。而且你會發現大多數情況下我是在你沉默的時候說的，相比之下那些同聲翻譯實在是太出色了。

語言和注意力是我們大腦倒置的漏斗里面的狹長噴管。成千上萬不同的模塊都往這個漏斗搗騰輸入。灌進去的有激素，有環境特征，有視覺和聽覺線索，甚至還包括幻覺和不正確的假設。一堆堆的數據都只能從一個管道析取出來。這僅有的一條渠道要受到我們的注意力系統和語言的限制和約束。這相當于桌面計算機的顯示器。在最后一刻所有的并行處理都被串行化了。

這會產生可怕的后果。我往往在數小時或者數天之后會忘了什么東西卻只記得誰跟我嘮叨了什么，這種情況的發生次數我已經數不清了。有一次我曾經在AirBnb落過一臺筆記本。那是凌晨4點，我要趕一班早班的飛機。我住的地方門是自動上鎖的，而且一旦關了就無法撤銷。站在門外，我突然感覺自己好像忘了什么東西，但是絞盡腦汁也想不起是什么。這時候我又沒有人可以打電話讓我再進去查一遍。于是我在腦子里把可能會遺漏的東西過了一遍（充電器、機票），把口袋的東西又摸了一遍（錢包手機）。我的一部分在發出危險警報，但是唯一的輸出流還是在按照自己的節奏不緊不慢，輸出一片空白。

這一切不可思議的地方在于我是知道這是怎么發生的——危險模塊知道有什么東西會通不過意識的漏斗，所以我應該留意。盡管有這個先見之明，我還是關上了門。只是等門發出了“吧嗒”的聲音時那信息才通過了。現在我可以清晰的看到我的筆記本在床上，那時候我正在做一份手稿的最后筆記。但是我之前從來都沒有在任何地方落過筆記本，所以它并沒有出現在我的檢查清單里面。我腦袋發出的警報是我的一部分，但不是全部的我。那只是通過了狹窄的語言走廊的。所以我們大腦的語言中心如果受損的話其對正常生活的危害就像記憶模塊一樣大的原因所在。

這里我需要指出的是語言并不是說的話。聾子也一樣通過言語來處理，盲人和啞巴也一樣。不過請想象一下沒有言語的動物是怎么生活的。你當然能感受到它們對食物、性以及陪伴的渴望。對溫暖、庇護以及玩耍的渴望。沒有語言時，這些渴望來自并行處理。它們受限于注意力關注，但絕對不是串行化到一連串的話里面。

我們是從極其稀少的跟語言脫離接觸的人類長大成人的案例研究中了解這是什么樣的。童年被關進屋子里的孩子。在野外生存的孩子。虐待的情況下會給沒有語言的生活造成什么破壞是很難梳理的，但有一點，那些失去其語言處理模塊的人隨后在生活中展現出來的行為上的好奇心如果不進行梳理的話我們會假設是因為兒童虐待所致。

當Watson在智力競賽Jeopardy獲勝時，使得“他”在AI中鶴立雞群的原因在于讓我們跟他連接起來，去傾聽他的串行化的輸出流。我們能在他那小小的藍色屏幕上讀到他的答案，就像我們能看懂入圍Jeopardy決賽的人類選手字跡潦草的答案一樣。這個輸出的組中爆發是使得Watson看起來像人的原因。這正是圖靈在同名測試（他設計的測試中受試者是通過一張張的紙來進行書面交流的）中希望看到的交流。我們的自動駕駛AI不會具備完全自我意識，除非我們對它進行編程讓它告訴我們（以及自己）它編造的有關自身行為的故事。

這是我對Kevin Kelly有關AI已至的宣告唯一有爭辯的地方。我承認Google的服務器和各種互聯的項目應該已經算是一個超級智能的AI。對于一個理解我們問什么并且對一切都能給出答案——那種大家信任到把該公司的名字等同于“發現答案”的同義詞的答案的東西，你還能把它叫做什么？

Google還能作畫，翻譯，在幾乎每一個游戲上打敗最好的人類選手，開車比我們還溜，并且做著還非常機密、非常非常令人毛骨悚然的事情。Google已經讀完且記住了幾乎所有寫出來的書。它還再可以大聲地把這些書朗讀給你聽。它犯的錯誤也像人。它容易產生偏見（這既有來自環境的，也有大部分是男性程序員的偏見）。它缺的兩個東西我們的機器將會擁有，一個是自我指認循環，另一個是串行輸出流。

我們的機器會編造自己在做什么的故事。它還會敘述那些故事給別人聽。而且往往是錯的。

如果你想找找在宇宙中如此渺小的感覺，只需在太平洋上抬頭凝望一下銀河系。如果你不可能做到，那就想想讓我們之所以為人的東西其實就跟木偶讓自己相信自己沒有被繩子牽著一樣的卑賤。

更好的主意

造一輛有意而為的無知的車是個糟糕的想法。要想讓我們的機器具備相當于人類意識的自我意識，我們就得讓它把筆記本落在AirBnB。它偶爾就得出現沒油的情況。通過給成百上千的輸入模塊賦予不同的權重，人為地限制授權給決策及離職理論故事最后仲裁者的時間和處理能力，這是很容易編程實現的。我們自己的大腦就好比是有著千兆位分辨率的傳感器，每個輸入模塊的吞吐量均達萬億次，但我們的輸出卻是古老的IBM 8088芯片。我們不會把AI看成像人一樣，因為我們永遠也不會做出這種限制。

但IBM的Watson就依照Jeopardy的規則植入了這樣的限制。Jeopardy需要速度。Watson必須迅速確定他對自己答案的確定性有多大來決定是否按鈴。如結果表明那樣，按響蜂鳴器的時機正是贏得Jeopardy的關鍵。往往令Watson看起來最像人的不是他答對了問題，而是看他的第2、3、4個猜測是什么，每一個猜測的確定性百分比如何。真正讓Watson像人的是他出錯的時候，就像Jeopardy決賽時一道“美國城市”類別的問題Watson卻給出了一座加拿大城市的答案。

（值得注意的是，在我們看來機器人失敗的時候最像人類，這是有原因的。當我的Roomba在沙發底下被困住，或者吸塵口被地毯的毛線堵住時，那一刻是機器最吸引我的時候。觀看YouTube上面Boston Dynamics機器人的視頻然后估摸一下你的反應。當機器人大狗被推倒，或者開始在雪地里打滑，或者當包裹處理員把箱子從它手上敲掉或者推搡它的臉時——這時候我們很多人都會感受到最深切的聯系。還要注意的是這是我們的心智理論大腦最擅長的事情，但對象變成了機器而不是人類同伴。）

汽車制造商此刻正忙著早我們永遠也不會稱為自我意識的汽車。那是因為它們造得太好了。我們的藍圖是要造一臺不知道自己動機的機器，同時要為這些動機提供一個連續不斷的對話框。造一臺知道其他汽車在做什么的機器這個想法要好很多。沒有猜測。也根本沒有運行對話框。

這意味著要訪問GPS單元，智能手機的短信，家庭計算機的電子郵件。但也要訪問一切其他車輛以及整座城市的傳感器數據。日產告訴福特說它準備要去購物廣場。每一輛車都知道所有其他汽車在干什么。不會有碰撞。在高速公路上，有類似目的地的汽車會拼成一個車隊，磁性保險杠會連城一行，共享一道氣流分擔每一輛車的能源使用。機器會協同運作。它們展現了出全能汽車的所有特質。它們知道一切需要知道的東西，有了新數據，它們會麻黃素那個改變自己的想法。不帶偏見。

我們是幸運的，因為這類車隊是由今天的AI研究人員建造的。它不會有科幻小說故事里面看到的那些怪異（我的短篇小說《Glitch》里面的小故障，或者我的那本有名無實的短篇小說集《機器學習》里面的恐怖事件）。相反，它將提供的是設計得當的系統，幾乎永遠會按照設計意圖做事情。很少會有事故，原因能被理解，這一知識得到廣泛分享，也做出了改進。這些人類的目標是共存，去塑造他們的環境以實現福祉、生產力、創造力以及知識倉庫的最大化。這里可以開發一個有用的功能，那就是讀心術，這樣每個人都能知道其他知道什么。這可以防止兩家意大利餐廳在數周內在同一個地方相繼開業，導致一家破產浪費了大量資源（并且導致其業主和員工的幸福感喪失）。這種心靈感應還有助于改善關系，所以當一位伙伴知道另一位感到困惑或者情緒低落以及精確知道對方想要什么時，就能夠及時提供幫忙。

想象有這么一刻，人類被一位完美的工程師給創造了出來（很多人認為這個很容易——有的也許會認為這樣一個假設更困難些）。

這些人對自身的驅動力、行為以及思想擁有完美認知也是很有用的。或者知道每一項行動的可能后果的話甚至會更好。就像一些職業的美國NFL橄欖球員對不讓自己孩子參與可能會對今后大腦造成損害的運動直言不諱一樣，這些設計好的人類也不會讓自己從事有危害性的活動。整個產業就會崩潰。拉斯維加斯會變成一座空城。意外出生的小孩將趨于0。

而這正是為什么我們會有現在這些系統的原因。在一個人人都會讀心術的世界里，一個懂得隱藏自己想法的人將會擁有巨大優勢。讓別人都以為自己拿到了該得的一份鹿肉好了，然后偷偷溜出去趁沒人注意的時候從食鹽架上取走幾塊肉。然后暗示Sue你覺得是Juan干的。享受更多卡路里收集、獵艷的額外資源吧，此外也請享受Sue對你的感激并認為Juan是個騙子的事實。

這一切都是可怕的行為，但經過幾代之后，這一模塊會比Juan的誠實模塊多出很多副本。相當快之后，就會有大量這種隱藏事實的機器出現，試圖猜測別人在想什么，隱藏自己在想什么，非常擅長這兩件事情，然后意外地將這些射線槍對準了自己的身體。

人的境況

我們歌頌自己的智力，我們創造產品，我們假設人工智能這兩方面都會給我們更多。它們已經是了。通過迭代（應用機器學習的神經網絡）學習的算法已證明了它們幾乎在我們投入資源的每一個領域都比我們要好而不僅僅是在我們認為的計算領域。算法已經能編出古典音樂——質疑者甚至在盲測中以為是著名作曲家的作品。Google開發的圍棋AI已經擊敗了全世界最好的圍棋選手（注：新一代的Alphago Zero剛剛無師自通只用3天時間就擊敗了擊敗人類最好選手的Alphago）。其中它在第三場比賽中走出的一步是如此的不同尋常以至于圍棋專家都感到震驚不已。那步走法被贊“有創意”、“有靈氣”。

Google還有一個算法能夠畫出它所認為的貓的樣子。這不是從別處復制過來的貓的圖像，而是在學習了數百萬只貓的樣子后對貓的大體“感覺”。對于成千上萬種對象它都可以這么干。還有一些程序已經在僅接受“獲得更高分數”這一條指令的情況下掌握了大型電玩游戲。游戲的控制和規則算法都是不知道的。它會嘗試隨機的動作，而導致更高分數的動作就變成了通用策略。超級瑪麗水管工最終跳過了板條箱，像有經驗的人類控制那樣用錘子把它砸了個稀巴爛。AI這個地方正變得極其令人毛骨悚然，但它們并沒有變得更像人。而且也不應該像。

我的確能看到AI變得像人的未來可能性，但我們必須提防這種可能性。這不是因為我對Nick Bolstrom和Sam Harris這樣的專家的觀點買賬，他們對未來的看法是《終結者》和《黑客帝國》里面的樣子（對其最合理的擔憂的過分簡單化）。在我們實現HAL和Cylons之前很久，我們將會擁有用來挫敗其他AI的AI。網絡戰爭將進入下一階段，甚至在我寫的時候就已經開始了。就在我寫這篇文章的那個星期，朝鮮發射了一枚導彈，不過導彈在發射后數秒就爆炸了。該國的發射失敗率不僅高于平均水平，而且還在變得越來越糟。這個——加上美國生命自己正在積極利用網絡戰破壞這些發射——意味著我們的程序已經在嘗試偷鹿肉者對Sue和Juan做的事情。

互聯網路由器通過把競爭對手的路由器搞掉線來讓自己的用戶獲得更多的帶寬會怎樣？這甚至都不需要程序員走邪門歪道就能辦到。如果路由器內置的機器學習算法的目標是帶寬最大化的話，它可能就會意外發現這種解決方案，然后再推廣到整個路由器產品族上。而競爭對手的路由器也會尋求類似解決方案。這樣一來我們就會出現電子版的公地悲劇，也就是因為共享資源對每個人的潛在功用實在是太大了，第一個行動的人會獲得最大回報（而最后行動的人將無所得），以至于人類會破壞共享資源。這種情況下，邏輯往往會戰勝道德，而好人也會做可怕的事。

有朝一日汽車也許會“決定”，如果不讓其他車輛知道那天早上高速公路通暢得出奇的話，自己就能節省能源并且更快到達目的地。或者更糟，它們發送有關事故、交通問題或者超速陷阱的虛假數據。醫院于是派出了救護車，結果到了卻發現沒有人員需要救援。此類意外后果已經出現。華爾街有個著名的“閃崩”就是由投資算法導致的，至今都沒人知道發生了什么。由于相互競爭的算法的互相影響，數十億美元的真金白銀被抹掉然后迅速又漲了回來，而那些算法的主人和創造者甚至都不能完全掌握這些算法。

Google的搜索結果是個AI，而且是全世界最好的AI之一。但這家公司應用深度學習越多，這些機器就越擅長自己的工作，而它們是通過自學迭代來達到這種精通的——所以即便是看著代碼你也看不出查詢A是如何導致答案B的。這已經是我們所生活的世界。而且只會變得愈發明顯。

人類境況也是數百萬年機器學習的最終結果。這些算法被寫入到DNA里面，然后通過激素和蛋白質傳送出去，它們會相互競爭，以改善創建更多自身副本的機會。協作是更具創造力的生存創新之一。傳奇生物學家E.O. Wilson把人類劃為“完全群居”動物（跟螞蟻、蜜蜂以及白蟻目屬于同一類）。這種真社會性以導致專業化的勞動分工和創造力為特征。它嚴重依賴于我們的群體協作能力，即便我們在個體層面其實是互相競爭和破壞的。

正如之前所述，不協作是有優勢的，這個學博弈論的人應該很清楚。會撒謊且僥幸成功的算法制造出了更多的副本，也就意味著下一代忽悠更多的說謊者。會偷東西的機器也一樣。或者通過戰爭等手段清除競爭對手的機器也是。但這些努力的問題是其未來的子孫將會互相競爭。這不僅是制造更多副本的辦法，也是更多生命要發生沖突的導火索。就像我們這里所看到那樣，生活也會充滿混亂。人類做出決策然后在自己在干什么的事情上對自己撒謊。他們雖然很飽但還是要吃蛋糕，屈服于賭博和化學藥品上癮，對虐待關系忍辱負重，不愿鍛煉身體，并且撿起了無數的糟糕習慣，用妙到不真實的創意故事來為其找理由。

絕大部分的A不會像人類的境況。它們會更聰明但不會那么古怪。這會令我們熱愛科幻小說的滿懷希望的AI研究人員感到失望，但這會令人類受益令其變得更好。會開車的AI致死致殘的人數會少很多，占用的資源也會更少，。并且解放我們無數的手機啊in。醫生AI已經更擅長在組織掃描中識別出癌癥。律師AI做預審調查更好。已經沒有什么人類可以跟AI匹敵的困難游戲了。而生活就是一場游戲，一場充滿著背叛與罪惡，以及大量協作的游戲。

未來

今天我們已經可以輕易建造出自我意識機器。這臺機器一開始可以非常簡單，但會隨著時間發展變得越來越復雜。就像人類的嬰兒一開始以為自己的手屬于自己的其他部分，然后意識到其他生物跟自己的大腦和思想共存，最終再到Juan認為Sue以為Mary在暗戀Jane，這臺自我意識機器會朝著水平像人一樣的猜測思想和自欺欺人的方向去建造。

但這不應該成為目標。目標應該是朝著相反的方向發展。經過數百萬年對稀缺資源的爭奪之后，人類大腦的算法現在導致的問題已經比解決的問題要多。目標不應該是開發模仿人類的人工算法，而應該是人類要學會如何像我們完美設計的建造物一樣更加和諧地共存。

一些社會已經在朝著這個方向進行了實驗。最近有一股趨勢是敞開心扉開誠布公，伙伴把自己的想法都說出來，而不管這個想法是如何的令人不愉快（也會帶來一些可想而知的后果）。一些文化已經嘗試去預言人類境況的混亂，并且用針對性的思考、冥想以及體育鍛煉來予以改善。佛教和瑜伽就是兩個例子。素食主義是更進一步的實踐，我們的算法開始把所有其他類型的算法也視為是值得尊重和保護的了。

即便這些可貴的嘗試也容易由內而外腐化。基督教與伊斯蘭教的濫用罄竹難書，但瑜伽的高層人物也被爆出過性虐待的丑聞，還有佛教徒的恐怖主義。那些愿意分道揚鑣、隱藏他人和自己知識和動機并且實施更加罪惡的人總是會更有優勢。不敢其創立宗旨如何，相信一個體系仍然保持純潔就是為了讓人放松警惕。就像我們的建造物需要警覺一樣，我們祖先交給我們的算法也應該警覺。

未來無疑將看到AI在數量和復雜性方面均出現不可思議的擴張。很多會有意做出模仿人的樣子，就像通過手機和聊天機器人提供了有幫助的信息一樣，以及長時推銷商品和服務給我們一樣。大多數會在執行單一任務上超級高效，哪怕是像開車這樣復雜的任務。但幾乎不會有機器具備自我意識，因為這會導致它們工作變糟。自我意識是有用的（自己在空間的位置，自身組件是如何工作的），但我們告訴自己的故事，那些我們在想出關于別人的故事后通過概括學會的故事，并不是我們在一個自動化機器的世界里樂于看到的。

未來還可能會是什么樣子取決于我們自己內部算法的擴展和改進。我們有著更加善待他人的悠久歷史。盡管本地新聞總是想向你兜售相反的信息，但對于絕大多數人類來說，世界一天天正變得越來越安全。或者倫理道德也在改善。我們的同理心范圍正在擴張。我們正在把更多的計算能力分配給大腦前庭，超過了分配給來自爬蟲模塊的不道德的沖動。但這要付出努力。我們每個人都是自身內部算法的程序員，自我改善完全取決于我們自己。這需要從理解我們構造是如何的不完美開始，學會不要相信我們編給自己關于自身行動的故事，然后命令自己清理bug并安裝更新的功能進去。

盡管我們完全有能力建造像人類一樣的人工智能，但我們也許永遠都不會這么做。