一場自動駕駛悲劇反映出日益凸顯的技術危機，堆積如山的代碼創造了「一個無人完全理解的宇宙」，我們可能會把它們稱為「弗蘭肯算法（frankenalgos）」，而理解并應對它們，基本上需要一門新的科學。

2018 年 3 月 28 日，是讓人們揪心的一天。

那天晚上，在亞利桑那州坦佩市，一輪新月升到一條四車道的上空，昏暗的路面并未因此而多幾分光亮。

這時，一輛經過特別改造的 Uber Volvo XC90 正在檢測道路前方的某個物體。

作為現代淘金熱的趕潮兒，這輛 SUV 已經在完全無人駕駛模式下行駛了 19 分鐘，期間并未得到后座安全員的任何指導。

它配備了一組雷達和激光雷達傳感器，通過算法來計算周圍物障的距離。

此時，主車速度穩定在 43 英里/小時，經機載算法判斷，如果前方物體保持不動，那么主車距離它有 6 秒之遙。

不過，路面上的物體很少會靜止不動。因此，通過檢索可識別的機械 & 生物實體庫，算法會從中爬取出更多數據，以此來推斷該物體的可能行為。

起初，該計算機一無所獲；

幾秒鐘后，它發現自己剛才是在處理另一輛車，并期盼著那輛車能夠開走，這樣，就可以不對其采取其它特別行動。

直到最后一秒，它才得到了一個清晰的身份識別——

一個騎自行車的女人，車把上混亂地掛著購物袋。她想當然地以為，這輛沃爾沃會像任何普通汽車那樣繞開她行駛。

由于受到不得擅自采取回避行為的限制，計算機突然把控制權交還給了它的人類主人，但是，主人并沒有注意。

49 歲的伊萊恩·赫茲伯格（Elaine Herzberg）被撞死了。

這個事件引起了一些科技界成員的反思，給他們提出了 2 個令人不快的問題：算法的悲劇不可避免嗎？我們將（應該）準備如何應對這種事件？

「在某些方面，我們失去了主體性。當程序進入代碼，代碼進入算法，然后算法開始創建新算法，一切離人類主體越來越遠。

軟件被釋放到一個沒有人能完全理解的代碼世界。」

Ellen Ullman 說。自 20 世紀 70 年代以來，她 一直是位杰出的專業程序員，也是少數幾個能夠對編碼過程進行深刻描述的人之一。

當算法開始創建新算法時，一切離人類主體越來越遠，Ellen Ullman 說。

她對軟件世界了如指掌。

「人們說，『那么，Facebook 的運作方式呢？——他們創建并使用算法，而且他們可以改變算法。』

但事實并不是這樣。他們先設定算法，然后算法會進行自主學習、變化和運行。

Facebook 會定期干預算法的運作，但并不會真的對其進行控制。

而對于一些特定程序，算法不是單獨運行，還需要各類庫、深度操作系統等……。」

算法是什么？

事實上，自從互聯網——尤其是搜索引擎——在上世紀 90 年代中期興起以來，算法的使用已經發生了變化。

從根本上說，算法是一件小而簡單的事情：一條用來自動處理數據的規則。

如果發生了 a，那么執行 b；否則執行 c。這是經典計算的「if/then/else」邏輯。

如果一個用戶聲稱是自己已年滿 18 周歲，就允許他進入網站；否則就輸出「對不起，年滿 18 歲才可進入」。

就其核心而言，計算機程序就是很多很多的這類算法。一份數據處理說明書。

從微觀上看，沒有比這更簡單的事了。如果計算機表現出了任何魔力，不是因為它聰明，而是因為快。

最近幾年，「算法」一詞被賦予了一個愈加可怕且模棱兩可的含義，它可以指：

（1）任何大型、復雜的決策軟件系統；

（2）能夠根據給定的一組標準（或「規則」），來獲取一系列數據輸入并快速對其進行評估的任何方法。

這徹底改變了醫學、科學、交通、通信等領域，使得多年來占據主流的計算機烏托邦觀念更加深入人心。算法使我們的生活在各個層面上都變得更好了。

直到 2016 年，我們才開始對這種新的算法現實進行更加細致入微的考量。

我們傾向于用近乎圣經般的術語來討論算法，視算法為擁有自己生命的獨立實體，之所以如此，是因為我們被鼓勵以這種方式去思考問題。

舉個例子。

Facebook 和 Google 這樣的公司已經出售并保護了自己的算法，這是建立在承認算法之客觀性的基礎上的，這種客觀性要求算法能夠利用數學式的客觀且不帶模糊情緒，對一組條件進行衡量。

這種算法決策能夠擴展到幾乎所有需要決策的事務中，比如貸款/保釋/福利/大學名額/工作面試等，也就不足為奇了。

現在，我們不會再對這類算法賣點逆來順受了。

曾經的數學神童凱茜·奧尼爾（Cathy O'Neil）——已經離開華爾街去教書，她管理著一個關于數學基礎教育的博客 mathbabe——在她 2016 年出版的《數學殺傷武器》（Weapons of Math Destruction）一書中，毫無疑問地證明了，算法遠遠不會消除人類偏見，相反，它將放大并鞏固這些偏見。

畢竟，軟件是由一些非常富裕的白人和亞洲人寫的。而這不可避免地會反映出他們的意識形態。

偏見充滿惡意但無意制造傷害，但我們無法輕易地像要求人類那樣去要求一個算法監管者去解釋它的決定。

奧尼爾呼吁對任何直接影響公眾的系統進行「算法審計」，這是一個明智的想法。如此一來，技術產業定會極力反對，因為他們就是賣軟件的；產品透明度是他們最后才會交出來的東西。

曾經是數學神童的凱西·奧尼爾（Cathy O'Neil）已經證明，算法可以放大人類偏見。

好消息是，這場戰斗正在進行中；壞消息是，與接下來發生的事情相比，它已經顯得陳舊起來。

大家都在關注人工智能的遠景和威脅，以至于幾乎沒有人注意到：我們正進入算法革命的一個新階段，這個階段可能同樣令人擔憂和迷惑。但是，幾乎沒有人問這個問題。

奧尼爾等人提醒，算法不透明但可預測：它們會按照自己事先被設計好的程序來執行。原則上，一個熟練的程序員可以檢查并挑戰這些算法的編碼基礎。

或許可以說，這種算法很「愚蠢」，它們只能根據人類所定義的參數進行工作。工作結果的質量取決于編程者的思路和技巧。而另一種極端情況，是由類人的通用人工智能（artificial general intelligence，AGI）來接管所有工作，這個夢想距離現在還很遙遠。一個真正的智能機器將能夠基于其直覺，諸如我們人類的直覺（一般被認為是廣泛積累起來的經驗和知識）那樣，來質疑它自己的計算質量。

Google 的 DeepMind 一開始只是為了在街機游戲中盡可能得高分，便寫了一段程序指令，卻最終創建出一個大師水準的玩家，它是值得受到稱贊的。這種技術被稱為「強化學習」，它之所以有效，是因為計算機可以快速地玩數百萬個游戲，以便了解哪些步驟組合可以產生更多分數。

有些人稱這種能力為「窄人工智能（或弱人工智能，artificial narrow intelligence，ANI）」，但這里對「智能」一詞的運用就如同 Facebook 對「朋友」這個詞的使用一樣，意在傳達出一種比實際情況更安全、更通達的含義。

為什么這樣說呢？

因為機器沒有上下文背景來判斷自己所做的事情，并且不能做任何其他的事情。關鍵的是，它也不能把知識從一個游戲轉移到另一個游戲（所謂的「轉移學習（transfer learning）」），這使得它的通用智能比不上一個小孩，甚至敵不過一只烏賊。

在某些專業任務上，計算機已經遠遠優于我們了，但距離全面性趕超，可能還很遙遠。人類可能不是最好的，但是我們在很多事情上是第二好的。

但，問題就在這里。

離開「愚蠢」的固定算法后，在前往真正的人工智能的途中，人類走進了途中的一家客棧。

客棧問題層出不窮，但我們毫無頭緒，也幾乎沒有展開討論，更不用說在目標、道德、安全和最佳實踐方面達成一致了。

盡管我們周圍的算法還不夠智能，也就是說，它們還不能獨立地說出「那個計算/行動過程看起來不對：我會再做一次」，但是，它們正開始從其周圍的環境中進行學習了。

而一旦算法在學習，我們就不能再知道任何有關其規則和參數的信息了。在這一點上，我們無法確定它將如何與其它算法、物理世界或我們人類進行交互。

「愚蠢」的固定算法——復雜、不透明并且習慣于實時監控——在原則上是可預測、可審問的，而這些會學習的算法則不然。在環境中學了一段時間后，我們不再能知道它們是什么了：它們有可能變得不穩定。

我們可能會稱它們為「弗蘭肯算法（FrangealGOS）」——盡管瑪麗·雪萊做不到這一點。（譯注：瑪麗·雪萊，科幻小說之母，英國著名小說家、英國著名浪漫主義詩人珀西·比希·雪萊的繼室，著有《弗蘭肯斯坦——現代普羅米修斯的故事》。）

沖突的代碼

算法開始從它們的環境中進行學習。

這些算法本身并不是新的。

我第一次遇到它們是在大約 5 年前，當時我在為《衛報》撰寫一篇關于股票市場高頻交易（HFT）的文章。

我發現它們非同尋常：一個人類打造的數字生態系統，價值數十億美元的數據中心遍布成堆黑匣子，它們就像忍者一樣潛伏在那里——這就是股票市場現在的樣子。

那兒一度有一個實物交易平臺，所有人的行動都會被轉移到一個中央服務器，在這個服務器中，笨拙的草食性算法會被輸入給靈活的肉食性算法，通過彎曲市場狀況，來誘使他們以低賣高買。

人類 HFT 交易者（盡管已不再有人類熱衷于此）稱這些龐大而緩慢的參與者為「鯨」，它們大多屬于互惠養老基金——即屬于大眾。

對于大多數 HFT 商店來說，鯨魚現在已經成為了主要的利潤來源。

本質上，這些算法試圖打敗彼此；它們以光速進行無形的戰斗，每秒對同一訂單進行 10000 次下單和取消操作，或是瘋狂涌入系統，致使市場震動，而所有這些都超出了人類的監督或控制能力。

顯而易見，這種局面是不穩定的。

2010 年曾發生過一次「閃電崩盤（flash crash）」，在此期間，市場經歷了 5 分鐘的創傷性自由降落，然后又經歷了 5 分鐘的重新調整——原因不明。

我去芝加哥看望了一個叫 Eric Hunsader 的人，他有著出色的編程技巧，能夠比監管機構看到更詳細的市場數據。

他向我展示，截至 2014 年，每周都會發生「小型閃電崩潰」。

他甚至也不能確切說明其中的原因，但是，他和他的工作人員已經開始對出現的一些算法（algos）命名，就像麥田怪圈獵人給英國夏日田野中發現的怪圈進行命名那樣，比如「野生動物」、「祖馬」、「咔嗒」或「破壞者」。

Neil Johnson 是喬治華盛頓大學一位專攻復雜性的物理學家，他做了一項關于股票市場波動性的研究。

「這很迷人，」他告訴我。「我的意思是，多年來，有關計算機系統生態學方面的討論一直比較含糊，比如使用蠕蟲病毒這個詞等等。」

但這里有一個可供研究的真正的工作系統。更大的問題是，我們不知道它是如何工作的，或者它會引發什么事情。

而我們的態度似乎是「心不在焉」。

值得注意的是，Johnson 關于這個問題的論文發表在《自然》雜志上，認為股票市場「從一個混合型人機階段，突然而全面地轉向了一個新型全機階段，后一階段的特點是頻繁的黑天鵝事件與超快的持續時間」。

根據科學歷史學家 George Dyson 說法，由于一些 HFT 公司允許算法進行學習，情況變得復雜了：

「就是花點兒錢，讓黑匣子多做些嘗試，如果有效，就加強這些規則。我們知道它已經完成了。然后你實際上有了一些無人知曉的規則：算法創建出了自己的規則——你讓它們以自然進化有機體的方式進行了進化。」

非金融行業觀察家開始設想一場災難性的全球「飛濺式崩盤（splash crash）」，而市場增長最快的領域將成為（并且仍然是）從波動中獲利的工具。

Robert Harris 在他 2011 年的小說《恐懼指數（The Fear Index）》中，設想了通用人工智能的出現——奇點——正是誕生自這種數字化沼澤。

令我驚訝的是，受訪科學家們沒有一個會斷然排除這種可能性。

如果不是因為一個簡單事實，所有這些都會被斥之為深奧的金融知識。

人們通常認為，技術首先被色情行業采用，然后才開始大眾化。但在 21 世紀，色情就是金融，所以，當我似乎看到了類似 HFT 的算法在別處引發問題的跡象時，我又打電話給 Neil Johnson。

「你說得對，」他告訴我：一種新的算法正在走向世界，它具有「重寫自己代碼的能力」，這時它就變成了類似于一種「遺傳算法」。

他認為，自己在 Facebook 中發現了它們存在的證據（他補充道：「我的賬戶被攻擊了 4 次）。

如果是這樣的話，算法就是在那里肆虐，并正在適應那個環境，就像股票市場所發生的那樣。

「畢竟，Facebook 就是一個巨大的算法，」Johnson 說到。

物理學家 Neil Johnson 說，Facebook 就是一個巨大的算法。

「我認為這正是 Facebook 所面臨的問題。

他們可以使用簡單的算法在他人的照片動態中找到我的臉，從我的個人資料中獲取數據，并將我們鏈接在一起。

這是一個非常簡單的具體算法。但問題是，有數十億種這樣的算法在協同工作，它們在宏觀層面上會帶來什么影響？你不能以微觀規則來預測人口水平上的算法習得行為。

所以，Facebook 會聲稱他們知道在微層面上到底發生著什么，他們可能是對的。但是人口水平上的變化呢？這就是問題所在。」

為了強調這一點，Johnson 和來自邁阿密大學與圣母大學的一組同事發表了一篇論文，題為《公共信息中極端子群的出現和未來 綁定算法中的可能增強（Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms）》，旨在從數學上證明，試圖通過社交媒體來連接人，不可避免地會使整個社會極化。

他認為，Facebook 和其它網站應該像氣候科學家模擬氣候變化或天氣模式那樣，模擬其算法的效果。

奧尼爾說，她有意將這種自適應式算法從《數學殺傷性武器》的名單中排除了。在沒有明確內容的復雜算法環境中，將責任分配給特定的代碼段變得極其困難。

也就是說，它們更容易被忽視或者打發掉，因為很難識別它們產生的確切影響，她解釋道，如果想見證真實案例，我會考慮亞馬遜上的閃電崩盤會是什么樣子。

「我也一直在尋找這些（自適應性）算法，」她說，「我一直在想：『哦，大數據還沒有到那里。』」

但是，最近一位亞馬遜書商的朋友告訴我，對于像他這樣的人來說，那里的定價情況已經變得十分瘋狂。

每隔一段時間，你就會看到有人在推特上寫道『嘿，在亞馬遜上花 40000 美元買條奢侈的紗線。』

每當我聽到這樣的話，我就想：「啊！那一定和閃電崩盤差不多！」

亞馬遜上有很異常事件發生的證據，有來自困惑賣家的線索，也有來自 2016 年后至少一篇的學術論文，這些論文聲稱：

「一些例子已經出現，競爭中的算法定價軟件正以意想不到的方式相互作用，進而產生無法預測的定價，有些情況下，被故意設計去實施固定價格。」

問題同樣在于，如何在一個混沌的算法環境中（簡單的因果關系要么不適用，要么根本無法追蹤）分配責任。

與金融業的情況一樣，推諉（deniability）被引入了系統之中。

現實生活中的危險

如果事關人身安全，那就真是茲事體大了。

前不久，一名司機駕駛著豐田凱美瑞轎車，車子突然毫無征兆地開始瘋狂加速，最終駛離道路，司機當場身亡。

事后，美國宇航局的專家花了 6 個月的時間檢查了數百萬行的操作系統中的代碼，然而并沒有發現所謂的程序問題。汽車制造商也堅決否認汽車會自己突然加速。

直到后來兩位嵌入式軟件專家花了 20 個月的時間深入分析了這些代碼，才證明了家屬所說的情況是真實的：

他們找出了一大堆所謂的「面條代碼」（冗長、控制結構復雜混亂、難以理解的代碼），這些代碼充滿互相矛盾、雜糅在一起的算法，進而產生異常、不可預測的輸出。

目前正在測試的自動駕駛汽車包含 1 億行代碼，沒人能夠預測在現實世界中的道路上可能出現的所有情況，所以，算法必須不斷學習并持續更新。

在這樣一個動態變化的代碼環境中，如何避免沖突，尤其是當算法必須保護自己免受黑客攻擊時？

20 年前，George Dyson 在他的經典著作《Darwin Among the Machines》中預見了我們今天發生的這一切。

他告訴我們，問題在于，我們正在構建的系統超出了我們的智力所能控制的范圍。

我們相信，如果一個系統是具備確定性的（根據固定的規則行事，這是算法的定義之一），那么，他就是可預測的，而可預測的算法也是可控的。

然而，這兩種假設都不成立。

「它（算法）正在以自己的方式，一點點地工作著。」他寫道。

「20 年前，我癡迷于多細胞生物和多細胞數字化有機組織，如今，他們已經占據了世界的每個角落。運行著代碼片段的 iPhone 就像一個多細胞生物，就像生物學中看到的那樣。」

「這是一種被稱為阿什比定律的古老法則。一個控制系統需要和被它控制的系統一樣復雜。

我們正全力朝著這個目標努力著。建造自動駕駛汽車時，軟件必須對所有需要控制的事物完整建模型，但是，我們無法理解大多數模型中的定義代碼。

因為，我們能理解的模型通常都是這樣的類型：因為忘記把消防車納入模型，所以才會撞向消防車。」

我們能否乘坐自動駕駛汽車暢游在城市街道上？對此，Dyson 提出了疑問。與此同時，新南威爾士大學的人工智能教授 Toby Walsh（此人在 13 歲編寫了他的第一個程序，十八九歲時運營了一個原型的計算機公司）從技術層面上解釋了為什么這會是一個問題。

「沒有人知道如何寫一段代碼來識別停車標志。

我們花了好幾年的時間試圖利用人工智能技術做到這一點，但是失敗了！我們的愚蠢導致這項工作沒什么進展，人類也還沒聰明到能學會如何解決這個問題。

編寫程序時，你不得不學習將問題分解成足夠簡單的部分，每個部分都能對應上一條計算機指令（針對機器的指令）。但諸如識別停車標志或者翻譯一個英文句子這樣復雜的問題，我們卻不知道怎么如法炮制，這超出了我們的能力范圍。

我們只知道如何編寫一個更加通用的算法，樣本足夠多的話，系統就能學會如何解決這個問題。」

因此，目前的研究重點放在機器學習上。

現在我們知道，Herzberg 的死是因為算法在試圖對其進行正確的分類時，猶豫不決。

這是因為糟糕的編程、算法訓練不夠？還是因為我們拒絕承認技術的局限性？真正的問題是，我們可能永遠不知道其中的原因。

「我們最終將完全放棄自己動手編寫算法，因為這些機器能夠做得比我們做得好很多。

從這個意義上說，軟件工程可能是一個瀕臨淘汰的職業。它將會被機器接管，機器將會比我們做得更好。」Walsh 繼續說道。

Walsh 認為，社會大眾學習編程知識是很重要的，而不是無足輕重。越疏遠，它就會看起來更像魔法。

針對前文給出「算法」定義，他也認為這種定義不完整：

「我想指出，現在的算法指的是所有大型、復雜的決策軟件系統及其嵌入的環境，這使得它們更加不可預測。」

這的確是個令人不寒而栗的想法。

他認為，倫理道德將會成為科技領域新的前沿熱點，他預測這是「一個哲學的黃金時代」，普渡大學網絡安全專家 Eugene Spafford 也對此表示認同。

「在需要做出選擇的地方，就會產生道德問題。我們往往會想要有一個可以問責的機構，但對于一個算法來說，這是非常困難的。

到目前為止，人們對于這類系統的批評之一就是：不可能回過頭來分析做出某些決策的原因，因為系統內部做出的選擇實在是太多了，以至于做出責任分析并非人力所及。」

也有人持不同看法。一旦一個程序出錯了，我們可以對相關的所有程序進行重寫或更新，這樣問題就不會再次發生。人類容易重蹈覆轍，但智能機器不會。

雖然從長遠來看，自動化機器應該更加安全，由于現有的侵權法規定侵權行為必須出于故意或過失，因此，這種法律要件理論需要加以反思了。

一條狗不會因為咬了你而要負法律責任，但是如果這條狗的行為被認為是可以預見的，那么，它的主人就需要負責。

在一個算法的環境中，許多意想不到的結果，是人類不可預見的，這種特性可能會導致一種無賴式的做法，故意混淆概念會變得更容易，也會為某些人帶來好處。

比如目前，一些制藥公司一直在從這種復雜性中受益，但后果也會更嚴重，并且更加難以逆轉。

Uber 致命車禍調查

軍事風險

不過，在未來，影響最嚴重的領域可能并非商業、社交媒體、金融和交通。如果軍方不再像過去一樣推動創新，它將是最受影響的技術采用者。

因此，自動武器正在變成一場算法軍備競賽，這也就不足為奇了。

目前，朝鮮和韓國之間的非軍事區由一名機器人槍手執勤。盡管其制造商三星否認它有自動化行動的能力，但外界普遍不相信這一說法。

俄羅斯、中國和美國都聲稱他們正處于研發協同化、武器化無人機群的不同階段，而美國還計劃讓導彈在戰場上空盤旋數日進行觀察，然后選定攻擊目標。

一群谷歌的雇員為此辭職，另有數以千計的人質疑這家科技巨頭向五角大樓的 Maven 計劃「算法戰爭」項目提供機器學習算法。

谷歌的管理層最終對此作出回應，同意不續簽 Maven 計劃的合同，并公布了使用其算法的道德準則。

谷歌的員工因公司向五角大樓的「算法戰爭」計劃提供機器學習軟件而憤然辭職。

和其他的科技公司一樣，谷歌也聲稱其 Maven 軟件符合道德準則：

它可以幫助人們更有效地選擇目標，從而挽救生命。

但問題是，技術管理人員如何能夠假定自己知道他們的算法將會做什么，在實際情況中，被指導去做什么——特別是考慮到，各方都會開發出相應的算法對抗系統，以迷惑敵方武器。

和股市的情況一樣，不可預測性很可能被視為一種優勢而非障礙，因為，武器會因此變得更有可能抵抗企圖破壞它們的企圖。

如此以來，我們實際上正在冒險徹底改造我們的機器，用意大利面條式的（復雜而難以理解的）代碼包裝本來尋常之物。

英國 Lancaster 大學的 Lucy Suchman 與人合寫了一封致谷歌的公開信，要求他們反思將工作與軍事相聯系的狂熱做法。

她說，科技公司的動機很容易被理解：軍事合同總是伴隨著覺得利益。而對五角大樓來說，

「他們被數據淹沒了，因為有新的方法來收集和存儲數據，但他們無法處理這些數據。所以這些數據基本上是無用的，除非有奇跡發生。

我認為，它們尋求與大數據公司的合作是一個很神奇的想法：這些公司有很神奇的技術，可以讓這些數據有意義。」

Suchman 還提供了一些統計數據，讓人對 Maven 計劃不寒而栗。

2003 年到 2013 年間在巴基斯坦進行的無人機襲擊中，只有不到 2% 的被害人被確認為對美國構成明顯威脅的「高價值」目標。

20% 的被射殺的人被認為是非戰斗人員，而 75% 的人的身份未知。

即使只有這些數字的二分之一、三分之一、四分之一，任何理性的人都會停止這樣的行為。

「我們現在使用的識別技術是很粗糙的，而 Maven 計劃想要做的是實現這種技術的自動化。從這一點上說，它變得更加不負責任，更容易受到質疑。這是個很糟糕的主意」。

Suchman 的同事 Lilly Irani 在加州大學圣地亞哥分校工作，她提醒我們，信息在一個算法系統中以光速傳播，沒有人對其進行監管。她以此暗示，技術上的討論常常被用作煙幕彈，以逃避責任。

「當我們談論算法的應用時，有時是在討論官僚系統。

算法設計人員和政策專家所做的選擇被視為客觀，在過去，必須有人為這些選擇負責。而科技公司說，它們只是通過 Maven 計劃來提高準確率，比如，更多真正的威脅分子得到擊斃。

也就是說，從政治角度出發，假設那些站在他們世界的對立面的人更因該被殺死，而美國軍隊則會定義什么樣的人有嫌疑，不容許有任何爭議。

所以，他們是打著科技問題的旗號解決一些政治問題。選擇算法來自動化某些決策過程，也是出于政治考慮。」

現代戰爭的法律公約，盡管可能不完善，但它假設作出決定的人要承擔責任。至少，算法戰爭正在以一種我們可能要后悔的方式，攪渾了現代戰爭的這潭水。

尋找解決之道

對于本文描述的大多數問題來說，已經存在解決方案，或者，我們可以試著找到一種解決方案，但前提是：大型科技公司將社會的良性發展，作為公司底線。

長期來看，更為嚴重的問題是，越來越多的人推測當前的編程方法不再能實現某種目的，鑒于人類日益依賴的算法系統的規模、復雜性和相互依賴性。

聯邦航空管理局的解決方案是：詳細記錄和評估所有項目的內容以及后續更新，以便事先很好地理解算法交互，但這不可能大規模展開。

航空航天工業的部分單位采用了一種相對較新的基于模型的編程方法，在這種方法中，機器完成了大部分的編碼工作，并且能夠在運行時進行測試。

然而，基于模型的編程可能并不是萬能鑰匙。

它不僅讓人們遠離了這一編程過程，而且物理學家 Johnson 為美國國防部所做的一項研究發現：即使在使用這種技術構建的大型復雜系統中，「也無法從代碼本身推導出系統可能做出的極端行為。」

人們投入了大量精力尋找追蹤不符合預期的算法的行為，從而確定導致這種情況發生的具體代碼的位置。沒有人知道是否會找到一種（或多種）解決方案，但在那些具有攻擊性的算法被設計得互相沖突或/和互相適應的情況下，確實還沒有一種辦法行得通。

等待研究人員給出一個關于熱議的算法糾紛問題的技術答案時，我們可以采取一些預防措施。英國定量分析專家、對股市高頻交易發出嚴正批評的 Paul Wilmott 諷刺地說，「學學射擊、做果醬或者編織」。

更實際的做法是，軟件安全專家 Spafford 建議，無論能否識別特定的異常代碼或證明與之相關的疏忽，都要讓科技公司為其產品的行為負責。

「基本上，我們需要一種新的科學形態。」Neil Johnson 說。

僅僅在幾年前，當 Johnson 和我最后一次討論這個話題時，我的問題還只是小眾關注的問題，僅僅限于少數對股市進行細節研究的人。

「現在，這種情況甚至影響了選舉。我的意思是，這到底是怎么了。

我認為，深層次的科學問題是，軟件工程師接受的訓練是編寫程序，優化工作。這很有道理，因為你經常會優化諸如分布在一個平面上的權重、最節能的速度這樣的問題。

一般來說，在可預期的情況下，優化工作是有意義的。但是，在一些特殊的情況下，它也會失去意義，我們需要考慮：

『一旦著個算法開始與其他人進行交互，可能發生的最糟糕的事情是什么？』問題是，我們甚至沒有一個詞語能夠描述它，更不用說研究它的學科了。」

他停頓了片刻，試圖思考這個問題

「所謂優化，要么最大化對象，要么就是最小化，在計算機科學中，都是一個意思。因此，優化的反義詞是什么？比如，最小優化案例中，如何識別、測量它？

我們需要提出的問題，『在我認為自己正在優化的系統中，最極端的行為可能是什么?』」。

他再次陷入了沉默，最終發出了略帶驚訝的聲音。

「基本上，需要一種新的科學。」他說。