你可能會認為，在特朗普大廈上建設一個直升機停機坪會給總統在曼哈頓的住宅平添一份豪氣。畢竟，沒有什么事情比乘坐海軍一號直達你自己的摩天大樓更能象征財富和權力了。

佩妮（Penny）是一個可以通過衛星圖像來預測紐約城的收入水平以及變化的人工智能系統。當我通過它簡潔的頁面查看特朗普住宅區情況時，顯示的只有滿滿的財氣。“Penny十分堅信這個區域的居民收入是中高等的。”報告稱。但當我從屏幕底部的工具欄中選擇了一個直升機圖標，并把它拖到屋頂上時，Penny改變了主意。“你的調整導致Penny把這個地區重新劃分為中低等收入地區”。

“直升機停機坪”是財富的有力象征，不是嗎？難道Penny知道一些我不知道的東西，還是誤讀了數據？那么為什么會有人需要這樣的工具呢？如果你能回答這些問題，就能理解Penny是怎么運行的了。

Aman Tiwari是卡內基梅隆大學的一名計算機科學家，他在紐約的高分辨率衛星圖像上覆蓋了人口普查數據，并通過神經網絡來豐富它的數據庫。（他在圣路易斯利用人口普查數據和衛星圖像做了同樣的事情，但每個模型只能預測對應城市的家庭收入。）

Aman Tiwari解釋到，人工智能開始將城市景觀中的視覺模式與收入聯系起來，不同的物體和形狀似乎與不同的收入水平相關，停車場聯系著低收入，綠地聯系著高收入，諸如此類。Tiwari與數據可視化工作室Stamen合作，創建了一個界面來探索這些相關性。你可以在這個用戶界面上隨意拖拽棒球棒、太陽能板、建筑物或其他東西到你的城鎮中。

創造Penny的主要目的并不是設計一座城市，而是可以更多地了解人工智能到底可以做什么，不能做什么。通常情況下，Penny依據直覺作出反應。把高速公路或停車場搬到上東區，人工智能預測的收入中值會更低。再加上一些褐砂石和公園到紐約東部，突然間收入中位數增加了。Penny總會給你帶來一些不可思議。把廣場酒店扔進哈萊姆區，讓Penny更確信這是一個低收入地區，即使添加樹也不能將收入拉高。

人工智能違背直覺的情況，凸顯了任何基于機器學習的系統的力量和局限性。Tiwari表示：“我們不知道它是否知道我們沒有注意到的東西，或者它作出的判斷是完全錯誤的。

“有時候，人工智能會做出一些神奇的事情，或者在一些問題上給出非常明智的解決方案，但這個解決方案對我們來說是有的時候無法理解的，所以我們不明白為什么它的行為是違反直覺的，”Jeff Clune作出評論。他是懷俄明州的一名計算機科學家，研究了神經網絡的不透明內部運作。“但同時，這些系統并不像我們認為的那樣知道的那么多，而且它們經常以奇怪或令人困惑的方式作出錯誤的決定。也就是說，它們做出的預測很多時候是非常不準確的，因為它們的錯誤有的時候很明顯。

”這樣的缺陷讓大量的科技工作者每天都在不斷與之互動測試。比如Facebook的新聞推送，它使用算法來調整你的社交流構成。或者谷歌的新電腦視覺平臺，Lens，把你手機的攝像頭變成了一個搜索框。或者是特斯拉汽車的事故規避技術草案。即使是那些創造了這些產品的人工智能工程師，也不能完全理解這些復雜的系統所做的決定。

Penny讓我們得以見證人工智能和機器學習對城市的意義。“這項科技不是為了決定是否在你的院子里安置一座籬笆墻，而是為了幫助我們理解機器是如何對我們的世界發揮作用的，”他數字地球公司產品經理Jordan Winkler說。該公司為這一項目提供了衛星圖像。但他表示，Penny主要是為了讓人們了解人工智能和機器學習是如何工作的，或者是不可以做什么。

佩妮很好地處理了這個任務，有效的減少了用戶探索的時間。如果佩妮的早期預測符合用戶的期望，他們就不會再進一步檢驗這個系統的準確性了。他們只會認為人工智能是非常聰明的。Clune說：“這表明，在人工智能王國一切都進行的井井有序，但實際上背后的事情要復雜得多。”只有不斷花時間用這個系統去探索并發現錯誤的和人們預期不相似的結果，你才會開始質疑它結果的可靠性，以及它工作的原理。

我們再回到特朗普大廈的例子，增加一個直升機停機坪會減少預測的收入種植，因為直升機停機坪是影響的負面因素，還是因為加上了一個因素而改變了其他財富相關特征？所以我們是否可以假設佩妮的決定基于一些獨立的因素比如樹木、直升機或者建筑物，還是從整體來看所有的因素都會產生影響呢？不過從某種程度上來說，Penny是一個很有價值的工具，因為它讓人們思考它背后的工作機制。

在目前的版本中，這個模型引發的問題比它提供的答案更多。Clune說，一個解決方案是讓模型產生低、中、高收入的社區。對于人工智能來說，這項任務更像是在寫一篇論文，而不是一個多項選擇考試。它會讓人們在與Penny的互動中，更全面地了解它所看到的、知道的和關心的。