2014年7月17日，紐約市斯塔頓島的一條人行道上，一群警察走近43歲的埃里克?加納（Eric Garner），準備逮捕他，理由是他涉嫌非法售賣煙草。當加納試圖掙脫時，一名警官用胳膊鎖住他的脖子，將其臉朝下按倒在地上。加納患有哮喘和心臟病，他苦苦哀求“我不能呼吸了”，隨后便失去了知覺。在送至醫院一小時后，他被宣布死亡。不久之后，法醫判定加納死于他殺。

這起悲劇引起了全美范圍的關注。一份手機視頻詳細記錄了加納被警方過度暴力執法的全過程，其中的細節令人震驚。加納的死以及警察曾經暴力射殺手無寸鐵的黑人公民的事件，激起了全美范圍的強烈抗議。

此后，美國和其他地區的改革派政客開始主張警察佩戴執法記錄儀，以督促警察對自己的行為負責。另一方面，警察們也樂于佩戴執法記錄儀，這有利于警察在面臨錯誤指控時洗脫嫌疑。

執法記錄儀的主要生產商是Axon Enterprise，人們更熟悉它的原名泰瑟國際（Taser International）及其招牌產品——泰瑟電擊槍。2015年，當時的泰瑟國際敏銳地捕捉到了執法記錄儀產品的巨大市場，專門成立了一個部門銷售警用Axon執法記錄儀。去年，公司正式更名為Axon，標志著公司的業務重心轉向警方記錄及證據的收集和管理。執法記錄儀的視頻則是重中之重。

目前，Axon公司不僅為警察局提供免費的執法記錄儀，而且警察局可在一年之內免費使用其網站Evidence.com的數據存儲服務。公司此舉旨在營造一個長久、穩定的盈利模式。

毫無疑問，Axon公司將業務從電擊槍轉向執法記錄儀的舉措將引起投資者的興趣，但吸引我們的并不是這種新的商業模式。本文的兩位作者都是技術人員：Greene，美國馬里蘭大學信息學院教授，研究科技對人類社會的影響；Patterson，計算機視覺專家，在位于紐約市的初創公司Trash擔任首席科學家。Axon公司宣稱，公司的目標是建立一個預期能夠處理、標記和解讀海量執法記錄儀視頻資料的人工智能系統。我們對這一策略是否合理和明智深感擔憂。

根據Axon公司的聲明，他們將使用現有的執法記錄儀視頻資料對人工智能系統進行訓練，目前共收集到20萬名警官提供的30拍字節（petabyte）的視頻資料。系統將對視頻資料進行編輯，以保護個人隱私，并將視頻記錄的事件轉換為文字記錄，生成警方報告，這種自動化的工具有利于警察擠出更多的時間執行更重要的任務。此外，公司還將建立一個可檢索的警察與公眾互動數據庫。Axon公司已經為實時人臉識別技術申請了專利，競爭對手也在積極開發這一技術，用于執法記錄儀。

大約兩年前，Axon公司的創始人兼首席執行官里克?史密斯（Rick Smith）在一次公司投資者收益電話會議上表示，公司將在2018年推出人工智能輔助視頻系統，但至今，Axon公司的Evidence.com產品依然表現平平。它能自動模糊或遮擋人臉，或編輯個人身份信息（要先標記出哪些人或物體需要被遮蔽），或根據警方調度系統的信息對視頻進行標記，如案件的編號、地址以及類型等。這與Axon公司銷售辭令中描述的目標相去甚遠。比如，史密斯在2018年6月的Axon公司工作促進會議上說過：“終有一天，我們能夠通過人工智能處理便攜式和車載式執法記錄儀視頻，并生成警員可進行編輯和調查的報告初稿。”

不可否認，按照執法記錄儀視頻中的人物、事件和地點進行自動分類，進而減輕人們繁冗的文書工作，這確實是一個有吸引力的想法。但是，我們和其他外部觀察者都擔心這其中存在著潛在危險。Axon公司計劃使用的大部分人工智能技術尚不成熟。即便這些技術已經成熟，由于無法對Axon公司的私有軟件進行獨立審查，也無法判定技術的確不存在偏差和其他令人擔憂的問題。

由于這些原因，機器學習在執法記錄儀視頻分類中的應用已經成為一個導火索，引起了對“私有軟件是否可以并入刑事司法系統”這一更廣義問題的爭論。我們在此將表述我們的擔憂，并對如何管理這一即將出現的新技術提出建議，不管你是否喜歡這項技術。

━━━━

在Axon公司的視頻管理系統中，至少有一項功能是可行且有益的，這就是將執法記錄儀視頻中的人臉進行模糊處理。如果視頻被公開，視頻中的人不會被他人認出來。Axon公司的人工智能和機器學習主管莫吉塔巴?索爾吉（Mojtaba Solgi）說，他和他的團隊還在研究如何將視頻中的聲音進行自動轉錄。人們普遍希望這些簡單而繁冗的任務能夠實現自動化，我們對此沒有異議。

然而，用機器審查和分類視頻腳本中所發生的事情是一項非常困難的任務。誠然，一些簡單的圖像很容易被識別，今天的計算機技術能準確無誤地將狗和飛機或樹區分開。但是，即便是目前最好的人工智能技術，也無法像專業人士那樣準確地區分影像或場景中的復雜或細微差別。盡管近年來研究人員已經取得一些重大進展，但若要解釋復雜圖像或視頻片段中的事件，即便是最先進的人工智能系統，也仍然處于相對原始的階段。

加州大學伯克利分校的吉滕德拉?馬立克（Jitendra Malik）以及其他11位機器學習專家近期發表了一項研究成果。在這項研究中，他們使用了一份帶有詳細注釋的新型視頻數據集來測試一款最前沿的深度學習系統。深度學習涉及人工神經網絡的應用，人工神經網絡即仿照人腦中神經元網絡構建的計算機程序。

馬立克和他的同事們打算訓練一個網絡，識別視頻資料中出現頻率較高的行為。為此，他們結合了兩個流行的神經網絡的特點，這兩個神經網絡分別是13D和Faster-RCNN，前者的前身是廣泛使用的Inception Network。這一網絡要識別的動作很簡單：站姿、坐姿、行走、跳躍、進食、睡覺、閱讀、說話、抽煙、騎車或攜帶物品等，共計80種動作。更為復雜的動作（比如入店行竊或鎖喉）沒有涉及。視頻資料來自電影或電視節目，這些視頻動作清晰，光線充足，拍攝角度合理。

即便如此，這款深度學習系統在新視頻資料集中的測試還是經常出錯。以動作識別為例，當人把手機貼近耳朵時，系統誤認為是在抽煙。作者這樣描述這種低級錯誤：“它在識別一些微小細節時很吃力。”這么說，一個人是在掏錢包還是掏槍也是一種“微小細節”，當今最先進的人工智能視頻分析技術也很容易誤解。

我們估計，即便是Axon公司相對保守的系統計劃也很難跳出實驗室，直接應用于實際警務工作。比如，Axon公司宣稱，對視頻中的某人進行標記后，它們的系統就能夠在視頻的多個幀里面對其進行追蹤鎖定。

世界上最尖端的計算機視覺系統的確能實現這種目標追蹤，但研究文獻中成功追蹤的案例使用的都是高品質的視頻資料，并且視頻里的人都在相對簡單的環境中移動。到目前為止，還沒有用移動攝像頭在光線不足、視野不穩的視頻中成功追蹤目標的先例。

━━━━

無論在哪個領域，自動化視頻解讀都是一個棘手的問題。警務工作對這方面的要求非常高，一旦人工智能系統出錯，后果可能極其嚴重，而且這些錯誤可能經常發生且難以察覺。

例如，如果自動影像分類系統的功能是從混亂、不完整或有偏差的數據中學習得到的，也會出現問題。一個有名的例子是，2015年黑人程序設計員杰克?阿爾辛（Jacky Alciné）發現，谷歌的照片App采用機器學習方法對內容進行分類，將他與一位黑人朋友的合照歸類為“猩猩”。

人工智能專家可以通過徹底篩查和系統迭代更新來修正這類問題。加州理工學院和加州大學圣地亞哥分校的人工智能研究者們在開發美靈鳥類識別（Merlin Bird ID）App時就采取了這種方法。他們收集了數量龐大的鳥類照片，然后將鳥類分類的工作分包給眾人。然后利用這些結果訓練第一代物種分類人工智能，但分類器的性能很差。

為了弄清楚原因，計算機科學家們聯系了康奈爾大學鳥類實驗室的專家。鳥類專家立即發現，因為眾包人員的鳥類知識有限，訓練數據集中有大量的鳥類分類是錯誤的。

花費了大量精力修正訓練數據集中的錯誤后，他們為眾包人員重新編寫和完善工作指導書，并將整個程序反復運行多次。最終，美靈的設計師們發布的這款App運行良好。然后，他們利用用戶數據并根據鳥類專家的修正意見不斷完善人工智能系統。

Dextro是一家位于紐約的計算機視覺初創公司，去年被Axon公司收購。Dextro公司也采用了類似的方法調試人工智能視頻識別系統，通過識別誤報（false positives）和漏報（false negatives）來反復訓練神經網絡系統并評估系統的變化。我們可以期待，研究人員將作為Axon公司的一部分，繼續推進這些實踐。但自從Dextro公司被收購后，Axon公司的人工智能團隊沒有公布警用執法記錄儀視頻所采用技術的相關消息。

2018年9月，歐洲計算機視覺國際大會（European Conference on Computer Vision）在慕尼黑召開。Axon公司的人工智能專家在會上提到，他們的技術在一場視頻理解公開賽上表現卓越并取得了很好的排名。考慮到這場比賽采用的是來自YouTube的視頻，其結果與警方執法記錄儀視頻之間的相關性尚不明確。對于其人工智能的功能，Axon公司分享的信息遠少于中國計算機視覺初創公司——北京曠視科技有限公司，該公司定期向公開賽提交圖像分析系統，并且經常在比賽中獲勝。

人工智能開發者經常使用某些已確立的標準來評估系統的性能，定位系統的缺陷并找出原因。這就是人工智能研究，特別是計算機視覺研究（比如美靈鳥類識別應用）嚴重依賴領域專家的原因。一套公開的標準、一系列公開的比賽和任何興趣團體都能參與的研討會，這些也共同營造了一個容易發現人工智能系統問題的氛圍。

但是，正如加州大學戴維斯分校的法學學者伊麗莎白?喬（Elizabeth Joh）所說，如果私有監控技術公司要維護這些軟件的商業機密特權，這個程序就亂套了。毫無疑問，警局需要從私人企業采購裝備和服務。但是，Axon公司開發的這類人工智能軟件與采購的復印紙、保潔服務或其他常規電腦軟件等相比，有著本質的區別，因為這項技術本身會影響警方的判斷和行動。

舉一個例子，解讀視頻的人工智能將戴有面紗的女士歸類為戴面具的人，這有可能提示警察下意識地認為她們有更大的嫌疑，甚至可能會激怒她們，導致她們不予合作。這種改變會被執法記錄儀拍攝下來，影響Axon公司用于開發未來人工智能工具的訓練數據集，導致這一偏見被進一步固化，而起因只是軟件的錯誤判斷。

在這個過程中，如果沒有獨立的專家對這些自動解讀進行徹查，這個循環系統很快就會退化，導致人工智能產生偏差或不可靠的結果。

現在還不能確定Axon公司的視頻管理系統會不會發生這種情況。但是，ProPublica公司曾在2016年披露過，刑事司法系統使用的分類工具——替代性處罰矯正罪犯管理分析（Correctional Offender Management Profiling for Alternative Sanctions，COMPAS）中就曾存在此類問題。法官根據審判前風險評估算法的結果，決定被捕者是否適用緩刑或其他替代入獄方式。

根據佛羅里達州布勞沃德郡被捕者的記錄，ProPublica公司對COMPAS造成的危險因素評分高達7 000分。將這些預測與接下來兩年里的逮捕記錄進行比對發現，即使是查證了犯罪歷史和犯罪類型以后，帶有種族偏見的錯誤預測依然存在。作為COMPAS的銷售方，NorthPointe公司盡管對ProPublica的研究表示質疑，但從未公布過任何技術細節供人們監督和審查。一位來自威斯康星州的男子埃里克?盧米斯（Eric Loomis）在法庭上挑戰了COMPAS黑箱計算的權威，他聲稱利用COMPAS對他做出6年監禁的判決侵犯了他走正當法律程序的權利。但最高法院駁回了他的訴求，支持NorthPointe公司以涉及商業機密為由拒絕接受對COMPAS進行審查。

統計學家克里斯汀?盧姆（Kristen Lum）和政治學家威廉?艾薩克（William Isaac）發現，同樣的問題也存在于一款名為PredPol的預測警務系統中。他們表示，由于使用的訓練數據存在偏差，這款系統生成的結果經常對黑人有失偏頗。

鑒于機器學習易被有偏差的訓練數據影響以及前沿工具在實驗室的表現，我們有理由懷疑Axon公司在未來幾年開發的自動化視頻分類服務會存在嚴重的缺陷。不過外部分析師也無法給出肯定的判斷，因為這些軟件是有專利的。

警方報告都是公開的檔案，所以你也許會認為Axon公司自動檔案管理系統中如果存在明顯錯誤，會很快被發現，但事實并非如此。東拼西湊的美國數據保護法律表明，對于何人在何時以何種方式獲取執法記錄儀視頻資料的問題，尚未有明確的國家標準。更有甚者，美國出版自由記者委員會（Reporters' Committee for the Freedom of the Press）將這些執法記錄儀視頻檔案稱為“公開檔案要求的狂野西部”（the Wild West of open records requests）。在這種情況下，即使是影響到多家警局的嚴重技術問題，也難以被發現。

難道警官們自己在日常工作中就不能發現Axon公司的人工智能有問題嗎？也許能吧。但他們自己也可能會受到“自動偏差”的影響。人們往往更容易接受計算機的判斷，而不是自己的判斷，因為他們相信機器的客觀性。

所以，即使是Axon公司的人工智能能夠實現執法記錄儀視頻的自動文字轉錄并據此生成警方報告（而我們相信目前這是不可能實現的），公平性、責任性以及透明性等問題也依然存在。

這不是第一次出于實效和安全原因對新技術提出這種要求，它們在開發過程中以及進入市場后，都要接受獨立檢測和監控。這是有先例可尋的。

美國食品藥品監督管理局（FDA）就是一個例子。美國食品藥品監督管理局成立于20世紀早期，負責對有毒性的或貼錯標簽的食品和藥品進行監管。它的職責之一就是防止藥品公司通過招搖撞騙來牟利。同樣，人工智能商家出售影響人體健康、安全和自由的產品和服務時，也應該要求將它們的代碼提交給一個新的管理部門，該部門的專家應根據既定的標準對新提交的人工智能系統進行測試。正如律師馬修?舍勒（Matthew Scherer）在《人工智能開發法案》（Artificial Intelligence Development Act）建議書中提出的那樣。這項要求也許會在短期內損害公司的收益，但可以確保公眾的安全，有助于新技術的合法化。法制化的協同測試以及細化管理將提升這些系統的性能，為當前振興人工智能提供動力。

新的聯邦監管制度難以在短時間內實現，但州和地方政府已經不能再等了。西雅圖近期提出了《監控技術采購》立法計劃，要求市政部門在采購新的監控軟件之前必須進行外展宣傳并取得市議會的批準。有些地方政府也許會接受黑人生命運動（Movement for Black Lives）的立場，這項運動的訴求是全面結束使用警方監控技術作為廣泛政策平臺的一部分。有些地區的人們看到了執法記錄儀帶來的好處，他們也許會立法要求任何警用人工智能系統都須進行獨立的質量保證測試。

━━━━

值得贊揚的是，Axon公司已經成立了人工智能和警務科技道德委員會（AI and Policing Technology Ethics Board）來攻克這些棘手的問題。委員會成員包括OpenAI的發起人、人工智能社會因素專家邁爾斯?布倫戴奇（Miles Brundage），佛羅里達州萊昂郡的治安官、社區警務專家沃爾特?麥克尼爾（Walter McNeil），華盛頓大學計算機視覺研究員阿里?法哈迪（Ali Farhadi），以及電子前沿基金會（Electronic Frontier Foundation）的機器人專家杰瑞米?吉魯拉（Jeremy Gillula）。

4位委員與我們分享了他們的觀點。布倫戴奇恰當地指出：“考慮到執法部門的IT技術水平往往有限，Axon公司已經上市或尚未上市的產品和服務都可能會對事件的走向產生影響，所以，我們應該從Axon公司的角度出發，仔細考慮有哪些保護措施是可行的。”我們同意他的看法。根據委員會成員對我們的答復，Axon公司的道德委員會到目前為止僅舉行過一次會議，討論基本法規，而對于Axon公司的研發業務，沒有提出獨特的見解。

2018年4月，包括全美有色人種協進會（NAACP）和現代人工智能研究所（AI Now Institute）在內的42家人權和科技組織共同簽署了一封公開信，敦促Axon公司的人工智能道德委員會促成公司接受對所有產品的嚴格道德審查，并承諾不使用被這些組織認定為具有危險性或尚未通過檢測的技術。其中主要是實時人臉識別技術。Axon公司宣稱，他們目前沒有為執法記錄儀開發這一技術，但據《華爾街日報》報道，Axon公司實際上已經在研發此類技術了。

以北京曠視為代表的其他多家公司也正在開發這項技術，并在尋求中國和其他亞洲國家警局的批準，在警用執法記錄儀上添加實時人臉識別功能。摩托羅拉系統有限公司（Motorola Solutions）也希望在短期內將這項技術推向美國。

至于西方國家是否會接受在警用執法記錄儀上增加人臉識別功能，讓我們拭目以待。在我們看來，這項決定需要進行公開討論。但是，如果這項技術的性能和缺陷都不為外人所知，理性的探討也就無從談起。

無論是人臉還是鳥類領域，目前人工智能都受益于開放性的文化，這種文化促進了領域專家、計算機科學家以及用戶之間的交流。我們提出的監管要求將確保刑事司法系統中使用的人工智能接受類似的審查，以證實其不存在偏見且可以信賴。這些規則也許會有點防礙商業化進程，但這是正當法律程序和堅實工程技術的本質。