美國國防部有關人工智能的現狀

本文摘自《蘭德報告《美國防部對人工智能態(tài)勢分析報告》》| 遠望譯品

本章將介紹與DoD相關的AI狀態(tài)評估。在此過程中，根據員工指南（見第一章）解決了一些常見的誤解，并設定了切合實際的期望。由于對什么是AI的不同看法可能會引起相當大的混亂，首先考慮AI是什么的問題，以及DoD是否會從一個統(tǒng)一的、DoD范圍的AI定義中受益；然后提出了一個概念框架，列出了在思考AI及其與DoD獨特任務和需求的相關性時應考慮的維度；最后為決策者總結了其需要了解的關于這個概念框架內AI狀態(tài)的內容，同時根據工作人員的指導（見第一章）將討論保持在高水平（“高于項目水平”）。

1 如何定義人工智能？

AI的定義超出了本研究范圍。但還是想了解受訪者是如何對該術語進行概念化的，以及他們是否認為在確定AI的廣泛定義時有價值。在聯邦、行業(yè)和學術受訪者中聽到了關于這兩個問題的不同意見，并未達成共識（見附錄E“受訪者意見”一節(jié)）。本研究還收集了一些公開的（官方）AI定義（見附錄E中的“現有定義”一節(jié)），并注意到類似的缺乏一致性。事實上，AI一詞首次出現后，如何定義AI的問題持續(xù)了幾十年。

總的來說，設計一個好的AI定義是一個挑戰(zhàn)。根據高層次的理想目標（例如，“思考的機器”或“執(zhí)行通常需要人類智能的任務的計算機”）定義AI很簡單，但沒有任何實際用途，例如幫助DoD描述和評估其AI投資，或闡明和評估其AI人才需求。同時還有副作用，那就是助長了AI的炒作。例如，到2018年，圖靈獎獲得者之一Yoshua Bengio指出：“我認為如果商業(yè)世界出現調整，那將是一件好事，因為這就是炒作的所在。”利用特定技術（例如“專家系統(tǒng)”或“深度學習[DL]”）來定義AI這是難以捉摸的，因為歷史告訴我們，AI的構成隨著時間和視角而發(fā)生重大變化；這一點在DARPA關于AI三次浪潮的觀點中有所說明（見附錄E“現有定義：DARPA”一節(jié)）。根據特定能力（例如，“圖像中的目標識別”）定義AI同樣存在問題，因為技術變革的速度很快，而且在預測技術進步的速度和使用方面存在固有的困難，如案例研究所述（見附錄D中的“DoD的AI歷史”一節(jié)“抵消戰(zhàn)略”部分）。

盡管如此，DoD仍需要掌握其AI投資以及AI人才需求和可用性。要做到這一點，就需要在DoD內部就上述每一個目的的AI劃分達成一些基本的協議，無論定義多么仔細，簡單地采用DoD廣泛的定義都不太可能達成這一協議。

2 DoD AI的概念框架

接下來，本報告提出一個概念框架，該框架與AI的精確定義無關，同時允許人們系統(tǒng)地思考技術和能力空間的復雜性、DoD AI應用的范圍以及投資空間和投資時限（圖3.1）。更重要的是，該框架允許人們探索這三個要素之間的相互作用，這最終影響到DoD在開發(fā)或獲取AI技術以及擴展其使用以支持其任務方面的成功，以及實現這一目標的預期時間進展。

該團隊利用其成員的技術專長開發(fā)了這一概念框架，在中期進度審查期間與贊助者和受訪者進行溝通，從而提供反饋和改進的機會。

圖1DoDAI的概念框架

2.1 技術和能力空間

概念框架中的第一個元素，即技術和能力空間，涵蓋了支撐當前可用AI解決方案的理論結果和方法論方法—包括模型、算法和啟發(fā)式方法；技術和能力空間還涵蓋了這些AI解決方案支持的潛在能力。下一節(jié)將回顧這一領域的最新發(fā)展。

2.2 DoD AI應用的范圍

概念框架中的第二個要素涵蓋了支持DoD任務的AI應用范圍，這些應用范圍和廣度都非常顯著。DoD內AI的應用范圍包括四個獨立因素：

(1) 對開發(fā)和部署AI解決方案的環(huán)境的控制程度；

(2) 相關資源的可用程度，包括數據集、計算能力和通信帶寬；

(3) AI算法處理信息和提供輸出的速度，從慢（小時或天）到實時；

(4) AI解決方案失敗的影響，以及發(fā)生此類故障時從中恢復的可能性。

DoD AI應用范圍的這種特征與考慮開發(fā)AI解決方案和將方法論方法（即技術和能力空間）映射到潛在應用或用例（即DoD AI應用范圍）的技術專家相關。事實上，重要的是要認識到這些因素將對AI解決方案的可行性及其預期開發(fā)時間進展產生影響。例如，在不同操作環(huán)境和不同資源約束下正確識別圖像中的對象可能需要不同的技術方法：坐在五角大樓時，使用在可用標記數據集（如ImageNet）上訓練的算法識別從網絡下載的圖片中的貓，可能需要一種不同于從衛(wèi)星圖像實時識別戰(zhàn)場上的導彈發(fā)射器的方法。前者現在是可行的，而后者可能不可行。雖然這兩個應用程序可能在用戶看來非常相似，但它們不一定與技術專家或操作員相似。

重點是對DoD AI應用范圍的描述，以及這四個因素可以合理地映射到三大類AI應用，特別是企業(yè)AI、任務支持AI和作戰(zhàn)AI，如以下段落所述。這樣做可以使決策者直觀地了解特征及其對政策制定、決策和現實預期設定的影響（圖3.2）。

企業(yè)AI指AI應用程序，通常在美國境內，系統(tǒng)開發(fā)和運行的環(huán)境控制良好且相對良性；數據和基礎設施（存儲、計算、通信帶寬）等資源應可用，或原則上可提供充足的資源；信息處理和決策的節(jié)奏相對寬松；如果發(fā)生故障，應該可以在有限的持久損害下從故障中恢復。企業(yè)AI應用程序的示例包括支持AI的財務或人事管理系統(tǒng)，或支持AI的服務人員醫(yī)療記錄管理。

圖2DoDAI應用的范圍

另一端是稱之為作戰(zhàn)AI的應用程序：在動態(tài)、不確定、對抗、部分不受控制的作戰(zhàn)環(huán)境中使用的AI解決方案，其中某些資源可能更加有限，信息處理和決策的速度預計會更快，故障的后果預計會更高。作戰(zhàn)AI的例子有愛國者導彈遠程防空系統(tǒng)、宙斯盾戰(zhàn)斗系統(tǒng)和目前正在研制的Skyborg原型。

介于企業(yè)AI和作戰(zhàn)AI之間的是任務支持AI應用程序，例如算法戰(zhàn)跨職能團隊（Cross-Functional team, CFT），也稱為Maven項目；互聯網監(jiān)測系統(tǒng)；以及支持AI的物流規(guī)劃系統(tǒng)。特別是，Maven項目旨在使用ML來幫助人類分析無人機收集的全動態(tài)視頻數據中的大量圖像。雖然數據收集在戰(zhàn)區(qū)完成，但在美國處理數據。

需要強調的是，這三類AI應用程序缺乏明確的界限。事實上，它們是簡化的結構，使政策制定者和決策者更直觀地考慮DoD AI應用的范圍。為強調這一點，在圖3.2中將這三個類別表示為具有模糊邊界的重疊圓。

2.3 投資空間和投資時限

概念框架的最后一個要素是投資空間和投資時限。需要各種投資來確保DoD適當利用AI。投資對于開發(fā)或獲取能夠在DoD企業(yè)AI、任務支持AI和作戰(zhàn)AI范圍內實現AI應用的技術和能力顯然是必要的。除了這三種顯而易見的投資之外，至少還需要三種其他投資才能大規(guī)模推進和采用AI。

首先是對一系列技術和其他配套支持的投資，包括存儲、計算和通信基礎設施；數據收集和管理工作；集成開發(fā)、安全和運營團隊的安全開發(fā)運營（SecDevOps）環(huán)境；快速、持續(xù)集成的過程；以及對用戶和操作員的培訓。

其次是支持和實現技術制衡的投資，包括AI技術的驗證和確認（V&V）以及AI解決方案研究、開發(fā)和部署階段及其整個生命周期內的某種形式的測試和評估（T&E）。

此外，對與特定產品或應用（研究、開發(fā)、測試和評估[RDT&E]預算類別6.1，有時為6.2）無關的基礎研究的投資對于確保科學進步的蓬勃發(fā)展和長期保持技術優(yōu)勢非常重要。例如，在2018年計算圖靈獎三位獲獎者合著的2015年論文中，作者指出，“在20世紀90年代末，神經網絡和反向傳播基本上被機器學習界拋棄，被計算機視覺和語音識別界忽視。”此外，“2006年左右，由加拿大高級研究所（CIFAR）召集的一組研究人員重新激發(fā)了人們對深度前饋網絡的興趣。”現在見證了這一復興的成果，DL在各個領域取得了重大進展（見下一節(jié)）。需要注意的是基礎研究方面的此類投資不必完全在DoD賬戶中，還可以利用其他聯邦來源，如國家科學基金會（NSF）。

報告希望結合投資維度強調的最后一個關鍵因素是投資時限。投資時限對于設定宏偉但現實的目標和期望非常重要。為了簡單起見，并符合從行業(yè)訪談中收集的戰(zhàn)略制定最佳實踐（見附錄C“工業(yè)界：組織”一節(jié)），以五年為時間窗口，代表短期（最多五年）、中期（五至十年）和長期（超過十年）來討論投資時限。

3 決策者應該了解哪些與DoD相關的AI現狀

在闡述了DoD AI的概念框架之后，在此介紹了與DoD有關的AI進展態(tài)勢的評估，特別側重于回答與決策者相關的以下三個主要問題：

1. AI近期有哪些突出的發(fā)展？

2. 這些最新的AI發(fā)展將如何增強DoD的任務，以及如何在DoD應用程序中擴展它們？

3. 前兩個問題的答案對DoD規(guī)劃意味著什么？

第一個問題的答案有效地總結了概念框架中與技術和能力要素相關的最新技術；第二個問題的答案有效地將技術和能力空間與高層次的AI應用范圍聯系起來：根據贊助商和國會工作人員的指導（見第一章），并未試圖深入挖掘潛在用例；最后，第三個問題的答案提供了一些指導方針，以宏偉但切合實際的設定DoD AI投資及其預期回報的目標和期望。

本報告的評估基于三個來源的綜合，特別是在采訪學術界、工業(yè)界、DoD和其他聯邦政府部門和機構的技術受訪者時收集的證據；相關技術文獻的咨詢；以及研究團隊的技術專業(yè)知識。

3.1 AI技術和能力的最新發(fā)展

許多不同的技術方法支持AI，包括ML，一個計算機科學（computer science, CS）的既定領域由一系列技術組成，這些技術在統(tǒng)計和優(yōu)化方面具有強大的根基，可以讓人們發(fā)現數據中的模式。在過去十年中，ML的某些子領域，特別是DL的技術進步速度非常顯著。DL采用多層神經網絡模型來學習復雜數據的表示數據。此類算法的設計和部署通常包括一個訓練階段，該階段涉及根據某種學習標準解決優(yōu)化問題以使模型與訓練數據最佳匹配，以及一個推理階段，在該階段中，訓練模型用于在新數據中發(fā)現相似模式。由于這些模型的復雜性，訓練階段通常需要大量的標記數據集和廣泛的計算能力，而推理階段所需的計算能力要低得多。通常，這不是一個線性的一次性過程（訓練，然后推理）而是一系列的訓練和推理階段，以提高甚至保持算法的性能。

這些進步的最終結果是監(jiān)督ML的巨大進步（這里的監(jiān)督是指使用標記數據集來訓練模型），從而在涉及分類和預測的任務方面取得突破性進展。由于基于ImageNet數據集的ImageNet大規(guī)模視覺識別競賽，圖像分類示例可能是公眾最容易看到的。除了圖像處理之外，這些進步還在語音處理和自然語言處理中長期存在的問題上取得了重大突破，隨后在機器翻譯和文檔分類等方面得到應用。

最新進展的另一個突出方向是深度強化學習（deep reinforcement learning, DRL）。強化學習（reinforcement learning, RL）是一個經典的領域，其核心是以近似的方式解決具有延遲獎勵的的順序決策問題。由于DL技術有望獲得這些近似解，RL再次引起人們的興趣。

DRL帶來了戰(zhàn)略游戲的新突破。例如，這些算法最近在Go、shoji和實時戰(zhàn)略游戲《星際爭霸II》的游戲中擊敗了世界級冠軍。盡管這些發(fā)展令人興奮并大肆宣傳，明智的做法是注意到著名學者在評估這些事態(tài)發(fā)展的真正意義時所表達的謹慎態(tài)度。事實上，DRL算法的訓練似乎是一個特別低效的過程，并且存在嚴重的再現性問題，導致人們對其在模擬和游戲之外的現實生活中的適用性產生了嚴重的質疑。

3.2 在DoD應用程序中擴展近期的AI開發(fā)

鑒于上一節(jié)中描述的最新技術突破和進展，需要提出的合理問題是：這些新進展如何增強DoD的使命，以及如何在DoD范圍內實現其規(guī)模化？

這些問題的答案是，從技術角度來看，一些企業(yè)AI應用程序目前對DoD來說是唾手可得的成果，大多數任務支持AI，特別是作戰(zhàn)AI仍然遙遙無期。此外，在利用和擴展這些技術進步方面存在著各種挑戰(zhàn)和風險，這些技術進步對企業(yè)、任務支持和作戰(zhàn)AI的表現各不相同。

在進一步闡述之前，需要強調的是：通過提出這些問題，并不是在暗示AI只是DL或DRL。相反，正如前文所述，許多技術方法支持AI。

（1）企業(yè)AI

在許多方面，DoD的一些企業(yè)AI應用與私營部門和公共領域的許多組織目前正在尋求的AI解決方案具有可比性（請參見附錄C中的“工業(yè)界：進展和采用”一節(jié)）。因此，存在許多商業(yè)解決方案，它們的存在和相對成功證明，可以根據DoD的需要采用、定制或專門開發(fā)類似的技術解決方案。

盡管一些企業(yè)AI應用程序的技術目前已經存在且相對成熟，但這并不意味著跨組織擴展企業(yè)AI沒有障礙和挑戰(zhàn)（參見附錄C中的“工業(yè)界：組織”一節(jié)）。相反，擴展AI需要定期確定存在技術解決方案、可實施且將顯著改善組織的底線或其他關鍵目標的投資領域并確定其優(yōu)先級。一旦確定了這些優(yōu)先領域，擴展AI需要就這些解決方案的商業(yè)收購或內部開發(fā)做出明智的決策，并且需要將長期積累的知識和訣竅制度化。它需要確保必要基礎設施的可用性，以支持這些解決方案。同時，擴大規(guī)模需要激勵潛在的用戶群體采用它們，并提供所需的培訓和技能再培訓。它還需要技術的持續(xù)發(fā)展，正如許多受訪者所指出的，這使AI不同于傳統(tǒng)能力。最重要的是，擴展AI需要通過系統(tǒng)地收集和管理數據、在組織內共享數據以支持其目標，以及在尋求商業(yè)解決方案時戰(zhàn)略性地保護數據權利來重視數據的關鍵資源。

此外，正如上一節(jié)所述，當前的AI技術，特別是DL方法，嚴重依賴于大量干凈和標記訓練數據的可用性。可用數據的質量和數量通常會影響解決給定問題的AI方法的選擇，以及應用DL技術的可行性。更多的數據將支持更廣泛的潛在方法，但也需要基礎設施來支持數據的存儲、治理和處理需求。特別是，在組織中大規(guī)模部署企業(yè)AI需要與負責數據和數據管理的組織實體（如CDO）以及負責存儲和計算基礎架構的組織實體（如CIO）密切合作。它還需要與用戶（從首席分析官到個人用戶的多個層面）密切合作，以確保提出并回答最重要的問題（參見附錄C中的“工業(yè)界：進展和采用”一節(jié)）。

AI工具通常以軟件的形式進行數字化設計和實現。正因為如此，AI的成功需要軟件方面的成功，盡管后者的成功遠遠不足以確保前者的成功。

（2）任務支持AI和作戰(zhàn)AI

前面總結的許多DL最新進展，特別是那些集中在分類和預測方面的進展，都有重要的DoD應用前景，尤其是在任務支持AI方面。例如，DL最近在圖像目標識別方面的成功使情報、監(jiān)視和偵察（intelligence, surveillance, and reconnaissance, ISR）成為任務支持AI的自然應用。

然而，盡管有許多有前途的進步和技術演示，但DL算法仍然脆弱，缺乏魯棒性，正如對抗性示例的普遍性和多樣性所證明的那樣。此外，它們引入了需要慎重考慮的新漏洞和攻擊面，最好是作為設計過程的一部分，而不是事后考慮。

此外，DL算法的設計目前針對商業(yè)用途而不是DoD用途進行了優(yōu)化，DoD的用途以各種方式體現。首先，為商業(yè)應用優(yōu)化的性能指標通常與DoD的需求不一致。例如，在2018年12月向眾議院軍事委員會作證時，USD（R&E）的Lisa Porter指出，商業(yè)搜索應用優(yōu)化了精確性而非召回率。這是一個技術方法的例子，原則上既有商業(yè)應用，也有DoD應用，但在實踐中，正如目前在商業(yè)世界中實施的那樣，優(yōu)化了與DoD應用需求不一致的指標。另一個例子是，所涉及的資源往往與DoD的需求不一致。在這一點上，以分類器算法為例，隨著數據及其屬性的變化，當今商業(yè)使用的分類器算法需要隨著數據及其屬性的變化而重新訓練，并且算法通常假設可以根據需要重新訓練，從而返回到云。這種假設在作戰(zhàn)或任務支持AI應用程序中可能無效。此外，大型訓練數據集本身也可能缺乏戰(zhàn)場環(huán)境，使用合成數據的可行性還有待觀察。

DL技術在某種程度上仍然需要大量人工工作，因為它們通常是為特定的應用程序手工制作的，通常不容易推廣到其他應用程序。正如一些技術受訪者所強調：在一個應用程序上運行良好的算法可能不會自動在另一個應用程序上運行良好（參見附錄C中的“工業(yè)界：進展和采用”一節(jié)）。

（3）驗證、確認、測試和評估的關鍵挑戰(zhàn)

所有類型AI的一個關鍵挑戰(zhàn)—在任務支持和作戰(zhàn)人工智能中使用的安全關鍵系統(tǒng)中尤其嚴峻—是AI的V&V挑戰(zhàn)，以及與T&E配套的V&V。V&V使系統(tǒng)設計人員能夠信任其設計，T&E使管理者能夠評估系統(tǒng)是否滿足規(guī)定的要求，并使其余的利益相關者（如用戶和運營商）對系統(tǒng)建立信任。

當前，AI VVT&E的狀態(tài)無法確保AI應用程序的性能和安全性，尤其是在涉及安全關鍵系統(tǒng)的情況下。安全關鍵控制系統(tǒng)的V&V是當前的研究課題，通常涉及正式的數學分析或廣泛的仿真。前者雖然精美，但通常缺乏擴展能力，后者在理論上很難讓人相信結果。兩者在其所代表的內容方面也有固有的局限性，因此可能會錯過現實世界的關鍵元素，從而導致在現實世界操作過程中性能不佳或出現錯誤。ML和AI系統(tǒng)的V&V范圍更廣，其中一些可能涉及交互控制，而ML算法目前在很大程度上是未知領域。此外，ML和相關方法更加復雜，除了需要驗證模型外，還需要驗證訓練數據。

作為V&V的一種實用替代方案，在幾次跨行業(yè)的采訪中提出了實時監(jiān)控的想法（見附錄C中的“工業(yè)界：進展和采用”一節(jié)）。然而，實時監(jiān)控的使用本質上是假設：（1）有能力及早發(fā)現問題何時出現；（2）發(fā)生的后果可控；（3）在發(fā)生這種情況時讓系統(tǒng)離線是一種選擇。這些假設可能不適用于DoD，特別是在任務支持和作戰(zhàn)AI方面。

3.3 這對DoD意味著什么？

在短期內追求大規(guī)模企業(yè)AI是現實的，但需要從根本上將DoD的文化轉變?yōu)橹匾晹祿⒊浞掷脭祿臄祿寗游幕@是一項巨大的努力，但可以全面提高效率，與DoD在2018 NDS總結中確定的國防目標保持一致。這與許多受訪者所表達的信念一致，即規(guī)模化企業(yè)AI需要領導層進行大規(guī)模的組織變革和承諾，而不是漸進式的變革。隨著相關技術的成熟，大規(guī)模開發(fā)企業(yè)AI將有助于DoD為任務支持和作戰(zhàn)AI的采用和規(guī)模化做好準備。總之，大規(guī)模開展企業(yè)AI需要對企業(yè)AI用例和應用程序進行適當投資，并對基礎設施和配套支持進行大量投資。

任務支持和作戰(zhàn)AI技術的部署和使用仍面臨若干重大技術障礙。但并不意味著DoD不應開展任務支持或作戰(zhàn)AI。相反，DoD應該開發(fā)此類技術（特別注意VVT&E，并相應地進行適當的投資，并且符合DIB提出的道德原則）。然而，對于DoD來說，在DoD環(huán)境中從技術展示到大規(guī)模部署的過程中，對性能和時間進展有切合實際的期望是很重要的。需要從現在開始對任務支持和作戰(zhàn)AI用例進行謹慎投資，但期望它們可能只在中長期內產生產品。此外，這些投資還應輔之以對基礎設施和配套支持以及VVT&E的適當投資。

鑒于上述情況，作為粗略的經驗法則，假設從今天開始對所有三類AI進行充分投資，則三類AI大規(guī)模部署的預期可被視為與概念框架中描述的三個時間窗口（近、中、遠）一致。一些企業(yè)AI已準備好在短期內大規(guī)模使用，而新的任務支持AI和作戰(zhàn)AI分別在中期和長期內準備好大規(guī)模使用，這并不意味著基于DL的任務支持或作戰(zhàn)支持能力的具體實例不會很快實現，態(tài)勢評估與大規(guī)模部署的預期有關。

在此再次強調，前面的聲明專門針對利用和規(guī)模化AI最新顯著進展以支持DoD任務的目標和期望。還需要注意的是，歷史告訴我們，突破，特別是在AI方面，很難預測（見附錄D“DoD AI歷史”一節(jié)）。例如，盡管目前的方法嚴重依賴于對大型數據集的訓練，但未來可能不會如此。因此，DoD必須保持靈活性和開放、平衡的視角，因為DoD將進一步邁向AI驅動的未來，以及可能打開新大門的基礎研究投資組合。