來源：中國工程院院刊《中國工程科學》2021年第3期

作者：施文，王楷文，俞成浦，孫健，陳杰

編者按

多無人系統協同可以將在空間上分布的無人系統有機連接起來，實現多系統在時間、空間、模式、任務等多維度上的有效協同，最終形成目標探測、跟蹤識別、智能決策、自主控制和效能評估的完整鏈條。多無人系統協同在給社會創造價值的過程中，也會帶來著諸多安全隱患，特別是在軍事作戰、產業升級、政府監管、社會治理以及倫理等多個方面將給國家安全帶來新的挑戰。

本文闡述了統籌推進多無人系統協同賦能應用與風險防控的重大意義，提出了“四位一體”全面推進多無人系統協同安全發展的戰略思路，探索了多無人系統協同在內生安全和衍生安全層面潛在的挑戰與應對思路。就智能無人系統安全，文章建議，構建國家級無人系統驗證平臺，推動人才隊伍建設；逐步深化無人系統產業“放管服”，發展新一代人工智能安全生態；充分發揮多無人系統協同的優勢，賦能保障和改善民生，服務構建人類命運共同體。

一、前言

智能無人系統種類多樣，覆蓋海陸空不同空間，正在全面深入國家安全和社會生活各領域，并推動新一輪產業變革和相關技術高度集成。多無人系統協同作為一項人工智能的顛覆性技術，將在空間上分布的無人系統有機連接起來，實現多系統在時間、空間、模式、任務等多維度上的有效協同，最終形成目標探測、跟蹤識別、智能決策、自主控制和效能評估的完整鏈條。伴隨著技術水平的不斷提升，多無人系統的使命任務將不斷拓展，將極大地改變日常生活方式和軍事作戰方式。

多無人系統協同在給社會創造價值的過程中存在著諸多安全隱患，如無人車的交通事故，無人機的擾航、恐怖襲擊，機器人造成工人失業等。多無人系統協同可能將在軍事作戰、產業升級、政府監管、社會治理以及倫理等多個方面給國家安全帶來新的挑戰。

目前，國內多無人系統協同的研究仍處于起步階段，其基礎理論框架對未來無人系統發展和技術突破起著至關重要的作用。因此，本文針對這一空白領域展開前瞻研究，旨在揭示多無人系統協同中人工智能安全的重要意義，針對相應問題提出對策建議，以期為我國無人系統安全發展提供參考。

二、統籌推進多無人系統協同賦能應用與風險防控意義重大

（一）多無人系統協同研究持續高速發展的重要抓手

2017 年 7 月，國務院印發的《新一代人工智能發展規劃》闡釋了人工智能新時代戰略的豐富內涵，這為我國多無人系統中人工智能安全改革指明了方向，進一步明確了中長期發展的目標。我國人工智能新時代戰略實施以來迎來了很大起色，但關于多無人系統中的人工智能安全問題仍未給出明確解決方案。尋找各項問題解決方案，立足安全基礎，推進多無人系統的穩步發展，有利于多無人系統人工智能落地。

（二）不斷增強我國軍事實力的有效途徑

軍事實力是綜合國力最直接的體現，在多無人系統廣泛應用于軍事領域的背景下，其安全問題的重要性更加突出。一方面，越來越多的國家研發出了智能化武器，實現多無人系統協同作戰的能力越來越強，未來的戰爭將由多無人系統協同作戰主導；因此，在智能化戰爭中如何保證領土主權和國土安全具有重要意義。另一方面，在智能化戰爭中多無人系統自身的防護同樣具有重要意義，如何保證自身系統的安全、保證數據不泄露、控制權在手、遭遇打擊仍能完成任務是目前多無人系統研究的一大課題。

（三）提升我國社會安全保障水平的關鍵前提

人工智能安全是關系到我國經濟社會發展的時代性、戰略性問題。多無人系統協同將廣泛應用于工業、農業、經濟和國防領域，對國家安全也會帶來深刻變革。由于多無人系統濫用門檻低，容易被極端組織和犯罪團伙利用，管理難度遠大于從前。加強人工智能新時代多無人系統立法，形成數據、模型、應用等一系列相關的法律、法規，完善人工智能使用標準的制定，有助于帶動國家整體社會安全保障水平的提升。

（四）實現未來高度智能化社會建設的必然要求

傳統無人系統目前已應用于社會的智能化建設，如智能快遞分揀、無人超市、交通違章識別等，節省了大量的人力。未來，多無人系統協同的廣泛應用將會在更大程度上保障和改善民生。但相較于傳統無人系統，應用具備通信和交互能力的多無人系統可能會引發更加嚴重的公共安全、倫理安全等問題。因此，重點加強多無人系統應用中的問題研究和風險防范至關重要，只有處理好上述問題，才能確保多無人系統在未來能夠安全可靠地為社會做出貢獻，推動我國新一代人工智能健康發展。

三、多無人系統協同安全發展概況

隨著多無人系統協同理論體系的成熟，相應的產品與應用呈現出迅猛發展的勢頭。從應用領域的角度，多無人系統產品主要包括無人車集群，無人機集群和無人船集群。無人車集群不但能夠將各類車輛的駕駛人員解放出來，極大地減輕汽車駕駛員的工作量，還能夠通過智能優化算法合理安排道路資源，緩解交通壓力，并減少道路交通安全事故的發生。無人機集群的應用則涵蓋了軍事上的攻擊、騷擾、偵查任務以及民用的災害救援、監控巡查、環境監測、農業植保等領域。無人船集群則主要用于執行危險、枯燥以及其他不適于有人艦艇執行的任務，包括水質監測、航道測繪、海上巡邏等。相較于傳統的有人系統，多智能體系統具有多方面優勢，包括更低的操作門檻，更低的運維成本，更廣泛的應用領域，更穩定的運行狀況，更高效的資源分配等。在軍事上，多無人系統更是能夠極大程度地保障操作人員的安全，減少人員的傷亡，在進攻端還能夠利用其數量優勢形成長距離、大范圍、高精度的飽和式打擊，甚至有可能改變現代戰爭的模式。

隨著多無人系統的飛速發展，很多發達國家目前正積極推進智能多無人系統安全框架研究以及法案的制定。美國在多無人系統中的人工智能安全方面的研究以及政策發布非常頻繁，2019 年 6 月，美國更新了《國家人工智能研究和發展戰略計劃》，將人工智能系統安全列為戰略目標之一；2020 年 1 月發布的《人工智能應用監管指南備忘錄（草案）》提出了人工智能十項監管原則；2020 年 3 月通過的《2020 年國家人工智能計劃法案》支持對無人系統的道德、法律、社會等安全問題展開研究；2020 年 11 月更新的《人工智能和國家安全》中詳細寫明了智能多無人系統在軍事上的發展與倫理安全問題。

歐盟方面同樣在智能無人系統安全上展開了積極研究以及政策制定，歐盟各成員國都紛紛出臺法律法規以規范無人機運行。法國自 2019 年 7 月起規定無人機必須注冊電子賬號；德國規定所有無人機必須在機身刻上所有者的姓名與地址；英國把機場附近的無人機禁飛區半徑從原來的 1 km 增加到 5 km；西班牙、葡萄牙、意大利等國都禁止無人機在夜間飛行。2019 年初，歐盟委員會發布了《關于歐洲人工智能開發與使用的協同計劃》，將人工智能安全列為了一大關鍵發力領域，在全球人工智能倫理道德領域占據了領先地位；2019 年 4 月，歐盟委員會發布了《人工智能倫理準則——可信 AI 倫理指南》，提出了可信 AI 的七大原則；2020 年 6 月，歐盟新發布的無人機通用準則在歐盟全境正式啟用，該準則取代了歐盟成員國各自的現行法規，為歐洲發展無人機行業提供了明確、統一的規則。

我國的多無人系統相關法案制定也在逐步推進。2017 年 7 月，我國國務院首次頒布的人工智能戰略性文件《新一代人工智能發展規劃》，提出了 2030 年人工智能核心產業規模應超過 1 萬億元，帶動相關產業規模超過 10 萬億元的目標，并對多無人系統協同中的人工智能基礎理論框架給出了定義，提出了“加強人工智能相關法律、倫理和社會問題研究，建立保障人工智能健康發展的法律法規和倫理道德框架”。但該框架在自主協同控制與優化決策理論的定義中，更側重于協同控制的實現與優化，對于多無人系統中可能存在的安全性隱患沒有較多闡述。2020 年 12 月，中國信息通信研究院安全研究所發布了《人工智能安全框架（2020 年）》，制定了一個較為全面的人工智能安全框架，但其中對于多無人系統協同中特有的安全問題表述仍不詳細。

四、多無人系統協同面臨的挑戰

區別于傳統無人系統研究，多無人系統協同的核心要素包括通信交互，合作博弈，以及群體智能演化等。結合多無人系統協同的上述特點，堅持以問題為導向分析其具體戰略舉措，圍繞多無人系統本身的內生安全和多無人系統對外界的衍生安全兩大模塊構建了多無人系統協同中的人工智能安全框架，如圖 1 所示

圖1 多無人系統協同中的人工智能安全框架 （一）內生安全

為了多無人系統任務的可靠執行，內生安全主要考慮的是系統本身是否穩定可靠，能否在通信交互過程中不泄密，能否保證控制權始終在自己手中，以及能否在出現故障后繼續完成任務。多無人系統協同的內生安全要關注多無人系統工作的各個環節，從保證局部每個環節的安全以確保整體的安全，這其中涵蓋了各無人系統單體間交互的數據安全、多無人系統所處的網絡安全、搭載于多無人系統的軟件及其算法安全、多無人系統本身的系統架構安全等。

多無人系統協同的內生安全包括了通信與交互安全、協同決策與集群演化算法安全和系統架構安全三部分。

1. 通信與交互安全

多無人系統協同任務在執行過程中，需要頻繁的進行通信交互，這其中包括各多無人系統個體之間的交互，還包括各多無人系統與其所有者之間的交互，多無人系統與各種實體任務對象交互等。因此，通信與交互安全是多無人系統協同內生安全的重要內容。通信網絡安全的主旨是防范來自網絡的攻擊，保障多無人系統所有者能夠安全可靠地控制多無人系統，保證數據不被竊取和篡改。一方面，多無人系統的協同中需要保障彼此之間的通信安全可靠，一旦數據傳播受到截斷，信息內容被他人竊取、解密或篡改，多無人系統將受到極大的威脅，我方戰略意圖也將受到嚴重打擊。另一方面，如果通信網絡的安全性不能滿足要求，則多無人系統的控制權將不能得到保障，由于多無人系統極強的行為能力，與單純的各種數據損失相比較，控制權不安全造成的后果往往更嚴重。

針對上述多無人系統存在的數據泄露及控制權丟失的問題，為系統個體搭載不可被外界直接訪問的安全存儲空間，對數據進行加密處理，保證通信過程中的數據安全；同時可以采用數字證書、密鑰等認證材料進行雙向的遠程身份認證，以確保系統中每個個體身份的合法性以及指揮部的可信性。

2. 協同決策與集群演化算法安全

在算法安全上，一方面要考慮多無人系統能否做出正確的決策，另一方面更要考慮協同決策算法和自學習演化的方向是否自主可控。決策算法不成熟可能導致協同欠魯棒，難以實現臨機協同決策和行動，當系統結構受外界影響發生變化時，智能協同算法如未能實時完成控制和優化，則很難實現精準的協同控制任務，使協同一致性和穩定性降低，從而增加了協同任務失敗和多無人系統在任務中損毀的風險。在未來的發展中，基于群體智能演化的多無人系統能夠自主學習和換代，其演化方向的安全性更為重要，將成為多無人系統協同中算法安全的全新挑戰。

針對上述問題，改進決策算法的訓練過程，揭示無人系統集群的協同演化規律，設計主動防御的機制，在訓練過程中加入大量可能出現的對抗樣本，即在訓練過程中添加假想敵，從而提高算法的魯棒性，減少協同控制任務失敗以及演化方向錯誤的可能性，更加安全可靠地實現協同決策和演化。

3. 系統架構安全

系統架構安全可細分為機電安全和拓撲安全兩個方面。其中，機電安全要考慮多無人系統中每個個體的信息收發特性、信息處理能力是否足夠，傳感器、通信模塊能否滿足執行協同任務的需求。拓撲安全則是建立在機電安全的基礎上，需要考慮多無人系統的整體響應速度和協同模式，能否在復雜場景下實時采集、處理和交換信息，進一步正確分配和執行任務，并且在部分無人系統單體出現故障時，能否正確檢測故障，進行拓撲切換繼續任務。

建立多層分簇的協同框架可以有效解決系統架構安全問題，多層分簇的框架可以幫助多無人系統在面對變化時快速做出反應，即使遇到故障也能實現拓撲切換，繼續完成好下一步任務，從而使得網絡拓撲結構更加穩定，實現更加穩健和魯棒的多無人系統協同。

（二）衍生安全

多無人系統協同的衍生安全主要考慮的是多無人系統在投入使用后，系統外部的人或其他事物可能面臨的影響。在系統出現故障、受到干擾或出現決策失誤時，除了任務失敗和系統本身損毀的風險外，還可能引發衍生安全問題。同時，如果多無人系統控制權的所有者懷有惡意，對多無人系統下達了帶有其不良企圖的任務目標，可能產生更為嚴重的衍生安全風險。多無人系統協同中的人工智能衍生安全主要考慮公共安全、倫理安全和軍事安全三個方面。

1. 公共安全

多無人系統協同工作時，事故的發生將會危害公共安全，不但會對社會秩序造成一定影響，更有可能會威脅到人身財產安全。當前多無人機協同系統在各行各業廣泛使用，但安全性能評估體系還未完善，易出現各種事故，例如各種外界干擾導致的無人機群演示失敗、無人車造成道路交通擁堵等。同時，多無人機協同具有低成本、用途廣、使用門檻低、身份信息隱蔽、大面積殺傷等特點，非法使用將會嚴重威脅到人身財產安全，多無人系統的發展勢必會帶來新的違法犯罪形式，而與單無人系統相比，多無人系統便于無身份有組織犯罪，會極大地危害公共安全。

面對多無人系統可能對社會公共安全帶來的沖擊，加強監管無疑是最為有效的解決途徑。加強對所有無人設備廠商以及持有者的監管，對于廠商嚴格檢查其所有生產線、搭載算法以及設備流通對象，對于所有私人持有的無人設備實行嚴格的實名制登記管理，讓所有合法的無人機擁有其自己的“身份證明”，對于未登記的無人機以及登記但不合法的無人機持有者進行嚴肅處理。

2. 倫理安全

社會倫理方面，在民用領域，多無人系統在從事重復性、規則性、可編程的工作內容方面更加快速、高效、精確，不僅可以替代體力勞動，而且可以替代大部分腦力勞動，在制造業、農業以及醫療中發揮主力軍的作用，從而導致眾多工人面臨轉業或者失業的問題；在軍用領域，由于技術故障、判斷失誤等原因，在使用多無人協同系統作戰時將出現對人類的誤傷甚至是誤殺。同時，多無人系統各個個體之間，以及多無人系統與人之間的交互建立在信任的基礎之上，一旦智能無人系統具備了獨立思維能力，將導致機與機甚至人與機之間的沖突。從遠期來看，多無人協同系統智能化和自主化水平的不斷提升，存在超出人類控制的風險，將可能對人類產生傷害。

人工智能的發展造成工人轉業、失業的問題是必然會出現的，在產業結構轉型的過程中，舊職業被新職業替代是不可避免的，工業革命的成功同樣伴隨著大量工人的轉業。因此，將視角轉向人工智能創造出來的新職業，不應去回避失業、轉業的問題，而是在高新技術領域、新興產業以及現代服務業中加大投入力度，主動推動產業結構的轉型升級，鼓勵勞動力從第一、第二產業轉向第三產業。至于人工智能具備獨立思維而對人類造成傷害的問題，以目前技術，這還只是一個遙遠的假設，但在未來面對有自主學習能力的人工智能時，可以在其學習初期，將人類價值觀中的協同合作、利他主義等內容讓其學習，踏出人類與人工智能和諧相處的第一步。

3. 軍事安全

當前，國際競爭形勢錯綜復雜，不確定因素所致的安全隱患陡增，保護國家主權和領土完整，抵御外來武裝力量的侵略是軍事安全的核心，強大的軍事實力一直以來都是我國強大的根本，軍事安全的重要性不言而喻。多無人系統協同目前在軍事上的應用最為廣泛，未來的作戰模式將由多智能無人武器協同的出現而徹底改變。在軍事上，我們不僅要具備抵御外來武裝力量入侵的能力，還要具備主動打擊外來威脅源的能力。

我國要加強多無人系統在國防戰略中的布局，夯實多無人系統協同技術發展的基礎，密切關注世界軍事科技和武器裝備發展動向，努力搶占科技研發的戰略制高點，牢牢把握多無人系統在軍事領域發展的趨勢，為未來戰爭中可能存在的各種風險挑戰做好準備，推動國防建設跨越式發展，為實現中國夢、強軍夢提供堅強力量，為和平與發展這一全人類共同愿望的實現貢獻力量。

五、“四位一體”全面推進多無人系統協同安全發展

構建多無人系統安全治理框架，與國際接軌，構筑面向多種無人系統的生態系統。立足創新驅動發展戰略，落實多無人系統協同相關理論基礎，提升人工智能科技創新能力，充分發揮多學科交叉融合的優勢，大力發展智能多無人系統前端技術，建設智能的經濟社會體系。建設安全治理法治體系，完善智能多無人系統應用相關的法律法規，建立完善的人工智能社會責任制度，實現新時代的全面依法治國。制定倫理準則，完善人工智能技術研發規范，建設與人工智能和平共處的社會，實現智能化的新時代。

（一）推進無人系統的安全生態建設

為了保障多無人系統協同中人工智能技術的健康發展，構建完善的多無人系統安全治理框架勢在必行。通過國際間的交流合作，建立一套面向無人機、無人車、無人艇等多種無人系統的健全的安全評估和監管體系。強化風險把控，針對多無人系統協同技術的內生安全和衍生安全問題，構建多無人系統協同風險評估指標體系，對可能產生的危害及其程度進行評估，劃分危險等級，制定相應的安全標準和對策措施，并規范評估程序。建立專門的治理機構，如多無人系統協同安全委員會，統籌管理多無人系統協同的安全發展問題，對多無人系統中的人工智能技術進行安全評估和監管，保障國家人工智能相關安全政策落實到位，并對多無人系統中的人工智能可能帶來的就業、公民生命財產安全、隱私安全等社會問題開展研究，并與社會各領域進行廣泛的交流與合作，提出可操作的、建設性的政策建議。

（二）推進無人系統的先進技術建設

堅持國際合作與自主創新并舉，基礎研究與應用落地并行。持之以恒加強多無人系統協同的相關基礎理論研究，集中力量突破基礎理論和相關產業的薄弱環節，前瞻性瞄準多無人系統技術的新興方向，重點關注量子人工智能密碼、聯邦學習、對抗樣本生成、分簇自組網技術、區塊鏈技術等與多無人系統的架構安全、通信安全和數據安全等問題緊密相關的基礎理論研究。提升人工智能科技創新能力，時刻關注國際上的多無人系統發展動向，學習先進知識和前沿技術，提升自主可控技術的創新能力，保證相關技術的安全性，進一步保障多無人系統協同中的人工智能安全。充分發揮多學科交叉融合的優勢，探索多學科交叉融合的有效途徑，大力發展智能多無人系統前端技術，建設智能的經濟社會體系。立足走中國特色自主創新道路、堅持科技創新與制度創新協同發力、持續加強基礎研究三個方面，貫徹新發展理念，彰顯對加強自主可控技術與創新的信心與決心，增強自主創新能力，加快建設創新型國家。

（三）推進無人系統的法律規范建設

與時俱進制定并完善人工智能的相關政策和多無人系統協同的相關法律，堅持柔性的原則和規范化的法律相結合，構建以人工智能為特色的新法治體系，為實現全面推進依法治國，加快建設社會主義法治國家提供強力支撐。開展與多無人系統技術應用相關的民事與刑事責任確認、個人隱私安全、數據安全、產權保護等法律問題的研究，建立保障多無人系統協同技術健康發展的法律法規和倫理道德框架。建立健全問責追責制度，明確責任劃分、強化責任落實，明確監管者、產品開發者和用戶之間的權責關系。重點明確人工智能研究人員在人工智能安全領域的專業責任，要求其通過技術手段來保障多無人系統的安全。圍繞自動駕駛、服務機器人等應用基礎較好的細分領域，加快研究制定相關安全管理法規，為新技術的快速應用奠定法律基礎。根據多無人系統的功能、用途和安全性，建立完善的多無人系統的分類和分級體系。加快推進技術安全標準的制定，細化指標的同時覆蓋更多領域。加快國內安全技術標準與國際標準的銜接，向國際領先水平看齊。

（四）推進無人系統的社會倫理建設

多無人系統由于其頻繁交互、協同作業的特點，一方面可以大幅改善人類的生活質量，另一方面也可能出現產生獨立意識而不可控的安全風險。在多無人系統協同的研發過程中加入倫理設計，將人類價值觀中的協同合作、利他主義等內容供其學習，使多無人系統在初始時就具備一定的道德判斷能力。在實際運行過程中，該系統能夠遵循人們預設的倫理道德準則，以此杜絕危害人類社會的可能性。由人工智能安全管理機構提出的具體的倫理要求，在產品研發中通過技術手段嵌入倫理道德的要素，并通過政策要求和法律規范予以落實和保障，從思想源頭上遏制多無人系統中人工智能技術的可能風險，實現科學技術和人文關懷的統一，踏出人類與人工智能和諧相處的第一步。

六、對策建議

（一）構建國家級無人系統驗證平臺，推動人才隊伍建設

構建“產學研”于一體的自主無人系統公共技術驗證平臺，為復合型高端人才和高水平創新團隊提供沃土。發揮“政產學研”主體活力，引進和培養一批服務基礎創新研究和產業健康發展的青年人才，給予平臺充分的開放性和資源支持，解決人才隊伍后顧之憂。重點突破和驗證可控智能演化、可信感知交互和可靠協同控制等與安全應用落地緊密相關的共性關鍵技術，引導和支持各方共研共建自主無人系統通用安全保障技術體系。

（二）逐步深化無人系統產業“放管服”，發展新一代人工智能安全生態

推動以民用無人系統為代表的人工智能行業準入標準和產品全面深度質檢體系的建立，深化“放管服”，以保障實際投入使用的民用無人系統的安全可靠，促進產業生態健康發展。在此基礎上，逐步細化無人系統在各細分領域應用的法律法規，制定某些特定領域中，無人系統設計、生產、使用和服務相關人員的資格認證標準，更智慧地把握機遇與應對挑戰。

（三）充分發揮多無人系統協同的優勢，賦能應用

深入調研以無人系統為代表的新一代人工智能技術和產業發展過程中伴生的社會治安、就業安置、產業安全和國防事業中的新風險，制定局部風險處置預案和總體安全發展規劃。在制造業、農業、司法、教育、國防和醫療等領域促進無人系統逐步應用落地，趨利避害，賦能保障和改善民生，服務構建人類命運共同體。實現在無人系統及其協同技術的高速發展和應用階段平穩過渡，牢牢把握機遇，從容應對挑戰。

審核編輯：湯梓紅