陳杰院士：多無人系統(tǒng)協(xié)同中的人工智能安全探索

源自: 中國工程院院刊 作者: 施文 王楷文 俞成浦 孫健 陳杰

多無人系統(tǒng)協(xié)同作為一項人工智能的顛覆性技術，將在空間上分布的無人系統(tǒng)有機連接起來，在給社會創(chuàng)造價值的過程中，也存在著諸多安全隱患，有可能在軍事作戰(zhàn)、產業(yè)升級、政府監(jiān)管、社會治理以及倫理等多個方面給國家安全帶來新的挑戰(zhàn)。

中國工程院陳杰院士科研團隊在中國工程院院刊《中國工程科學》2021年第3期撰文，闡述了統(tǒng)籌推進多無人系統(tǒng)協(xié)同賦能應用與風險防控的重大意義，提出了“四位一體”全面推進多無人系統(tǒng)協(xié)同安全發(fā)展的戰(zhàn)略思路，探索了多無人系統(tǒng)協(xié)同在內生安全和衍生安全層面潛在的挑戰(zhàn)與應對思路。就智能無人系統(tǒng)安全，文章建議，構建國家級無人系統(tǒng)驗證平臺，推動人才隊伍建設；逐步深化無人系統(tǒng)產業(yè)“放管服”，發(fā)展新一代人工智能安全生態(tài)；充分發(fā)揮多無人系統(tǒng)協(xié)同的優(yōu)勢，賦能保障和改善民生，服務構建人類命運共同體。

一、前言

多無人系統(tǒng)協(xié)同在給社會創(chuàng)造價值的過程中存在著諸多安全隱患，如無人車的交通事故，無人機的擾航、恐怖襲擊，機器人造成工人失業(yè)等。多無人系統(tǒng)協(xié)同可能將在軍事作戰(zhàn)、產業(yè)升級、政府監(jiān)管、社會治理以及倫理等多個方面給國家安全帶來新的挑戰(zhàn)。

目前，國內多無人系統(tǒng)協(xié)同的研究仍處于起步階段，其基礎理論框架對未來無人系統(tǒng)發(fā)展和技術突破起著至關重要的作用。因此，本文針對這一空白領域展開前瞻研究，旨在揭示多無人系統(tǒng)協(xié)同中人工智能安全的重要意義，針對相應問題提出對策建議，以期為我國無人系統(tǒng)安全發(fā)展提供參考。

二、統(tǒng)籌推進多無人系統(tǒng)協(xié)同賦能應用與風險防控意義重大

（一）多無人系統(tǒng)協(xié)同研究持續(xù)高速發(fā)展的重要抓手

2017 年 7 月，國務院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》闡釋了人工智能新時代戰(zhàn)略的豐富內涵，這為我國多無人系統(tǒng)中人工智能安全改革指明了方向，進一步明確了中長期發(fā)展的目標。我國人工智能新時代戰(zhàn)略實施以來迎來了很大起色，但關于多無人系統(tǒng)中的人工智能安全問題仍未給出明確解決方案。尋找各項問題解決方案，立足安全基礎，推進多無人系統(tǒng)的穩(wěn)步發(fā)展，有利于多無人系統(tǒng)人工智能落地。

（二）不斷增強我國軍事實力的有效途徑

軍事實力是綜合國力最直接的體現(xiàn)，在多無人系統(tǒng)廣泛應用于軍事領域的背景下，其安全問題的重要性更加突出。一方面，越來越多的國家研發(fā)出了智能化武器，實現(xiàn)多無人系統(tǒng)協(xié)同作戰(zhàn)的能力越來越強，未來的戰(zhàn)爭將由多無人系統(tǒng)協(xié)同作戰(zhàn)主導；因此，在智能化戰(zhàn)爭中如何保證領土主權和國土安全具有重要意義。另一方面，在智能化戰(zhàn)爭中多無人系統(tǒng)自身的防護同樣具有重要意義，如何保證自身系統(tǒng)的安全、保證數(shù)據(jù)不泄露、控制權在手、遭遇打擊仍能完成任務是目前多無人系統(tǒng)研究的一大課題。

（三）提升我國社會安全保障水平的關鍵前提

人工智能安全是關系到我國經濟社會發(fā)展的時代性、戰(zhàn)略性問題。多無人系統(tǒng)協(xié)同將廣泛應用于工業(yè)、農業(yè)、經濟和國防領域，對國家安全也會帶來深刻變革。由于多無人系統(tǒng)濫用門檻低，容易被極端組織和犯罪團伙利用，管理難度遠大于從前。加強人工智能新時代多無人系統(tǒng)立法，形成數(shù)據(jù)、模型、應用等一系列相關的法律、法規(guī)，完善人工智能使用標準的制定，有助于帶動國家整體社會安全保障水平的提升。

（四）實現(xiàn)未來高度智能化社會建設的必然要求

三、多無人系統(tǒng)協(xié)同安全發(fā)展概況

隨著多無人系統(tǒng)協(xié)同理論體系的成熟，相應的產品與應用呈現(xiàn)出迅猛發(fā)展的勢頭。從應用領域的角度，多無人系統(tǒng)產品主要包括無人車集群，無人機集群和無人船集群。無人車集群不但能夠將各類車輛的駕駛人員解放出來，極大地減輕汽車駕駛員的工作量，還能夠通過智能優(yōu)化算法合理安排道路資源，緩解交通壓力，并減少道路交通安全事故的發(fā)生。無人機集群的應用則涵蓋了軍事上的攻擊、騷擾、偵查任務以及民用的災害救援、監(jiān)控巡查、環(huán)境監(jiān)測、農業(yè)植保等領域。無人船集群則主要用于執(zhí)行危險、枯燥以及其他不適于有人艦艇執(zhí)行的任務，包括水質監(jiān)測、航道測繪、海上巡邏等。相較于傳統(tǒng)的有人系統(tǒng)，多智能體系統(tǒng)具有多方面優(yōu)勢，包括更低的操作門檻，更低的運維成本，更廣泛的應用領域，更穩(wěn)定的運行狀況，更高效的資源分配等。在軍事上，多無人系統(tǒng)更是能夠極大程度地保障操作人員的安全，減少人員的傷亡，在進攻端還能夠利用其數(shù)量優(yōu)勢形成長距離、大范圍、高精度的飽和式打擊，甚至有可能改變現(xiàn)代戰(zhàn)爭的模式。

隨著多無人系統(tǒng)的飛速發(fā)展，很多發(fā)達國家目前正積極推進智能多無人系統(tǒng)安全框架研究以及法案的制定。美國在多無人系統(tǒng)中的人工智能安全方面的研究以及政策發(fā)布非常頻繁，2019 年 6 月，美國更新了《國家人工智能研究和發(fā)展戰(zhàn)略計劃》，將人工智能系統(tǒng)安全列為戰(zhàn)略目標之一；2020 年 1 月發(fā)布的《人工智能應用監(jiān)管指南備忘錄（草案）》提出了人工智能十項監(jiān)管原則；2020 年 3 月通過的《2020 年國家人工智能計劃法案》支持對無人系統(tǒng)的道德、法律、社會等安全問題展開研究；2020 年 11 月更新的《人工智能和國家安全》中詳細寫明了智能多無人系統(tǒng)在軍事上的發(fā)展與倫理安全問題。

歐盟方面同樣在智能無人系統(tǒng)安全上展開了積極研究以及政策制定，歐盟各成員國都紛紛出臺法律法規(guī)以規(guī)范無人機運行。法國自 2019 年 7 月起規(guī)定無人機必須注冊電子賬號；德國規(guī)定所有無人機必須在機身刻上所有者的姓名與地址；英國把機場附近的無人機禁飛區(qū)半徑從原來的 1 km 增加到 5 km；西班牙、葡萄牙、意大利等國都禁止無人機在夜間飛行。2019 年初，歐盟委員會發(fā)布了《關于歐洲人工智能開發(fā)與使用的協(xié)同計劃》，將人工智能安全列為了一大關鍵發(fā)力領域，在全球人工智能倫理道德領域占據(jù)了領先地位；2019 年 4 月，歐盟委員會發(fā)布了《人工智能倫理準則——可信 AI 倫理指南》，提出了可信 AI 的七大原則；2020 年 6 月，歐盟新發(fā)布的無人機通用準則在歐盟全境正式啟用，該準則取代了歐盟成員國各自的現(xiàn)行法規(guī)，為歐洲發(fā)展無人機行業(yè)提供了明確、統(tǒng)一的規(guī)則。

我國的多無人系統(tǒng)相關法案制定也在逐步推進。2017 年 7 月，我國國務院首次頒布的人工智能戰(zhàn)略性文件《新一代人工智能發(fā)展規(guī)劃》，提出了 2030 年人工智能核心產業(yè)規(guī)模應超過 1 萬億元，帶動相關產業(yè)規(guī)模超過 10 萬億元的目標，并對多無人系統(tǒng)協(xié)同中的人工智能基礎理論框架給出了定義，提出了“加強人工智能相關法律、倫理和社會問題研究，建立保障人工智能健康發(fā)展的法律法規(guī)和倫理道德框架”。但該框架在自主協(xié)同控制與優(yōu)化決策理論的定義中，更側重于協(xié)同控制的實現(xiàn)與優(yōu)化，對于多無人系統(tǒng)中可能存在的安全性隱患沒有較多闡述。2020 年 12 月，中國信息通信研究院安全研究所發(fā)布了《人工智能安全框架（2020 年）》，制定了一個較為全面的人工智能安全框架，但其中對于多無人系統(tǒng)協(xié)同中特有的安全問題表述仍不詳細。

四、多無人系統(tǒng)協(xié)同面臨的挑戰(zhàn)

區(qū)別于傳統(tǒng)無人系統(tǒng)研究，多無人系統(tǒng)協(xié)同的核心要素包括通信交互，合作博弈，以及群體智能演化等。結合多無人系統(tǒng)協(xié)同的上述特點，堅持以問題為導向分析其具體戰(zhàn)略舉措，圍繞多無人系統(tǒng)本身的內生安全和多無人系統(tǒng)對外界的衍生安全兩大模塊構建了多無人系統(tǒng)協(xié)同中的人工智能安全框架，如圖 1 所示

圖1 多無人系統(tǒng)協(xié)同中的人工智能安全框架

（一）內生安全

為了多無人系統(tǒng)任務的可靠執(zhí)行，內生安全主要考慮的是系統(tǒng)本身是否穩(wěn)定可靠，能否在通信交互過程中不泄密，能否保證控制權始終在自己手中，以及能否在出現(xiàn)故障后繼續(xù)完成任務。多無人系統(tǒng)協(xié)同的內生安全要關注多無人系統(tǒng)工作的各個環(huán)節(jié)，從保證局部每個環(huán)節(jié)的安全以確保整體的安全，這其中涵蓋了各無人系統(tǒng)單體間交互的數(shù)據(jù)安全、多無人系統(tǒng)所處的網絡安全、搭載于多無人系統(tǒng)的軟件及其算法安全、多無人系統(tǒng)本身的系統(tǒng)架構安全等。

多無人系統(tǒng)協(xié)同的內生安全包括了通信與交互安全、協(xié)同決策與集群演化算法安全和系統(tǒng)架構安全三部分。

1. 通信與交互安全

多無人系統(tǒng)協(xié)同任務在執(zhí)行過程中，需要頻繁的進行通信交互，這其中包括各多無人系統(tǒng)個體之間的交互，還包括各多無人系統(tǒng)與其所有者之間的交互，多無人系統(tǒng)與各種實體任務對象交互等。因此，通信與交互安全是多無人系統(tǒng)協(xié)同內生安全的重要內容。通信網絡安全的主旨是防范來自網絡的攻擊，保障多無人系統(tǒng)所有者能夠安全可靠地控制多無人系統(tǒng)，保證數(shù)據(jù)不被竊取和篡改。一方面，多無人系統(tǒng)的協(xié)同中需要保障彼此之間的通信安全可靠，一旦數(shù)據(jù)傳播受到截斷，信息內容被他人竊取、解密或篡改，多無人系統(tǒng)將受到極大的威脅，我方戰(zhàn)略意圖也將受到嚴重打擊。另一方面，如果通信網絡的安全性不能滿足要求，則多無人系統(tǒng)的控制權將不能得到保障，由于多無人系統(tǒng)極強的行為能力，與單純的各種數(shù)據(jù)損失相比較，控制權不安全造成的后果往往更嚴重。

針對上述多無人系統(tǒng)存在的數(shù)據(jù)泄露及控制權丟失的問題，為系統(tǒng)個體搭載不可被外界直接訪問的安全存儲空間，對數(shù)據(jù)進行加密處理，保證通信過程中的數(shù)據(jù)安全；同時可以采用數(shù)字證書、密鑰等認證材料進行雙向的遠程身份認證，以確保系統(tǒng)中每個個體身份的合法性以及指揮部的可信性。

2. 協(xié)同決策與集群演化算法安全

在算法安全上，一方面要考慮多無人系統(tǒng)能否做出正確的決策，另一方面更要考慮協(xié)同決策算法和自學習演化的方向是否自主可控。決策算法不成熟可能導致協(xié)同欠魯棒，難以實現(xiàn)臨機協(xié)同決策和行動，當系統(tǒng)結構受外界影響發(fā)生變化時，智能協(xié)同算法如未能實時完成控制和優(yōu)化，則很難實現(xiàn)精準的協(xié)同控制任務，使協(xié)同一致性和穩(wěn)定性降低，從而增加了協(xié)同任務失敗和多無人系統(tǒng)在任務中損毀的風險。在未來的發(fā)展中，基于群體智能演化的多無人系統(tǒng)能夠自主學習和換代，其演化方向的安全性更為重要，將成為多無人系統(tǒng)協(xié)同中算法安全的全新挑戰(zhàn)。

針對上述問題，改進決策算法的訓練過程，揭示無人系統(tǒng)集群的協(xié)同演化規(guī)律，設計主動防御的機制，在訓練過程中加入大量可能出現(xiàn)的對抗樣本，即在訓練過程中添加假想敵，從而提高算法的魯棒性，減少協(xié)同控制任務失敗以及演化方向錯誤的可能性，更加安全可靠地實現(xiàn)協(xié)同決策和演化。

3. 系統(tǒng)架構安全

系統(tǒng)架構安全可細分為機電安全和拓撲安全兩個方面。其中，機電安全要考慮多無人系統(tǒng)中每個個體的信息收發(fā)特性、信息處理能力是否足夠，傳感器、通信模塊能否滿足執(zhí)行協(xié)同任務的需求。拓撲安全則是建立在機電安全的基礎上，需要考慮多無人系統(tǒng)的整體響應速度和協(xié)同模式，能否在復雜場景下實時采集、處理和交換信息，進一步正確分配和執(zhí)行任務，并且在部分無人系統(tǒng)單體出現(xiàn)故障時，能否正確檢測故障，進行拓撲切換繼續(xù)任務。

建立多層分簇的協(xié)同框架可以有效解決系統(tǒng)架構安全問題，多層分簇的框架可以幫助多無人系統(tǒng)在面對變化時快速做出反應，即使遇到故障也能實現(xiàn)拓撲切換，繼續(xù)完成好下一步任務，從而使得網絡拓撲結構更加穩(wěn)定，實現(xiàn)更加穩(wěn)健和魯棒的多無人系統(tǒng)協(xié)同。

（二）衍生安全

多無人系統(tǒng)協(xié)同的衍生安全主要考慮的是多無人系統(tǒng)在投入使用后，系統(tǒng)外部的人或其他事物可能面臨的影響。在系統(tǒng)出現(xiàn)故障、受到干擾或出現(xiàn)決策失誤時，除了任務失敗和系統(tǒng)本身損毀的風險外，還可能引發(fā)衍生安全問題。同時，如果多無人系統(tǒng)控制權的所有者懷有惡意，對多無人系統(tǒng)下達了帶有其不良企圖的任務目標，可能產生更為嚴重的衍生安全風險。多無人系統(tǒng)協(xié)同中的人工智能衍生安全主要考慮公共安全、倫理安全和軍事安全三個方面。

1. 公共安全

多無人系統(tǒng)協(xié)同工作時，事故的發(fā)生將會危害公共安全，不但會對社會秩序造成一定影響，更有可能會威脅到人身財產安全。當前多無人機協(xié)同系統(tǒng)在各行各業(yè)廣泛使用，但安全性能評估體系還未完善，易出現(xiàn)各種事故，例如各種外界干擾導致的無人機群演示失敗、無人車造成道路交通擁堵等。同時，多無人機協(xié)同具有低成本、用途廣、使用門檻低、身份信息隱蔽、大面積殺傷等特點，非法使用將會嚴重威脅到人身財產安全，多無人系統(tǒng)的發(fā)展勢必會帶來新的違法犯罪形式，而與單無人系統(tǒng)相比，多無人系統(tǒng)便于無身份有組織犯罪，會極大地危害公共安全。

面對多無人系統(tǒng)可能對社會公共安全帶來的沖擊，加強監(jiān)管無疑是最為有效的解決途徑。加強對所有無人設備廠商以及持有者的監(jiān)管，對于廠商嚴格檢查其所有生產線、搭載算法以及設備流通對象，對于所有私人持有的無人設備實行嚴格的實名制登記管理，讓所有合法的無人機擁有其自己的“身份證明”，對于未登記的無人機以及登記但不合法的無人機持有者進行嚴肅處理。

2. 倫理安全

社會倫理方面，在民用領域，多無人系統(tǒng)在從事重復性、規(guī)則性、可編程的工作內容方面更加快速、高效、精確，不僅可以替代體力勞動，而且可以替代大部分腦力勞動，在制造業(yè)、農業(yè)以及醫(yī)療中發(fā)揮主力軍的作用，從而導致眾多工人面臨轉業(yè)或者失業(yè)的問題；在軍用領域，由于技術故障、判斷失誤等原因，在使用多無人協(xié)同系統(tǒng)作戰(zhàn)時將出現(xiàn)對人類的誤傷甚至是誤殺。同時，多無人系統(tǒng)各個個體之間，以及多無人系統(tǒng)與人之間的交互建立在信任的基礎之上，一旦智能無人系統(tǒng)具備了獨立思維能力，將導致機與機甚至人與機之間的沖突。從遠期來看，多無人協(xié)同系統(tǒng)智能化和自主化水平的不斷提升，存在超出人類控制的風險，將可能對人類產生傷害。

人工智能的發(fā)展造成工人轉業(yè)、失業(yè)的問題是必然會出現(xiàn)的，在產業(yè)結構轉型的過程中，舊職業(yè)被新職業(yè)替代是不可避免的，工業(yè)革命的成功同樣伴隨著大量工人的轉業(yè)。因此，將視角轉向人工智能創(chuàng)造出來的新職業(yè)，不應去回避失業(yè)、轉業(yè)的問題，而是在高新技術領域、新興產業(yè)以及現(xiàn)代服務業(yè)中加大投入力度，主動推動產業(yè)結構的轉型升級，鼓勵勞動力從第一、第二產業(yè)轉向第三產業(yè)。至于人工智能具備獨立思維而對人類造成傷害的問題，以目前技術，這還只是一個遙遠的假設，但在未來面對有自主學習能力的人工智能時，可以在其學習初期，將人類價值觀中的協(xié)同合作、利他主義等內容讓其學習，踏出人類與人工智能和諧相處的第一步。

3. 軍事安全

當前，國際競爭形勢錯綜復雜，不確定因素所致的安全隱患陡增，保護國家主權和領土完整，抵御外來武裝力量的侵略是軍事安全的核心，強大的軍事實力一直以來都是我國強大的根本，軍事安全的重要性不言而喻。多無人系統(tǒng)協(xié)同目前在軍事上的應用最為廣泛，未來的作戰(zhàn)模式將由多智能無人武器協(xié)同的出現(xiàn)而徹底改變。在軍事上，我們不僅要具備抵御外來武裝力量入侵的能力，還要具備主動打擊外來威脅源的能力。

我國要加強多無人系統(tǒng)在國防戰(zhàn)略中的布局，夯實多無人系統(tǒng)協(xié)同技術發(fā)展的基礎，密切關注世界軍事科技和武器裝備發(fā)展動向，努力搶占科技研發(fā)的戰(zhàn)略制高點，牢牢把握多無人系統(tǒng)在軍事領域發(fā)展的趨勢，為未來戰(zhàn)爭中可能存在的各種風險挑戰(zhàn)做好準備，推動國防建設跨越式發(fā)展，為實現(xiàn)中國夢、強軍夢提供堅強力量，為和平與發(fā)展這一全人類共同愿望的實現(xiàn)貢獻力量。

五、“四位一體”全面推進多無人系統(tǒng)協(xié)同安全發(fā)展

構建多無人系統(tǒng)安全治理框架，與國際接軌，構筑面向多種無人系統(tǒng)的生態(tài)系統(tǒng)。立足創(chuàng)新驅動發(fā)展戰(zhàn)略，落實多無人系統(tǒng)協(xié)同相關理論基礎，提升人工智能科技創(chuàng)新能力，充分發(fā)揮多學科交叉融合的優(yōu)勢，大力發(fā)展智能多無人系統(tǒng)前端技術，建設智能的經濟社會體系。建設安全治理法治體系，完善智能多無人系統(tǒng)應用相關的法律法規(guī)，建立完善的人工智能社會責任制度，實現(xiàn)新時代的全面依法治國。制定倫理準則，完善人工智能技術研發(fā)規(guī)范，建設與人工智能和平共處的社會，實現(xiàn)智能化的新時代。

（一）推進無人系統(tǒng)的安全生態(tài)建設

為了保障多無人系統(tǒng)協(xié)同中人工智能技術的健康發(fā)展，構建完善的多無人系統(tǒng)安全治理框架勢在必行。通過國際間的交流合作，建立一套面向無人機、無人車、無人艇等多種無人系統(tǒng)的健全的安全評估和監(jiān)管體系。強化風險把控，針對多無人系統(tǒng)協(xié)同技術的內生安全和衍生安全問題，構建多無人系統(tǒng)協(xié)同風險評估指標體系，對可能產生的危害及其程度進行評估，劃分危險等級，制定相應的安全標準和對策措施，并規(guī)范評估程序。建立專門的治理機構，如多無人系統(tǒng)協(xié)同安全委員會，統(tǒng)籌管理多無人系統(tǒng)協(xié)同的安全發(fā)展問題，對多無人系統(tǒng)中的人工智能技術進行安全評估和監(jiān)管，保障國家人工智能相關安全政策落實到位，并對多無人系統(tǒng)中的人工智能可能帶來的就業(yè)、公民生命財產安全、隱私安全等社會問題開展研究，并與社會各領域進行廣泛的交流與合作，提出可操作的、建設性的政策建議。

（二）推進無人系統(tǒng)的先進技術建設

堅持國際合作與自主創(chuàng)新并舉，基礎研究與應用落地并行。持之以恒加強多無人系統(tǒng)協(xié)同的相關基礎理論研究，集中力量突破基礎理論和相關產業(yè)的薄弱環(huán)節(jié)，前瞻性瞄準多無人系統(tǒng)技術的新興方向，重點關注量子人工智能密碼、聯(lián)邦學習、對抗樣本生成、分簇自組網技術、區(qū)塊鏈技術等與多無人系統(tǒng)的架構安全、通信安全和數(shù)據(jù)安全等問題緊密相關的基礎理論研究。提升人工智能科技創(chuàng)新能力，時刻關注國際上的多無人系統(tǒng)發(fā)展動向，學習先進知識和前沿技術，提升自主可控技術的創(chuàng)新能力，保證相關技術的安全性，進一步保障多無人系統(tǒng)協(xié)同中的人工智能安全。充分發(fā)揮多學科交叉融合的優(yōu)勢，探索多學科交叉融合的有效途徑，大力發(fā)展智能多無人系統(tǒng)前端技術，建設智能的經濟社會體系。立足走中國特色自主創(chuàng)新道路、堅持科技創(chuàng)新與制度創(chuàng)新協(xié)同發(fā)力、持續(xù)加強基礎研究三個方面，貫徹新發(fā)展理念，彰顯對加強自主可控技術與創(chuàng)新的信心與決心，增強自主創(chuàng)新能力，加快建設創(chuàng)新型國家。

（三）推進無人系統(tǒng)的法律規(guī)范建設

與時俱進制定并完善人工智能的相關政策和多無人系統(tǒng)協(xié)同的相關法律，堅持柔性的原則和規(guī)范化的法律相結合，構建以人工智能為特色的新法治體系，為實現(xiàn)全面推進依法治國，加快建設社會主義法治國家提供強力支撐。開展與多無人系統(tǒng)技術應用相關的民事與刑事責任確認、個人隱私安全、數(shù)據(jù)安全、產權保護等法律問題的研究，建立保障多無人系統(tǒng)協(xié)同技術健康發(fā)展的法律法規(guī)和倫理道德框架。建立健全問責追責制度，明確責任劃分、強化責任落實，明確監(jiān)管者、產品開發(fā)者和用戶之間的權責關系。重點明確人工智能研究人員在人工智能安全領域的專業(yè)責任，要求其通過技術手段來保障多無人系統(tǒng)的安全。圍繞自動駕駛、服務機器人等應用基礎較好的細分領域，加快研究制定相關安全管理法規(guī)，為新技術的快速應用奠定法律基礎。根據(jù)多無人系統(tǒng)的功能、用途和安全性，建立完善的多無人系統(tǒng)的分類和分級體系。加快推進技術安全標準的制定，細化指標的同時覆蓋更多領域。加快國內安全技術標準與國際標準的銜接，向國際領先水平看齊。

（四）推進無人系統(tǒng)的社會倫理建設

多無人系統(tǒng)由于其頻繁交互、協(xié)同作業(yè)的特點，一方面可以大幅改善人類的生活質量，另一方面也可能出現(xiàn)產生獨立意識而不可控的安全風險。在多無人系統(tǒng)協(xié)同的研發(fā)過程中加入倫理設計，將人類價值觀中的協(xié)同合作、利他主義等內容供其學習，使多無人系統(tǒng)在初始時就具備一定的道德判斷能力。在實際運行過程中，該系統(tǒng)能夠遵循人們預設的倫理道德準則，以此杜絕危害人類社會的可能性。由人工智能安全管理機構提出的具體的倫理要求，在產品研發(fā)中通過技術手段嵌入倫理道德的要素，并通過政策要求和法律規(guī)范予以落實和保障，從思想源頭上遏制多無人系統(tǒng)中人工智能技術的可能風險，實現(xiàn)科學技術和人文關懷的統(tǒng)一，踏出人類與人工智能和諧相處的第一步。

六、對策建議

（一）構建國家級無人系統(tǒng)驗證平臺，推動人才隊伍建設

構建“產學研”于一體的自主無人系統(tǒng)公共技術驗證平臺，為復合型高端人才和高水平創(chuàng)新團隊提供沃土。發(fā)揮“政產學研”主體活力，引進和培養(yǎng)一批服務基礎創(chuàng)新研究和產業(yè)健康發(fā)展的青年人才，給予平臺充分的開放性和資源支持，解決人才隊伍后顧之憂。重點突破和驗證可控智能演化、可信感知交互和可靠協(xié)同控制等與安全應用落地緊密相關的共性關鍵技術，引導和支持各方共研共建自主無人系統(tǒng)通用安全保障技術體系。

（二）逐步深化無人系統(tǒng)產業(yè)“放管服”，發(fā)展新一代人工智能安全生態(tài)

推動以民用無人系統(tǒng)為代表的人工智能行業(yè)準入標準和產品全面深度質檢體系的建立，深化“放管服”，以保障實際投入使用的民用無人系統(tǒng)的安全可靠，促進產業(yè)生態(tài)健康發(fā)展。在此基礎上，逐步細化無人系統(tǒng)在各細分領域應用的法律法規(guī)，制定某些特定領域中，無人系統(tǒng)設計、生產、使用和服務相關人員的資格認證標準，更智慧地把握機遇與應對挑戰(zhàn)。

（三）充分發(fā)揮多無人系統(tǒng)協(xié)同的優(yōu)勢，賦能應用

深入調研以無人系統(tǒng)為代表的新一代人工智能技術和產業(yè)發(fā)展過程中伴生的社會治安、就業(yè)安置、產業(yè)安全和國防事業(yè)中的新風險，制定局部風險處置預案和總體安全發(fā)展規(guī)劃。在制造業(yè)、農業(yè)、司法、教育、國防和醫(yī)療等領域促進無人系統(tǒng)逐步應用落地，趨利避害，賦能保障和改善民生，服務構建人類命運共同體。實現(xiàn)在無人系統(tǒng)及其協(xié)同技術的高速發(fā)展和應用階段平穩(wěn)過渡，牢牢把握機遇，從容應對挑戰(zhàn)。

審核編輯 黃昊宇