?

?

?

?

電話 | 010-82030532? ??手機 | 18501361766

微信?|?tech9999? ? 郵箱?|?yw@techxcope.com

來源：無人系統技術

作者：郭大宇? 王鑫? 歐陽小葉??

引用格式

郭大宇，王 鑫，歐陽小葉.人機混合智能技術主要發展動向分析［J］.無人系統技術，2023，6（1）：95-103.

人機混合智能技術主要發展動向分析

郭大宇1? 王鑫2? 歐陽小葉1?

（1. 中國電子科技集團公司電子科學研究院社會安全風險感知與防控大數據應用國家工程研究中心，北京 100041；2. 中國科學院沈陽自動化研究所工業控制網絡與系統研究室，沈陽 110169 ）

摘 要?人機混合智能是由“人-機-環境”相互作用而產生的新型智能系統。對人機混合智能領域的最新研究與應用動向與進展進行了綜合評述。首先介紹DARPA近年來在人機混合智能領域的加速布局；然后盤點了腦機接口、可信人工智能、虛擬現實、環境感知等人機混合智能核心技術的最新科研與應用進展；最后討論人機混合智能面臨的挑戰與對未來軍事發展的啟示。綜述表明，機器在未來將更多地用作人類“同事”，而不僅僅是“工具”，人機混合智能的各項核心技術已經不同程度地產生實戰應用，而人、機之間的權責分工、能力分配、交互接口、倫理規制等將是人機混合智能進一步發展所需解決的關鍵問題，人機混合智能將加速軍事變革進程，對作戰樣式、裝備體系、戰斗力生成模式等帶來根本性變化。

關鍵詞?人機混合智能；人工智能；軍事應用；腦機接口；可信人工智能；虛擬現實；環境感知

?

1 引 言

人工智能只是人類智能可描述化、可程序化的一部分，而人類的智能是人、機（物）、環境相互作用的產物。人工智能（客觀智能）與人類智能（主觀智能）正在演變成為一對相生相克的“對立統一體”，即“人機混合智能”。當前，人工智能發展的主要方向應該是人機協同、人機合作、人機互信，而不是簡單地用機器替代人類。因此，人機交互所產生的對雙重智能的有機混合，已經成為人工智能未來發展的重中之重，旨在通過人機交互和協同，提升人工智能系統的性能，使人工智能成為人類智能的自然延伸和拓展，通過人機協同來更加高效地解決復雜問題，具有深刻的科學意義和巨大的產業化前景。2021年9月發布的《人工智能100年》報告將增強人類能力的人工智能列為“當前人工智能最具前途的機遇”，認為人類和人工智能具有互補的優勢。2021年11月發布的《IEEE全球調研：科技在2022年及未來的影響》認為，未來10年將是人類與機器人更緊密協作的新時代，隨著協作型機器人的批量化生產與廣泛應用，機器人將能在未來10年內參與到更多、更重要的社會工作包括軍事行動中，人機混合智能被寄予更高的期望。

?

2 DARPA在人機混合智能領域加速布局

美國國防預先研究計劃局（Defense Advanced Research Projects Agency，DARPA）高度重視人機混合智能技術研發，近年來不斷布局相關項目，應用領域主要集中在空戰。早在2018年3月，DARPA便啟動“下一代非侵入性神經技術（N3）”項目，旨在開發高分辨率的便攜式神經接口，能夠同時讀取和寫入人腦的多個位置，在非手術的情況下實現大腦和系統間的高水平通信，從而把先進神經技術應用于健康士兵；2018年8月，DARPA啟動 “神經工程系統設計（NESD）”項目，旨在研發一種可植入人體的生物兼容神經接口（體積小于1 cm3），能夠使人類大腦直接與電腦連接，在大腦神經元的電化學語言與電子信息技術語言（0和1）之間進行轉化；2021年2月，DARPA信息創新辦公室宣布啟動“感知賦能任務指導（PTG）”項目，旨在開發人工智能技術，通過擴展技能包來提升士兵能力，并通過減少錯誤來提高士兵熟練度，使士兵適應更為復雜的任務，還將開發具有感知功能的人工智能任務指導助理（如圖1所示），包括進行視頻和語音分析的深度學習技術、進行任務和計劃監視的自動推理技術以及用于人機界面的增強現實技術等；2022年6月，DARPA啟動“可靠神經符號學習和推理（ANSR）”項目，旨在通過人機混合智能技術在軍事場景中的評估，提高自主作戰平臺的透明度和互操作性，最終得到魯棒、可靠、可信的技術解決方案。

圖1???“感知賦能任務指導（PTG）”項目的人工智能任務指導助理（以UH-60“黑鷹”飛行員訓練任務為例）Fig.1???AI task guidance assistant form PTG project (UH-60 "Black Hawk" pilot training)

在“空戰演進（ACE）”項目中，盡管外界更多關注的是“阿爾法空中格斗”試驗中人工智能打敗人類飛行員，但DARPA立項的真正目的是探索人工智能如何與人類合作與互信。2021年3月，DARPA公布“空戰演進”項目的若干關鍵階段性成果，包括：人機混合飛行試驗，以觀測飛行員生理狀況以及對人工智能的信任程度；對首架全尺寸教練機的初步修改，支持項目第三階段的人工智能“飛行員”上機。“空戰演進”項目旨在攻克人機協作的空中格斗難題，為空戰開發可信任、可擴展、人類水平、人工智能驅動、人機混合的自主系統。作為里程碑式成果：該項目在2021年2月完成了更高層次的“Scrimmage 1”狗斗仿真測試，展示了兩架藍色F-16聯合對抗一架紅色敵方戰斗機的過程，這標志著繼“阿爾法空中格斗”試驗之后人機虛擬混合對抗首次得以實現。此外，這次對抗中用到的武器系統也更為復雜，其中包括一個用于短距離精確攻擊的機炮和一枚用于攻擊遠程目標的導彈。

?

3 人機混合智能核心技術進展概述

人機混合智能涉及非常豐富的技術方向。目前，腦機接口、可信人工智能、虛擬現實、環境感知等構成了當前人機混合智能領域的核心技術群，是人機混合智能研究最成熟、應用深入的典型技術。

3.1　腦機接口

腦機接口即大腦與機器相連的接口，在大腦與外部設備之間建立了一個能夠直接傳送信號的通路［1］。腦機接口技術從技術萌芽到快速發展已有一段時期：1924年，德國精神病學家漢斯·貝格爾（Hans Berger）發現腦電波，正式拉開腦機接口技術研究序幕；1970年，美國DARPA開始啟動腦機接口相關項目；1973年，美國加利福尼亞大學洛杉磯分校首次提出“腦機接口”概念；2000年左右，腦電波檢測等技術產生重大進展（例如1998年一位因腦干中風造成鎖閉綜合癥的病人通過腦機接口控制了電腦光標），為腦機接口技術注入新的發展活力、相關技術標準和方向也逐漸明朗；2005年至今，腦機接口技術已超越科幻，漸漸逼近現實、走向臨床（以2005年美國Cyberkinetics公司獲得美國FDA批準為標志性事件）、掀起商業化大潮，在醫療監測、自動駕駛、教育培訓、軍事裝備等領域具有極大研究價值與發展潛力［2］。

按侵入大腦程度，腦機接口主要可分為“侵入式”和“非侵入式”兩種，分別對應不同的使用場景。其中，“非侵入式”腦機接口已經有了商業化應用推廣；而由于技術及倫理原因，目前“侵入式”腦機接口仍停留在實驗室階段，未來可能在醫療場景下逐步實現技術落地應用［3］。QY Research的數據顯示，預計全球腦機接口市場在2026年將達到27億元，年復合增長率為12.4％。目前，美國在腦機接口領域遙遙領先。美國的腦機接口技術（尤其是神經界面技術）百花齊放，DARPA、Facebook、谷歌、亞馬遜、Neuralink等科研及商業巨頭也都在積極布局腦機接口領域，成果不斷涌現，并已形成較高的技術壁壘。

“侵入式”腦機接口需要通過開顱手術或者鉆透顱骨將腦電傳感器植入腦內、具有更高的通信帶寬，以美國Neuralink公司為代表［4］。Neuralink公司已在“侵入式”腦機接口產品研發領域取得一系列里程碑式成果，對腦機接口技術發展起到了引領效果：2019年3月，發布一項能夠快速將電線植入老鼠大腦的方法，即在移除一塊老鼠頭骨并插入一根針頭之后將柔性電極植入老鼠的腦組織，該成果被認為是向人類大腦直接插入計算機潛在應用系統邁出的重要一步；2019年7月，發布一項在截癱病患身上植入設備以輔助其操控外部設備（例如手機或電腦等）的新技術；2020年8月，Neuralink公司發布新一代可植入腦部的 Neuralink 設備LINK V0.9，同期公布“三只小豬”實驗（小豬大腦中被植入3000多個電極、可以同時監測1000多個神經元，通過數據分析可以知曉小豬的情緒變化等）；2021年3月，Neuralink公司宣布了其最新成果：將2個N1 Link腦機接口裝置植入獼猴的手和手臂區域的運動皮層，實現用意念玩乒乓球游戲（如圖2所示）。該實驗旨在探索建立一個安全有效的、無線的、可植入的臨床腦機接口系統。開顱手術的廣泛創傷給“侵入式”技術的臨床應用帶來了困難，目前“侵入式”腦機接口技術正在探索盡可能避免開顱或者降低開顱風險的方案。

“侵入式”腦機接口需要通過開顱手術或者鉆透顱骨將腦電傳感器植入腦內，這可能會導致患者大腦的長期炎癥，而“非侵入式”腦機接口雖然對人沒有傷害，但是腦電信號微弱、識別準確率和實時性有限（“非侵入式”的代表性產品包括俄羅斯Neurobotics公司2019年10月推出的利用人工神經網絡和腦電圖將人腦中的圖像實時可視化的腦機接口技術、美國Cognion公司2021年3月推出可以將思想轉化為設備指令的腦機接口產品Cognixion ONE等）。如何構建一種能夠平衡通訊速率（侵入式）和侵入性（非侵入式）的腦機接口系統——在“最低限度損傷大腦”和“最大限度利用大腦”之間達到平衡，是腦機接口研究中的一個重要挑戰、也是未來重要的研究方向［5］。2021年12月，澳大利亞神經血管生物電子醫學公司Synchron公司的腦機接口技術在人體上實驗成功，通過推特直播的形式幫助漸凍癥患者在30 min內發送了兩條推特，實現人類史上首次靠“意念”發送推特；2022年5月，Synchron公司宣布開展名為“COMMAND”的人體臨床試驗，首位患者來自紐約西奈山醫院；2022年7月，Synchron公司完成美國首例患者植入腦機接口手術。為了探索最小化顱內腦電創傷的腦機接口方案，2022年7月，清華大學聯合團隊通過手術前的功能磁共振影像精準定位目標腦區，只用3個顱內電極實現了微創植入腦機接口打字，速度達到每分鐘12個字符，每個電極的等效信息傳輸率達到20 bit/min［6］。同樣是專注于意念打字任務，2021年5月，斯坦福大學聯合團隊發布的基于腦機接口的手寫體打字成果，使用了192個微針硅電極，每個電極的等效信息傳輸率約為2 bit/min，每分鐘輸入90個字符并且準確率超99%——這是此前使用腦機接口打字紀錄的兩倍多，接近同齡健全人每分鐘115個字符的智能手機打字速度（過程如圖3所示）。該成果的重要突破在于其速度與健全的同齡人在智能手機上發短信的速度相媲美，首次破譯了與手寫筆記有關的大腦信號［7］。

圖3???基于腦機接口的意念打字過程Fig.3???Process of mental typing based on BCI 3.2　可信人工智能

可信人工智能是DARPA近年重點推動的研究方向，因為未來人類高效管理人工智能“伙伴”必須建立在雙方信任和協作基礎之上。該研究旨在探索建立在人機協同基礎上的人機互操作和互信，能夠將人類業務專家的業務經驗反饋給機器，幫助機器自我革新和迭代升級，產生對人類來說可解釋、可信的決策結果［8-10］。2022年6月，英國皇家聯合軍種研究所發布《人工智能中的信任：重新思考未來軍事指揮》報告認為，各級（作戰操作員、指揮官、政治領導人和公眾等）的信任，是有效采用人工智能進行軍事決策的至關重要的前提，人類操作員和人工智能體之間的共生關系將為未來的指揮帶來巨大變革。

DARPA于2016年啟動的“可解釋人工智能（XAI）”（如圖4所示）計劃被公認為是為解決上述挑戰而采取的最全面的軍事舉措［11］。該項目分為可解釋的學習方法、可解釋的心理學模型等兩個技術領域和一個評估框架，于2021年結束。其中，在可解釋的學習方法技術領域，該項目選擇了11個研究團隊探索了許多機器學習方法，例如易處理的概率模型和因果模型、強化學習算法生成狀態機、貝葉斯規則列表、視覺顯著圖等解釋技術。通過該項目，新的人工智能原型系統已經能夠初步解釋自身邏輯原理，描述自身的優、缺點，并解釋未來的行為表現。

圖4???DARPA“可解釋人工智能（XAI）”項目概念示意圖Fig.4???Conceptual diagram of DARPA’s XAI project

截至目前，可信人工智能已經成為學術界、軍政部門共同關注的焦點［12］。2021年7月，美國密歇根州立大學從計算的角度全面概述了可信人工智能的前沿研究進展，并將可信人工智能的研究方向凝練為6個最重要的方面：隱私性、安全與魯棒性、可解釋性、非歧視與公平性、環境福祉性和問責性與可審計性［13］。對于近年來已經逐漸成為深度學習支撐技術之一的圖神經網絡，其可信性增強研究逐漸成為焦點：2022年4月，美國賓夕法尼亞州立大學認為在當前的圖神經網絡的應用中隱私和魯棒性并不能得到保證，網絡本身也有在公平性和可解釋性的缺陷［14］；2022年5月，澳大利亞莫納什大學與美國伊利諾伊大學厄巴納-香檳分校聯合團隊發布了可信圖神經網絡綜述成果，指出了圖神經網絡與其他常見人工智能技術在可信研究中的典型差異，將擁抱可信設計理念、探索其他可信維度、研究多樣相互關系、設計模型不可知方法、建立可信技術生態5個方面視為基于可信人工智能的圖神經網絡未來發展方向［15］。

3.3　虛擬現實

虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）、擴展現實（eXtended Reality，XR）技術，是人機混合智能開展研究最早的技術方向［16］。2021年被認為是“元宇宙元年”，2021年10月，Facebook改名Meta，投資1000億美元押注元宇宙，拉開了進軍元宇宙的大幕。元宇宙被認為是將成為移動互聯網的“繼任者”，是一種全新的、以虛擬現實為主的新興計算平臺。彭博社估計，到2024年，元宇宙的市場規模可能達到8000億美元。

在元宇宙概念的催動下，虛擬現實和增強現實技術在近期獲得更多關注并取得一定成果，軍事應用步伐不斷加快，主要應用于軍事訓練［17］。傳統訓練方式往往要考慮訓練地點、成本和后勤資源，存在客觀衡量進展能力不足，缺乏精確反饋能力的問題；而采用沉浸式訓練來增強（或取代）現場訓練，充分利用虛擬現實/增強現實技術的進步，能夠讓作戰人員身臨其境，為作戰人員提供互動體驗和可持續學習的訓練環境，讓作戰人員的大腦在體驗、認知、行為和情感等多個層面上參與訓練。

美國方面，空軍和陸軍是這些技術應用較為密集的軍種。美國空軍方面：早在2020年，美國空軍宣布內利斯空軍基地新的“虛擬測試與訓練中心（VTTC）”正式落成，未來聯合空中作戰訓練將在此進行。戰斗機飛行員可在此通過虛擬現實技術模擬與實力相當國家及其他對手作戰的情形，練習先進戰術。2022年2月，美國諾斯羅普·格魯曼公司宣布將在DARPA“感知賦能任務指導（PTG）”項目資助下開發嵌入到增強現實頭盔的人工智能助理樣機——“作戰人員與背景自適應推理直覺助理（OCARINA）”，利用先進的信息處理和增強現實接口，人工智能助手將通過語音和圖形在正確的地點和時間提供反饋和指導，以協助旋翼飛行員執行預期和意外任務。美國陸軍方面：2022年1月，美軍發布了美國陸軍未來司令部 31 項標志性現代化計劃之一的“集成視覺增強系統（IVAS）”成果，能夠為士兵提供更清晰、數據更豐富的戰場態勢影像；為了滿足在實況訓練演習中更準確地模擬關鍵武器系統效果的需求，2022年6月，美國陸軍開發了依托于“合成訓練環境實兵訓練系統（STE-LTS）”項目（如圖5所示）和“模擬、培訓和儀器儀表敏捷采集響應 （STAAR） ”項目的“合成訓練環境實況訓練系統”，地形成像和虛擬現實生態系統的最新進展為更精確的交互式技術打開了大門。

虛擬現實、增強現實等技術在各領域的應用還處于探索階段，目前發展過程中遇到一些瓶頸性問題，主要存在于以下4個方面：（1）在技術革新層面，相關技術探索的不確定性較強，算力、網絡帶寬和時延的限制依然很大，特種設備對無線網絡、非標準互聯網的傳輸要求很高；（2）在能源供給層面，大規模連接的虛擬現實應用場景的平穩運行離不開數據中心、算力中心、網絡設備、通信基站、電力能源等新型基礎設施支撐，而這些基礎設施的運轉則需要更為龐大的能源供給；（3）在金融監管層面，虛擬現實場景（特別是元宇宙場景）中存在較多虛擬資產，然而虛擬資產的價值難以量化并可能伴隨洗錢等問題；（4）法律規范層面，應用場景的多元化和沉浸式，會帶來過度沉迷、虛擬犯罪、隱私保護等合規治理問題，虛擬數字人的產權繼承，數字藏品的金融化等方面也存在法律合規風險。

3.4　環境感知

人機混合智能是由“人-機-環境”相互作用而產生的新型智能系統，如何強化對環境信息的感知、強化對環境變化的適應、強化與環境的交互與共生，是人機混合智能發展所必須解決的關鍵問題。Gartner在2022年10月發布的《2023年十大戰略技術趨勢》中，感知和適應外部環境快速變化、在環境中迭代升級的自適應人工智能（Adaptive AI）在列。

強智能體與環境進行充分交互的理念，最初體現在1950年艾倫·圖靈提出的被稱為“模仿游戲”的圖靈測試；2022年，具身智能（Embodied AI）研究熱潮再度掀起，成為當前最熱門的人工智能研究方向之一。“具身”的含義不是身體本身，而是與環境交互以及在環境中做事的整體需求和功能。2022年10月，由圖靈獎獲得者Yoshua Bengio和Yann LeCun領銜的一批致力于機器學習與神經科學結合研究的科學家共同執筆，發布《邁向下一代人工智能：催化神經人工智能革命》白皮書［18］，提出通用智能的基本要素在于智能體與世界（環境）進行感覺運動交互的能力；提出作為通用人工智能的終極挑戰標準之一的“具身圖靈測試”。美國谷歌機器人團隊在2022年4月和7月分別提出SayCan模型和LM-Nav模型，這兩個模型均面向多模態復雜環境，通過自然語言形式的指令讓機器人在真實環境中執行任務。2022年6月，美國艾倫人工智能研究院從與環境交互的角度提出一種在復雜環境中檢測特定物體方面更準確的技術，檢測準確率比傳統方法高了近12%［19］。

近年來，DARPA不斷強化環境感知方面研究。2019年基于“人工智能探索（AIE）”項目發布“基礎性人工智能語言獲取（GAILA）”項目，旨在使計算系統能夠以類似于兒童的方式獲取語言（兒童獲得語言的基礎是他們對周圍環境的聽覺和視覺信息的感知），進一步研究和開發一系列基礎語言獲取模型和自動語言獲取原型，最終學習理解英語文本和語音。2022年9月，DARPA發布“環境驅動的概念化學習（ECOLE）”項目公告，旨在創建能夠從環境中持續感知和學習語言和視覺的人工智能智能體，以便在時間敏感、任務關鍵的國防部分析任務期間，對圖像、視頻和多媒體文檔進行可靠性和健壯性的人機協作分析。該項目對于改變當前的機器學習方法具有重要意義，可在保障計算系統需要能夠與人類進行通信和合作的同時促進“人-機-環境”高效交互與協同，并隨著時間的推移提高了計算系統性能。

4 人機混合智能的面臨的挑戰分析

當前人機混合智能所面臨的挑戰概述如下。

（1）人、機權責分工。當人和機器共同完成一項共同的任務時，首先需要進行分工，如果對任務目標、業務約束、可用資源等的理解不足、邊界不清，那么就可能導致任務執行過程中，人、機的功能分配、權責劃分不協調。輕則導致人、機、環境各自的優點都沒有發揮出來，重則導致任務因組織混亂而失敗，無法實現在開放真實環境下的智能程度和主動效力的最大化。

（2）人、機交互接口。作為通聯人類智能和人工智能的橋梁，人機交互接口扮演著重要的角色，人類對于機器生成的結果（例如作戰方案）的修改，需要通過人機交互接口反饋給人工智能算法，后者基于此完成增量重訓練、重新學習人類經驗與業務約束。圖形化接口是當前人機交互接口的主流形態，但是存在可擴展性差的問題；自然語言（含語音）形式的人機交互接口將是未來的形態，作為其核心技術的智能語音助理技術雖然目前應用較廣，但是在響應速度、處理復雜問答能力、利用歷史問答能力等方面較弱。

（3）倫理規制。隱私和安全是目前各方關心的核心問題，如果人人都用意念交流，世界可能將會沒有秘密可言，容易導致黑客入侵大腦；此外，相關技術可能加劇不平等，因為并非所有人都有實力擁有這項技術，它將進一步鞏固精英階層的優勢。因此，研究者和開發者們需對這件事持嚴肅態度，關于機器倫理的每一個步驟，都需經過倫理委員會的審查，確保計算機在人類的控制下而不會出現計算機脫離人控制的現象、人機混合智能是對人的“增強”而非“干預”。

5 人機混合智能對未來軍事發展的啟示

人機混合智能必將加速軍事變革進程，對作戰樣式、裝備體系、戰斗力生成模式等都會帶來根本性改變，甚至會引發一場深刻的軍事革命。

在情報智能分析方面，相關任務通常具有業務目標多樣、分析結果未知、分析過程復雜等特點，因此既需要強大的系統分析能力對大數據進行關聯分析和深度理解，同時亟需交互式、靈活性、可迭代的分析結果可視化，供業務人員依托業務常識與經驗進行專業的業務判斷并做出分析決策，以及通過人機交互接口對機器產生的決策方案進行修改、算法對修改內容進行自學習，實現人機智能混合協同處理。因此，以情報大數據深度分析應用為主要抓手，通過對多源異質多模態大數據的關聯融合，利用融合了人、機智能的分析過程，輔助用戶從大數據中萃取關鍵情報。

在作戰輔助決策方面，不同類型、不同功能的無人裝備協同合作完成不同場景和復雜程度的任務，已經成為當前戰場常態，能夠有效提升作戰效率和資源利用率。在上述“機-機”配合基礎上，把人的業務常識與經驗引入到智能作戰系統的攻防輔助決策生成的回路中，利用人對模糊、不確定問題分析與響應的優勢，彌補機器智能在處理上述問題時的缺陷，最終形成“1+1>2”的增強智能形態。此外，機器所生成軍事行動決策必須對業務人員可解釋、可信。

在人機編隊作戰方面，無論在陸戰、空戰還是海戰，特定裝備的人機協同和互信關系發生了根本的變革，單純的人工智能與人類智能都不能發揮最大效能，由人機混合編組共同承擔作戰任務將成為常態：大量的無人系統與裝備在前沿局部自主交戰，人在旁路調控將成為主要攻防模式——人由前置轉為后置、由體力變為智慧、由具體執行變為指揮控制。

6 結束語

未來戰爭是人、機、環境融合的戰爭，它不僅僅是智能化戰爭，更是智慧化戰爭，未來的戰爭不但要打破形式化的數學計算，還要打破傳統思維的邏輯算計。人類智能在感知、推理、歸納和學習等方面具有機器智能無法比擬的優勢，機器智能則在搜索、計算、存儲、優化等方面領先于人類智能，兩種智能具有很強的互補性。人與機器協同融合、互相取長補短將形成一種新的“1+1>2”的增強型智能，也就是人機混合智能。這種智能是一種雙向閉環系統，既包含人，又包含機器。其中，人可以接受機器的信息，機器也可以讀取人的信號，兩者相互作用、互相促進。在此背景下，人工智能的根本目標已經演進為提高人類智能，更有效地輔助人類完成復雜動態的智能任務。

編輯：黃飛

?