機器人瓦力、機器人大白，都有一雙令人記憶深刻的眼睛(●—●)——提到機器人感知環境，人們總能想到他們的眼睛。但是一個物品的材質、粗糙度，是眼睛無法看到的信息。

如何區分一個以假亂真的蘋果模型和真實的蘋果？如何感知一張桌布的絲滑程度？當視覺無法感知這些信息，我們便需要機器人通過觸覺來感知環境——開發一個能夠多模態感知和描述物體的機器人，對幫助機器人與環境交互有十分重要的作用。

在人類感知世界的過程中，皮膚的多模態感知為我們感受真實的物理世界提供了重要的工具。正如人們用手指觸摸未知的物品，當具有多模態感知能力的機器人手摩擦未知物品時，機器人便能感知到物品的粗糙度；當機器人手隔空拂過位置物品時，它甚至能像X射線和3D掃描儀那樣感知到物品的材質和形狀。因此，能夠感知環境的多模態傳感與擅長交互的軟體機器人的結合必然能擦出火花。

最新一期《先進功能材料》（Advanced Functional Materials）報道了北京航空航天大學仿生軟體機器人實驗室在柔性傳感器與軟體機器人感知領域的最新研究。

該項工作開發了一套智能軟體機器人系統，該系統能夠對物體的物理特性進行感知、描述和分類，可協助機器人解釋物理世界、與物理世界進行交互，為人工智能與世界的交互提供了可能的接口。

智能軟體機器人系統根據物體的物理特性對其進行感知、描述和分類。

▍當前研究面臨的問題

軟體機器人具有與生俱來的安全無損特性，在各種實際應用中逐步展現出獨特的優勢。基于壓電、壓阻、電容、摩擦電、和巨磁彈性效應開發的大量柔性傳感器，能夠賦予軟體機器人感知能力，但它們的單一識別模態無法滿足機器人全方面智能的要求。軟體機器人，特別是軟體機器人手，需要類似于人類手部的多模態信息感知和描述能力。為了擴大軟體機器人的實際應用范圍，開發高性能多模態柔性傳感器和集成機器學習的智能軟體機器人系統勢在必行。

迄今為止，人們已經為開發多模態柔性傳感器做出了許多努力，然而在分離和解耦各種刺激類型的信號方面仍存在挑戰。雖然研究人員一直致力于開發具有多模態柔性傳感器的智能機器人以感知各種環境信息，然而，目前的智能機器手缺乏全面的多模態信息感知，尤其是對表面物理特性的描述能力。這些局限性為軟體機器手進一步感知多模態環境信息和執行精細操作任務造成了阻礙。

▍結構簡單的雙模態自供電柔性傳感器

研究團隊研發了一種基于摩擦納米發電機和巨磁效應的雙模態自供電柔性傳感器（BSFS）。BSFS結構簡單，由磁彈性導電薄膜和封裝的液態金屬線圈組成，可以在10毫秒的響應時間內精確檢測和解耦接觸和非接觸雙模態信號。

研究團隊在硅膠材料中摻入微磁體和碳納米管，制備具有多孔結構的磁彈性導電薄膜。隨后，使用磁化儀對磁彈性導電薄膜進行磁化，使微磁體重新定向，然后印刷并用硅膠封裝液態線圈。所有組件都是由柔性材料制成的，因此BSFS整體結構柔軟可變形。磁彈性導電薄膜還表現出顯著的磁彈性。

雙模態自供電柔性傳感器（BSFS）的結構和工作機制。a）BSFS由兩層功能性柔性薄膜、磁彈性導電薄膜和帶封裝薄膜的液態金屬線圈組成。b）磁彈性導電薄膜橫截面的掃描電子顯微鏡圖像。c）BSFS在彎曲狀態下的照片。d）軟磁彈性導電薄膜的磁滯回線。初始狀態e）和壓縮狀態f）下軟磁彈性薄膜的磁通密度熱力圖。g）BSFS 的工作機制：(i) 由于摩擦電效應，外部物體（淺藍色）在多次接觸后獲得負電荷。(ii) 當外部物體接近磁彈性導電薄膜（金色層）時，由于靜電感應效應，薄膜與地面之間的電勢發生變化。自由電子在電勢的驅動下從磁彈性導電薄膜流向地面。(iii) 由于外部物體的接觸作用于磁彈性導電薄膜，BSFS開始變形，進一步促進了自由電子從磁彈性導電薄膜流向地面。同時，液態金屬線圈（灰色）根據電磁感應原理產生電流。(iv) 當外部物體與BSFS完成接觸時，自由電子停止運動。(v) 當外部壓力釋放時，自由電子從地面流回磁彈性導電薄膜。同時，液態金屬線圈中產生反向電流。(vi) 當外部物體離開BSFS表面時，電子流回磁彈性導電薄膜。

研究團隊搭建了測試平臺對傳感器的輸出信號進行測試，證明了BSFS能夠將非接觸信號與接觸信號解耦，并展示了BSFS感知壓力的能力。

此外，不同材料的外部物體具有不同的電子親和性，會影響摩擦電和靜電感應，從而改變BSFS的無接觸輸出信號。而根據電磁感應原理，接觸信號不會受到材料特性的影響。

快速的動態響應能力使BSFS能夠檢測到更全面的信息，拓寬了其潛在的應用場景。由于采用了主動感應原理，非接觸信號的動態響應時間可以忽略不計，而接觸信號的動態響應時間則小于10毫秒。BSFS對非接觸信號和接觸信號分別表現出37.4和37.2 dB的超高信噪比，同時具有出色的耐用性和穩定性。

a) 外部物體與BSFS之間的距離對非接觸（紅色）和接觸（藍色）輸出信號的影響。b) 非接觸和接觸信號與作用在 BSFS 上的壓力的函數關系。c) 不同材質的物體的非接觸和接觸輸出信號。d) 快速接觸刺激下的 BSFS 輸出信號。e) d) 部分虛線方框所示區。f) 1000次重復刺激證明傳感器的穩定性和耐用性。g)、h)部分顯示網球落到BSFS上時的圖像和輸出信號。左側發光二極管（LED）被編程為在接觸信號超過閾值時開啟；右側發光二極管在非接觸信號超過閾值時開啟。

▍能夠感知和描述物體的智能機器人系統

通過將BSFS集成到軟體手指中，研究團隊開發了具有多模態感知能力的仿人軟體手，其中非接觸信號可感知有關物體形狀和材質的信息，而接觸信號則可感知有關表面粗糙度的信息。這種抓手模仿了人手的靈巧性，能夠感知和操縱各種物體。研究團隊將軟體手安裝在機械臂上，機械臂控制軟體手對物體進行非接觸及接觸掃描，并收集BSFS的信號輸出。然后通過使用獲取的數據訓練CNN模型，在線測試達到了99%的準確率。

帶有BSFS的軟體機器手可以識別不同物體的材質和粗糙度。a) 由氣動軟體手指和BSFS層組成的軟體機器手實物圖。b) 以BSFS為底面的軟體氣動手指結構圖。c) 軟體氣動手指的工作原理圖。d) 感應信號波形對應5種不同材質。e) 識別材質的混淆矩陣，總準確率達99%。g) 感應信號波形對應6種不同的粗糙度。h) 識別粗糙度的混淆矩陣，總準確率為97%。

研究團隊將CNN集成到智能軟體手系統中。該模型能夠精確地感知和描述物體的特征信息。此外，軟體手還能根據多模態傳感器的識別結果進行變形和抓取。

通過對材質、形狀和表面粗糙度方面各不相同的27種物品采集原始數據訓練，該系統的識別準確率達到了97%。此外研究團隊還展示了智能軟體手系統在根據物體的物理特性感知、描述和分類物體方面的卓越能力。該系統可以通過屏幕顯示和揚聲器傳輸的自然語言信息，簡明扼要地描述物體的特征，包括形狀、材質和粗糙度。此外，該系統的交互界面還有助于用戶與智能系統之間進行無縫的問答交流。例如，系統可以回答用戶有關物體屬性的詢問，并根據用戶的要求有效地將物體分類到特定的盒子中。

智能軟體手系統 智能軟體手系統用語言描述物體的物理特性（材質、形狀和粗糙度）。a) 智能軟體手根據物體的物理特性對其進行感知、描述和分類的流程圖。b) 27個不同材質、形狀和粗糙度的物體的照片。c) 系統對540組數據識別結果的混淆矩陣，總準確率為97%。d) 智能軟體手系統的交互過程。智能軟體手系統能夠簡明扼要地感知和描述物體的各種特征，并以一句話的形式將信息顯示在屏幕上并通過揚聲器傳輸。利用交互式界面，智能系統可以有效地回答用戶的詢問，并根據鍵盤輸入的指令準確地將物體分類到所要求的特定盒子中。

▍項目作者及團隊信息

該論文第一作者為北京航空航天大學機械工程及自動化學院博士生研究生劉文博，朵有寧、陳星雨為共同第一作者，文力教授為論文唯一通訊作者。北京航空航天大學為論文第一/通訊單位、北航丁希侖教授團隊，清華大學計算機科學與技術系孫富春教授團隊、中國科學院北京納米能源與系統研究所張弛研究員團隊為本研究的合作單位。本研究得到國家自然科學基金（Nos. 61822303, T2121003, 91848206）和國家重點研發計劃（Nos. 2020YFB1313003）的資助。