實踐證明，將神經形態技術從實驗室應用于實踐的過程很緩慢。本周，新加坡國立大學的研究人員向前推進了一步，展示了一種事件驅動的視覺觸覺感知系統，該系統使用英特爾的Loihi芯片控制結合了觸覺感知和視覺的機械臂。值得注意的是，他們還在GPU系統上運行了該練習，并報告了基于Loihi的系統性能稍好，功耗卻低得多。

國大研究人員今天在本周舉行的虛擬機器人科學與系統會議上介紹了他們的研究結果。預期將觸覺感測（抓地力）與視覺（位置）結合起來，可以顯著提高機械手的精確度和處理物體時的抓地力。神經形態技術的使用也有望降低機器人技術所需的功耗，這是神經形態技術的主要目標。

“我們對這些結果感到興奮。他們表明，神經形態系統是組合多個傳感器以改善機器人感知力的有希望的難題。這是朝著建設能效高，值得信賴的機器人邁出的一步，該機器人可以在意外情況下快速，適當地做出響應。”國大教授和作者哈羅德·索（Harold Soh）在一篇 描述工作的論文（事件驅動的視覺觸覺傳感和機器人學習）中說道 。

長期以來，英特爾一直處于將神經形態技術商業化的最前沿，其Loihi （芯片）/ Pohoiki（系統）是最發達的平臺之一。神經形態系統模仿自然系統（例如大腦），因為它們使用尖峰神經網絡（SNN）來處理信息，而不是機器/深度學習中更常用的人工神經網絡（ANN）。

英特爾神經形態計算實驗室主任Mike Davies表示：“新加坡國立大學的這項研究使人對機器人技術的未來有了一個令人信服的瞥見，在機器人技術中，事件是通過事件驅動的方式結合多種方式進行感知和處理的。這項工作增加了越來越多的結果，表明一旦在基于事件的范式中重新設計了整個系統，包括傳感器，數據格式，算法和硬件體系結構，神經形態計算可以顯著提高延遲和功耗。” 英特爾還公布了這項工作的情況。

國大論文的摘錄很好地描述了挑戰和貢獻：

“許多日常任務需要多種感覺方式才能成功執行。例如，考慮從冰箱中取出一箱豆漿，人們可以通過視覺來確定該紙箱的位置，并可以通過簡單的掌握推斷出該紙箱中包含多少液體。然后，他們可以使用視覺和觸覺來提起物體而不會使其滑落。這些動作（和推論）是使用高效節能的神經底物來進行的，與當前人工系統中使用的多模式深度神經網絡相比，人腦所需的能量要少得多。

“在這項工作中，我們采取了關鍵步驟，以實現對機器人系統的有效視覺觸覺感知。我們從異步和事件驅動的生物系統中獲得啟發。與耗費大量資源的深度學習方法相反，事件驅動的感知形成了一種替代方法，該方法可保證高能效和低延遲-這些功能是實時移動機器人的理想選擇。但是，相對于標準的同步感知方法，事件驅動的系統仍未開發。”

長期以來，多模式傳感的價值已被公認為是推進機器人技術的重要組成部分。但是，使用尖峰神經網絡的局限性阻礙了在實時感測功能中使用神經形態芯片。

“神經形態學習，特別是尖峰神經網絡（SNN），為學習事件數據提供了一種競爭性方法。類似于基于事件的傳感器，SNN直接與離散的尖峰一起工作，因此具有相似的特性，即低延遲，高時間分辨率和低功耗。從歷史上看，SNN由于缺乏良好的培訓程序而受到阻礙。由于尖峰不可微，因此無法使用基于梯度的方法（例如反向傳播）。有效的SNN培訓的最新發展以及神經形態硬件（例如，IBM TrueNorth和Intel Loihi）的新生出現，引起了人們對包括機器人技術在內的各種應用的神經形態學習的興趣。SNN尚未在偽事件圖像數據集上始終勝過其深層ANN表親，

另一個障礙是僅僅開發足夠的觸覺傳感設備。“盡管觸覺傳感器有許多應用（例如，微創手術和智能假體），但觸覺傳感技術仍落后于視覺。特別地，當前的觸覺傳感器仍然難以縮放并與機器人平臺集成。原因有兩個：首先，許多觸覺傳感器通過時分多址（TDMA）進行接口連接，在該接口中，周期性地和順序地對各個分類單元進行采樣。隨著傳感器中紫杉樹數量的增加，TDMA的串行讀取本質會固有地導致讀取延遲的增加。其次，高空間定位精度通常是通過在傳感器中添加更多的出租車來實現的。這總是導致更多的接線，

研究人員開發了自己的新型“神經啟發式”觸覺傳感器（NeuTouch）：“ NeuTouch的結構類似于人的指尖：它包含“皮膚”和“骨骼”，并且物理尺寸為37×21 ×13毫米 這種設計有助于與擬人化末端執行器（用于假肢或類人機器人）和標準的多指夾持器集成。在我們的實驗中，我們將NeuTouch與Robotiq 2F-140抓手配合使用。研究人員寫道：“我們的重點是指尖設計，但是可以開發出適合不同應用的替代結構。”

NeuTouch的觸覺感應是通過帶有39個紫杉醇的電極層和基于石墨烯的壓阻薄膜實現的。紫杉樹的形狀類似于人的指尖的快速適應（FA）機械感受器，并且沿徑向排列，其密度從傳感器的中心到外圍，范圍從高到低。

在典型的抓握過程中，NeuTouch（具有凸表面）往往會與紫杉醇密度最高的中央區域的物體進行初始接觸。相應地，可以在觸覺感測的較早階段捕獲豐富的觸覺數據，這可能有助于加速推理（例如，用于早期分類）。基于石墨烯的壓力傳感器由于其高的楊氏模量而形成了有效的觸覺傳感器，有助于減少傳感器的磁滯和響應時間。

研究人員說，主要目標是確定他們的多模式系統是否能夠有效檢測使用單個傳感器難以分離的物體之間的差異，以及重量峰值計數損失是否會帶來更好的早期分類性能。“請注意，我們的目標不是得出最佳的分類器;實際上，我們沒有包括可能會改善結果的本體感受數據，也沒有進行詳盡（且計算量大）的最佳架構搜索。相反，我們試圖了解在合理的設置中同時使用視覺和觸覺峰值數據的潛在好處。”

他們使用了四個不同的容器：一個咖啡罐，百事可樂瓶，紙板豆漿紙箱和金屬金槍魚罐。該機器人被用來抓握和提起每個物體15次，并對物體進行分類并確定其重量。多模態SNN模型得分最高（81%），比任何單模測試高出約10%。

在將Loihi神經形態芯片與GPU（Nvidia GeForce RTX 2080）進行比較時，它們的整體性能大致相似，但是基于Loihi的系統使用的功率卻少得多（見表）。最新的工作是向前邁出的重要一步。

最好閱讀全文，但這里是對本文實驗的概述。

機器人運動。機器人將抓握并提升每個對象類別十五次，每個類別產生15個樣本。使用MoveIt笛卡爾姿勢控制器計算運動各部分的軌跡。簡要地說，將機器人抓具初始化為在每個物體的指定抓握點上方10厘米處。然后將末端執行器移至抓握位置（2秒），并使用Robotiq抓握控制器關閉抓具（4秒）。然后，per紙牙將物體提起5厘米（2秒），并保持0.5秒。

數據預處理。對于這兩種方式，我們都從抓取，提升和保持階段中選擇了數據（對應于圖4中的2.0s至8.5s窗口），并將bin持續時間設置為0.02s（325個bin），并且合并閾值Smin = 1我們使用分層的K折創建5個拆分;每個分組包含240個訓練課程和60個具有相同班級分布的測試示例。

分類模型。我們將SNN與常規的深度學習進行了比較，特別是具有門控循環單元（GRU）的多層感知器（MLP）［54］和3D卷積神經網絡（CNN-3D）［55］。我們使用（i）僅觸覺數據，（ii）僅視覺數據和（iii）組合的視覺觸覺數據來訓練每個模型。注意，組合數據上的SNN模型對應于VT-SNN。在單一模式上訓練時，我們視情況使用視覺或觸覺SNN。我們使用PyTorch實施了所有模型。