長期以來，機器人研究人員一直試圖讓機器人的手變得“真正”靈巧，但這個目標一直難以實現，令人沮喪。機器人的手部內置了許多傳感器，可以在看不見的情況下操縱復雜的物體。

機器人的抓手和吸盤可以拾取和放置物品，但更靈巧的任務，如組裝、插入、重新定位、包裝等，仍然屬于人類操作的領域。機器手完成任務的過程有兩部分：第一部分是手指的動作可以像人的手指一樣（或者盡可能接近人的手指）；第二是擁有用手指做有用事情所需的智力。

在剛剛被Science and Systems 2023會議上接受的一篇論文中，哥倫比亞大學的研究人員展示了如何訓練機器人手指在不掉落物體的情況下對復雜物體進行靈巧的手操作。更重要的是，操作完全通過觸摸完成，不需要視覺。

在每個手指的皮膚下面是一個柔性反射膜，在該膜下面是LED陣列和光電二極管陣列。每個LED都會循環打開和關閉一毫秒，光電二極管會記錄每個LED發出的光是如何從手指內膜反射出去的。當薄膜彎曲時，反射的模式會發生變化，如果手指接觸到什么東西，就會發生這種情況。經過訓練的模型可以將該光模式與手指接觸的位置和幅度相關聯。

因此，現在你的手指知道自己在觸摸什么，他們也需要知道如何觸摸某個東西，以便以你希望的方式操作它而不掉落它。在操作時，有些物體對機器人友好，有些則對機器人不利，比如形狀復雜和凹陷的物體（例如L形或U形）。在手指數量有限的情況下，進行手操作往往與確保物體保持穩定握持不一致。這是一種叫做“手指步態”的技能，需要練習。或者，在這種情況下，它需要強化學習。研究人員使用的技巧是將基于采樣的方法（找到已知開始狀態和結束狀態之間的軌跡）與強化學習相結合，以開發在整個狀態空間上訓練的控制策略。

雖然這種方法效果很好，但整個非視覺的事情在某種程度上是人為的約束。哥倫比亞大學的Matei Ciocarlie說，這并不是說在黑暗或混亂中操縱物體的能力不是特別重要，只是視覺有更多的潛力：“一旦我們在混合中加入視覺反饋和觸摸，我們希望能夠實現更大的靈活性，并有一天開始接近人手的復制。”