昨日，谷歌 AI 在博客介紹了最新成果——投擲機器人 TossingBot，一個能夠在真實、隨機的世界里學會抓取物體，并扔至習慣范圍外指定位置的拾取機器人。 AI 科技評論將之編譯如下。

盡管已在物體抓取、視覺自適應、從現實經驗學習方面取得相當大的進步，然而我們依舊要考慮機器人如何執行抓取、處理以及物體置放等任務的——尤其在無規律的環境設置里。讓我們觀察這個在亞馬遜機器人挑戰賽的裝載任務中取得第一名的機器人：

這是一個令人印象深刻的系統，擁有許多從運動學角度上來說可以防止由于不可預見動力而導致物體掉落的設計功能：從穩定、從容的動作軌跡，到限制物體動量的機械夾子，無一不在保證該功能的實現。

與其他機器人一樣，在最開始設計時，它便旨在適應無規律世界的動力因素。這里有一個問題是，除了單純地適應動力因素，難道機器人就不能夠學會有效使用它們，開發物理層面的「直覺」，從而能夠更有效地完成指定任務？這樣做的話也許可以有效提高機器人的行動能力，進而掌握更復雜的運動技能，比如扔東西、滑動、旋轉、擺動或者是捕捉等，這將能帶來許多有潛力的應用，比如災難場景中高效作業的碎片清理機器人——在這種場景中往往爭分奪秒。

為了進一步探索這個概念，我們與來自普林斯頓大學、哥倫比亞大學以及麻省理工學院的研究員們合作開發出了 TossingBot：一個能夠在真實、隨機的世界里學會抓取物體，并扔至習慣范圍外指定位置的拾取機器人。通過學習拋出，TossingBot 得以實現兩倍于過往系統的拾取速度，并達到兩倍的有效置放范圍。TossingBot 利用從視覺觀察（RGB-D 圖像）映射至運動圖元控制參數的端到端神經網絡學習抓取與投擲策略。通過高架攝像頭追蹤物體落地位置，TossingBot 得以借助自我監督機制逐步自我完善。

面臨挑戰

投擲是一項難度特別高的任務，主要取決于多種因素：從物體被拾取的方式（即“投擲前條件”），到物體的物理屬性（如質量、摩擦力、空氣動力學等）。打個比方，如果你以靠近質心的把手位置來抓住一把螺絲刀并扔掉，其著陸位置會比你從金屬尖端抓住并拋出更靠近你，后者的話，它將向前擺動后落在離你較遠的位置。需要強調的是，無論是何種拾取方式，拋擲一把螺絲刀與拋擲一個乒乓球，兩者之間有很大的不同，乒乓球將因空氣阻力落在更靠近你的位置。如果要靠手動去設計一個能夠妥當處理隨機對象涉及這些因素的解決方案，幾乎是不可能的。

投擲取決于多重因素：從如何撿起它到物體的屬性與動態

借助深度學習，我們的機器人得以從經驗中學習，不用依賴手動式的逐案工程。過去我們已證明我們的機器人能夠學習如何推動與抓住各種物體，然而要想準確投擲物體，需要我們對射彈物理學有深入的了解。僅僅通過反復試驗試圖獲取這些知識，不僅耗時耗錢，而且往往無法勝任那些不夠具體、且未仔細進行訓練方案設置的任務。

物理和深度學習的結合

TossingBot 通過整合基礎物理學與深度學習來學習投擲，使之能夠快速被訓練，并推廣至新場景中進行運用。物理學提供關于世界如何運作的先驗模型，我們可以運用該模型來開發機器人的初始控制器。比如在投擲場景里，我們可以利用彈道學原理幫助我們估計使物體落至目標位置所需的投擲速度。接著利用神經網絡來預測基于物理估算的調整，以隨時應對可能出現的未知動態，例如現實世界中的噪聲與變化。我們將這種混合方案稱為殘留物理學，它使 TossingBot 達到 85％的投擲精度。

訓練一開始，伴隨著初始權重隨機化， TossingBot 反復嘗試不那么精確的抓取行為。隨著時間的推移，TossingBot 逐漸學會以更好的方式來抓取物體，并在同一時間提高其投擲水平。在這過程中，機器人會偶爾以過去未曾嘗試過的速度投擲物體，來探索隨后會發生些什么。當垃圾箱被清空時，TossingBot 會主動抬起盒子以便讓物體滑落回垃圾箱里。通過這種方式，訓練期間的人為干預被降到最低。通過10，000 次左右的抓握與投擲嘗試（或等同于 14 小時的訓練時間），它最終實現 85％的投擲準確度，在雜亂環境中的抓取可靠性為 87％ 。

推廣至新場景

通過對物理與深度學習進行整合，TossingBot 能夠快速適應未出現過的投擲位置與物體。打個比方，當我們利用形狀簡單的物體（如木塊、球和馬克筆）對之進行訓練，隨后它便可以很好應對塑料水果、裝飾物品和辦公物品等新物體。在新物體的抓取 & 投擲任務上，TossingBot 剛開始的表現可能比較一般，然而在經過幾百個訓練步驟（一或兩小時）的淬煉后，它可以快速適應并實現與訓練物體同等的性能表現。我們發現，將物理學、深度學習與殘差物理結合，可以達到比基線方案更好的性能。我們甚至親自上手操作這個任務，驚喜地發現 TossingBot 的表現比我們當中任何一名工程師還要精準！即便如此，我們尚未將之與那些具有運動天賦的人進行測試對比。

TossingBot 能力可以輕易被推廣至新物體上，且表現比普通的 Google 員工要更準確

我們還測試了一種可以推廣至過去在訓練過程中未曾出現過的新目標位置的對策。為此，我們先將模型放在一組箱子上進行訓練，接著再選擇另一組擁有截然不同著陸區域的箱子上進行測試。在這種情況下，我們發現投擲背后的殘差物理理論作用很明顯，彈道學對投擲速度的初始估計能夠幫助我們推導出新的目標位置，而殘差理論可以在這些估計的基礎上進行調整，以應對不同物體屬性在現實世界中的變化。這與僅僅使用深度學習的基線方法形成了強烈對比，后者只能處理訓練期間看到的目標位置。

TossingBot 基于殘差物理理論將物體扔到不可預見的位置

基于互動的語義擴充

為了解 TossingBot 的學習內容，我們在箱中放置幾種物體，在捕獲圖像后，將之輸入至 TossingBot 的訓練神經網絡中，以提取中間像素的深層特征。我們基于相似性對特征進行聚類，并將最近鄰居可視化為熱圖（越熱的區域表示該特征空間擁有越多的相似性），這樣便可以準確定位在該場景中的所有乒乓球。即使橙色墻塊與乒乓球有著相似的顏色，然而其特征已經足以讓 TossingBot 作出區分。同理，我們也可以利用提取特征來定位所有的馬克筆，即便這些馬克筆擁有相似的形狀與重量，且在顏色上不盡相同。觀察結果表明，TossingBot 可能更多依賴幾何線索（如形狀）來學習抓握與投擲行為。此外，學習到的特征也可能反映了進階屬性（如物理屬性），這些屬性決定了該物體應該如何被拋出。

在未有明確監督情況下，TossingBot 習得了區分物體類別的深層特征。

這些新興功能是在除了任務級別的抓取和投擲任務外，在沒有任何明確監督的情況下從頭開始學習的。它似乎已經足以使系統對物體類別進行區分（比如之前提到的乒乓球和馬克筆）。這個實驗說明一個與機器視覺相關的廣泛概念：機器人應該如何學習視覺世界的語義？從經典計算機視覺的角度來看，語義通常是通過人工圖像數據集與人工構建的類別區分來預先進行定義的。然而我們的實驗結果表明，只要對手頭的任務來說是重要的，模型就能從物理交互中隱含習得物體級別的語義。這些交互越復雜，語義的分辨率就越高。對于通用智能機器人來說——也許它們通過交互來發展自己的語義概念就已足夠，而無需人為的干預。

局限性與工作展望

盡管 TossingBot 的實驗結果看起來充滿希望，然而卻依然存在其局限性。例如，它假設所有物體都足以承受拋擲后的著陸碰撞——這就需要進一步的工作來學習針對易碎物體的投擲行為，或者訓練其他機器人以緩沖著陸的方式來抓取物體。此外，TossingBot 只能憑視覺數據來推斷控制參數—— 而探索額外的感覺（如力矩或觸覺）實際上可以使系統更好地對新物體作出反應。

物理學和深度學習的結合，將 TossingBot 導向一個有趣的問題：還有哪些領域可以從殘差物理學中受益？如何將這個想法推導至其他類型的任務與交互，是未來研究里一個充滿希望的方向。