自2000年代初大規模生產以來，掃地機器人已成為家庭自動化領域非常成功的商業產品。

近年來，在市場需求的倒逼下，諸多相關企業通過在掃地機器人上集成掃地、拖地、自動補水、自動集塵、自動洗拖布、自動烘干以及除菌等各類功能來增強掃地機器人的實用性與使用便捷性。但由于缺乏“手”沒有對物品的操縱能力，大多數掃地機器人僅能承擔地面清潔工作且對地面環境有一定要求，適用性仍有待加強。

如果對掃地機器人進行加裝機械臂的升級處理，掃地機器人是否能夠處理更為廣泛的家務，將人類從家務中更多解放出來，助力人們節省更多時間和精力？前不久，由伊利諾伊大學厄巴納-香檳分校(UIUC)JoohyungKim教授運營的動能智能機器實驗室（KIMLAB）提出了一種模塊化附加系統。

該系統可以實現機械手與現有的掃地機器人無縫集成，只需對真空機器人進行較少的改動即可輕松連接和拆卸機械手，并在不影響掃地機器人原始功能的基礎上對進行更為廣泛的功能擴展。

通過添加6-DOF操縱器、用于實現卓越感知的RGB-D攝像頭以及用于增強導航的LiDAR傳感器，該附加系統可極大提升掃地機器人感知和操縱能力，可掃地機器人執行導航到地圖上特定位置、打開門、抓取物體并將其放置在指定位置等任務，具有巨大實際應用潛力。

這一系統具體是怎樣實現的呢？接下來就和計算機視覺life一起來深入看看吧！

▍六自由度機械臂如何集成到掃地機器人？

在進行為掃地機器人硬件平臺添加操縱功能的嘗試中，研究人員此前曾進行過兩項研究實驗。

一項研究為將帶有夾具的4自由度(DoF)機器人手臂連接到掃地機器人上，執行打開抽屜或拾取輕物體等任務。另一項研究為在掃地機器人上集成雙3-DoF肢體，幫助其克服移動底座的挑戰性障礙。

通過實驗，研究人員證實了為掃地機器人增加操縱能力存在潛力，并發現在實際應用中，為掃地機器人加裝的機械臂需要在自由度、工作空間、負載能力等方面具備更強能力。此外，研究人員還認識到，機械手直接安裝到真空機器人可能會對掃地機器人有效負載能力造成較大負擔，在不對掃地機器人進行重大修改的情況下，將機械臂牢固安裝在掃地機器人頂面，并保證掃地機器人不側翻、機械臂性能發揮不被影響存在一定挑戰。

針對以上問題，研究團隊經多次方案設計討論后，最終決定了采用對掃地機器人改動程度最小的模塊化附加解決方案。

在實驗器材選擇上，研究團隊選用了帶有夾具的可插拔六自由度機械臂PAPRAS（即插即用機械臂）作為加裝機械臂，iRobot的Create2Robot可編程掃地機器人作為移動底座，并創建了一個可以連接到掃地機器人和機器人的附加結構以集成兩者。

系統規格

附加結構由臂安裝插座、支撐腿和附件平臺組成，結構框架主要用過3D打印制造。為了將附加結構連接到真空機器人，3D打印部件被植入機器人的頂面，從而可以使用兩側的閂鎖和磁鐵進行安全連接。

在附加結構正面，配置有一個用于2DSLAM功能的LiDAR，背面的電池為機械臂和附加系統的組件提供電力。附加組件的電池與底座電源采用分離式設計，這使得掃地機器人的電池使用時長不會受加裝影響。在組件布置上，附加結構的質心也和掃地機器人的質心盡量重合。

(a)組裝機器人系統。(b)系統的分解圖。

作為機械手的固定裝置和安裝平臺，附加結構設計有支撐腿。從中心向外延伸，附加結構有4個末端帶有滾珠腳輪的腿。當安裝在掃地機器人上時，滾珠腳輪可保持與地面的接觸。這有助于分配附加結構和機器人手臂的重量，使移動底座免于承載負載，并允許充分利用手臂的有效負載能力，而無需擔心底座機器人過載或翻倒。

附加結構每條腿末端的球腳輪擴展了支撐多邊形，使機械手能夠使用其完整的運動范圍，而不會出現翻倒的風險。這也增強了手臂遠距離處理有效負載的能力。手臂可以在其最大可達范圍的75%處拾取1kg的物體。

加裝附加結構后的工作區。所有單位均為毫米。(a)側視圖中的工作區。(b)末端執行器負載1kg時的最大機械臂跨度。虛線顯示沒有負載時可到達的工作空間。

同時，附加結構的應用使機械臂PAPRAS系統模塊化，無需復雜的緊固過程或繁瑣的電氣接線問題，只需將附加結構進行安全放置和鎖定，便可以快速輕松地將機械手部署到掃地機器人上。一旦機械手與安裝座完全接合，電源和通信的電氣連接就會通過機械手底部的連接器自動建立。

▍模塊化附加系統的設計和實現

在進行附加結構這一硬件設計制作的同時，研究團隊也就附加系統進行了設計。

附加系統包括一臺用于操作機器人手臂的計算機和另一臺用于感知的計算機。掃地機器人軟件堆棧由負責不同任務的多個模塊組成。主操作PC負責規劃、導航目標以及與機器人硬件的接口，而感知計算機則負責感知堆棧并處理來自相機的數據。擬議的系統包括移動機器人自動化家務任務的基本功能，例如SLAM和感知功能。將六自由度機械臂和用于導航和感知的附加傳感器結合到掃地機器人中，使得系統能夠執行實際的家庭任務。

帶移動底座的PAPRAS附加軟件系統設計。

感知模塊

感知模塊使用連接到機器人手臂末端執行器的RGB-D相機來提供高分辨率的顏色和深度信息。該模塊采用OpenCV的斑點搜索算法進行2D對象檢測，該算法識別二值圖像中具有相似強度和大小的區域，并將它們分組為斑點。該算法提取圖像幀中與感興趣對象相對應的斑點的位置和大小。

同時，要估計物體在3D世界中的位置，需要額外的信息，例如物體的深度或距相機的距離。

假設感興趣的物體位于點（, __）在相機圖像中，其深度為z，研究人員使用針孔相機模型計算物體在相機坐標系中的3D位置：

在這里FX和Fy分別是相機沿x軸和y軸的焦距，CX和Cy是圖像平面中主點的坐標。3D對象位置估計可用于對象操縱和避免碰撞任務。

狀態估計

掃地機器人的狀態估計模塊對于其導航和執行移動操縱任務的能力至關重要。

該模塊采用通過ROSgmapping包實現的2DSLAM算法。該算法使用LiDAR掃描、里程計、閉環檢測和圖形優化迭代更新地圖和機器人的姿態估計。貝葉斯規則用于計算機器人姿態的概率以及給定傳感器測量值和機器人運動的地圖：P（Xt,m|Z1:t,U1:t）。

在這里Xt是機器人此時的位姿時間，m是地圖，Z1:t是傳感器的實時測量值，U1:t是機器人在t時刻的運動指令。該方程用于根據傳感器測量值和運動命令更新每個時間步的機器人姿勢和地圖的置信度。這個方程用于根據傳感器測量和運動命令，在每次時間步更新機器人的姿態和地圖的置信度。

規劃和控制

掃地機器人的規劃與控制模塊負責執行復雜的移動操縱任務，例如物體拾取和避障等。

為了實現這一目標，該模塊結合使用了ROS控制、MoveIt規劃框架、create_robotROS驅動程序API和ROS導航堆棧包。

規劃和控制模塊利用狀態估計信息為機器人生成可行且安全的運動。該模塊使用MoveIt生成供機器人跟隨的無碰撞軌跡，而ROS控制則執行這些運動。此外，該模塊利用檢測到的物體的3D位置來確定機器人夾爪拾取物體所需的關節角度。

TRAC-IK數值逆運動學求解器用于計算機器人末端執行器到達所需位置所需的關節角度。然后，OMPL的RRT-Connect規劃器使用生成的關節角度來找到機器人末端執行器抓取物體的有效軌跡。為了增強對象操作的魯棒性，規劃器結合檢測到對象的3D位置來計算目標抓取姿勢。硬件接口通過ROS服務和動作控制機器人的運動、夾爪和其他設備。該模塊在生成運動軌跡時考慮機器人的關節約束。通過這樣做，機器人可以平穩、安全地執行任務，而不會超出或低于目標位置。

PAPRAS附加系統使用create_robotAPI連接和控制iRobotCreate2，這是一組專門為控制移動底座而設計的ROS節點和軟件包。iRobotCreate2可以使用USB電纜連接到PAPRASNUC計算機。連接后，機器人將打開并放置在水平表面上。create_robotAPI由多個ROS節點組成，建立用于導航傳動系統的基本遠程操作接口。一旦create_robotROS節點運行，就可以使用ROS主題和服務來控制機器人。

▍三大演示展示系統應用潛力

完成對掃地機器人的加裝改造后，研發團隊就掃地機器人執行導航、開門和關門、清除地板上的小障礙物三大任務進行了演示，以展示機器人的軟件堆棧和機械臂如何讓機器人執行超出傳統掃地機器人能力的各種任務，展現此類系統在家庭自動化、老年護理和其他服務機器人應用中的潛力。

導航

傳統的掃地機器人作業涉及預編程模式，這些模式使得掃地機器人只能導航到房間執行清潔任務。雖然掃地機器人目前使用視覺SLAM，但添加機械臂可以擴展機器人的選項和功能范圍。現在可以命令掃地機器人到特定位置來運輸物體，例如將物品從廚房桌子帶到柜臺或水槽。由于增加了容納各種物體和導航預定地圖的能力，掃地機器人被賦予了擴展的功能和用途。

導航任務(a)系統嘗試繪制地圖的現實世界環境。(b)激光雷達可視化。

在此演示中，研究團隊使用2DSLAM將機器人導航到地圖上的位置，同時機械臂握住各種物體。首先，使用gmapping庫，掃地機器人手動生成其環境的地圖。一旦創建了該地圖，機器人就可以使用位置數據在環境中自主導航。掃地機器人能夠將裝有各種物品的托盤從一個位置運送到第二位置。附加系統的添加通過有目的的導航擴展了掃地機器人的功能。

門的開關

配備機械臂的掃地機器人底座具備一個顯著優勢就是能夠在房子周圍移動并進入櫥柜內的不同房間和區域。通過使機器人能夠在其環境中操縱物理對象，機器人執行復雜任務的效用和能力得到顯著擴展。

手臂的增加令掃地機器人可以打開關閉的門以清潔其后面的房間，這一任務當前掃地機器人是無法做到的，這一功能的實現使得用戶無需重新啟動清潔過程或保持門打開。此外，改進后的掃地機器人能夠打開抽屜、檢索物品并將其輕松交付給用戶。這些新功能顯著增強了移動機器人基地在各種環境下可以完成的任務范圍。

演示中，研究團隊對機柜相對于機器人的三維模型進行定位，從而使機器人能夠獲取手柄位姿信息。根據櫥柜的模型和條件等預定知識，機器人可以制定到達門把手并隨后打開門的計劃。機械臂的規劃抓取軌跡可以在rviz中可視化。通過使用手臂打開和關閉門，機器人可以更有效地導航和清潔各種環境。

清潔地板上的小障礙物

在清潔地板上的小障礙物的演示中，研究團隊使用手眼攝像頭來檢測小障礙物，例如衣服或布料，這些障礙物可能會阻礙傳統掃地機器人的清潔過程。傳統的掃地機器人無法識別和清除小物體，機器人有可能會跑過障礙物使其自身癱瘓，或者避開障礙物并在其周圍進行清潔，這會導致清潔不徹底。六自由度機械臂的集成使掃地機器人能夠檢測并清除此類障礙物，從而確保更徹底的清潔過程。

移動操作序列可清除小障礙物，對整個地板進行真空吸塵。

在上圖所示的4個步驟序列的演示中，研究團隊假設阻礙掃地機器人路徑的物體是毛巾或衣服等織物，并使用圖像處理技術來檢測物體并計算其與機器人的距離。然后，機械臂會生成一條通向物體的平滑路徑，將其拾起，并將其重新定位到機器人無法擋道的位置。這種有效且成功地去除小障礙物的方式對于清潔過程以及其他應用來說是有益的。