葛紹強(qiáng)，楊永輝，周自維

（遼寧科技大學(xué) 電子信息與工程學(xué)院，遼寧 鞍山 114051）

摘??要：針對(duì)工業(yè)機(jī)器人視覺(jué)領(lǐng)域中現(xiàn)有手眼標(biāo)定方法復(fù)雜的問(wèn)題，提出一種基于3D視覺(jué)的簡(jiǎn)便手眼標(biāo)定方法即將3D深度相機(jī)和礦山爆破機(jī)器人相結(jié)合，利用3D深度相機(jī)能夠獲取空間點(diǎn)坐標(biāo)的原理以及3個(gè)參考點(diǎn)的幾何關(guān)系，獲取標(biāo)定板上參考點(diǎn)到相機(jī)的坐標(biāo)轉(zhuǎn)換關(guān)系。同時(shí)機(jī)器人末端法蘭盤中心到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系已知，可利用 TSAI 兩步法求取相機(jī)到機(jī)器人末端法蘭盤中心的轉(zhuǎn)換關(guān)系，繼而求得參考點(diǎn)在機(jī)器人基坐標(biāo)系中的位姿。把此手眼標(biāo)定方法應(yīng)用到礦山爆破機(jī)器人系統(tǒng)中，實(shí)驗(yàn)結(jié)果表明，最大坐標(biāo)誤差為 5.7 mm，最小誤差為 0 mm，精度滿足現(xiàn)場(chǎng)礦山孔洞的定位要求。該文的創(chuàng)新點(diǎn)是利用深度相機(jī)的原理和 3個(gè)點(diǎn)的幾何關(guān)系求取參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系。

中圖分類號(hào)：TN876?34；TP242；TP391.41 ??文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004?373X（2022）02?0172?05

0 引 言

目前，視覺(jué)工業(yè)機(jī)器人在工業(yè)生產(chǎn)中有很多應(yīng)用，比如機(jī)器人抓取、焊接、噴涂、搬運(yùn)等各個(gè)方面[1]。在工業(yè)機(jī)器人視覺(jué)領(lǐng)域中，手眼標(biāo)定的主要目的是獲取相機(jī)到機(jī)器人末端法蘭盤的轉(zhuǎn)換關(guān)系[2?3]，根據(jù)這種轉(zhuǎn)換關(guān)系將空間中點(diǎn)的坐標(biāo)轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下，這樣才能更好地控制機(jī)器人的手臂去完成相應(yīng)的任務(wù)，因此手眼標(biāo)定的研究對(duì)于工業(yè)機(jī)器人視覺(jué)有著重大的意義。對(duì)于手眼標(biāo)定的研究，文獻(xiàn)[4]中敘述了手眼標(biāo)定的定義；文獻(xiàn)[5]提出一種相機(jī)標(biāo)定和四點(diǎn)位姿估計(jì)的手眼標(biāo)定方法，但該方法需要進(jìn)行相機(jī)標(biāo)定獲取相機(jī)的外參，即需要獲取標(biāo)定板到相機(jī)的轉(zhuǎn)換關(guān)系；文獻(xiàn)[6]提出一種高精度的手眼標(biāo)定方法，對(duì)標(biāo)定過(guò)程中采集的圖像進(jìn)行校正，提高相機(jī)外參的精度，進(jìn)而進(jìn)行手眼標(biāo)定。文獻(xiàn)[7]提出一種基于ROS的機(jī)器人自動(dòng)手眼標(biāo)定方法，其中利用PnP的方法求解標(biāo)定板到相機(jī)的轉(zhuǎn)換關(guān)系。對(duì)于手眼標(biāo)定復(fù)雜的問(wèn)題，本文根據(jù)深度相機(jī)的原理和棋盤格上的參考點(diǎn)的幾何關(guān)系，求取參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系，再結(jié)合機(jī)器人末端法蘭盤到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系，求解相機(jī)到機(jī)器人末端法蘭盤的轉(zhuǎn)換關(guān)系。

1 礦山爆破機(jī)器人視覺(jué)系統(tǒng)設(shè)計(jì)

礦山爆破機(jī)器人視覺(jué)系統(tǒng),由六自由度工業(yè)機(jī)器人(KUKA R16?2F)、深度相機(jī) RealsenseD435、機(jī)器人抓取工具組成，采用眼在手上的方式，將深度相機(jī)固定在機(jī)器人末端處，深度相機(jī)隨著機(jī)器人的位姿變換而變化，這種類型的手眼標(biāo)定，相機(jī)的視野更大。礦山爆破機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)圖如圖1所示。

首先，相機(jī)利用深度學(xué)習(xí)算法YOLOV3識(shí)別出礦山中的孔洞，得出孔洞中心點(diǎn)的像素坐標(biāo)；然后，結(jié)合深度相機(jī)原理計(jì)算出孔洞中心在相機(jī)坐標(biāo)系下的空間坐標(biāo)，隨后結(jié)合手眼標(biāo)定關(guān)系，將孔洞中心的空間坐標(biāo)轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下。 ?

2 手眼標(biāo)定

2.1 手眼標(biāo)定原理介紹

手眼標(biāo)定分為兩種類型：一種是眼在手上的手眼標(biāo)定(Eye?in?Hand)；一種是眼在手外的手眼標(biāo)定(Eye?to?Hand)[8]。本文主要敘述眼在手上的手眼標(biāo)定類型，首先對(duì)照下手眼標(biāo)定的示意圖，如圖2所示。Base表示機(jī)器人的基坐標(biāo)系，在機(jī)器人末端法蘭盤上安裝一個(gè)相機(jī)（圖中Center表示法蘭盤的中心，Camera表示的是相機(jī)),在機(jī)器人視野前面固定一個(gè)標(biāo)定板（棋盤格,圖中用Checkerboard表示),棋盤格上的某個(gè)參考點(diǎn)與機(jī)器人基坐標(biāo)的關(guān)系是固定不變的，利用這個(gè)不變的關(guān)系進(jìn)行機(jī)器人的手眼標(biāo)定。

用示教器控制機(jī)器人移動(dòng)，讓相機(jī)拍攝棋盤格標(biāo)定板，把此時(shí)的機(jī)器人位姿定義為1，用Tgi 表示機(jī)器人末端法蘭中心到機(jī)器人基坐標(biāo)系下的轉(zhuǎn)換關(guān)系，Tcg表示相機(jī)坐標(biāo)系到機(jī)器人末端法蘭中心的轉(zhuǎn)換關(guān)系（待求，這個(gè)關(guān)系是固定不變的),Tci表示參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系。同樣控制機(jī)器人移動(dòng)到另外一個(gè)位姿下，把此時(shí)的機(jī)器人位姿定義為 2，用 Tgj表示機(jī)器人末端法蘭中心到機(jī)器人基坐標(biāo)下的轉(zhuǎn)換關(guān)系,Tcg仍然是相機(jī)坐標(biāo)系到機(jī)器人法蘭中心的轉(zhuǎn)換關(guān)系，Tcj 表示此時(shí)參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系。Tgij表示位姿1 和位姿2機(jī)器人末端法蘭中心坐標(biāo)系之間的相對(duì)位置的齊次變換矩陣。Tcij表示位姿 1和位姿2下特征點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系的齊次變換矩陣[9]。根據(jù)標(biāo)定板上棋盤格中的某參考點(diǎn)到機(jī)器人基坐標(biāo)系下的轉(zhuǎn)換關(guān)系不變的原則有如下關(guān)系：

首先，對(duì)式（1）兩邊同時(shí)右乘T-1ci ，得：

再對(duì)式（2）兩邊同時(shí)乘T-1gj ，得：

式中：T-1gj Tgi就是表示位姿1和位姿2之間的法蘭中心坐標(biāo)系的齊次變換矩陣Tgij；TcjT-1ci就是表示位姿1和位姿2下參考點(diǎn)到相機(jī)轉(zhuǎn)換關(guān)系的齊次變換矩陣Tcij。得到：

可以令Tgij=A, Tcij=B, Tcg=X,得：

式中，A,B 已知，那么手眼標(biāo)定的問(wèn)題轉(zhuǎn)換成求解AX=XB的問(wèn)題[10?14]，求解X利用 TSAI兩步法求解。

2.2 參考點(diǎn)姿態(tài)確定方法 根據(jù)參考點(diǎn)的像素值、深度值和深度相RealsenseD435的SDK函數(shù)rs2_deproject_pixel_to_point（），獲取棋盤格上參考點(diǎn)的空間坐標(biāo)，這里參考點(diǎn)選擇3個(gè)，且這3個(gè)點(diǎn)構(gòu)成一個(gè)直角三角形，利用直角三角形有兩個(gè)邊相互垂直的原理，可確定角度為90°的參考點(diǎn)姿態(tài)。具體原理如圖3所示。

根據(jù)圖3所示，A，B，C 三點(diǎn)構(gòu)成一個(gè)直角三角形，AB和BC兩邊相互垂直，且A，B，C 三點(diǎn)在相機(jī)坐標(biāo)系下的空間由3D相機(jī)原理獲得，根據(jù)A，B兩點(diǎn)的空間坐標(biāo)和A，C 兩點(diǎn)的空間坐標(biāo)，可以計(jì)算出向量AB 和向量AC，讓兩個(gè)向量作叉積，即可得向量AD，向量AD與平面ABC垂直；接著讓向量AD與向量AC作叉積運(yùn)算，確保向量AB和平面ACD 垂直；然后分別對(duì)向量AB，向量AC，向量AB作單位化處理，該結(jié)果即是A點(diǎn)的姿態(tài)。棋盤格上的參考點(diǎn)A，B，C三點(diǎn)的示意圖如圖4所示。

已知A點(diǎn)處的姿態(tài)的空間坐標(biāo)（位置）和姿態(tài)，就可確定A點(diǎn)的位姿，或者說(shuō)是參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系矩陣。 ?

3 手眼標(biāo)定實(shí)驗(yàn)與分析

根據(jù)第2節(jié)手眼標(biāo)定的敘述，畫出了整個(gè)手眼標(biāo)定的流程圖，如圖5所示。根據(jù)圖5所示，首先操作機(jī)器人到位姿1處，拍攝棋盤格圖片，根據(jù)特征點(diǎn)的幾何關(guān)系確定點(diǎn)的姿態(tài)，姿態(tài)和位置已知，計(jì)算參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系矩陣，同時(shí)計(jì)算機(jī)器人末端到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系矩陣。反復(fù)操作機(jī)器人到9個(gè)不同的位姿處，可以獲得 9張棋盤格圖片、9組參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系和9組機(jī)器人末端到機(jī)器人基坐標(biāo)系下的變換矩陣，8組Tgij和8組Tcij。9張圖片如圖6所示。

取8組Tgij和8組Tcij中的3組數(shù)據(jù)如表1所示。

根據(jù)8組Tgij和8組Tcij數(shù)據(jù)，再結(jié)合TSAI兩步法，即可求得相機(jī)到機(jī)器人末端的轉(zhuǎn)換關(guān)系矩陣Tcg ，用Matlab程序進(jìn)行仿真，求Tcg 矩陣和在機(jī)器人基坐標(biāo)系下，參考點(diǎn)與相機(jī)的相對(duì)位置的關(guān)系圖，Tcg如下：

相對(duì)位置關(guān)系如圖7所示。

圖7中，分散的點(diǎn)表示相機(jī)的姿態(tài)，密集的點(diǎn)表示參考點(diǎn)的姿態(tài)。

利用該標(biāo)定關(guān)系，將棋盤格中參考點(diǎn)的像素坐標(biāo)轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下，參考點(diǎn)坐標(biāo)在機(jī)器人基坐標(biāo)系下的，理論值和實(shí)際值如表2所示。

其中，理論值是根據(jù)Tgi*Tcg*Tci關(guān)系求得的，因?yàn)闄C(jī)器人共移動(dòng)9個(gè)位姿，因此理論值有9個(gè)，實(shí)際值是根據(jù)控制機(jī)器人末端的法蘭盤移動(dòng)到參考點(diǎn)，根據(jù)示教器讀出的該參考點(diǎn)在機(jī)器人基坐標(biāo)系下的坐標(biāo)且都為（1704.8，-252.5，1030.1）。從表中可以看出，其理論值中3個(gè)坐標(biāo)值和實(shí)際值中3個(gè)坐標(biāo)值的誤差最大為5.7mm，最小誤差為0mm。隨后，搭建一個(gè)模擬礦井隧道，孔洞的半徑大約控制在50 mm 左右，控制機(jī)器人工具抓取注藥工具運(yùn)動(dòng)到炮孔中心測(cè)試，每次都能精準(zhǔn)地抓取注藥管運(yùn)送到孔洞中心處，其精度滿足礦山爆破的需求。測(cè)試過(guò)程中的實(shí)驗(yàn)圖如圖8所示。

4 結(jié) 語(yǔ)

本文提出一種基于深度相機(jī)的手眼標(biāo)定方法，該標(biāo)定平臺(tái)利用棋盤格上的特征點(diǎn)幾何關(guān)系，獲取棋盤格上參考點(diǎn)到相機(jī)的轉(zhuǎn)換關(guān)系矩陣，同時(shí)利用示教器讀取的機(jī)器人末端的位姿計(jì)算機(jī)器人末端到機(jī)器人基坐標(biāo)系下的轉(zhuǎn)換矩陣，把這兩個(gè)關(guān)系矩陣與TSAI兩步法結(jié)合，即可求得相機(jī)到機(jī)器人末端法蘭盤的轉(zhuǎn)換關(guān)系。此過(guò)程充分利用深度相機(jī)的原理，不需要對(duì)其求取相機(jī)的外參，過(guò)程簡(jiǎn)便且精度滿足礦山爆破任務(wù)的要求。該標(biāo)定平臺(tái)在其他應(yīng)用工業(yè)機(jī)器人視覺(jué)領(lǐng)域中也有一定的借鑒意義。

注：本文通訊作者為楊永輝。

參 考 文 獻(xiàn)

[1] 田鵬飛，楊樹(shù)明，吳孜越，等 .結(jié)合精度補(bǔ)償?shù)臋C(jī)器人優(yōu)化手眼標(biāo)定方法[J].西安交通大學(xué)學(xué)報(bào)，2020（8）：99?106.

[2] 王昌云，李立君 . 基于四元數(shù)的機(jī)器人手眼標(biāo)定算法[J]. 傳感器與微系統(tǒng)，2019，38（12）：133?135.

[3] SHARIFZADEH S，BIRO I，KINNELL P. Robust hand ? eyecalibration of 2D laser sensors using a single ? plane calibrationartefact [J]. Robotics and computer ? integrated manufacturing，2020，61：101823.

[4] WU L，WANG J L，QI L，et al. Simultaneous hand?eye，tool?flange，and robot ? robot calibration for comanipulation bysolving the AXB=YCZ problem [J]. IEEE transactions onrobotics，2016，32（2）：413?428.

[5] 吳安成，何衛(wèi)鋒，歐陽(yáng)祥波.基于OpenCV 的碼垛機(jī)器人手眼標(biāo)定方法[J].制造技術(shù)與機(jī)床，2018（6）：45?49.

[6] 任杰軒，張旭，劉少麗，等 . 一種高精度機(jī)器人手眼標(biāo)定方法[J].現(xiàn)代制造工程，2020（4）：44?51.

[7] 陳寶存，吳巍，郭毓，等 .基于 ROS的機(jī)器人自動(dòng)手眼標(biāo)定系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)仿真，2020，37（2）：343?348.

[8] 張妍 .工業(yè)機(jī)器人手眼標(biāo)定精度分析研究[D].揚(yáng)州：揚(yáng)州大學(xué)，2019.

[9] 何佳唯，平雪良，劉潔，等 .一種機(jī)器人手眼關(guān)系混合標(biāo)定方法[J].應(yīng)用光學(xué)，2016，37（2）：250?255.

[10] LI H Y，MA Q L，WANG T M，et al. Simultaneous hand?eyeand robot ?world calibration by solving the AX = YB problemwithout correspondence [J]. IEEE robotics and automationletters，2015，1（1）：1.

[11] TABB A，YOUSEF K M A. Solving the robot?world hand?eye（s） calibration problem with iterative methods [J]. Machinevision and applications，2017，28（5/6）：569?590.

[12] MA Q， LI H， CHIRIKJIAN G S. New probabilisticapproaches to the AX=XB hand ? eye calibration withoutcorrespondence [C]// 2016 IEEE International Conference onRobotics and Automation. Stockholm：IEEE，2016：4365 ?4371.

[13] GROSSMANN B，KRüGER V. Continuous hand?eye calibrationusing 3D points [C]// 2017 IEEE 15th InternationalConference on Industrial Informatics. Germany：IEEE，2017：311?318.

[14] ZENG J，CAO G Z，LI W B，et al. An algorithm of hand?eyecalibration for arc welding robot [C]// 2019 16th InternationalConference on Ubiquitous Robots. Seoul：IEEE，2019：1?6.

作者簡(jiǎn)介：

葛紹強(qiáng)（1994—），男，安徽亳州人，碩士，主要研究方向?yàn)?a target="_blank">計(jì)算機(jī)視覺(jué)與機(jī)器人控制。

楊永輝（1971—），男，遼寧鞍山人，教授，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)與智能控制。

周自維（1974—），男，遼寧鞍山人，副教授，主要研究方向?yàn)橹悄軝C(jī)器人與計(jì)算機(jī)視覺(jué)。

編輯：黃飛

?