在無人機視覺系統的常規研究中，用于基于視覺的導航的視覺同步定位和映射（Visual SLAM）和視覺里程計（VO）是主要課題。V-SLAM技術構建無人機經過的周圍環境的實時地圖，并且無人機相對于該構建的地圖進行自身定位。VO使用連續捕獲的圖像來估計無人機的自我運動，而不是構建無人機的完整環境圖。這些研究集中在 3D環境的識別上，并根據識別結果控制無人機。但是V-SLAM的計算成本很高，處理速度不是很高。另一方面，在飛行生物中，實時視覺信息用于避免碰撞并在狹窄空間飛行。在這種情況下，無需獲取詳細的世界坐標系3D環境地圖，即使只獲取無人機機身與障礙物之間的相對位置和方位，無人機也可以通過視覺伺服飛行。省略了準確的3D環境識別過程，實現了響應迅速的飛行。

我們認為這種響應式視覺伺服在傳統無人機研究中的表現仍然不夠高。因此，開發了一種用于無人機的新型輕型高速視覺系統和用于快速目標跟蹤的視覺伺服控制。所提出的視覺系統可以在短時間內識別周圍環境，并可以立即將控制信號傳輸到飛行控制器。圖1顯示了本文中使用的基于相對位置的視覺伺服與傳統方法之間的差異。基于相對位置的視覺伺服估計與目標的相對位置和方向以進行視覺伺服，而不是收集完整的環境信息來制定控制策略。

圖1 傳統方法 （ a ） 和基于相對位置的視覺伺服 （ b ） 的概念

開發用的無人機

圖2a顯示了我們在實驗中使用的平臺。對于快速運動，我們選擇了QAV250光纖框架作為飛行平臺。對于高速目標識別，我們選擇了配備Theia SY110M超廣角鏡頭的XIMEA MQ003CG-CM高速相機。考慮到快速圖像處理和姿態估計的需要，我們選擇了Jetson TX2，這是NVIDIA推出的低功耗嵌入式平臺，包括一個256核的NVIDIA Pascal GPU，一個六核ARMv8 64位CPU復合體，以及帶有128位接口的8 GB LPDDR4內存。作為飛控，我們選擇了Pixhawk2.1 Cube作為基礎硬件來開發自己的飛控。

圖2 開發用的無人機：（ a ） 平臺 （ b ） 接線配置

圖2b顯示了我們的無人機的接線圖。高速相機通過USB3.0 電纜將原始圖像傳輸到配套計算機。在計算出相對位姿后，當前位置和設定點通過FTDI USB到TTL電纜使用mavlink協議傳輸到飛行控制器。最后，PPM信號被發送到ESC以將它們轉換為三相信號以驅動無刷電機。

移動目標

在實驗中，我們準備了一個樣本移動目標作為視覺伺服的參考，以定量驗證其性能。為了方便圖像處理中的快速特征檢測，我們在一塊板上安裝了四個LED燈作為移動目標，如圖3a所示。將每個LED的坐標定義為（0 ， 0 ， 0 ），（0.21 ， 0 ， 0 ），（0 ， 0.15 ， 0 ），（0.21 ， 0.15 ， 0 ）分別從第1點到第4點。為了移動目標板，我們使用了Barrett WAM7-DoF機器人機械手，如圖3b所示，并以不同的速度和加速度移動它。

圖3 目標對象的配置：（ a ） 目標對象 （ b ） 用于移動目標的機械臂

特征檢測

我們使用Harris角點算法來檢測目標上的特征。這是一種通用的特征檢測算法，可以很容易地應用于其他識別任務。此外，由于計算量低，它適用于高速圖像處理。在使用高速視覺的情況下，幀之間只觀察到目標的微小變化，并且可以假設時間連續性，因此很容易防止誤檢。

圖像質心

在時間t，我們可以使用所有圖像特征的中心C將特征分類為一些部分，如圖4所示。

圖4 為姿勢估計選擇四個內點的圖像處理

基于相對位置的視覺服務

為了實現響應式快速運動，我們提出了基于相對位置的視覺伺服，它只計算無人機相對于目標的位姿。由于我們的控制器只需要相對位置，因此車載伴侶計算機上圖像處理的計算量將得到有效降低，我們可以在相同的時間內獲得更多可用的視覺信息。圖5顯示了我們在實驗中使用的基于相對位置的視覺伺服方法。

圖5 基于相對位置的高速視覺伺服控制回路

坐標變換

我們的系統中有三個坐標系：目標坐標系O、相機坐標系C和無人機機身坐標系B，如圖6a所示。我們可以通過PnP直接獲得°x和°R。

圖6坐標系和相對姿態：（ a ） 各坐標系之間的關系 （ b ） 相對偏航角

在實驗中，首先讓四旋翼手動起飛，一旦目標在視野范圍內，飛行模式就會自動切換到位置保持模式。四旋翼飛行器將飛行到相對于目標原始點的設定點并保持其位置。由于目標和四旋翼之間的相對位置用于基于位置的視覺伺服，因此四旋翼將在目標移動期間繼續飛行到設定點。在進行動態目標跟蹤實驗之前，我們在一個位置保持實驗中測試了直接視覺伺服的性能，實驗配置如圖7所示。

圖7 位置保持飛行的配置

軌跡模擬

對于動態目標跟蹤，為了方便設置目標的移動速度，預先設置了目標的軌跡。實驗中，目標在不同運動速度的機械臂兩個姿態之間前后移動，以驗證不同條件下的跟蹤結果。圖8顯示了為跟蹤任務設置的位置。

圖8 目標軌跡模擬：（ a ） 目標的第一個位置 （ b ） 目標的第二個位置

跟蹤軌跡被轉換到位于機器人手臂上的世界坐標系（圖9），如圖10所示，目標以0.5［m/s］的線速度和0.1［m/s2］的線加速度移動。圖11顯示了1.7秒內動態目標跟蹤的實驗結果。

圖9 物體坐標系與世界坐標系的關系

圖10 自主目標跟蹤軌跡（移動速度：v = 0.5 ［m/s］，a = 0.1 ［m/s2］，目標識別率：350 Hz）

圖11 自主目標跟蹤（移動速度：v = 0.5 ［m/s］，a = 1.0 ［m/s2］

提出了一種基于相對位置的視覺伺服系統，該系統采用高速目標識別方法和新穎的控制器設計。與以往對無人機視覺伺服的研究相比，我們的系統利用視覺位置信息直接對無人機進行高速控制，并在定位飛行中驗證了所提出的控制方案的可行性。通過實時目標跟蹤實驗證明了該方法的優點。實驗結果表明，我們提出的方法可以實現比低速目標識別設置更好的跟蹤性能。