色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

無人機視覺導航國內外研究現狀以及存在的問題

新機器視覺 ? 來源:航空工業電子 ? 作者:航空工業電子 ? 2022-07-05 11:18 ? 次閱讀

導語

目前國內外都在致力于針對無人機的GNSS拒止條件下的定位導航研究。其中視覺導航(Vision-Based Navigation,VBN)因抗干擾能力強、功耗低、成本低、體積小、設備結構簡單、被動式、定位精度高等優點得到了廣泛關注。近幾年隨著AI計算機視覺領域的爆發,不僅突破了之前很多難以解決的視覺難題,更極大提升了對圖像認知的水平,因此VBN迅速成為導航領域的研究熱點。但是目前的技術還存在哪些問題需要解決呢?

1

引言

目前的組合導航系統基本上是以INS為主GNSS等為輔的導航方式。INS存在誤差積累,因此需要GNSS進行修正,但GNSS衛星信號落地功率僅-130dbm,頻段公開,極易被干擾,當GNSS信號被干擾時,一般情況下可以利用IMU進行航位推算,但隨著時間的推移,誤差累計嚴重,無人機無法完成預定任務,甚至難以返航。因此在GPS拒止區域(如室內、水下、叢林、城市樓群間、高山峽谷、作戰敵方干擾區等)如何完成無人機在自主飛行、定位、執行任務是一個迫切的挑戰。

美國于2014年開始發展5項不依賴于GPS的導航技術,包括Micro-PNT、ANS等項目。美國的諾斯羅普?格魯曼公司提出的Assured PNT(ASSURED POSITIONING, NAVIGATION AND TIMING)系統中,包含了對GPS拒止條件下的各類輔助導航方式,包括天文導航、地形匹配、激光測距/激光雷達、磁力計、里程計等方式。

21f27d66-fba0-11ec-ba43-dac502259ad0.jpg

圖1 諾格公司的Assured PNT系統

視覺導航主要是指通過飛行器機載的視覺成像設備(可見光、紅外、SAR 等)對地拍照的圖像進行各種導航參數的測量。視覺導航定位技術是通過圖像匹配算法結合含有地理位置信息的基準圖實現的。

目前視覺導航按照是否需要導航地圖(即數字景象基準數據庫)可分為地圖型導航和無地圖導航。地圖型導航需要使用預先存儲包含精確地理信息的導航地圖,利用一幀實拍圖像與導航地圖匹配即可實現飛行器的絕對定位。當導航地圖采用景象圖或地形圖時,地圖導航可分為景象匹配導航和地形匹配導航。由于景象匹配制導的精度比地形匹配制導的精度高一個數量級,因此地形匹配制導一般用于中制導,景象匹配制導一般用于末制導。

2

國內外研究現狀以及存在的問題

景象匹配系統

國外對景象匹配系統的研究始于巡航導彈的制導。景象匹配制導利用目標區的圖像信息進行制導,主要攻擊目標為機場、交通樞紐、軍事基地等等。導彈的制導精度取決于實時圖質量、基準圖精度和匹配方法性能等。該方法實質上是一種基于模板匹配的目標定位方法。

景象匹配輔助導航系統具有自主性和高精度的突出優點,然而該技術仍未達到完全成熟的程度。景象匹配一般結合衛星導航、慣性導航和地形匹配導航使用,其作用區域一般為數百平方米或數平方公里且存在以下問題:

(1) 嚴重依賴于離線基準圖,是否能夠獲得高精度地圖也是景象匹配問題的關鍵因素之一,目前其制圖難度較大;

(2) 對于低空飛行、大起伏地形情況下時造成的視角變化,目前的算法效果較差;

(3) 由于基準圖的制作往往較機載圖像傳感提前很長時間,地圖和機載圖像信息往往可能是在不同日期、不同傳感器、不同觀測點/角度、不同氣象條件下獲得的,因此需要景象匹配算法具備很強的光照、季節、角度不變性,而目前的傳統算法基本無法應對不同傳感器、時間、季節、角度差下地理面貌發生的改變;

(4) 景象匹配技術可以為無人機提供實時的位置信息,因此應具備高精度、實時計算等特性。而高精度和實時性受景象的特征點集合大小、匹配算法、搜索范圍、地圖大小等多方面的制約,因此基本只適用于小范圍內定位導航。

地形匹配導航

地形匹配導航技術需要飛行路線上的地形數據作為基礎,在飛行器飛行過程中,將實際飛行過程中測量到的地形高程數據與基準地形數據進行不斷比較來實現匹配定位,并對飛行器進行導航修正。地形匹配主要利用雷達高度表和氣壓高度表等設備測量沿航線的地形高程數據,按最佳匹配確定飛行器的地理位置。

地形匹配一般用于巡航導彈飛越特定地區,可以修正INS的導航信息,消除INS的累計誤差,提高導航精度,但存在以下問題:

(1) 需要地形數據作為基礎,對地形要求嚴格,使用中盡量回避地形特征貧乏的平坦地區和地形高程變劇烈的山區;

(2) 需要高度表連續獲取地形高程序列,算法處理屬于后驗證估計,實時性差,一般用于修正導航誤差;

(3) 對航向誤差敏感,定位過程中無法機動。

視覺SLAM技術

視覺SLAM為代表的技術在視覺導航領域主要以回環檢測(Loop Detection)、視覺重定位(Visual Re-localization)、視覺場景識(Visual Place Recognition)、視覺相對地形導航(visual terrain relative navigation)或地理配準、圖像檢索為代表,近年隨著SLAM、深度學習和計算機視覺技術的發展有極大進步,尤其以眾多海內外高校、無人機/自動駕駛公司為主。

視覺的導航因采集信息豐富、成本低廉,在針對商用和工業無人機的自主降落、避障和跟飛應用等特定條件下的研究取得了較大進展。在商業無人機領域,美國的Skydio 2使用NVIDIA Jetson TX2的嵌入式AI計算設備,計算6個4K攝像頭采集到的圖像信息,實現了全自動避障功能。大疆無人機提出的Flight Autonomy是依靠由6個視覺傳感器、主相機、2組紅外傳感器、1組超聲波傳感器、GPS/GLONASS雙模衛星定位系統、IMU和指南針雙冗余傳感器等實現的。當GPS信號丟失時,無人機利用視覺傳感器與其他傳感器融合,可具備一定的全局定位和導航能力。

雖然目前商用和工業無人機、自動駕駛領域,暫時還沒有完全依賴視覺導航的產品,但已有不少高校和公司正在開展了基于視覺的全局定位導航系統,如特斯拉的FSD(Full Self-Driving),目前發布的10.1版本拋棄了高精地圖和激光雷達,主要依靠純視覺和AI可實現部分復雜場景下的自動駕駛能力,其路測結果顯示了視覺的巨大潛力。

定位地圖通常是使用Structure-from-Motion (SfM) 從一組數據庫圖像預先構建3D場景點組成的,每個3D地標可以與一組局部圖像描述符對應。當無人機獲取一張新的觀測即圖像后,系統可以利用從圖像特征和地標之間2D-3D匹配中計算出相對或絕對位置。但是在無人機SLAM這類應用中,因為地標描述符的高內存要求,將完整場景模型保留在設備上的定位方法通常僅限于較小的探索空間,如200m*200m。

在大場景(Large Scale)中,一般會將圖像回傳至地面服務器去執行大規模的實時地圖重建、姿態估計、定位和跟蹤,并將結果回傳至無人機。但一般情況下如果GPS被干擾時,鏈路的可靠性也難以保證。

SeqSLAM利用連續幀序列圖像的相似度判斷地點匹配,是目前最成功的閉環檢測算法之一,能夠處理重大的環境條件變化,包括由于照明、天氣和一天中不同的時段等。但此方法多用于路邊駕駛等情況,對無人機在不同高度、角度飛行,且存在空中自由機動的情況還需要繼續補充研究。

另一方面,當場景擴大后,環境的復雜性會急劇增加,容易造成感知混淆。感知混淆是一種在不同的地方中產生相似的視覺區域現象,這通常會導致錯誤的定位,如圖2所示,同一個場景可能會檢索定位到地圖中不同的位置,從而造成定位錯誤。

220e7340-fba0-11ec-ba43-dac502259ad0.png

圖2 大規模場景下的(城市級別)感知混淆

典型無人機自主視覺感知定位算法多見于地面無人車、機器人和小型商業無人機,一般適用于小尺度規模場景。而傳統的景象匹配算法一般結合其他導航方式應用于末制導等場合,使用條件受限。

GNSS拒止條件下當無人機進行長航程自主飛行時,需要研究解決長航時導航地圖的壓縮、存儲瓶頸問題,提升不同季節、光照、視角下的特征的穩健性,提高圖像檢索和匹配算法的泛化性、準確性,解決大規模地圖下的實時快速的搜索問題等。近年來AI技術的興起為VBN問題的解決提供了新的方式。

3

GNSS拒止環境下

VBN待解決的問題和措施

在GNSS信號受到干擾時可靠的視覺輔助導航應具備高度的條件(季節、結構、光照、異源傳感器等)和視角(不同視角、飛行高度)不變性,能夠部署在無人機的邊緣終端。

視角和外觀不變性的穩健圖像/地圖表征

視覺導航某種程度上可以被視為一個圖像檢索任務,必須使用相同的特征類型進行模型構建和匹配。當無人機達到一定飛行高度,可以假設平面單應性,但對地形變化較大的地區依然具備一定透視效果。機載圖像與地圖基準圖像的成像時間、成像條件不同,即使經過預處理校正后,依然可能會存在不同程度的光照差別、旋轉與角度變化、季節變化、植被變化等,如果地圖表征不當,極易導致錯誤匹配,需要提取穩健的成像條件不變性和視角、尺度不變性的地圖場景表征。同時,考慮到機載計算平臺有限的存儲資源和計算資源,因此地圖場景表征同時也要具備高效、低冗余描述等特點。

場景和地圖的描述通常分為局部特征描述子(例如SIFT和SURF特征)以及全局描述子(如Gist等)。局部特征描述在像素級別上使用固定的局部空間鄰域進行優化描述,具備視角旋轉不變性且可實現高精度的定位;而全局描述子對位置進行了優化,通常在直接對外觀和光照變化方面魯棒性更強,但增加視角不變性將不可避免地降低一定程度的外觀不變性。

因此需要采用基于深度學習將核心的局部特征納入全局描述符形成新的表征,學習過程采用基于注意力機制,例如Transformers和圖神經網絡(Graph Neural Networks)。這其中,網絡的底層輸出對外觀變化更具備穩健性,而高層輸出對視角變換更具備穩健性,因此學習到的特征能夠有效地應對環境以及視角的變化。比如SuperPoint、D2、R2D2等深度學習特征代替傳統SIFT、SURF等局部特征,具備更好的視角不變性;采用如NetVLAD、CALC等用神經網絡模擬傳統特征提取策略,可獲得更好的魯棒性。

實時可靠的高精度視覺導航匹配

當GNSS信號丟失時間較長時,慣導的定位誤差累積,需要視覺導航在較大范圍內進行搜索,這樣會極大增加匹配算法的計算量。雖然利用語義和傳統圖像檢索技術,可以粗篩出一組與當前機載圖像相似的地圖圖像,供后續精細搜索,但隨著地圖和搜索規模的擴大,視覺導航的感知混疊現象越來越嚴重,粗篩的結果會含有越來越多的不相關。因此需要研究快速的圖像檢索和圖像匹配技術。

視覺輔助導航系統的核心是圖像匹配算法的選擇,該算法要解決的關鍵問題是異源圖像之間的實時可靠匹配。大多數最先進的圖像描述和表征都是高維的(維度從512到70,000不等)。隨著無人機飛行時間的增加,視覺導航搜索的空間急劇變大,而且當無人機長期自主時,通常必須使用多個地圖參考集。若匹配算法過于復雜,搜索效率將會降低,會導致整個匹配過程耗時過長,影響導航效果。

因此,設計分層的實時可靠視覺導航匹配技術。首先利用,對高維的描述符空間進行投影、量化和聚類,以最小的精度損失提高了最近鄰 (NN)搜索的效率采,用反向索引加速圖像檢索速度,選擇出最佳的候選地點集合(如排名前20個地點)。然后在候選地圖集合中,利用航拍成像條件和地圖信息,利用幾何信息,實時解算出飛機的絕對位置和姿態。

此外,場景的語義線索不像像素強度那樣容易受到條件變化的影響,因此可以采用基于深度學習的物體檢測和語義信息分割技術,對場景進行識別、跟蹤和語義的標記,可以剔除部分場景中的無效區域(如空中云彩等),重點利用外觀不變的對象如標志性建筑形成穩定的圖像描述符,可加速地圖匹配和搜索的過程。同時利用環境的動/靜分割加強無人機對地圖場景的理解,可以適應地圖一定程度的動態變化。

視覺導航在有限計算資源機載平臺的部署

傳統的視覺輔助導航技術難以突破在不同場景下的可靠定位瓶頸,基于深度學學習的技術在場景光照變化大,相機視野變化大等方面對傳統方法形成碾壓性優勢,是未來基于視覺無人機導航發展的必然趨勢。但是深度學習技術計算量大,參數動輒百萬級,現有的CPUFPGA等傳統機載計算平臺難以滿足實時性的計算要求。隨著低成本低功耗的AI加速芯片的推出,可將深度學習模型部署到無人機平臺,利用AI芯片的異構加速技術,降低視覺導航流程的時延,不僅可以實現態勢感知、目標識別跟蹤等任務,更可以利用圖像語義分析的信息,無人機視覺導航定位,使其更適用與動態環境下的自主飛行。

·

總結

視覺導航但因成像時存在不同季節、光照、視角、傳感器等原因,其使用收到較大限制。同時,如何處理大規模地圖的建圖和搜索也是部署到無人機終端一個亟待解決的問題。近年來,隨著AI技術的發展,國內外各研究機構陸續開展了VBN問題的研究,并進行了各種實際數據采集和應用挑戰賽,如近年來ICCV等會議陸續推出場景識別比賽等。后續可充分借鑒自動駕駛、商用無人機、機器人等先進技術,結合長航程自主飛行的傳感器特點、使用需求、計算資源等進行研究和測試。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 無人機
    +關注

    關注

    229

    文章

    10420

    瀏覽量

    180146
  • 圖像傳感
    +關注

    關注

    0

    文章

    18

    瀏覽量

    14611
  • 自動駕駛
    +關注

    關注

    784

    文章

    13784

    瀏覽量

    166399

原文標題:無人機視覺導航,還有哪些問題需要解決?

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    無人機干擾器干擾手機信號嗎

    無人機干擾器主要用于干擾無人機的通信和導航系統,以防止無人機非法侵入或進行其他惡意行為。然而,無人機干擾器是否會干擾手機信號,需要從多個方面
    的頭像 發表于 07-08 10:05 ?1206次閱讀

    無人機干擾器對網絡的影響

    對網絡的干擾。無人機干擾器是一種專門用于干擾無人機通信、導航、控制等系統的設備,其目的是阻止無人機的正常飛行和任務執行。 無人機干擾器的原理
    的頭像 發表于 07-08 10:01 ?875次閱讀

    反制無人機的技術進展:國內外先進系統與技術概覽

    隨著無人機技術的快速發展和廣泛應用,無人機帶來的潛在威脅也日益凸顯。為了應對這些威脅,反制無人機技術成為了國內外關注的焦點。本文特信無人機
    的頭像 發表于 06-27 09:07 ?715次閱讀
    反制<b class='flag-5'>無人機</b>的技術進展:<b class='flag-5'>國內外</b>先進系統與技術概覽

    無人機系統發展現狀:應對無人機入侵威脅的利器|特信電子

    隨著無人機技術的飛速發展,無人機在各個領域的應用日益廣泛。然而,無人機技術的普及也帶來了諸多安全隱患,如無人機入侵、非法偵察、惡意攻擊等。為了應對這些威脅,反
    的頭像 發表于 05-16 09:26 ?719次閱讀

    反制無人機導航誘騙系統 #無人機反制系統 #無人機 #大疆無人機

    無人機
    高子航
    發布于 :2024年05月14日 17:52:32

    無人機遭遇“神秘殺手”:揭秘反無人機技術的崛起

    隨著無人機技術的廣泛應用,其帶來的安全隱患也日益凸顯。為了應對這一挑戰,反無人機技術應運而生,成為無人機領域的“神秘殺手”。本文特信無人機反制小編將通過具體實例,探討反
    的頭像 發表于 04-25 09:12 ?651次閱讀
    <b class='flag-5'>無人機</b>遭遇“神秘殺手”:揭秘反<b class='flag-5'>無人機</b>技術的崛起

    STM32國內外發展現狀

    電子發燒友網站提供《STM32國內外發展現狀.docx》資料免費下載
    發表于 04-08 15:56 ?28次下載

    第四集 知語云智能科技無人機反制技術與應用--無人機的組成與工作原理

    GPS等導航設備獲取位置信息,實現精確定位。在復雜環境下,無人機還可以利用視覺識別、激光雷達等技術進行導航。 無線通信:無人機與地面控制站通
    發表于 03-12 11:28

    第三集 知語云智能科技無人機反制技術與應用--無人機的應用領域

    隨著科技的飛速發展,無人機技術已經滲透到我們的日常生活中,無論是航拍美景、農業噴灑、快遞配送,還是災害救援、軍事偵察,無人機的身影都越來越常見。然而,隨著無人機使用的普及,其安全問題也日益凸顯
    發表于 03-12 11:13

    第二集 知語云智能科技無人機反制技術與應用--無人機的發展歷程

    隨著科技的飛速發展,無人機技術日益成為當今社會的熱門話題。從最初的軍事偵察到如今的民用消費,無人機憑借其靈活性和高效性,在航拍、農業、物流等多個領域大放異彩。然而,無人機技術的廣泛應用也帶來
    發表于 03-12 10:56

    第一集 知語科技無人機反制技術與應用--無人機的定義與分類

    技術的崛起 隨著無人機技術的普及,無人機侵犯隱私、干擾航空安全等問題日益突出。為了應對這些挑戰,無人機反制技術應運而生。無人機反制技術主要包括無線電干擾、
    發表于 03-12 10:42

    無人機蜂群作戰概念及國內外發展現狀

    無人機蜂群是由大量可以互相通信、自動感知、自主決策的無人機組成的集群系統[1]。其具備戰場生存能力強、遂行作戰任務多樣、指揮控制迅速、作戰費效比低、智能協同度高等作戰優勢,是智能化戰爭中重要的新質作戰力量,將改變未來戰爭的面貌。
    發表于 02-28 14:28 ?2034次閱讀
    <b class='flag-5'>無人機</b>蜂群作戰概念及<b class='flag-5'>國內外</b>發展<b class='flag-5'>現狀</b>

    知語云智能科技揭秘:無人機威脅如何破解?國家安全新防線!

    隨著科技的飛速發展,無人機技術已經深入到各個領域,給我們的生活帶來了極大的便利。然而,與此同時,無人機也帶來了潛在的安全威脅。知語云智能科技作為國內領先的智能科技公司,一直致力于研究
    發表于 02-27 10:41

    無人機全景監測:空域管理的新革命

    隨著科技的飛速發展,無人機技術已成為現代空域管理領域的一股新興力量。無人機全景監測以其高效、精準的特點,正逐漸成為提升空域管理效率的關鍵。知語云智能科技在這一領域的前瞻性研究和應用,為航空安全和管理
    發表于 02-20 15:23

    \"【重磅推出】知語云智能科技:革新低空無人機反制系統,守護領空安全!

    的低空無人機反制系統。 知語云智能科技的無人機反制系統,集成了先進的雷達探測、無線電干擾、導航誘騙等多項技術。能夠在復雜的低空環境中,迅速發現、識別、定位并有效管控無人機。同時,該系統
    發表于 01-26 16:10
    主站蜘蛛池模板: 日韩AV爽爽爽久久久久久| 国产99视频精品一区| 男人舔女人的阴部黄色骚虎视频| 中文字幕人妻无码系列第三区| 久久精品亚洲AV无码三区观看| 伊人精品视频直播| 久久这里只精品热在线99| 中文字幕日本久久2019| 男女免费观看在线爽爽爽视频| 91精品一区二区综合在线| 蜜桃传媒在线播放| lesbabes性欧美| 日韩中文亚洲欧美视频二| 姑娘视频日本在线播放| 无码精品AV久久久奶水| 国产精品亚洲高清一区二区| 亚洲AV久久无码高潮喷水| 护士一级片| 中文字幕亚洲欧美日韩2o19| 美国69xxxx59| yellow在线观看免费高清的日本| 日本久久不射| 国产精品久久久久无码AV色戒 | 国产精人妻无码一区麻豆| 亚洲AV无码专区国产精品麻豆| 花蝴蝶高清影视视频在线播放| 战狼4在线观看完免费完整版| 男生扒开美女尿口戳戳| 成人亚洲视频在线观看| 午夜伦理:伦理片| 精品欧美一区二区三区四区| 4399的视频BD高清在线观看免费| 欧美日韩一区不卡在线观看| 老熟人老女人国产老太| 日本久久中文字幕精品| 国产精品亚欧美一区二区三区| 亚洲性爱城| 榴莲黄版无限刷| 俄罗斯性孕妇孕交| 亚洲精品福利在线| 理论片87福利理论电影|