用籃球砸中 3 米外懸停的無人機(jī),你能做到嗎?
那些打過籃球并玩過無人機(jī)的人,會(huì)想當(dāng)然地回答,小事一樁。但在這臺(tái)無人機(jī)面前,你錯(cuò)了,因?yàn)樗鼤?huì)快速、靈活地躲避飛來的襲擊。
最近,來自瑞士蘇黎世大學(xué)(University of Zurich)的研究人員設(shè)計(jì)出一種新方法,可以讓無人機(jī)在主動(dòng)躲閃移動(dòng)障礙物的情況下快速導(dǎo)航。該研究讓無人機(jī)向著擁有更優(yōu)異的性能,比如在惡劣環(huán)境下更快速地飛行,在更短時(shí)間內(nèi)完成更多任務(wù)等邁出很大一步。
圖 | 成功躲避球的無人機(jī)(來源:Davide Scaramuzza)
當(dāng)下市面上的無人機(jī)已經(jīng)可以承擔(dān)很多工作,但是躲避障礙物并不是它們的強(qiáng)項(xiàng)——尤其是在無人機(jī)快速移動(dòng)時(shí)。盡管許多飛行機(jī)器人都配備了可以檢測障礙物的攝像頭,但通常它們都需要 20~40 毫秒的時(shí)間來處理圖像并做出反應(yīng)。這個(gè)時(shí)間看似很快,但當(dāng)無人機(jī)自身以較高的速度飛行時(shí),20~40 毫秒的反應(yīng)時(shí)間對(duì)于避開飛鳥或者另一架無人機(jī),甚至是靜態(tài)障礙物來說,都是不夠的。尤其是當(dāng)無人機(jī)在一個(gè)不可預(yù)測的環(huán)境中使用時(shí),或者有多架無人機(jī)在同一片區(qū)域飛行時(shí),這會(huì)是個(gè)棘手的問題。
蘇黎世大學(xué)的研究人員將一種類似運(yùn)動(dòng)傳感器的 “事件攝像頭” 整合在一起,并設(shè)計(jì)了新的算法,從而將無人機(jī)的反應(yīng)時(shí)間縮短到了幾毫秒。這個(gè)近乎一個(gè)數(shù)量級(jí)的提升,足以讓無人機(jī)在空中躲開短距離內(nèi)向其砸來的球或其他物品。該研究發(fā)表在了最新一期的《科學(xué) · 機(jī)器人》(Science Robotics)雜志上,由蘇黎世大學(xué)機(jī)器人技術(shù)和感知方向的教授 Davide Scaramuzza 領(lǐng)導(dǎo)。
新型攝像頭與算法結(jié)合,3.5 毫秒快速反應(yīng)
傳統(tǒng)的攝像頭,例如智能手機(jī)上的那種,都是通過定期拍攝整個(gè)場景的快照來工作,它會(huì)同時(shí)曝光圖像的所有像素。但是,通過這種方式,只能在機(jī)載計(jì)算機(jī)分析完所有像素之后才能檢測到運(yùn)動(dòng)物體。
Davide 研究團(tuán)隊(duì)的 “事件攝像頭” 則不同,其具有彼此獨(dú)立工作的智能像素。它在未檢測到外界的變化像素時(shí)會(huì)保持沉默,而一旦看到了光強(qiáng)度變化的像素就會(huì)立即發(fā)送信息。這樣一來,機(jī)載計(jì)算機(jī)只需處理圖像中的一小部分變化像素,因此大大加快了計(jì)算速度,從而縮短了反應(yīng)時(shí)間。
Davide 向 DeepTech 具體解釋道:“事件在時(shí)空域中生成一個(gè)體。我們的算法只考慮在過去 10 毫秒內(nèi)出現(xiàn)的事件。我們補(bǔ)償攝像頭看到的運(yùn)動(dòng),并分析所有事件的統(tǒng)計(jì)數(shù)據(jù)。對(duì)于每個(gè)像素,我們計(jì)算歸一化的平均時(shí)間戳,它的范圍介于 -1 和 1 之間,動(dòng)態(tài)對(duì)象的得分非常接近于 1。這使我們可以將事件的閾值分別以靜態(tài)對(duì)象和動(dòng)態(tài)對(duì)象區(qū)分開。”
圖 | 自我運(yùn)動(dòng)補(bǔ)償算法的各個(gè)階段,以便區(qū)分出屬于移動(dòng)障礙的事件(來源:Davide Scaramuzza)
除此之外,“目前的無人機(jī),其目標(biāo)檢測算法無法很好地和我們開發(fā)的新型攝像頭配合工作。”Davide 解釋說,“事件攝像頭”是一項(xiàng)最近的創(chuàng)新工作,并且功能與傳統(tǒng)攝像頭不同。我們的攝像頭不以恒定的時(shí)間間隔輸出標(biāo)準(zhǔn)圖像,而是輸出與每個(gè)像素強(qiáng)度變化相對(duì)應(yīng)的異步事件流。因此,其他研究人員必須發(fā)明自己的算法,在很短的時(shí)間內(nèi)收集攝像頭記錄的所有事件,然后減去無人機(jī)自身運(yùn)動(dòng)的影響。
據(jù) Davide 介紹,該研究使用的 “事件攝像頭”,目前世界上只有 5 家公司生產(chǎn)。“因?yàn)檫@種傳感器直到 10 年前還只是研究原型,我們使用的是 Insightness 公司的設(shè)備。” 研究中所用的無人機(jī)平臺(tái),是 Davide 實(shí)驗(yàn)室定制的四軸飛行器,跟市售的商品區(qū)別不是很大,但用于感知和導(dǎo)航的算法都是他的團(tuán)隊(duì)開發(fā)的。
在研究過程中,Davide Scaramuzza 和同事首先分別測試了攝像頭和算法。
在攝像頭被單獨(dú)靜止放置時(shí),他們將各種形狀和大小的物體扔向它,同時(shí)測量了算法檢測物體的效率。結(jié)果顯示,根據(jù)物體大小和投擲距離的不同,檢測成功率在 81%~97% 之間上下浮動(dòng)。此外,該系統(tǒng)的平均反應(yīng)時(shí)間只需 3.5 毫秒,便可檢測到飛來的物體。
隨后,最為嚴(yán)峻的考驗(yàn)開始了:他們將攝像頭安裝在真正的無人機(jī)上,讓其在室內(nèi)和室外飛行,然后直接向無人機(jī)投擲物體。經(jīng)過多次測試,無人機(jī)能夠成功避開物體的概率超過 90%,這其中包括從 3 米遠(yuǎn)的地方以 10 米 / 秒的速度扔出的球。當(dāng)測試無人機(jī)提前 “知道” 物體的大小時(shí),只需一臺(tái) “事件攝像頭” 就足夠了;而當(dāng)無人機(jī)需要面對(duì)大小不同的飛來物體時(shí),則需要使用兩個(gè)攝像頭來為其提供立體視覺。
正在接洽商業(yè)化
那么,這項(xiàng)研究能否在短期內(nèi)投入規(guī)模化應(yīng)用呢?Davide 向 DeepTech 透露:“在原則上,該技術(shù)已經(jīng)做好了商業(yè)化準(zhǔn)備,我們正在與一些公司討論細(xì)節(jié)之中。”
至于未來的研究方向,Davide 對(duì) DeepTech 說:“我們的計(jì)劃是在一個(gè)更靈活的四旋翼上測試這個(gè)系統(tǒng)。而對(duì)于更長遠(yuǎn)的目標(biāo),我們最終是想有一天能夠讓無人機(jī)達(dá)到如今飛行員操縱一般的駕駛自如。當(dāng)前,在涉及無人機(jī)的所有搜索和救援應(yīng)用中,實(shí)際上都是人為控制的。如果我們能讓無人機(jī)擁有像人類飛行員一樣可靠的導(dǎo)航能力,那么就可以將其用于超出視線范圍或無法遠(yuǎn)程控制的任務(wù)中。”
圖 | 比較傳統(tǒng)攝像頭與事件攝像頭的輸出:傳統(tǒng)攝像頭以固定的速率捕獲幀;而事件攝像頭僅以時(shí)空事件的螺旋形式,連續(xù)輸出亮度變化的信號(hào),紅色為正向變化,藍(lán)色為負(fù)向變化(來源:Davide Scaramuzza)
Davide Scaramuzza 所在的蘇黎世大學(xué)機(jī)器人與感知小組實(shí)驗(yàn)室,一直專注于開發(fā)可以讓自動(dòng)無人機(jī)快速飛行的新技術(shù),以便執(zhí)行對(duì)時(shí)間要求更為嚴(yán)格的任務(wù),例如在發(fā)生自然災(zāi)害之后對(duì)惡劣的環(huán)境進(jìn)行探索等。
“對(duì)于諸如地震、海嘯發(fā)生后的搜尋和救援工作來說,時(shí)間是非常關(guān)鍵的。因此人們需要能夠在有限的電量時(shí)間內(nèi)(通常為 10~20 分鐘)完成盡可能多任務(wù)的快速導(dǎo)航無人機(jī)。” Davide 向 DeepTech 解釋道。“當(dāng)我們的新攝像頭將無人機(jī)的導(dǎo)航速度提高十倍左右時(shí),也擴(kuò)展了其潛在的其他應(yīng)用可能。”
“未來總有一天,無人機(jī)將會(huì)被投入到各種各樣的應(yīng)用中,例如貨物交付、人員運(yùn)輸、航空攝影術(shù)等,當(dāng)然還有提到的搜救。” 他說,“但是,讓機(jī)器人能夠更快地感知并更快地做出決策,對(duì)于其他領(lǐng)域來說也可以改變游戲規(guī)則。在一些領(lǐng)域中,比如無人駕駛汽車、運(yùn)輸、采礦機(jī)器人,以及進(jìn)行遠(yuǎn)程檢查工作的設(shè)備等,可靠地檢測視野內(nèi)的障礙也是至關(guān)重要的。
安全問題,對(duì)于每個(gè)人來說都是非常重要的事情。“我們的研究向著未來無人機(jī)或者汽車更加智能化且更加安全邁出了一小步。” 他表示,他和團(tuán)隊(duì)成員對(duì)這項(xiàng)研究所展現(xiàn)的躲避功能感到十分興奮,“我們從未見過商用無人機(jī)對(duì)快速移動(dòng)的障礙做出如此迅速的反應(yīng),這是所有飛行機(jī)器人在任何環(huán)境中安全導(dǎo)航的關(guān)鍵要素。”
植根學(xué)界,兼顧創(chuàng)業(yè)
Davide Scaramuzza 于 1980 年出生于意大利,目前是蘇黎世大學(xué)信息學(xué)和神經(jīng)信息學(xué)的教授,同時(shí)他也是蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)神經(jīng)信息學(xué)教授。他從事機(jī)器人、計(jì)算機(jī)視覺和神經(jīng)科學(xué)交叉領(lǐng)域的研究。具體來說,他研究標(biāo)準(zhǔn)和神經(jīng)形態(tài)攝像頭的使用,使微型無人機(jī)在搜索和救援場景中能夠自主、靈活地導(dǎo)航。
他在蘇黎世聯(lián)邦理工學(xué)院獲得了機(jī)器人和計(jì)算機(jī)視覺博士學(xué)位,隨后在賓夕法尼亞大學(xué)(University of Pennsylvania)進(jìn)行博士后的學(xué)習(xí)和工作。從 2009 年到 2012 年,他領(lǐng)導(dǎo)了歐洲 sFly 項(xiàng)目——該項(xiàng)目引入了 PX4 自動(dòng)駕駛儀,并開創(chuàng)了基于視覺沖擊的微型無人機(jī)自主導(dǎo)航。
由于他在視覺導(dǎo)航方面的研究貢獻(xiàn),他被授予 IEEE 機(jī)器人與自動(dòng)化社會(huì)職業(yè)生涯早期獎(jiǎng),SNSF-ERC 啟動(dòng)資金,谷歌研究獎(jiǎng),庫卡、高通和英特爾等獎(jiǎng)項(xiàng),歐洲青年研究獎(jiǎng),Misha Mahowald 神經(jīng)形態(tài)工程獎(jiǎng),以及一些會(huì)議論文獎(jiǎng)等。
他與人合著了《自主移動(dòng)機(jī)器人導(dǎo)論》(Introduction to Autonomous Mobile Robots,由 MIT Press 出版),并在頂級(jí)期刊(TRO、PAMI、IJCV、IJRR)和會(huì)議(RSS、ICRA、CVPR、ICCV)上發(fā)表過 100 多篇關(guān)于機(jī)器人和感知的論文。
2015 年,Davide 與他人共同創(chuàng)立了一家名為“蘇黎世之眼”(Zurich-Eye)的公司,致力于將移動(dòng)機(jī)器人的視覺慣性導(dǎo)航解決方案商業(yè)化,該公司后來成為了 Oculus 公司(2014 年被 Facebook 收購, 5 年多時(shí)間馬克 ? 扎克伯格在虛擬現(xiàn)實(shí)領(lǐng)域投入了數(shù)十億美元)的歐洲研究中心。此外,他還是 Dacuda 公司(瑞士一家計(jì)算機(jī)視覺公司,其 3D 部門在 2017 年被 Magic Leap 公司收購)的戰(zhàn)略顧問。
編輯:hfy
-
AI
+關(guān)注
關(guān)注
87文章
32330瀏覽量
271430 -
移動(dòng)機(jī)器人
+關(guān)注
關(guān)注
2文章
775瀏覽量
33737 -
飛行器
+關(guān)注
關(guān)注
13文章
729瀏覽量
45785 -
無人機(jī)
+關(guān)注
關(guān)注
230文章
10580瀏覽量
183437 -
運(yùn)動(dòng)傳感器
+關(guān)注
關(guān)注
9文章
167瀏覽量
30870
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
快速上手RK3588:攝像頭調(diào)試

激光毀傷系統(tǒng):低空飛行器的 “隱形獵手”
基于RK3588的AI攝像頭應(yīng)用解決方案


多光譜火焰檢測攝像頭

攝像頭及紅外成像的基本工作原理


用于環(huán)視和CMS攝像頭系統(tǒng)的四通道攝像頭應(yīng)用程序

NVIDIA多攝像頭追蹤工作流的應(yīng)用架構(gòu)

監(jiān)控室離崗智能監(jiān)測攝像頭


基于FPGA的攝像頭心率檢測裝置設(shè)計(jì)
智能攝像頭抄表器是什么?

評(píng)論