經典MIT的Deep Learning for Self-driving Car課程上,邀請到了Waymo首席科學家Drago Anguelov,分享題為“Taming The Long Tail of Autonomous Driving Challenges(馴服自動駕駛的長尾挑戰)”,主要是講在現實世界中的Long Tail現象,各種異常情況該如何收集、融合、發布和測試。
知乎@黃浴總結了此課程的一些新看點:
1. 題目是“長尾”處理;2. 可以處理道路維修場景;3. 可以識別特殊車輛(警車/救護車/消防車);4. 可以預防闖紅燈的車輛;5. 可以對馬路自行車行為軌跡預測;6. 通過NAS學習模型;7. 不完全依賴機器學習,可以利用專家知識(domain knowledge);8. 不是E2E學習駕駛行為,而是Mid-2-Mid,就是最近的ChauffeurNet;9. 學習的行為預測有自適應性,比如激進的或者溫和禮貌的;10. 仿真不能解決所有問題,仿真系統需要更多的agent model,要smart。
我畢業于斯坦福大學博士學位,曾研究機器人相關領域。現在Google帶領團隊研究3D感知,以此來構建一個全新的自動駕駛感知系統。
Waymo這家公司截止上個月已經成立了十周年了(2009年成立)它起源于Google X。
2015年,我們研發的這款自動駕駛汽車進行公路路測試驗,這是世界上第一輛成功實現自動駕駛的汽車。在這個案例中,坐在車里的人是個盲人,我們認為這個項目的意義重大。所以我們不僅僅希望這臺車只是一個成功的演示案例,我們更加希望能夠實現無人駕駛。
我將給你們展示一個很酷的視頻。你們看,這臺汽車真的在自己行駛在公路上。2018年,自動駕駛商業化,這臺車學習了很多司機用戶的駕駛習慣,使它自身擁有強大的自動駕駛能力。它也成功的在公路上自主行駛(無人駕駛狀態)超過10,000,000,000公里。我們的路測實驗幾乎涵蓋了所有的不同城市的駕駛場景,收集了很多駕駛數據。
我想解釋一下為什么今天的演講的題目是“項目的長尾問題”。因為我們在自動駕駛這條路上,我們還有很多問題需要處理和解決,才能使得自動駕駛更加完善。
自動駕駛系統要求有足夠的能力,在沒有人類司機干預的情況下,安全地處理所有的突發情況。
事實上,突發的異常情況總是發生,而且這些異常情況經常是比較復雜且少見的,而自動駕駛就是要安全的解決這些突發的復雜且少見的情況。這就是我所說的“長尾巴情況”,它不同于在常見的場景中的自動駕駛,而這種復雜且少見的駕駛場景在自動駕駛領域確實非常重要。
我們來看這場景,畫面中騎自行車的人帶著一塊“停止”的標志牌。但是我們并不知道他會停在哪里,什么時候停下。
我們再來看這個場景,有東西掉在路上了,周圍的建筑也是一個問題。
現實中存在很多不同的場景和不同的問題,像這個視頻中,我們的車輛聽到了其他車輛的鳴笛聲音,那么如何處理這個鳴笛的聲音,這些都需要很好的(安全的)解決掉。
那么我們是如何解決這些問題的呢?
首先是,感知。我們利用傳感器感知周圍環境,并在屏幕上顯示(可以顯示周圍的建筑、環境等等),以此重新構建一個地圖。
感知的復雜性包括,在路上,有很多不同的物體,他們有不同的形狀、顏色、狀態。比如,有不同樣式的信號燈,路上有動物和行人,行人還會穿著不同顏色的衣服,有不同的姿勢狀態。為了清晰的觀察到這些,我們裝置了很多傳感器,來解決這個問題。
感知的復雜性還包括,很多不同的環境。比如,一天當中不同的時間段(白天/黑夜),不同的季節,不同的天氣下雨或者下雪。這些都需要識別。
感知的復雜性還包括,不同的場景配置,或者叫物體之間的關系識別。不同的搭配就有不同的物體之間的關系,比如圖片中,一個人拿著一塊巨大的板子,第二幅圖中,玻璃中有反光現象,第三幅圖中人騎著馬等等不同的場景和關系。
這種映射功能是一個非常復雜的功能,這是由物體、環境、場景配置共同決定的。
所以這需要我們在觀察周圍環境的基礎上做出預判,對周邊人和物體的下一個動作做出預判,即我們要對短時間內發生的事情做出一個預測。
那我們如何來預判呢?
預測的影響因素有過去的動作、高度的場景語義、物體屬性和出現提示。我們考慮周圍的任何事物,比如有一個自行車想要通過,那么我們需要停下或者放慢速度讓它通過,這就需要提前計劃設計,做出安全的解決方案。同時,我們也要向周圍的人和物發出信號。
學校周圍的場景,這是一個非常復雜的問題。機器學習是一個非常好的工具用以應對復雜的情況。所以我們要學習出一個系統,以此優化現實存在的各種場景問題。
傳統的學習模式:用工具構建,改造和進化難以實現。
機器學習:更像是一個工廠,我們僅僅需要把數據輸入進去,就能得到正確的模型。
關于如何創建更智能的機器學習模型的周期如圖中所示。
因為Waymo隸屬于Google,有用強大的數據中心,所以他們用TensorFlow和TPU,做出準確的標注,而且分布均勻。
數據收集:這是一個非常重要的環節,這是解決“長尾巴情況”的重要因素。數據收集是激發主動學習的重要環節,也是是機器學習周期運行良好的重要基礎。
Google AI和DeepMind都在關注自動駕駛。機器學習自動化已經部署好,幾乎所有的事情都接近自動化。
NAS cell是一種小網絡,反復用作構建神經網絡體系結構的高級構件。
首先是用NAS cell進行激光雷達分割。在這一過程中,延遲也很重要。
穩定平衡的體系結構本身也可以自動化,這是很靈捷并且很強大的。
這條藍色的線,延遲最小且分割情況最好。
解決機器學習限制問題。但是在某些情況下還是存在限制,需要我們增強魯棒性。
這幅圖片描述的問題是存在冗余和互補的傳感器和傳統的邏輯。
混合系統:這是將傳統AI和機器學習相結合的系統,這樣可以保證系統魯棒性,保證自動駕駛安全性。
隨著時間的推移,如上圖機器學習的范圍可能會擴大,甚至完全掌控。
那么我們如何進行大規模的路測呢?
因為特殊罕見的異常情況很少發生,如果使用真實情況進行路測,我們需要等待很長時間,為了解決這個問題,我們自己構建條道路。
因為我們有Google的數據支持所以這個想法是可行的,所以我們按照如下圖數據做出仿真模型。仿真出足夠多的場景供以測試。而我們為什么要做出如此多的仿真模型呢?因為有時會得出截然相反的結果,所以我們要加強系統的魯棒性,這就要求我們做出足夠多的仿真模型,確保系統的準確性。
這是一種抽樣方法。
上圖正在模擬真實世界可能會發生的事情。如果想要得到準確的數據,我們需要模仿真實的人類在不同的情形下做出的真實舉動。
如何評價這個簡單的模型呢?
正面:容易調整關鍵參數,如反應時間,制動輪廓,橫向加速。有效再現避碰場景中的基本人類行為;反面:無法處理更復雜的交互行為。
但是定義它本身是一個復雜的問題,所以我們能做什么呢?那就是從實際演示中學習代理模型。
機器學習仿真的解決辦法就是構建另一個機器學習模型。
添加排列可能會出現問題,這是一個眾所周知的問題。
我們使用了非常不同的體系結構去避免碰撞,例如RNN模型。
在一條陌生的路上開著車,需要看到更多的范圍和預判更多的特殊情況,如掉頭需要處理好。
上圖是人類行為分布,可以看到這是個正態分布,所以這就是導致了“長尾巴情況”的根本原因。即使圖像兩端的情況很少發生,我們的測試也要涵蓋進去所有的人類行為情況。
需要我們拓寬這個分布,或者仿真出更多的例子。
行為軌跡優化模型:反RL用于找到創建所需軌跡的變量。
許多不同的方法來克服“長尾”問題。
“智能”模型對于自動化是至關重要的。通過模擬更真實人類行為是非常重要的。
因為還存在很多不同的場景,每天都上演著不同的事情,所以“長尾巴情況”還將會在不同的城市,不同的環境中持續下去的。
在一些好的訓練步驟如下:對收集的數據進行培訓;能夠在不確定或不正確的情況下進行量化;能夠采取措施,比如向評分者提問;更好的是,通過因果分析直接自我更新。
總結:Waymo 專家舉出的有人帶著停車標志是一個有趣例子,而且對機器學習的一個非常基本的介紹,其中提到了AutoML模型,可以測試多達10K的不同架構。然后采用前100個架構,在更大的模型上進行測試。Waymo是一個混合系統,使用ML和混合ML(傳統的ML編程)。隨著ML能力的增長,傳統場景越來越少。視頻中也提到了waymo如何測試,結構化測試,是否有封閉的測試環境。在模擬器方面,他們認為代理能夠模擬現實世界中發生的事情。不斷擴大復雜模型,來處理長尾問題。或者利用專家領域知識,換句話說混合模型或傳統編程。以及逆強化學習,值得深入研究。
-
自動駕駛
+關注
關注
784文章
13784瀏覽量
166399 -
waymo
+關注
關注
2文章
312瀏覽量
24670
原文標題:Waymo 首席科學家在MIT自動駕駛課上開講:如何解決自動駕駛的長期挑戰
文章出處:【微信號:IV_Technology,微信公眾號:智車科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論