1月10日，在青島舉行的2019國家智能產業峰會智能駕駛平行論壇上，孫振平研究員結合國內外機器學習相關技術在智能駕駛領域的研究現狀和課題組近年來的一些研究成果，向與會人員分享了題為《機器學習在無人駕駛中的應用現狀及面臨挑戰》的精彩報告。

國防科技大學智能科學學院無人系統研究所副所長孫振平

談到國內自動駕駛研究的起源，總繞不開一所有名的高校——國防科技大學。20世紀80年代末，國防科技大學先后研制出基于視覺的CITAVT系列智能車輛。1992年，國防科技大學成功研制出中國第一輛真正意義上的無人駕駛汽車。2011年7月，由一汽集團與國防科技大學共同研制的紅旗HQ3無人駕駛汽車完成了286km的面向高速公路的全程無人駕駛試驗，而在背后主持研究紅旗無人駕駛汽車實現高速長距離無人駕駛的，便是國防科技大學智能科學學院無人系統研究所副所長孫振平研究員。2012年，孫振平研究員作為技術負責人，組織團隊研制了我國第一臺邊防無人巡邏車。同時，他作為主要技術骨干或負責人與團隊一起參加了十余次國家自然科學基金委委主辦“中國智能車未來挑戰賽”和軍隊“跨越險阻”無人系統挑戰賽，多次獲得冠軍。

1月10日在青島舉行的2019國家智能產業峰會智能駕駛平行論壇上，孫振平研究員結合國內外機器學習相關技術在智能駕駛領域的研究現狀和課題組近年來的一些研究成果，向與會人員分享了題為《機器學習在無人駕駛中的應用現狀及面臨挑戰》的精彩報告。

孫振平研究員在報告中表達了一下觀點：

機器學習對解決無人駕駛問題很重要，但不是全部；

深度神經網絡是場景建模與理解的有力工具；

統計學習、增強學習對于解決行為決策問題會有所幫助，前提是人工建立合適的決策模型；

用機器學習方法解決動力學控制問題似乎并不簡單；

能夠實現任務、本體狀態、環境信息并行輸入的網絡結構是研究的重點；

現有計算能力仍不足以支持深度神經網絡在無人車中的大規模應用

以下是孫振平研究員在2019國家智能產業峰會的報告，智車科技在不改變原意的基礎上進行了修改：

大家好，非常榮幸能在這兒跟大家一塊聊無人駕駛，因為機器學習在無人駕駛應用方面比較熱，針對這個事情跟大家分享一點思考。

大家可能不知道，國防科大在無人駕駛方面應該說做的歷史也比較長了，這些年有一些成績也有很多不足，特別是最近幾年我們看到整個社會對無人駕駛特別追捧，我們參與其中，肯定是非常非常的高興，但是在熱的過程中，我們也得認真地去思考，是不是無人駕駛到現在已經比較好的被解決了，這個我們還是要冷靜地去思考的。我個人就針對這方面的一些情況跟大家一塊兒分享一下。主要就是目前國內外的發展情況，以及我們自己在這方面做的一些工作。

丨無人車的控制結構

說到無人駕駛，從概念上來，大家對這個事情應該都非常清楚了，無非就是給車裝上各種各樣的傳感器，讓它能夠自己理解周圍的環境，自己做規劃，自己選擇運動的路徑，直到控制自己的運動。在這個過程中，希望人不參與或者說盡可能少的參與，這么多的傳感器到底怎么組成無人駕駛的系統？這個事如果拿人來類比的話，比較容易理解。一個駕駛員開車感知周圍的環境，往往是通過我們的眼睛、耳朵等一些感覺器官。在感知的基礎上當然要做決策規劃，主要是大腦來完成的，決策規劃的結果就是怎么樣控制車，操作機構來實現對車輛的控制。

對于我們的無人駕駛系統來說，很顯然從原理上也是一樣的，我們必須去構建它的眼睛。這個主要兩大類，一類是環境感知的傳感器，二是運動感知的傳感器。其中大腦是什么？對于無人駕駛來說，當然就是運行在計算機上人工智能的程序，這個程序它綜合了傳感器信息和用戶的任務輸入，最后產生控制命令，控制命令就控制相應的一些執行機構來控制整個車的運動，這個我想從原理上來說就是這樣的。

無人駕駛的技術真正困難就是人工智能的程序。我們怎么去設計它，說到設計，實際上在人工智能應用在移動信息研究中，有一些基本的方案，大家不妨一起簡單地回顧一下。

在人工智能研究中，有幾種基本的控制結構，一是慎思形式的，什么意思？我們要去顯示做決策規劃和執行控制這樣的環節，對應的是一個一個程序模塊。當然要設計一個這樣的結構，或者設計這樣的軟件系統，需要很多人參與，需要人的智力的投入，這個很顯然我們覺得做起來非常麻煩。

另外一個比較直接的想法，當然就是所謂的反應式，我們最好能夠設計一個簡單的程序，不需要知道它內部是怎么工作的，能夠直接從傳感器到執行器的映射，這就是所謂的反應式。

當然實際在研究過程中，最后大家都發現不管是慎思式還是反應式做來做去都不能夠很好的解決問題，怎么辦？人類最大的本事就是把各式各樣的方法混在一起就是混合式，反應式大家很容易理解，如果有一個控制方向我們用一個狀態方程組就能夠很好地描述它，當我設計一個簡單的控制器就能夠實現對這樣對象的控制。對于我們說的機器人和無人車也不例外，我們能夠很好地描述清楚，就可以設計出一個簡單的控制器出來。最早在1948年的時候，當時控制論剛剛產生，就有人設計了一個移動的機器人系統。這個慎思式，實際上大家關注的最典型的可能是世界上第一個自主的機器人，就采用這種慎思式的研究。SHakey研究了一個機器人只要能夠不碰撞運動就可以了，這是1968年做出來的，這個也是我們現在智能機器人（無人車）研究真正的現代意義上的開端。

在這些研究基礎上，到了1986年的時候，MIT提出了一種所謂的包容式結構，這個包容式結構，大家仔細去分析一下就會發現，它實際上是一種混合式的結構。如果只是把行為定義為行走的話當然很簡單，我們就可以設計反應式控制來實現。隨著反應式變得越來越復雜，就很難用反應式結構去實現了。這個事情我個人在看了這么多文獻之后，大概同樣是在1980年代，美國的James他提出了所謂4D/RCS結構，已經是非常完備的或者非常好的方法或者是一個體系了，甚至他們也給出了一套工程化的方法，怎么設計一個復雜的機器人系統或者是無人車，我們自己也是基本上參照4D/RCS這樣復雜系統的控制結構來設計我們的無人車的。

這是我們的無人車采取的一種結構，下面最基本的就是底層的執行結構以及到上面的交通，對交通場景的認知、決策等等。只有知道了結構，我們反過來才能說機器學習在無人車中怎么用，我們剛才說了，對于無人車來說，它的核心就是人工智能程序，機器學習又是人工智能里面的一個重要的內容，大家當然就想著，是不是能夠把機器學習用在無人車上，讓無人車能夠變得越來越聰明，能夠越來越好的去適應環境，我們就一起來看一看機器學習在無人車上到底能怎么用。

丨機器學習的端對端控制

當然一種應用就是針對我們前面說反應式的結構，假設整個控制器我們不管它的內部結構，完全由一個神經網絡這樣的程序來解決，這個大概就是現在比較端對端的控制，什么意思？直接從傳感器到車輛的動作，這就是所謂的端對端的學習控制，端對端本身也不是新鮮的事物，在1989年的時候美國機器人研究所就用當時的三層網絡就實現了簡單的無人駕駛，因為當時的網絡它的標定能力是非常有限的，因此它能夠完成的任務也是非常簡單的。

神經網絡大家知道從80年代到90年代甚至到2000年之后很長一段時間，發展是非常非常緩慢的，目前兩種方案，一種是前饋神經網絡，一種基于遞歸神經網絡，都在做一些研究。

大家可以看到上面這個視頻，英偉達在2016年的神經網絡端對端控制，說到這里是不是用端對端學習控制這個問題就解決了，實際上大家仔細看是不可能的，前面有一個十字路口，用端對端學習控制怎么能夠實現讓車選擇不同的路線呢？這個事情在他做的這個實驗里面就不涉及到這個問題。

實際上這個問題英偉達做這個實驗還有很多問題沒有解決，從控制上來說，車要適應不同的坡路和材質，這個本身就是很復雜的，對于剛才說的端對端的學習控制，要做采集數據是非常困難的，而網絡本身結構也沒有辦法支持，退而求其次就有其他的研究，大家去看一下Deep Driving:Learning Affordance for Direct Perception in Autonomous Driving這篇文章，這個想法就跟這個端對端不太一樣，它把這個系統分為控制和感知，把控制環節還是用控制的方法去做，但是后面感知希望用神經網絡來解決，設計一個神經網絡，輸入一個圖象，輸出就是車道和車道上的線得到這樣一個抽象的模型，把這個模型再由后端輸入再去控制車輛運動，這個是他們展示的一段視頻，這個是神經網絡的輸入，這個就是網絡的輸出，后端控制的輸入，這是他們做的一個實驗。

這種端對端的方案，我感覺下面幾個問題對他來說可能是比較重要的，最大的問題相對于我們說的駕駛任務，現有的網絡結構還是太簡單了，表達能力非常有限。

首先我們可以看，從數據的意義上來說，你要完成一個駕駛任務，你拿到的數據有任務信息，有離線地理信息，有環境信息還有本體的運動狀態等等，對于這樣一些完全異質的信息，我們設計一個什么樣網絡結構才能綜合起來實現車輛的駕駛，這個本身我認為是一個比較大的問題。第二就是我們選擇困境，在不同的路網里面，你碰到十字路口的到底怎么走，可能很難解決。如果用端對端的方案可能很難解決這個問題。還有第三個比如說駕駛行為在時間上的不確定性，實際上它的復雜性是非常非常大的，也是現在很難解決的一個問題。這是我們說的端對端的學習控制。

丨慎思式結構中的機器學習

我們能不能把機器學習慎思式方案用到無人駕駛里面去，很多研究用機器學習去提取交通場景中的各種各樣的交通物體，道路環境等等，用深度神經元網絡實現場景中的各種交通物體，道路、建筑物的一個分割，把它作為下一步的決策規劃的輸入。再比如說對于我們知道現在無人車頭上都頂著一個激光雷達，也可以用深度神經原的方法進行處理獲取道路上各種各樣的物體，交通標志的信息等等。這個實際上用深度學習在做這種三維微場景分析，這也是目前用深度學習來解決環境的一個重要的研究方向。

我們說了，可以用它去解決物體的識別，場景的分析問題，當然也可以用它解決決策規劃問題。近年來，我覺得做的比較好的工作就是他們提出的ChauffeurNet，他做的工作就是設計一個非常復雜的網絡結構，要來實現異質數據的處理融合，這是他們設計的整個網絡結構，用來把各種各樣的信息能夠融合到整個駕駛過程中去，這是我們說的從決策的角度，當然也有人研究用機器學習解決控制問題。

丨國防科技大學無人駕駛團隊實踐

現在我們回到我們團隊，我們這些年在這方面也做了很多研究工作，我們用學習解決車輛控制，車輛縱向控制，甚至包括像我們把這個環境變成一個多車道的模型，實現無人車在環境里面的自主決策等等，這也是用機器學習做的。我們有兩個博士生在這一塊做的非常好，一個是基于廣義Haar濾波器的實時目標檢測，我們在考慮能夠壓縮計算資源，使得利用十分之一或者五分之一的資源來實現同樣類似的效果，這對于機器學習的應用應該說是有非常幫助的。另外我們也做了交通場景的多任務學習，什么意思？一個神經網絡能夠實現多個任務，像今天早上有院士做報告也說到這個問題，對于人工智能是一個困難，我們也在做這方面的嘗試，這是我們自己做的實際的情況，包括物體的分割，行為場景的分割等等。

另外我們在記憶式網絡，在目標檢測方面的應用也做了很多工作。什么意思呢？大家有沒有注意到，所謂的深度神經網絡往往需要人工去標注大量的樣本，這很顯然是很復雜的工作，我們做的探索是怎么能夠實現目標檢測，實現機器學習。這個如果大家感興趣可以下去關注一下我們做的工作，應該說是比較好的，當然它的基本原理就是我們首先在靜態的情況下拍一些視頻。我是在靜態的環境、背景下去檢測動態的目標，通過這個辦法不斷地收集大量的樣本，然后再把學習好的檢測器用在一個動態的載體上，這是我們已經做的一些工作。

最后我說一下自己對這個事的一點理解：第一說我們機器學習對于解決無人駕駛的問題是非常非常重要的，但是它不是全部，它只能解決其中一部分問題。第二深度神經網絡它場景建模與理解的有力工具。第三統計學習、增強學習對于解決行為決策問題會有所幫助，但是目前看來前提是必須要由人工建立一個合適的決策模型的基礎上用學習的方法來實現決策的前件的學習。第四是用積極學習的方法解決動力學控制問題，這個問題按說傳統方法已經解決比較好了，但是對于機器學習來說，好象沒有那么簡單，反而是比較復雜的問題。第五能夠實現任務、本體狀態、環境信息并行輸入的網絡結構應該是未來把機器學習用在無人駕駛上的一個研究重點。第六現有的計算能力仍不足以支持神經網絡在無人車中的大規模應用。