智能駕駛車輛試驗平臺是人工智能科學、認知科學、控制科學等多個學科領域的最新理論與實踐的成果,也是研究智能駕駛理論與技術的基礎。不同智能駕駛試驗平臺的傳感器型號、數量、安裝位置各不相同,導致傳感器信息處理模塊也各不相同;不同駕駛地圖,其提供信息的粒度也沒有固定標準,由此構成的智能駕駛系統軟件模塊的數量、接口各不相同。
中國工程院李德毅院士科研團隊在中國工程院院刊《Engineering》撰文指出,基于以駕駛腦為核心的智能駕駛車輛軟件與硬件架構,決策模塊將不直接與傳感器信息處理模塊發生關聯,通過駕駛認知的形式化語言,將駕駛認知形式化,由駕駛腦認知形成決策。駕駛認知的形式化降低了傳感器數量、類型、安裝位置的變化對整個軟件架構的影響,使得軟件架構可以在不同傳感器配置車輛平臺上方便地移植。
一、引言
智能駕駛車輛試驗平臺是人工智能科學、認知科學、控制科學等多個學科領域的最新理論與實踐的成果,也是研究智能駕駛理論與技術的基礎。
早在20世紀50年代,美國就開展了無人駕駛車輛研究。1950年,美國貝瑞特電子公司研制出全球第一臺自主導航車。美國無人駕駛車輛研究起源于美國國防部高級研究項目計劃局(Defense Advanced Research Projects Agency,DARPA),其研究水平處于世界領先地位。歐洲各國自20世紀80年代中期開始研發無人駕駛技術,將無人駕駛車輛作為獨立個體,讓車輛混行于正常交通流。1987年慕尼黑聯邦國防軍大學、戴姆勒奔馳、寶馬、標致、捷豹等著名研發機構和汽車企業聯合參與開展普羅米修斯計劃(Programme for a European Traffic of Highest Efficiency and Unprecedented Safety,PROMETHEUS),在世界范圍內產生重大影響。自20世紀90年代開始,日本交通部門的高級駕駛輔助公路系統研究協會(Advanced Cruise-Assist Highway System Research Asso-ciation,AHSRA)發起了高級安全車輛(advanced safety vehicle,ASV)項目,以每5年為一個階段開展無人駕駛技術研究。我國無人駕駛技術的研究始于20世紀80年代后期,由國家高技術研究發展計劃(863計劃)和國防科學技術工業委員會相關研究計劃支持。自2008年起,在國家自然科學基金委員會的支持下,中國開展智能車未來挑戰賽,參賽隊伍數量逐年增長,比賽難度逐年提升,賽車隊的完成質量逐年提高,車企參與熱情逐漸加強,為無人駕駛技術引入國產汽車打下了堅實基礎,無人駕駛技術取得飛速進展。
傳感器配置是智能駕駛車輛的基礎,用來感知智能駕駛車輛實時的外部環境與內部環境,包括感知智能駕駛車輛周圍環境、自車狀態、航向角、位置等。根據不同的研究策略,不同的智能駕駛車輛試驗平臺有不同的傳感器配置,傳感器類型、安裝位置也各不相同,沒有統一標準的方案。有些研究團隊主要依賴于視覺傳感器,典型代表是意大利帕爾馬大學VisLab實驗室的智能車團隊與卡爾斯魯厄理工學院智能車輛團隊;有些研究團隊主要依賴于雷達傳感器,典型代表是Google的無人駕駛車輛團隊與慕尼黑大學無人駕駛車輛團隊。在傳感器配置方案中,既要考慮決策程序的需要,也要考慮通過必要冗余和印證提高環境感知的可靠性,同樣需要考慮傳感器配置的成本。傳感器的種類和配置,既沒有唯一解,也不會有最終解。本文通過設計了以駕駛腦為核心的無人駕駛車輛的技術架構,體現人類認知的駕駛腦的架構設計,降低傳感器數量、類型、安裝位置的變化對整個架構的影響,使得基于以駕駛腦為核心的技術架構可以在不同傳感器配置的智能駕駛車輛平臺上進行移植。
智能駕駛技術以及智能駕駛車輛研究的重要意義在于提高交通安全,預防與降低交通事故,減少燃油消耗帶來的環境污染,加速社會智能化發展。智能駕駛車輛是輪式機器人的一種,它集認知科學、人工智能科學與控制科學等前沿科學技術,其研究目標是實現人類駕駛與機器駕駛的雙駕雙控,人與機器和諧駕駛,提高車輛的行駛安全,促進車輛智能工業的發展。
本文通過對人類駕駛員的駕駛活動進行分析,構建基于駕駛腦的技術架構的智能駕駛車輛硬件平臺,主要貢獻總結如下:
(1)基于猛獅智能車輛測試平臺,對大腦認知的工作原理和人類駕駛員的駕駛活動進行了分析,建立駕駛大腦的不同功能區域和計算機軟件模塊之間的關系。通過駕駛認知語言進行駕駛認知表達,也就是說,以駕駛腦為設計核心,為智能車輛開發通用的智能駕駛軟件體系結構。
(2)智能車輛使用各種各樣的傳感器。這些傳感器安裝在不同的位置,為了信息整合建立了一個統一的架構。在本文中,智能決策模塊和傳感器之間低耦合的方法是根據自然的人類認知規律進行設計與建立,并對應于上述設計(即以駕駛腦為核心)來實現的。
本文按如下的方式進行組織,第二部分對人類駕駛活動進行分析與構建駕駛腦架構;第三部分基于猛獅智能駕駛車輛平臺建立駕駛腦架構的硬件配置與連接;第四部分介紹猛獅智能駕駛車輛傳感器配置,并進行傳感器分析;第五部分進行討論;第六部分總結全文。
二、駕駛腦與人腦功能區域對應關系
不論是人類駕駛還是無人駕駛系統,其駕駛活動均 涵蓋3個空間:感知空間、認知空間與物理空間。
在感知空間中,人通過視覺、嗅覺、觸覺等各種感官,無人駕駛車輛通過各類傳感器,完成對周邊環境和自身狀態的信號獲取。
在認知空間中,人腦中的駕駛相關區域和無人駕駛車輛的駕駛腦,通過選擇性注意機制,從感知空間各類信號中抽取出與駕駛活動相關的交通要素,形成駕駛態勢,并利用已有知識和經驗,對當前和歷史駕駛態勢進行分析和理解,做出決策。
在物理空間中,人通過四肢,無人駕駛車輛通過機械結構及電信號,控制方向盤、油門、剎車,使車輛達到或接近預期狀態,并將當前狀態反饋給感知空間,形成閉環控制(圖1)。
圖1 駕駛活動中的3個空間
人腦通過不同區域的協同工作,完成學習與記憶, 實現駕駛活動。駕駛腦利用計算機技術解構這一活動機制,分析與完成人腦各功能區域與駕駛腦功能模塊的對應關系。人腦主要包括感覺記憶、工作記憶、長期記憶、計算中樞與思維、動機、性格、情緒等功能區域。
感覺記憶完成對感官信息的瞬時存儲,盡管存儲時 間短,但信息量大。對應于智能車載傳感器對周邊環境 的感知。傳感器得到的圖像、點云等原始信號(如存儲在緩存區內),新數據迅速覆蓋舊數據,這一機制與感覺記憶的工作原理相似。
感覺記憶中的感官信息,由計算中樞與思維迅速分析,通過選擇性注意機制,抽取與當前活動相關的內容,傳遞給工作記憶。對應于各駕駛腦中傳感器的信息處理模塊,完成各類車載傳感器信息的預處理與分析,獲取車道標線、紅綠燈、交通標志、周車、行人、自車狀態與位置等與駕駛有關的信息,與駕駛無關的信息則被迅速丟棄。
長期記憶中存儲重要的駕駛經驗、知識、場景等信息。對應于智能駕駛的駕駛地圖與駕駛操作模型,駕駛地圖精確記錄了與駕駛相關的地理信息,包括車道寬度、交通標志、靜態障礙物信息等。駕駛操作模型包括軌跡跟蹤模型、跟馳模型、換道模型、超車模型等,是智能駕駛車輛的操作規范。駕駛地圖與駕駛操作模型共同構成了智能駕駛系統的先驗知識。長期記憶中與當前活動相關的內容由計算中樞與思維完成抽取,傳遞給工作記憶。這一抽取過程對應于智能駕駛車輛的駕駛地圖映射模塊。
工作記憶中暫存著與當前駕駛活動相關的重要信息。這些信息部分來自于感覺記憶中抽取得到的實時信息,部分來自于長期記憶中抽取得到的先驗知識。這些實時信息和先驗知識相互融合,為計算中樞與思維提供分析與決策的信息池。與之對應,智能駕駛系統包括一個公共數據池。數據池是駕駛認知的形式化表達,各傳感器信息處理模塊提供的多元異構實時駕駛信息,以及駕駛地圖提供的駕駛先驗信息,用駕駛態勢形式化語言進行統一表達,全面反映無人駕駛車輛周邊的駕駛態勢。
人類計算中樞與思維根據工作記憶中的信息實時進行決策,并由四肢控制執行機構做出反應。對應于智能駕駛系統的智能決策與自動控制模塊。智能決策模塊根據當前或歷史駕駛態勢,結合先驗知識,完成行為選擇、路徑與速度規劃等功能。自動控制模塊接收規劃路徑與速度,完成對油門、剎車、方向的協同控制,使車輛達到或接近預期狀態。
人腦中還有性格、情緒等功能區域。性格反映了不同駕駛員在不同時間、地點的駕駛風格,對于智能駕駛系統,駕駛風格由駕駛操作模型中的參數決定。情緒是生物的特有屬性,人類駕駛行為會受到情緒焦躁、恐懼等的影響,妨礙安全駕駛。駕駛腦的實現不包括人腦中的情緒,因此有必要確保駕駛行為的安全性和穩定性。人腦功能區域與駕駛腦功能模塊的對應關系如圖2所示。方框描述了駕駛腦的功能。
圖2 人腦功能區域與駕駛腦功能模塊的對應關系。SLAM:即時定位于映射
不同的智能駕駛試驗平臺的傳感器型號、數量、安裝位置各不相同,傳感器信息處理模塊也各不相同;不同的駕駛地圖,其提供信息的粒度也沒有固定標準。由此構成的智能駕駛系統軟件模塊的數量、接口各不相同。以駕駛腦為核心,將駕駛認知形式化,利用駕駛認知的形式化語言,設計通用的智能駕駛軟件架構。本架構中,智能決策模塊并不直接與傳感器信息發生耦合,通過傳感器信息和地圖先驗信息綜合形成的全面的駕駛態勢完成智能決策。基于駕駛腦的猛獅智能駕駛試驗平臺架構如圖3所示。
圖3 基于駕駛腦架構的猛獅智能駕駛試驗平臺。CAN:控制器域網;CT:計算機斷層掃描;GPS:全球定位系統;MMW:毫米波;OBD:車載診斷;RTK:實時動態
三、基于駕駛腦的硬件架構
(一)硬件配置
智能駕駛車輛平臺機械結構各不相同,如汽油車、電動汽車和公共汽車,機械及電氣改造也有所差異。在大量工程試驗后,智能駕駛車輛試驗平臺均可通過CAN總線進行實時通信,實時準確地控制智能駕駛車輛方向、油門及制動,經過智能駕駛車輛動力學性能測試保證了智能駕駛車輛與成品車輛動力學性能的一致性。
智能駕駛車輛根據環境感知的可靠性與傳感器配置的成本,進行車載傳感器的配置。以雷達傳感器為例,SICK激光雷達、毫米波雷達識別低矮障礙物,四線激光雷達識別動態障礙物,八線激光雷達識別道路可行駛區域,Velodyne 64線激光雷達識別動態障礙物的速度、道路邊界、車身定位。根據決策程序的需要可以部署一個Velodyne 64線激光雷達,也可以同時部署多個激光雷達的組合,但需結合無人駕駛車輛硬件平臺的成本。以視覺傳感器為例,視覺傳感器的配置方案是可以在無人駕駛車輛某一位置部署一個廣角攝像頭或全景攝像頭,通過多線程實現一個攝像頭多目標的并行檢測,如對停止線、斑馬線、車道線、紅綠燈、交通標志牌、行人、車輛、動態與靜態障礙物等進行檢測與識別;也可以在無人駕駛車輛不同位置部署多個廣角攝像頭或全景攝像頭,實現每個攝像頭完成一項專門的檢測與識別任務?;隈{駛腦的智能駕駛車輛硬件平臺已經驗證了不同類型、不同廠商的多種傳感器,并在不同的智能駕駛車輛試驗平臺進行測試,保證了信息的可靠性和冗余性。
圖4顯示了猛獅智能駕駛車輛的傳感器配置。猛獅智能駕駛車輛試驗平臺在車輛頂部安裝Ibeo的8線激光雷達,車輛正前方安裝了一個SICK單線激光雷達,用于低矮障礙物的檢測,在車輛后部安裝一個SICK單線激光雷達與一個毫米波雷達,為基于雷達的同步定位與地圖繪制(simultaneous localization and mapping,SLAM)提供豐富的數據支撐,雷達是無人駕駛車輛試驗平臺中廣泛采用的傳感器之一。此外,猛獅智能駕駛車輛試驗平臺視覺傳感器的配置主要包括在車輛內部前擋風玻璃正上方安裝了3個AVT 1394 Pike F-100C攝像頭,在左右后視鏡正下方位置各裝了一個視覺傳感器,前者主要用于感知交通標志、交通信號燈等。后者主要為了采集左、右車道線圖像,提高車道線識別與檢測的準確性。猛獅智能駕駛車輛試驗平臺的導航定位系統采用NovAtel SPAN-CPT產品,主要由全球定位系統(glob-al positioning system,GPS)和慣性導航系統(inertial navigation system,INS)兩部分組成。
圖4 猛獅智能駕駛車的傳感器配置
通過猛獅智能駕駛車輛試驗平臺的傳感器配置測試,不同的傳感器配置方案具有不同的功能,功能間相互補充。駕駛腦被認為是無人駕駛車輛軟件與硬件架構的核心。感知的結果表現為反映時序的點云圖簇,認知的結果表現為駕駛態勢圖簇,決策的結果表現為認知箭頭簇,通過駕駛認知的形式化語言駕駛態勢認知圖,將駕駛認知形式化,由駕駛腦認知形成駕駛態勢圖簇以進行決策,而決策的結果為形象化的認知箭頭簇。體現人類認知的駕駛腦的架構設計,是智能駕駛車輛的核心。駕駛認知的形式化降低了傳感器數量、類型、安裝位置的變化對整個架構的影響,使得架構可以在不同傳感器配置的車輛平臺上進行方便的移植。
(二)硬件連接
猛獅智能車輛的物理連接如圖5所示。SICK激光雷達和Ibeo激光雷達通過交換機與工控機(IPC)連接。Delphi毫米波雷達(MMW)通過CAN總線與IPC直接相連。GPS和INS通過RS232串行總線與IPC相連。AVT 1394 Pike F-100C攝像機通過1394標準視頻傳輸線與IPC 相連。IPC完成數據融合、決策和規劃、動態控制的功 能??刂浦噶钔ㄟ^CAN總線發送給油門、制動和方向盤 的執行器。
圖5 猛獅智能駕駛車的傳感器配置
(三)硬件平臺性能分析
基于駕駛腦的無人駕駛車輛架構將智能決策與傳感器信息解耦。通過傳感器信息處理模塊的輸出,由駕駛認知形式化語言進行統一,構成駕駛態勢實時信息;駕駛地圖中的信息,則根據車輛實時位置及朝向, 映射到駕駛態勢中,與駕駛態勢實時信息融合,形成全面反映當前駕駛態勢的公共數據池。智能決策模塊以這一公共數據池為基礎,綜合考慮交通規則、駕駛經驗等先驗知識,完成智能決策。通過駕駛認知的形式化語言,在駕駛信息完備的條件下,增加、減少一路或幾路傳感器,改變傳感器型號或安裝位置,不再對智能決策直接造成影響。整個架構只需做很少的改動,甚至完全不需調整,就可以在不同車輛試驗平臺上方便地遷移。
四、基于駕駛腦的實車硬件平臺
(一)猛獅智能車硬件平臺
猛獅智能車是在李德毅教授的指導下,由清華大學和陸軍軍事交通學院合作設計和開發的。圖6顯示了猛獅智能車的外觀,圖7顯示了猛獅智能車(猛獅3號)傳感器部署,由5個雷達傳感器、3個視覺傳感器和一個集成的位置/姿態傳感器組成。雷達傳感器包括兩個SICK雷達(型號為SICKLM291-S05)、一個4線激光雷達(型號為IbeoLUX4L)、一個8線激光傳感器(型號為IbeoLUX8L)和一個毫米波雷達(型號為DelphiESR)。視覺傳感器由3個攝像機(型號為AVT1394 Pike F-100C)組成,均勻地安裝在前擋風玻璃后面。位置/姿態傳感器由GPS和INS組成(型號為NovAtelSPAN-CPT)。每個傳感器的詳細描述見表1。
圖6 猛獅智能車的外觀
圖7 猛獅智能車的傳感器部署
表1 猛獅智能車的傳感器描述
中央控制器由IPC組成(包括英特爾酷睿i7-3520 M2.9 GHz處理器),軟件開發環境是Visual Studio 2013。執行器包括轉向系統、電子液壓制動系統和電子油門控制系統。在原車轉向系統的基礎上,轉向系統配備了一套獨立的電動助力轉向(EPS)系統。在原車液壓制動系統的基礎上,增加了一個電控液壓制動系統和一個獨立的電控液壓系統。該系統與原液壓管道串聯,兩個系統沒有沖突。電子油門控制系統通過對原車電子油門的直接改造來運行,以實現車輛的發動機控制。執行器工作模式、通信接口、波特率和最小執行周期如表2所示。
表2 猛獅智能車的執行器描述
(二)猛獅智能車試驗結果
上述硬件架構被應用于猛獅系列智能車,猛獅系列智能車參加了由中國國家自然科學基金委員會組織的第三屆至第七屆智能車未來挑戰賽(IVFC)。猛獅系列智能車在第三屆和第五屆比賽中獲得亞軍,并在第四屆、第六屆和第七屆比賽中獲得冠軍。
同時,2012年,基于駕駛腦硬件架構的“猛獅3號”智能駕駛車完成了從北京臺湖收費站到天津東麗收費站共114 km的高速全程無人駕駛試驗;2015年8月29日,基于駕駛腦架構的全球第一輛無人駕駛大客車完成了鄭州至開封的開放道路無人駕駛測試,順利到達終點,開啟了大客車無人駕駛的新時代。
五、討論
在長期試驗過程中,我們認識到傳感器代替不了大腦,感知代替不了認知。無論傳感器有多完善,甚至包括人的感官在內,都只是有限認知。只有代表腦認知的駕駛腦才是全局認知。駕駛腦的認知,不僅融合了感官信息,還融合了大腦中的先驗知識和駕駛經驗中的時空關聯知識。同時,智能駕駛車輛智能決策也要由駕駛腦完成,而不能簡單基于任何一路傳感器。駕駛決策也不完全基于多路傳感器形成的當前和歷史駕駛態勢,還應結合各種駕駛先驗知識。
六、結論
基于以駕駛腦為核心的智能駕駛車輛軟件與硬件架構,決策模塊將不直接與傳感器信息處理模塊發生關聯。通過駕駛認知的形式化語言,將駕駛認知形式化,由駕駛腦認知形成決策。駕駛認知的形式化降低了傳感器數量、類型、安裝位置的變化對整個軟件架構的影響,使得軟件架構可以在不同傳感器配置車輛平臺上方便地移植。
改編原文:
Deyi Li,Hongbo Gao.A Hardware Platform Framework for an Intelligent Vehicle Based on a Driving Brain[J].Engineering,2018,4(4):464-470.
作者介紹
李德毅,指揮自動化和人工智能專家,中國工程院院士、國際歐亞科學院院士。
參加了多項電子信息系統重大工程的研制和開發;最早提出控制流—數據流圖對理論和一整套用邏輯語言實現的方法;證明了關系數據庫模式和一階謂詞邏輯的對等性,提出云模型和發現狀態空間,用于不確定性知識表示和數據控制,在智能控制“三級倒立擺動平衡”實驗中取得顯著成效。
責任編輯:xj
原文標題:【峰咖】李德毅院士:基于駕駛腦的智能駕駛車輛硬件平臺架構
文章出處:【微信公眾號:機器人峰會】歡迎添加關注!文章轉載請注明出處。
-
傳感器
+關注
關注
2550文章
51046瀏覽量
753126 -
智能駕駛
+關注
關注
3文章
2507瀏覽量
48738
原文標題:【峰咖】李德毅院士:基于駕駛腦的智能駕駛車輛硬件平臺架構
文章出處:【微信號:robotop2025,微信公眾號:每日機器人峰匯】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論