在MIT - AVT研究中，最先進的嵌入式系統(tǒng)編程、軟件工程、數(shù)據(jù)處理、分布式計算、計算機視覺和深度學(xué)習(xí)技術(shù)被應(yīng)用于大規(guī)模自然駕駛數(shù)據(jù)的收集和分析，旨在為深入了解快速變化的交通系統(tǒng)中人類和自動駕駛車輛是如何進行相互作用的，從而開辟新的領(lǐng)域。這項研究提出了MIT-AVT研究背后的方法論，旨在定義和啟發(fā)下一代自動駕駛研究。本篇介紹硬件部分。

上文介紹了了MIT自動駕駛汽車技術(shù)研究做了一個整體的簡單介紹。

麻省理工學(xué)院自動駕駛車輛技術(shù)( MIT - AVT )的研究有：

( 1 )進行大規(guī)模的現(xiàn)實世界駕駛數(shù)據(jù)的收集，包括高清視頻，以推動基于深度學(xué)習(xí)的內(nèi)外感知系統(tǒng)；

( 2 )通過將視頻數(shù)據(jù)與車輛狀態(tài)數(shù)據(jù)、駕駛員特征、心理模型和自我報告的技術(shù)體驗相結(jié)合，全面了解人類如何與車輛自動化技術(shù)進行互動；

( 3 )確定如何以挽救生命的方式改進與自動化使用有關(guān)的技術(shù)和其他因素。

為了實現(xiàn)這些目標(biāo)，MIT為21輛特斯拉Model S和Model X、2輛沃爾沃S90型車輛和2輛攬勝Evoque車輛配備了儀器，用于長期（每位駕駛員一年以上）和中期（每位駕駛員一個月）自然駕駛數(shù)據(jù)收集。

圖:整個MIT- AVT研究和研究中各個車輛的數(shù)據(jù)集統(tǒng)計

( a )在MIT - AVT研究的頭14個月里，車輛每天行駛里程的可視化。這種可視化沒有顯示最近幾個月，因為每輛車內(nèi)的高容量存儲支持數(shù)據(jù)卸載之間的擴展記錄以及隨后通過管道處理數(shù)據(jù)的額外時間。淺綠色-黃色標(biāo)志著研究的早期，每天收集的里程不到200英里。深藍色標(biāo)志著研究的現(xiàn)狀，在這種情況下，超過1000英里的行駛里程通常被收集，平均(每月)日里程超過500英里。

( b )作為研究的一部分，裝有儀器的車輛行駛的累積距離。該圖顯示了頭450天內(nèi)行駛的英里數(shù)。然而，這項研究仍在繼續(xù)，每天都在收集數(shù)百英里的數(shù)據(jù)。

圖：作為MIT -AVT研究一部分的車輛每天行駛里程的統(tǒng)計數(shù)據(jù)(a)(b)

此外，MIT不斷開發(fā)新的方法來分析從儀表化車隊收集的大規(guī)模數(shù)據(jù)集。記錄的數(shù)據(jù)流包括IMU、GPS、CAN消息和駕駛員面部的高清視頻流、駕駛室、前方道路和組合儀表（在特定車輛上）。這項研究正在進行中，而且還在增長。迄今為止，我們有78名參與者，7146天的參與，275589英里，35億個視頻幀。全論文介紹了這項研究的設(shè)計、數(shù)據(jù)收集硬件、數(shù)據(jù)處理以及目前用于從數(shù)據(jù)中提取可操作知識的計算機視覺算法。

本文繼續(xù)聊聊本研究的硬件部分。

硬件：數(shù)據(jù)記錄和實時處理

成功的自然駕駛研究的核心是執(zhí)行數(shù)據(jù)收集的硬件和底層軟件。在MIT-AVT研究中，該角色由名為RIDER（實時智能駕駛環(huán)境記錄系統(tǒng)）的系統(tǒng)來擔(dān)任。RIDER被不斷地設(shè)計并持續(xù)開發(fā)，以滿足以下目標(biāo)和要求：

1 )時間戳異步傳感器記錄：以一種方式記錄所有傳感器和數(shù)據(jù)流，即每個數(shù)據(jù)樣本（無論其頻率或數(shù)據(jù)源）都使用一個集中、可靠的時間保持器時間戳。換句話說，數(shù)據(jù)必須以允許后處理[ 63]中多個數(shù)據(jù)流的完美同步的方式進行時間標(biāo)記。

2 )高清視頻：以720P( 210萬像素）的分辨率拍攝并錄制3至6臺相機數(shù)據(jù)。相機位置、分辨率和壓縮的選擇是整個研究中最重要的設(shè)計決策之一。

3 ) CAN總線：從車輛的控制器局域網(wǎng)（CAN）總線收集車輛遙測數(shù)據(jù)[64]。每輛車都有不同的端口和總線使用策略，幾乎沒有關(guān)于消息ID和消息內(nèi)容的映射的公開信息。必須記錄原始CAN消息，使得基本信息包含在那些消息中，即使在收集這些消息時無法解碼。

4 )遠程蜂窩連接：通過蜂窩連接進行低帶寬、不頻繁的系統(tǒng)狀態(tài)通信，以便檢測RIDER系統(tǒng)何時發(fā)生故障。

5 )獨立優(yōu)雅的外觀：從車內(nèi)或車外可見的系統(tǒng)部件應(yīng)具有小的外形尺寸，并具有不會減損車輛整體外觀或影響整體駕駛體驗的視覺設(shè)計特征。

6 )攝像機安裝牢固但可拆卸：安裝必須一致、可靠且可拆卸，專門針對每輛車的內(nèi)部物理特性設(shè)計。

RIDER組件包括一個實時時鐘、GPS、IMU，以及具有能夠以720p分辨率記錄多達6臺攝像機的能力，可遠程蜂窩連接。開發(fā)的系統(tǒng)采用通用組件，根據(jù)其需求定制，實現(xiàn)超低成本、準(zhǔn)確、可擴展和穩(wěn)健的數(shù)據(jù)記錄平臺。

圖：Knights of CANelot,，可以控制電源板。顯示填充的CAN控制器、收發(fā)器和功率調(diào)節(jié)的功率板中間組件。還顯示了電源繼電器、微控制器、振蕩器和連接器的未填充位置。

為了保證電子設(shè)備和存儲的數(shù)據(jù)安全，RIDER被放置在后備箱內(nèi)，遠離元件和乘客可能造成的干擾。。電源和CAN數(shù)據(jù)電纜從OBD - II或診斷端口延伸到干線再到RIDER。用于攝像機的USB數(shù)據(jù)線也從每個攝像機位置延伸到主干線。

A.電源管理系統(tǒng)

RIDER的動力系統(tǒng)具有許多限制：它需要靈活地轉(zhuǎn)移到不同的車輛中，并且在不使用時消耗最小的功率，以免耗盡主車輛電池。電源系統(tǒng)由主智能CAN監(jiān)控部分和降壓轉(zhuǎn)換器組成。當(dāng)啟動和記錄數(shù)據(jù)時，RIDER的功率小于8瓦。待機時，RIDER的靜態(tài)電流消耗小于1/10瓦特。

Knights of CANelot是一個CAN控制的電源板，包含一個微型芯片MCP 2515 CAN控制器和MCP 2551 CAN收發(fā)器，以及一個Atmega 328p微控制器來監(jiān)控CAN總線流量。默認情況下，當(dāng)給這個微控制器供電時，它會自動進入休眠狀態(tài)，不允許通過開關(guān)繼電器進入系統(tǒng)。。

當(dāng)CAN控制器檢測到指示車輛CAN總線激活的特定預(yù)定義CAN消息時，CAN控制器從睡眠中喚醒微控制器并觸發(fā)繼電器給主降壓轉(zhuǎn)換器供電，從而向微控制器發(fā)送中斷。這開始了系統(tǒng)其余部分的引導(dǎo)順序。當(dāng)車輛關(guān)閉，車內(nèi)的CAN總線進入睡眠狀態(tài)時，通過Knights of CANelot微控制器發(fā)送信號，優(yōu)雅地停止所有視頻和數(shù)據(jù)記錄，關(guān)閉計算機系統(tǒng)，斷開主電源，然后再次進入睡眠模式。

圖：完全組裝好的Knights of CANelot板，顯示了組裝好的微控制器、電源繼電器、CAN和電源連接。

B.計算平臺和傳感器

本應(yīng)用選擇單板計算機，因為它具有多種I / O選項，外形小巧，易于開發(fā)。我們選擇使用具有以下傳感器和規(guī)格的Banana Pi Pro：

1 GHz ARM Cortex - A7處理器，1GB內(nèi)存

用于IMU/GPS/CAN的可擴展GPIO端口

本機機載SATA

專業(yè)制造的傳感器集成子板

ARM處理器具有板載CAN控制器，用于車輛遙測數(shù)據(jù)采集

maxim集成DS3231實時時鐘，實現(xiàn)精確計時/時間戳+ / - 2ppm精度

德州儀器SN65HVD230 CAN收發(fā)器

9自由度慣性測量單元（STMicro L3GD20H（陀螺儀），LSM303D（加速度計/指南針））

全球頂級MTK 3339GPS裝置，6通道，DGPS能力精確到5米以內(nèi)

華為E397Bu-501 4G LTE USB模塊

USB 3.0 4端口集線器，供電

1TB / 2TB固態(tài)硬盤

圖 :由3D打印外殼封裝的River的最終原型版本。。從上到下，順時針方向，連接到機箱頂部的是1tb固態(tài)硬盤形式的外部存儲，USB攝像頭通過中心顯示的USB集線器連接，USB集線器右側(cè)的BananaPi被黑色傳感器覆蓋，帶有CAN收發(fā)器、GPS、IMU和實時時鐘。底部中央，降壓轉(zhuǎn)換器，用于將車輛電池電壓從12 - 13.8伏降低對于所有計算機系統(tǒng)來說都是5伏特。左下角，Knights of CANelot CAN可以控制電力局。

C.相機

三四個Logitech C920網(wǎng)絡(luò)攝像頭以1280 x720的分辨率在車內(nèi)以每秒30幀的速度記錄。其中兩個相機已經(jīng)被修改為接受標(biāo)準(zhǔn)CS型鏡頭支架，以適應(yīng)汽車內(nèi)的面部或身體姿態(tài)。第三個攝像頭是標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭，安裝在擋風(fēng)玻璃上，用于向前看道路。偶爾會在組合儀表中放置第四個攝像頭來捕捉CANbus上不可用的信息。這些相機還包含用于音頻捕捉和錄制的麥克風(fēng)。定制支架是專為車輛內(nèi)的特殊放置而設(shè)計的。

像我們的Banana Pi這樣的大多數(shù)單板計算機缺乏編碼和壓縮多個原始高清視頻流所需的計算能力。Logitech C920相機提供了從計算平臺卸載壓縮的能力，并且可直接在相機上進行。此配置允許在單個RIDER安裝中最多可連接6個攝像機。

D.持續(xù)的硬件開發(fā)和創(chuàng)新

RIDER是一個強大而成熟的儀器平臺，具有足夠的數(shù)據(jù)收集能力，可用于自然駕駛研究。在研究、開發(fā)和測試過程中，我們遇到了系統(tǒng)的一些局限性。雖然對于大多數(shù)收集過程來說，一臺單板計算機就足夠了，但是在擴展系統(tǒng)時，最小系統(tǒng)內(nèi)存的限制可能會產(chǎn)生問題。類似地，雙核ARM處理器在與傳感器接口并將數(shù)據(jù)寫入文件時非常有能力，但是如果機載需要對數(shù)據(jù)進行任何預(yù)處理，性能可能會波動。從我們的工作中，我們對其中一些常見問題提出了以下改進建議。

整個RIDER系統(tǒng)最大的改進是升級單板計算平臺。使用Nvidia Jetson TX2將為I / O和處理提供更多的可擴展性。有了更大的處理能力和GPU帶寬，實時系統(tǒng)可以同時使用視頻和傳感器數(shù)據(jù)實現(xiàn)用于檢測和驅(qū)動預(yù)警系統(tǒng)，數(shù)據(jù)的內(nèi)部注釋等等。借助更大的I / O能力，可以實現(xiàn)具有更高數(shù)據(jù)帶寬的升級傳感器包。與Banana Pi Pro非常相似的是，Jetson TX2沒有一個，而是兩個完全支持的CAN控制器，可與車輛上的輔助CANbus系統(tǒng)連接。Jetson TX2不僅可以擴展SATA，還可以擴展PCIe和mSATA，從而實現(xiàn)第三方模塊的更大擴展。。通過CPU和GPU的增強處理，8倍板載RAM，使得實時駕駛員監(jiān)控系統(tǒng)的預(yù)處理和集成成為可能。Jetson還有一個主要優(yōu)點，就是它支持在多種配置中用于車輛應(yīng)用程序。。以下是Jetson TX2相對于Banana Pi的規(guī)格增加的改進。

1 ) Jetson TX2 -功能：

四核ARM Cortex- A57 @ 2GHz +雙核NVIDIA Denver 2 @ 2GHz + NVIDIA Pascal GPU，帶8GB內(nèi)存

工業(yè)相機;GigE vision, USB3 vision

激光雷達

機載視頻編碼

實時的

802.11a / b / g / n / ac WiFi

藍牙4.1

USB3

10/100/1000 BASE-T以太網(wǎng)

12車道MIPI CSI 2.0，每車道2.5 Gb /秒

PCIe gen 2.0

mSATA

sd卡

2x CAN總線接口

與Jetson TX2非常相似，Nvidia的Drive PX2是專為汽車環(huán)境設(shè)計的，用于運行半自動和完全自動駕駛車輛。它裝備精良，可以完成簡單的任務(wù)，如數(shù)據(jù)記錄，甚至高級的情況下，需要連接許多攝像頭，高帶寬傳感器和控制車輛的縱向和橫向運動的能力。盡管Drive PX2將被用于只收集數(shù)據(jù)的方案中，但它是一個很好的平臺，可以開始開發(fā)最終集成到汽車中作為生產(chǎn)系統(tǒng)的系統(tǒng)。以下是一些Drive PX2計算和傳感器功能。

2）Drive PX2-功能:

2x四核ARM Cortex-A57 @ 2GHz + 2x雙核NVIDIA Denver 2 @ 2GHz，帶8GB LPDDR4 RAM + 2x集成Pascal + 2x專用Pascal MXM模塊，帶4GB GDDR5 VRAM

兩臺計算機，通過以太網(wǎng)連接

8 TFLOPS，24 DL頂部(使用int8 )

6x總線接口

4x LINbus接口

2x FlexRay網(wǎng)絡(luò)接口

利用實時系統(tǒng)控制汽車的能力

12x GSML照相機(工業(yè)照相機)

2x 1gb + 1x 10gb (以太網(wǎng))

USB3

根據(jù)上面列出的硬件和系統(tǒng)要求，專門為RIDER開發(fā)了一個定制的Linux內(nèi)核。文件系統(tǒng)存儲在Banana Pi上的可更換微型SD卡上。