無人車通常是通過融合激光雷達（Lidar），相機（Camera），毫米波雷達（Millimeter Wave Radar）等多種傳感器的數據來獲取這些信息。我們簡要地了解一下激光雷達和相機在無人車感知中的應用。

為了確保無人車對環境的理解和把握，無人駕駛系統的環境感知部分通常需要獲取周圍環境的大量信息，具體來說包括：障礙物的位置，速度以及可能的行為，可行駛的區域，交通規則等等。無人車通常是通過融合激光雷達（Lidar），相機（Camera），毫米波雷達（Millimeter Wave Radar）等多種傳感器的數據來獲取這些信息。我們簡要地了解一下激光雷達和相機在無人車感知中的應用。

激光雷達是一類使用激光進行探測和測距的設備，它能夠每秒鐘向環境發送數百萬光脈沖，它的內部是一種旋轉的結構，這使得激光雷達能夠實時的建立起周圍環境的3維地圖。

通常來說，激光雷達以10Hz左右的速度對周圍環境進行旋轉掃描，其掃描一次的結果為密集的點構成的3維圖，每個點具備（x,y,z）信息，這個圖被稱為點云圖（Point Cloud Graph），如下圖所示，是使用Velodyne VLP-32c激光雷達建立的一個點云地圖：

激光雷達因其可靠性目前仍是無人駕駛系統中最重要的傳感器，然而，在現實使用中，激光雷達并不是完美的，往往存在點云過于稀疏，甚至丟失部分點的問題，對于不規則的物體表面，使用激光雷達很難辨別其模式，在諸如大雨天氣這類情況下，激光雷達也無法使用。

為了理解點云信息，通常來說，我們對點云數據進行兩步操作：分割（Segmentation）和分類（Classification）。其中，分割是為了將點云圖中離散的點聚類成若干個整體，而分類則是區分出這些整體屬于哪一個類別（比如說行人，車輛以及障礙物）。分割算法可以被分類如下幾類：

基于邊的方法，例如梯度過濾等；

基于區域的方法，這類方法使用區域特征對鄰近點進行聚類，聚類的依據是使用一些指定的標準（如歐幾里得距離，表面法線等），這類方法通常是先在點云中選取若干種子點（seed points），然后使用指定的標準從這些種子點出發對鄰近點進行聚類；

參數方法，這類方法使用預先定義的模型去擬合點云，常見的方法包括隨機樣本一致性方法（Random Sample Consensus，RANSAC ）和霍夫變換(Hough Transform，HT)；

基于屬性的方法，首先計算每個點的屬性，然后對屬性相關聯的點進行聚類的方法；

基于圖的方法；

基于機器學習的方法；

在完成了點云的目標分割以后，分割出來的目標需要被正確的分類，在這個環節，一般使用機器學習中的分類算法，如支持向量機（Support Vector Machine，SVM）對聚類的特征進行分類，最近幾年由于深度學習的發展，業界開始使用特別設計的卷積神經網絡（Convolutional Neural Network，CNN）對三維的點云聚類進行分類。

然而，不論是提取特征-SVM的方法還是原始點云-CNN的方法，由于激光雷達點云本身解析度低的原因，對于反射點稀疏的目標（比如說行人），基于點云的分類并不可靠，所以在實踐中，我們往往融合激光雷達和相機傳感器，利用相機的高分辨率來對目標進行分類，利用Lidar的可靠性對障礙物檢測和測距，融合兩者的優點完成環境感知。

在無人駕駛系統中，我們通常使用圖像視覺來完成道路的檢測和道路上目標的檢測。道路的檢測包含對道路線的檢測（Lane Detection），可行駛區域的檢測（Drivable Area Detection）；道路上路標的檢測包含對其他車輛的檢測（Vehicle Detection），行人檢測（Pedestrian Detection），交通標志和信號的檢測（Traffic Sign Detection）等所有交通參與者的檢測和分類。

車道線的檢測涉及兩個方面：第一是識別出車道線，對于彎曲的車道線，能夠計算出其曲率，第二是確定車輛自身相對于車道線的偏移（即無人車自身在車道線的哪個位置）。一種方法是抽取一些車道的特征，包括邊緣特征（通常是求梯度，如索貝爾算子），車道線的顏色特征等，使用多項式擬合我們認為可能是車道線的像素，然后基于多項式以及當前相機在車上掛載的位置確定前方車道線的曲率和車輛相對于車道的偏離。

可行駛區域的檢測目前的一種做法是采用深度神經網絡直接對場景進行分割，即通過訓練一個逐像素分類的深度神經網絡，完成對圖像中可行駛區域的切割。

交通參與者的檢測和分類目前主要依賴于深度學習模型，常用的模型包括兩類：

以RCNN為代表的基于Region Proposal的深度學習目標檢測算法（RCNN，SPP-NET，Fast-RCNN，Faster-RCNN等）；

以YOLO為代表的基于回歸方法的深度學習目標檢測算法（YOLO，SSD等）。