從當下各大汽車OEM在新車上采用的自動/輔助駕駛方案來看，不少用到了英偉達、Mobileye或是地平線的高性能芯片，也有用到Lumina、Velodyne或覽沃的激光雷達。但歸根結底這些都是機器視覺加上先進傳感器的方案，而特斯拉卻一直堅持采用攝像頭的純視覺方案，成了諸多車廠中的一個“異類”。

在上月舉辦的機器視覺和模式識別國際會議（CVPR 2021）上，特斯拉AI主管Andrej Karpathy解釋了為何特斯拉用不到激光雷達。Andrej Karpathy畢業于斯坦福大學，也是AI大神李飛飛的得意門生之一，他在畢業后成了OpenAI的一位研究員，隨后被埃隆·馬斯克親自挖去特斯拉做AI主管。

低成本、易維護且方便更新的純視覺系統

深度神經網絡是自動駕駛技術的主要技術之一，通過處理車載攝像頭傳輸的數據來分析道路、標志、汽車、障礙和行人。但深度學習在圖像中檢測物體往往會出現失誤，因此多數自動駕駛公司，比如Waymo等，都采用激光雷達來繪制車身周圍的3D地圖，補全神經網絡缺失的信息。

然而Andrej提到，激光雷達在自動駕駛上也有自己的難處，你必須用高成本的激光雷達預繪制環境，然后創建高分辨率地圖，將街道和交通燈聯系在一起，最后只能局限于這些地圖來駕駛。不過，繪制每個地點的精確地圖是相當困難的，并不是路測車輛收集構建好這些高分辨率地圖就完事了，還需要長期的維持工作，很難保證這些基礎設備和數據的更新工作。

特斯拉并沒有采用激光雷達和高分辨率地圖結合的方案，Andrej稱“對特斯拉來說，一切都是初次發生的，單單靠車身上的八個攝像頭”。經過幾年的迭代，特斯拉的自動駕駛工作絕大多數都是由攝像頭實現，以至于車身上其他的傳感器開始“吃灰”。為此，特斯拉也在今年5月宣布，即日起北美制造的Model 3和Model Y也不再配備毫米波雷達，全面過渡到以攝像頭為主，輔以超聲波雷達的特斯拉視覺系統。

自動標注生成的數據集和高效的神經網絡

在許多激光雷達和攝像頭的參數性能比較中，測距往往都是攝像頭的弱項。然而，人類本身也是用“眼鏡”這一純視覺方案來進行距離和速度判斷的，那么人工神經網絡能否做到這一點呢？Andrej稱在過去幾個月的研究工作中發現，這個問題的答案是肯定的。

特斯拉的工作室為了創建這樣一個可以精確檢測物體距離、速度和加速度的深度學習系統，將這一挑戰視為監督式學習的問題。監督式學習是機器學習中常用的一個方法，此處則被用于在標注數據訓練后，讓神經網絡學習如何檢測物體和它們的附加屬性。

而打造這樣一個系統，需要的是大量的視頻數據、清晰精確的標準數據和諸多極端情況組成的數據集。

特斯拉與其他具備數據采集能力的汽車品牌相比有著一個獨到的優勢，那就是數量。有了百萬輛配備攝像頭的汽車，特斯拉根本不愁數據量。

在雨雪等條件下依然能夠正常運轉的自動標注 / 特斯拉

那么這種標注是如何進行的呢？一種可行方案是依靠數據標注公司進行手工標注，但這樣做的話不僅耗時耗力，成本也不低。特斯拉的自動標注技術結合了神經網絡、雷達數據和人類審查。由于這一數據集是離線標注的，所以神經網絡可以來回播放視頻，將預測與事實進行比對，從而調整其參數，恰恰與實時運行的測試時推理相反。

這種離線標注還有一個好處，那就是特斯拉工程師得以實現無法部署在車上的密集運算型物體檢測網絡，將其用于低延遲的實時應用中去。而雷達的數據只是用于進一步驗證神經網絡的推理，這個過程還可以讓人工介入，進行一些判斷上的編輯、驗證和調整工作。

為了實現更好的速度和加速度判斷，在打造這一數據集的過程中，特斯拉團隊花了4個月時間開發了221個觸發器來指出物體檢測系統上還需哪些調整，比如雷達與視覺對比不符、物體邊框抖動、純靠主攝像頭進行的檢測等等。這些觸發器部署在消費車輛中，進行了7輪靜默模式的運轉，這些觸發器并不會對車輛下達任何指令，而輸出的數據會和雷達數據和駕駛員本身行為進行比較。

最后生成的數據集中，特斯拉自動駕駛團隊已經收集了1.5PB的數據，由100萬個10秒視頻和60億物體標注組成。

特斯拉自動駕駛神經網絡架構 / 特斯拉

為了充分利用這一數據集，特斯拉自動駕駛團隊打造了一個高效的循環神經網絡。數據經過多層次的網絡結構，從而輸出多個參數。這種架構為分布式分工創造了條件，當前特斯拉有一個由20人左右組成的團隊，他們正在全力訓練這一神經網絡，負責各自的模塊。

用來訓練深度學習模型的超級計算機

為了處理如此龐大的工作量自然也需要強大的機器，特斯拉當前有三臺用于自動駕駛開發的超算集群。其中最新的一臺包含720個節點，每個節點都由8張英偉達A100 80GB加速卡組成，等于一臺機器就內置了5760個GPU。該機器的算力達到了驚人的1.8 EFLOPS，配備了10PB的頂級NVME存儲，速率達到1.6 TBps。

內部超級計算機 / 特斯拉

除此之外，為了保障自動駕駛的流暢運行，其自研的FSD自動駕駛芯片也有著強悍的性能。特斯拉的優勢在于其垂直集成的開發，這意味著不論是其CPU、GPU還是NPU，都能最大限度地利用這一神經網絡驅動的視覺方案。

FSD自動駕駛芯片 / 特斯拉

小結

目前特斯拉的FSD自動駕駛系統已經進入了測試階段，已經有2000余名的車主在使用這一技術。特斯拉也在繼續開發這一系統，加入更多的駕駛功能。

NHTSA對4月27日前后生產的Model Y評級 / NHTSA

不過，特斯拉拋棄毫米波雷達的做法也引來的一些是非，美國國家公路交通安全管理局（NHTSA）表示，取消毫米波雷達的Model 3和Model Y將失去具備部分先進安全功能的標簽。尚不清楚這未來經過測試調研后，幾款車型會不會重新獲得這些認證，不過可以肯定的是，特斯拉已經打算在攝像頭為主的純視覺方案上堅定不移地走下去了。