隨著越來越多的自動駕駛汽車難題出現，挑戰的難度越來越大。

　　汽車工業正在將傳感器融合作為應對日益增加的自動駕駛汽車所需的復雜性和可靠性的最佳選擇，為汽車內部如何管理和利用來自多個設備的數據的另一轉變奠定了基礎。

　　事實證明，向更大的自治邁進比起初所期望的要復雜得多。不僅要求在長壽命內具有零磁場故障的高可靠性，這些車輛還必須在所有天氣和駕駛條件下都安全，有保障并充分了解其周圍環境，且他們需要以可承受的成本進行此操作。

　　因此，將傳感器融合作為前進的方向成為了人們關注的焦點，它將多種多樣且互補的傳感方式融合在一起。

　　Synopsys的首席研發工程師PietervanderWolf說：“如果更仔細地研究ADAS以及它如何適合汽車，我們會發現許多子系統用于許多不同的功能。像雷達，激光雷達和攝像頭這樣的不同技術都在單個汽車上使用，例如，用于巡航控制的遠程雷達，檢測其他交通的短程雷達以及所有雷達和基于攝像頭的子系統各種其他功能。由于汽車中有很多子系統，因此降低組件成本非常重要。”

　　圖1：傳感器融合。

　　每種傳感器模式都基于不同的物理原理，不同的目標和不同的模式。它們都有不同的目的。其中一些重疊，但是它們都需要分別運行以及一起運行。

　　安森美半導體全球汽車戰略和業務發展副總裁約瑟夫·諾塔羅說：“雷達用于在相當遠的距離上檢測，定位和跟蹤物體。激光雷達使用光來測量范圍（可變距離），以生成其周圍區域的3D圖像。視覺傳感器捕獲穿過鏡頭的光子以生成“圖像”，該圖像不僅可以幫助檢測，而且可以識別物體，交通標志和行人。實時操作對于AV/ADAS系統至關重要，因此主要挑戰之一是每個傳感器捕獲的數據的“同步”以提取準確和相關的信息。每個傳感器用來捕獲信息的技術是不同的，因此必須深入了解每種模式的工作方式，以有效地“融合”這些多樣化的數據集。”

　　汽車行業在定義電氣/電子（E/E）體系結構方面發生了重大變化。最初的想法是將超級計算機放在汽車中間，側面裝有啞傳感器。出于多種原因，事實證明這是不現實的。

　　Cadence汽車解決方案總監RobertSchweiger表示：“在這種模型中，我們將轉移所有數據并在一個地方處理數據。”？人們很快意識到傳感器還不在那里，汽車內的接口，網絡連接并沒有為原始傳感器數據傳輸提供所需的帶寬。但是傳感器融合的最大挑戰是每個人都在做專有的解決方案。這就是為什么我們在生產中甚至還沒有達到3級自治的原因。每個人都在尋求不同的解決方案。”

　　一、邁向對象融合

　　汽車架構的變化無處不在。

　　“一段時間以來，原始傳感器融合是個大問題。”西門子業務Mentor的自主和ADASSoC高級總監DavidFritz說。“我如何將所有這些原始數據引入并集中處理，以便我可以進行比較和對比并進行這種處理？行業的發展方式，我跟索尼談不重要，跟OEM或一級或二級廠商談也不重要。他們的方向都是一致的。在過去的一兩年里，有一些突破性的進展，使得一種全新的方法，這在工程上更有意義。

　　直到最近，人們的想法是，所有的東西都是計算復雜的，所有的東西都需要AI，這需要消耗大量的電力。

　　”當時的想法是有大量的訓練，所以用一堆NvidiaGPU或NPU或類似的東西來集中進行訓練是有意義的，“Fritz說。”現在發生的情況是，從那些高性能、高功率、高成本的解決方案轉向基于Arm的東西，這種東西非常小，非常低的功率，非常具有成本效益，從這些通用的AI推理引擎，轉向可以自動生成和定制的東西。現在只要花1.5美元，就可以把所有的功率放在傳感器那里。“

　　有兩個原因說明這一點極為重要。

　　”首先，你有機會訓練這些AI算法來處理該傳感器特有的情況，例如，一個傳感器可能會以不同于另一個傳感器的方式處理霧氣，所以一個可以處理所有可能性的中央計算機是沒有意義的。同樣，你必須考慮到隨著時間的推移，傳感器可能會退化的事實。例如，對于不同的相機傳感器，這一點可以做得非常不同，你可以訓練你的算法來適應這一點。在傳感器層面有很多事情，你要在傳感器層面進行處理。“Fritz解釋說。

　　”第二，與其在汽車上通過一個大而重的網絡發送這些TB的原始數據，因為汽車對振動和其他東西很敏感，為什么我們不直接發送一個32字節的小數據包。這是不是比我們稱之為對象的中央計算過程有意義多了？這就變成了對象融合，而不是原始的傳感器融合。“

　　不過，一些OEM廠商認為所有的AI算法都需要來自他們。一些傳感器供應商認為他們需要在傳感器中投入更多的處理能力。

　　”在以太網方面，現在我們已經有了1Gbps的生產速度，但它可能仍然不夠快，無法連接高端雷達傳感器，“Schweiger說。”所以我們需要到2.5到5，甚至10Gbps.同時，還有新發布的MIPIA-PHY規范版本，它提供了16Gbps的第一個化身。現在有很多不同的事情在發生，人們需要弄清楚如何利用這些東西，以及到什么時候可以使用。“

　　另一個趨勢是向非常先進的工藝技術發展，因為坐在中央計算單元中的SoC的復雜性是巨大的。”我們看到在硅面積方面的巨大芯片。在處理能力方面，我們看到了巨大的芯片。我們看到在這些芯片上有各種你能想象到的接口。而且我們看到客戶正在向7納米、5納米發展。“Schweiger說。

　　二、傳感器融合問題

　　傳感器融合中的一個大問題是競爭性的軟件架構。這包括從autosar自適應到Autoware等開源軟件，特斯拉、Waymo和戴姆勒的專有解決方案；以及Nvidia、英特爾的商業平臺。這還只是在架構方面。

　　此外，還有來自Nvidia、英特爾、偉世通和Aptiv等公司的競爭性硬件平臺。這些公司都在打造自己的硬件平臺，所以目前沒有標準。這些公司都在創建一個平臺，并試圖贏得客戶。Nvidia被認為是領先的，因為它在市場上已經有一段時間了，隨著CUDA軟件環境的發展，它的平臺也在不斷發展。但是，雖然它被認為是一個很好的原型系統，但對于生產來說，它可能過于昂貴。對于戴姆勒來說，它承諾明年的S級車將在量產中實現3級自動駕駛，自動駕駛平臺的成本可以在一輛昂貴的豪華車上攤銷。但對于價格較為適中的車輛來說，情況就不一樣了。

　　再加上專有的人工智能芯片、硬件加速器和接口標準，以及高功耗和傳感器的魯棒性，這些挑戰，自動汽車系統開發開始顯得更加艱巨。

　　1、數據問題

　　雷達和激光雷達數字信號處理芯片的另一個關鍵要素是互連，它在芯片內不同處理元件之間來回傳送數據。在這里，目前也沒有標準，盡管需要標準。

　　“你可以說這是狂野的西部，但你也可以說有大量的創新在發生，”ArterisIP的營銷副總裁KurtShuler說。”無論是在傳感器芯片上，還是在ADAS大腦芯片上，都是如此。最終，你希望能夠用符號術語來解釋事情，并有一個中間層，一旦你得到這些數據，數據在傳輸的過程中是用某種語言，雙方都能理解，即使他們來自兩個不同的公司。我不知道的是，要把一些東西從更多的原始數據格式轉換成有用的東西，需要多少處理。最終，必須要有一個數據格式。“

　　目前，數據的首要問題是數量，以及數據從更多來源產生的事實。“我們預計未來會發生的是，數據會以更快的速度，更高的分辨率出現，”Rambus公司的研究員和杰出發明家StevenWoo說。“我們還處于早期，有一些傳感器具有今天的分辨率。但很多人都在說，如果他們需要做出更好的決策，就需要更精細的分辨率的攝像頭，以及激光雷達和類似的東西。而我們需要更快地獲得這些數據。”

　　此外，為了做出好的決策，需要對數據進行分析，有一個時間窗口。“在一個簡單的例子中，可能有一個攝像頭的視頻，只是看了看車前的東西。”Woo說。“有可能事情是在其他物體的后面，被包括在一小部分秒的時間里。所以擁有更大的數據窗口有助于確定這些東西。所以問題其實是我們需要保留多少數據才能做出一個好的決定。而為了做出一個好的決定，數據基本上需要在內存中，你需要能夠快速地流過它，以便分析它并找出發生了什么。”

　　2、場景問題

　　在所有這些復雜的情況下，傳感器需要正常工作。但一個傳感器只有在理想條件下的表現才是好的。

　　“這意味著在一個晴朗的夏天，它是最好的，”Ansys的杰出工程師LarryWilliams說。”然而，即使在理想的條件下，也有一個挑戰，那就是如何將雷達、激光雷達、攝像頭，也許還包括慣性導航，以及車輛中的某種加速度計的響應結合起來。我們也要研究這些傳感器在實際環境中的退化問題。比如說一個雷達看到你周圍有多輛車。你要判斷它是一輛自行車還是一個騎自行車的人。系統會進行比較，或者包括和融合攝像頭的信息，根據是否合理來做出判斷。

　　但是在各種場景下，會發生什么情況呢？比如說，我們都有這樣的經歷，午后開車回家，西行，太陽就在眼前。陽光也在相機的眼睛里。這樣的情況下，攝像頭是會退化的，雷達就不一樣了。所以好的地方是，有多種方式的感應。一個可以增強另一個降級的時候。但是在其他情況下，退化的情況會更多，尤其是在雨天。在雨中，整個環境的減弱就更大了。有雨滴積聚在相機的鏡頭上，這是會讓畫面變形的。不僅僅是天上的降水，還有另一輛剛開過的車，會把額外的雨滴吹到相機上。我們一直在探索的一件事是，在現實世界的環境中會發生什么，而不是在理想環境中。我們可以刺激理想環境。但隨著傳感器的退化，會如何降低系統的性能？在傳感器的理想環境下已經很難做到了，但在現實世界的條件下就更糟糕了。“

　　這對傳感器融合有影響。

　　“我們對人工智能有很強的依賴性，比如說我們如何在這些車輛中訓練一個人工智能引擎來理解它們的環境，我們可以做到。”Williams指出。”但從模擬的角度來看，我們研究的是如何去做這種訓練。通常情況下，這是呈現給AI引擎，也就是車輛內部的大腦。它被呈現出很多不同的案例，并努力識別或分類場景中的對象是什么。這樣反復做，最終會訓練AI引擎里面的這個機器學習方法里面的神經網絡來理解這些東西。你怎么可能訓練它呢？你需要在測試環境中做成千上萬的案例，用仿真的方式。豐田的CEO說過，非常著名的一句話，就是需要走88億英里的路，你才能讓這些車輛足夠安全。要做到88億英里是不可能的。Waymo和特斯拉和其他公司把所有的數據放在一起，最后一份報告說他們只有大約600萬英里的記錄。你得做1000倍的數據才行。對于這種工程任務和軟件開發來說，了解模擬和分析的力量很重要。“

　　這不是關于駕駛的里程，而是關于可以捕捉到的場景，這包括了一大類永遠不會被駕駛的場景。

　　“比方說，我正在測試一個道路場景，一邊是一輛加油車，另一邊是一輛校車，我們撞上了一塊冰。”Ansys公司高頻高級產品經理ShawnCarpenter說。“我永遠不會把它設置成駕駛它。但在模擬中，我可以粉碎我想要的許多位。我可以研究危及生命或破壞財產的場景，而這些場景我永遠不會接近于獲得任何形式的模擬許可，我可以真正研究主動安全系統的模擬，而這是我在路上永遠無法做到的。”

　　3、安全問題

　　安全性是越來越多的自主汽車的另一個方面，也是備受關注的一個方面，因為驅動系統在整個生命周期內必須連接到互聯網上進行空中更新。將安全和保障結合起來，這一點就更加迫切需要做好。

　　“僅僅是安全本身或安全本身就會留下一個很大的漏洞，”Mentor的Fritz說。”當我們理解了可靠性和安全性之后，現在安全領域最大的變化是，人們終于明白了安全不是一個軟件問題。真正的安全是一個硬件問題。我們必須能夠證明，從重要信息和外界沒有物理路徑--然而里面運行的軟件確實需要以安全的方式訪問這些信息。大多數黑客是通過堆棧溢出，或者這樣或那樣的機制進入的。這些很容易被關閉。但這并不能阻止他們發現一些沒有人考慮過的東西，如果外界和這些專有信息之間沒有物理上的聯系，他們就永遠無法獲得這些信息。這里需要的是必須發生在SoC本身，以保證外界之間的隔離，在任何密碼或密鑰或類似的東西需要一個IP安全部分。“

　　這也是為什么所有的東西都被整合到SoC上的部分原因，但這種整合也帶來了自己的問題。”一個習慣于構建100個ECU全部基于微控制器的系統的客戶如何向整合系統過渡？“Cadence的Schweiger問道。”SoC提供了很多機會來整合系統，使其更小、更省電、更高性能，所以有所有這些選擇。但如果你從未設計過SoC，這意味著你必須建立起真正了解SoC設計或架構的團隊。當然，你可以與服務公司合作構建芯片，但需要有人來定義需要什么，必須有一定的理解。這就是為什么會有各種不同的方法。總有車廠聘請芯片設計師做自己的芯片。也有其他的整車廠，可能在這個領域比較不愿意。但到了最后，如果你真的認真對待自動駕駛，很可能需要去做芯片設計。“

　　他們還需要了解如何在這些芯片中內置安全功能。“我們越來越多地看到，人們已經明白了安全的重要性，安全是其中之一，你不能設計好你的系統，然后試著去改造它，并希望有一個真正安全的環境。因此，當人們現在考慮芯片的架構時，它確實已經成為了一個首要的設計要求，你不僅要考慮你的處理器核心要做什么，你要如何給它提供數據，以及你要如何來回移動這些數據，還要考慮安全的綜合觀點。”

　　但即使盡了最大的努力，汽車安全總是會受到威脅。

　　“有時候我們說，我們并不是要模擬這些現實世界中可能發生的事情，因為我們只是認為人們沒有技能去做。”TortugaLogic的高級硬件安全工程師AlricAlthoff說。“而如果有人確實有這個技能，那就會讓他們更多地處于防御、國防類的思維方式。我從那些正在建立和訓練模型來做車輛檢測、自由空間檢測、邊界檢測的人那里看到的是，他們的帽子他們不是在談論明顯的事情，比如失去一個傳感器，或者失去一個模式，以及模型如何響應。如果你給了模型控制權，而你不了解模型是如何思考這個世界的，你就無法真正提出這些問題。或者我們還沒有開發出技術來詢問模型關于它的決定。我們怎么知道它將如何回應？這類事情真的很重要。”

　　這在傳感器融合中變得尤為復雜。“在傳感器融合中，隨著我們涉及更多的模式，保真度不斷提高，還有一個傳感器獨立性的概念，”Althoff說。“我們怎么能讓我們融合的傳感器突然間完全獨立呢？如果突然間它們之間的相互依賴性被如此鎖定，你失去了一個，突然間它就會開始在車輛中表現得非常不穩定，這不是好事。我們真的要能夠同時容納融合和獨立，并決定臨界點在哪里，因為在雨和霧中，視覺傳感器會失去敏銳度。激光雷達可能不會。激光雷達知道現在它是唯一的視覺傳感器嗎？系統知道嗎？它是如何反應的？它是否向激光雷達發出信號，告訴它進入超高保真模式或類似的東西？也許像備胎一樣：它不可能一直這樣運行。”

　　這是物理方面的問題。在車內，數字硬件需要保護和防篡改。”插入車輛的CAN總線，只需閃現固件就可以輕松得令人發指，所以還有一個方面，如果有人換了傳感器怎么辦，“他指出。”傳感器是否在系統中進行自我認證？系統對傳感器的要求是什么，說：‘你現在的完整性是什么？攝像機的鏡頭是不是壞了？它可能還能正常工作，但在那個關鍵時刻，你會失去一些真正重要的東西。所以物理世界和數字世界之間有一種相互作用，我們必須克服在不同的孤島中工作。我們都需要進入同一個房間，互相交流。“

　　模塊化設計對事情沒有幫助。”在電子設計中，我們已經經典地設計了模塊化，我們設計了一個分離的關注點，比如’除了通過這個狹小的接口，這塊不會影響另一塊，‘“他說。”但我們正在進入一個整體驗證和事物之間的相互關系正在成為一個真正的焦點的世界。我們真的需要超越我們只關注模塊化的思維模式，擁有雙重視角，我們在經典方法和新技術之間來回穿梭，甚至可能通過人工智能的增強，幫助我們找到我們所忽視的東西，這包括安全。在神經網絡或決策函數的訓練過程中，需要一個對抗性強的模型。我們需要預測到這些的替換，我們需要預測到人們會試圖覆蓋這些。即使是家庭愛好者也會嘗試用新的神經網絡來覆蓋他們汽車中的神經網絡，使他們能夠從汽車中獲得更高的性能。“
責任編輯人：CC