電子發燒友網報道（文/李寧遠）從可穿戴設備到虛擬助手，再到汽車雷達/激光雷達，各種傳感器在邊緣設備中的使用越來越多，這不僅要求SoC在DSP性能和低功耗/面積之間取得最佳平衡，還要求SoC開發人員能夠輕松擴展其硬件架構以處理不同數量的數據流。

Sensor Fusion傳感器融合

傳感器融合的目的簡單來說，就是結合大量傳感設備的數據得出更精準的結果。因為各類傳感器都有自己的優劣勢，不可能從單一傳感獲得我們所需要的所有功能，因此sensor fusion傳感器融合這一概念應運而生。得益于MEMS技術的發展以及傳感器成本在逐漸下降，很多傳感設備都能應用到這一概念中來。

其中在日常生活中，已經有很多sensor fusion的應用，一個大家都會用到的例子就是計步器。要達到比較精準的步伐計算，通常會融合加速度計、陀螺儀、磁力儀等等。有的計步器為了感知周圍環境還會加上壓力傳感器、溫度傳感器。這種簡單的應用不需要太高的運算能力，小型MCU上的幾十個MIPS就足夠。

涉及全屋智能、汽車自動駕駛ADAS這種場景sensor fusion就復雜多了，會涉及很多交互、感知、識別。這種場景計算要求很高，而且需要動態管理計算資源，并且通常來說，這類應用里功耗都是受限的。

sensor fusion是一個基礎模塊，有了它，便可以實現穩定的定位、穩定的目標檢測以及穩定的單目標多目標跟蹤。sensor fusion并不是簡單的傳感器堆疊，它是傳感器的屬性合一。以現在最火熱的汽車ADAS應用來說，攝像頭、Lidar以及Radar的融合是最常見的。這些傳感器進行融合的先決條件，是傳感器必須在一個共同參考系中，同時傳感器必須能夠以某些方式同步或者能用一個通用的時間參考。

時間同步是很重要的一個環節，不同傳感器觸發方式不相同，原始數據幀率也各不相同，從10Hz到幾百Hz不等。有的傳感器自帶時間基準，有的需要外部時間戳。一般由硬件同步板卡來完成很高精度的時間同步。

Sensor Fusion異構處理需求

各式各樣的傳感設備意味著有著各式各樣的數據需要處理，不同數據的處理可能有著天差地別的處理方式，因此有彈性的處理方式更契合現在的sensor fusion。

（DSP與sensor fusion，Synopsys）

因為這種應用里包含了大量的運算，通用處理器已經不太適合，一般采用DSP或特定的硬件加速器。而硬件加速器只適用特定的應用，不太適合可能需要各種運算的傳感器融合系統。而向量DSP有大量的并行處理，包括VLIW，SIMD以及多核，可以很好地滿足PPA的要求。

DSP IP如何助力sensor fusion面臨的挑戰？

在前端處理上，DSP處理與傳感器相關的輸出信息，這些前端處理上往往會涉及包括F相關算術運算，比如FFT，CFAR，以及線性代數和非線性代數，以及向量運算等等基礎的資料處理運算。后端處理根據應用會有很大的變化，像物體偵測、物體識別，物體追蹤等等應用里DSP運算會隨著時間不斷演進，運算的資料形態也根據實際情況不盡相同，運算多樣彈性較高。

這里會涉及數據的關聯，Lidar提供3D點云數據，圖像提供2D數據，毫米波雷達提供雷達點，這些數據全部關聯起來需要進行匹配計算做特征匹配，會有大量的運算需求。DSP除了能提供這些前后端處理的計算能力，也能夠分擔一些融合中和AI相關的計算任務。一個好的DSP IP很適合作為sensor fusion的運算單元，提供運算的彈性，支援多樣的運算。

（ARC VPX DSP IP，Synopsys）

什么樣的DSP IP可以降低sensor fusion在SoC層面面臨的挑戰？首先，從一體式結構來說，DSP IP需要提供豐富的接口集是很有必要的，啟動器接口、目標總線接口以及支持外設和加速器集成的接口都需要支持。高效的數據移動能力不必多說，這不僅需要能從內存和外設中移動數據的高效DMA，還要能提供在高內存延遲上的恢復能力。最后，一流的PPA當然也是不能少的，更高的運算能力更少的功耗總是更好的。

小結

各種sensor fusion應用推動了對更高效數字信號處理的需求，采用經過VLIW，SIMD，多核等并行處理器技術優化后的DSP IP，可以在遵守單一編程環境的同時來優化處理一系列sensor fusion應用里的工作負載。