用于敏捷自主機器人的視覺處理需要在有限的功耗和空間預(yù)算內(nèi)完成低延時計算。這對傳統(tǒng)計算硬件來說是一項挑戰(zhàn)。并行處理器陣列（Parallel processor arrays）是一種新型視覺傳感器架構(gòu)，該陣列利用半導(dǎo)體技術(shù)的進步，在圖像傳感器陣列的每個像素中嵌入了處理器。感測到的像素數(shù)據(jù)可以直接在焦平面上進行處理，因此只有少量的相關(guān)信息從視覺傳感器傳輸出去。這種在大規(guī)模并行計算架構(gòu)中的傳感、處理和存儲的緊密融合造就了機器視覺系統(tǒng)在高性能、低延時、低功耗、低成本與多功能性之間的有趣權(quán)衡。

據(jù)麥姆斯咨詢報道，近日，英國曼徹斯特大學(xué)（The University of Manchester）與英國布里斯托大學(xué)（University of Bristol）的研究者共同合作在Science Robotics發(fā)表了以“Sensor-level computer vision with pixel processor arrays for agile robots”為主題的綜述論文。該論文通訊作者為曼徹斯特大學(xué)電氣工程與電子系的Piotr Dudek。

這項研究首先從像素內(nèi)計算的角度回顧了圖像傳感器和處理硬件的歷史；然后，通過對SCAMP-5系統(tǒng)的描述，概述了基于像素處理器陣列（PPA）器件的最先進的智能相機系統(tǒng)的關(guān)鍵特征；隨后，描述了多種關(guān)于敏捷地面和空中飛行器的機器人應(yīng)用，證實了PPA的傳感功能，這些應(yīng)用包括高速里程計、目標跟蹤、障礙物探測和避讓。最后在結(jié)論中，該研究對PPA器件的未來發(fā)展提供了一些見解和展望，包括其在敏捷、穩(wěn)固、強適應(yīng)性和輕量級機器人中的應(yīng)用及優(yōu)勢。

典型視覺系統(tǒng)方法的比較

在傳統(tǒng)的視覺系統(tǒng)（如上圖A所示）中，通常利用相機中的圖像傳感器來獲取視覺信息、生成視頻幀并發(fā)送至處理硬件。盡管在提升此類硬件的速度和效率方面的相關(guān)研究不斷取得進展，但其發(fā)展的根本限制來自于“傳感器-處理器”的瓶頸。在此過程中，大量的視覺數(shù)據(jù)被采集、數(shù)字化，然后從相機端發(fā)送至處理器，然后在整個處理系統(tǒng)中完成運算。這樣會大幅限制系統(tǒng)延時和功耗降低。

為了克服這種限制，需要將數(shù)據(jù)處理轉(zhuǎn)移到更靠近傳感器的位置（如上圖B所示）。這樣視覺傳感器的作用不僅僅是獲取視覺信號，而是還要對信號進行處理、產(chǎn)生有意義且高度壓縮的信息，來替代原來的視頻幀。由此產(chǎn)生的傳感器級別的數(shù)據(jù)縮減，不僅加快了數(shù)據(jù)傳輸速度，而且降低了對下游計算硬件的要求。為了實現(xiàn)該目標，近傳感器處理硬件需要提供高計算性能和低功耗的組合。處理電路通常是并行數(shù)字信號處理單元或更專業(yè)的硬件。將感知和處理保持在近距離，可以實現(xiàn)更大的“傳感器-處理器”帶寬，并降低與遠距離信號通信相關(guān)的功率。這顯然是有利的，但將單獨的傳感器和處理器電路放在一個器件上的好處僅僅在于可以實現(xiàn)傳統(tǒng)視覺傳感器的小型化；從根本上講，“傳感器-處理器”的瓶頸仍然存在。而如今的微電子技術(shù)可以通過重新設(shè)計像素級傳感器電路來徹底消除這種瓶頸。本研究中使用的方法已超越了圖像傳感器和處理器的共置：它將計算硬件放在圖像信息獲取的位置，進入了圖像傳感器像素本身（如上圖D所示）。

圖像傳感器中的像素級電路

像素內(nèi)處理的概念可以更進一步，通過在圖像傳感器中每個像素內(nèi)集成完整的可編程處理器核心，可顯著提升器件的復(fù)雜度和靈活性，這類器件被稱為像素處理器陣列（PPA），如下圖所示。

像素處理器陣列（PPA）

研究中的SCAMP-5系統(tǒng)如下圖所示。其中的核心PPA功能是由定制型集成電路提供，但SCAMP-5視覺芯片、大多數(shù)外圍組件（如微控制器、FPGA器件、ADC和DAC等）均使用組裝在印刷電路板上的現(xiàn)成電子器件來實現(xiàn)。這將大幅增加整個相機系統(tǒng)的尺寸和功耗，可能會限制部分實際應(yīng)用，但提供了易于使用的研究原型。

SCAMP-5智能相機系統(tǒng)

該SCAMP-5陣列的顯著特點是其全局和基于事件的讀取模式。雖然圖像處理的結(jié)果讀取為二進制或灰度圖像幀，這通常在程序開發(fā)/調(diào)試階段完成，但PPA最強大的特點在于可以在像素內(nèi)部完成處理圖像，只有計算的結(jié)果才會從傳感器器件輸出。下圖列舉了SCAMP-5系統(tǒng)執(zhí)行的幾種基本算法及其執(zhí)行時間，如卷積濾波器、角提取和光流計算等基本的像素并行操作在PPA中很容易實現(xiàn)。

在SCAMP-5 PPA上執(zhí)行的多種圖像處理算法

這項研究還介紹了完全可編程PPA器件在敏捷機器人系統(tǒng)中的應(yīng)用。常見應(yīng)用主要有：敏捷目標跟蹤和探測（Agile object tracking and detection）、傳感器視覺里程計（On-sensor visual odometry，VO）、繪圖測繪和定位（Pictorial mapping and localization）。

PPA方法的關(guān)鍵是在像素級完成信息提取和數(shù)據(jù)壓縮，從而實現(xiàn)了從傳感器器件到系統(tǒng)其余部分的高效、高速信息傳輸。傳感器生成的稀疏數(shù)據(jù)類型需要針對每種應(yīng)用進行優(yōu)化。對此有希望的解決方案是優(yōu)化從傳感策略到主機級處理的整個流程。同時，PPA器件不僅能處理圖像數(shù)據(jù)，還能影響光傳感本身（例如每個像素中的可編程曝光級別）。

除了前文提到的三大應(yīng)用外，另一方面的應(yīng)用是人機交互，在低延時注視跟蹤和手勢識別方面有潛在的應(yīng)用。PPA器件的應(yīng)用已超越了機器人系統(tǒng)，可擴展到更通用的計算機視覺應(yīng)用領(lǐng)域，隨著微電子芯片集成和封裝技術(shù)的改進，該領(lǐng)域有望繼續(xù)取得進展。PPA還可以在發(fā)展更好的隱私感知系統(tǒng)中找到機遇，這類系統(tǒng)可以智能地關(guān)注從PPA輸出的數(shù)據(jù)。因此，可以預(yù)測，基于PPA的視覺傳感器能夠以高時間分辨率、低延時和低功耗來產(chǎn)生高信息量的稀疏數(shù)據(jù)，將越來越多地應(yīng)用于各種未來的機器人系統(tǒng)。

這項研究工作獲得英國工程和物理科學(xué)研究委員會（Engineering and Physical Sciences Research Council，EP/M019284/1(P.D.)和EP/M019454/1 (W.M. and T.R.)）的資金支持。

論文鏈接：
https://www.science.org/doi/10.1126/scirobotics.abl7755

審核編輯 ：李倩