Prophesee為其事件驅動的人工智能(AI)視覺開發生態系統新增開源模塊和訓練數據資源庫。
開源模塊和訓練數據資源庫
據麥姆斯咨詢報道,法國AI視覺開發商Prophesee面向光流和目標探測等AI視覺應用,發布了一套關鍵的開源軟件模塊和一組事件驅動的機器學習工具。
Metavision Intelligence套件
作為Metavision Intelligence套件的一部分,Prophesee向開發者提供了業界最大的高清事件驅動數據集OpenEB(免費下載)。這有助于開發人員使用事件驅動的方法來進行機器學習,這種方法由場景的變化而不是神經網絡框架觸發。
和人眼視覺原理類似,Prohesee開發的傳感器只有在感知到場景變化時才會進行記錄,不同于傳統圖像傳感器以固定的幀時鐘記錄圖像信息。即僅在場景發生變化時,這種基于事件的視覺傳感器上的像素才做出反應,場景中靜態的部分都不會被捕捉。
Prohesee基于事件驅動的圖像傳感器
這種基于事件的視覺感知設計,主要有三大優勢:產生數據量更少;反應速度更快;以及實現更高的動態范圍(》120 dB)。這些優勢對于當代機器視覺而言極具價值,尤其在減少數據量的問題上,對于有限的通信、存儲與計算資源都顯得相當友好。
傳統基于幀和Prophesee基于事件的視覺傳感器成像對比
Prophesee聯合創始人兼首席執行官Luca Verre解釋稱:“所謂‘事件’,是指一個像素激活自身并發送事件檢測到發生的X、Y坐標和時間戳。傳感器上每個像素獨立接收光子,光電二極管因此產生電流,進行累加之后,像素再持續地將電流的實時電荷電壓與參考值做比較。在電壓增減達到一定程度時,該像素就會發出一個事件。整個過程是μs級別的速度?!?/p>
首款事件驅動AI相機已出貨
日本CenturyArk推出的SilkyEvCam人工智能相機,采用了Prophesee的事件驅動圖像傳感器和軟件
日本CenturyArk在2020年末面向廣泛的工業機器視覺應用推出了超小型USB攝像頭SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision視覺傳感器以及Metavision Intelligence套件。為采用事件驅動方案的機器視覺開發人員,提供了更快的上市時間。
相比傳統基于幀的視覺傳感技術,這款相機采用了基于時間的Metavision視覺傳感器,將場景中收集的數據量減少了1000倍,顯著提高了性能。這種事件驅動方案能夠以等效10000 fps以上的時間分辨率進行高速視覺,并支持超過120 dB的寬動態范圍,使其適合在苛刻的照明條件下進行高效運行。
在此基礎上,這款相機率先提供了對Metavision Intelligence套件的全面支持,這是業界最全面的一套開發工具,用于加速機器視覺系統中對基于事件的視覺技術的探索和實現過程。該套件包含62種算法、54個代碼示例和11個現成的應用程序。它為用戶提供了C++和Python API以及大量的文檔和示例,通過增加難度來逐步引入基于事件的機器視覺的基本概念。
Prophesee最新發布的Metavision Intelligence版本增加了一套擴展的開發工具和軟件,用于設計具有事件驅動機器學習的工業視覺系統。該套件現在包括近100種算法、67個代碼樣本以及11個特定用例的應用模塊,可以加速用戶的開發過程。
OpenEB的開源模塊可以通過Github獲取,它允許設計人員構建自定義插件,并兼容用于開發事件驅動系統的Metavision Intelligence套件。它為開發者提供了一個跨機器視覺生態系統共享軟件組件的平臺。
“我們希望在機器視覺生態系統中建立一個開放的技術標準,實現易得性和互操作性的新高度?!盠uca Verre說,“我們的方案為基于事件的技術提供了持續增長的生態系統,具有豐富的開放基礎和強大的開發框架。它包括了我們多年來收集的廣泛而可靠的數據,以及利用我們在各種用例中積累的專業知識,加速客戶特定系統開發的應用模塊。”
OpenEB數據庫為相機制造商及其客戶提供了標準的基于事件的數據格式。Metavision Intelligence套件的開源模塊,可以兼容相機制造商及其客戶的生態系統。Prophesee開源許可提供關鍵模塊,可以加速定制插件的創建,同時確保兼容相機制造商提供的底層硬件。
從Prophesee過去四年來創建的實際序列數據集開始,其開發環境為機器學習應用的快速發展提供了一個完整平臺。開發人員可以利用各種工具指導神經網絡模型的開發,對基于事件的數據進行推理,以進行用于目標探測的監督訓練和用于光流的自監督訓練,均為基于事件的視覺應用進行了優化。
此外,開發人員可以利用提供的基于事件的模擬器輕松創建自己的模型,或利用其現有的基于幀的數據集和模型,并使用基于事件的視覺對其進行改進。
Metavision Intelligence套件添加了新的即用型應用,并可以通過基于事件的視覺進行增強,其中包括:
- 粒度監測:在生產線上以極高的速度(高達50000像素/秒),對通過視場的物體進行計數和測量,計數精度高達99.9%,從而確保更好地控制過程。
- 噴射監測:實時監測液體分配的速度和質量。對高速噴射進行檢測和計數,支持高達500 Hz的噴射分配,并在分配器出現錯誤時自動生成警報。
- 輪廓特征跟蹤:利用基于事件的傳感器提供的低數據率和稀疏信息,以較低的算力實現超穩健的3D目標實時跟蹤。
編輯:lyn
-
機器視覺
+關注
關注
161文章
4369瀏覽量
120282 -
AI
+關注
關注
87文章
30728瀏覽量
268892 -
機器學習
+關注
關注
66文章
8406瀏覽量
132567 -
事件驅動
+關注
關注
0文章
9瀏覽量
6740
原文標題:基于事件驅動的AI視覺開源庫,加速機器視覺應用開發
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論