色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

FPGA模擬MIPI相機接入Jetson方案

FPGA圖像加速 ? 來源:ALWAYS科技 ? 2024-01-04 09:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

** 前言 **

視覺相機是機器智能/自動化的關鍵,NVIDIA Jetson支持多個合作伙伴的Camera,這些相機包括USB、以太網、MIPI接口的相機。Jetson為這些相機提供了完整的Jetpack SDK,支持用戶可以快速接入這些相機,來實現相應的設計。

Jetson支持的相機列表,可以從官網中找到,鏈接如下所示:

wKgZomWWD4mAJWEhAAJkXcLWCpw871.jpg

選擇CSI/MIPI接口,以及Orin套件,網頁會出現Jetson Partner支持的相機列表,主要是:Sony的IMX290、IMX334、IMX179、IMX335、IMX415 ,以及Aptina的AR0234、AR0144、AR0822等。因此,比如用戶使用NVIDIA的Jetson AGX Orin開發者套件,套件的SDK中就原生的支持如上列表的傳感器CSI接入,用戶可以快速進行自己的解決方案開發。wKgZomWWD4mAWFTeAAAAwtrmmzk340.jpg

如果選用上述列表中的相機并搭配配套的CSI轉接板,由于Camera Partner已經提前和NVIDIA Jetson各種型號做了對接,原廠鏡像中驅動默認已經支持,可以做到即插即用。

但是如果我們選用了列表外的sensor型號,即非Camera Partner的產品,就無法直接使用,比如我想用Sony的IMX472、 IMX252,思特威的SC2210、SC235HGS等,則需要進行配套的硬件開和驅動軟件的升級。為此,奧唯思為您提供了完整的解決方案,可搭載任意相機,也可以選FPGA集成ISP。

** FPGA模擬MIPI相機接入Jetson方案 **

如下圖所示:方案采用易靈思鈦金16nm的FPGA Ti60F225,通過MIPI CSI RX采集圖像傳感器的數據,在FPGA內部經過一系列復雜的ISP運算后,再通過MIPI CSI TX將圖像數據發送給后端。

wKgaomWWD4mAALR7AAJK6Mhysv4732.jpg

其中VC-MIPI-AGX為奧唯思自研的配套NVIDIA Jetson AGX Orin開發者套件的 MIPI接入子卡。如下圖所示,為AGX的MIPI卡槽,以及我們設計的接入子卡。我們使用高速穩定的TypeC 3.0數據線,來傳輸MIPI信號。當前方案可支持2個MIPI CSI通道,單通道最高支持6Gbps帶寬。目前方案已經成功接入AGX,穩定可靠,烤機測試通過。

wKgaomWWD4mAXazAAADqf3Q-0AE585.jpg

** 易靈思MIPI介紹 **

易靈思16nm鈦金系列FPGA的低功耗、高帶寬、小體積特點,充分賦能終端產品使其具有創新性和競爭力。鈦金系列Ti60可支持MIPI/LVDS等接口的多攝像頭輸入、多類型屏幕驅動、高性能RISC-V軟核等功能,適用于各種相機和傳感器系統等場景應用。

wKgaomWWD4mAInn4AAF1VZZHdyo446.jpg

因此我們選用了易靈思的FPGA作為主控,充分利用其高速低功耗的特性,完成了MIPI CSI的采集、ISP圖像處理,以及MIPI CSI的發送。易靈思Ti60 FPGA的MIPI PHY為1.5Gbps單通道,4 lane支持6Gbps,在85%有效帶寬下,評估有效的傳輸分辨/幀率,如下:

wKgZomWWD4mATfatAAA0M7LCakU759.jpg

采用RGB888或者Bayer 8bit傳輸,各有優缺點:

RGB888 8bit傳輸,AGX可以直接獲取圖像數據,好處是沒有額外的源數據處理開銷;壞處是由于Bayer的3倍帶寬,當前FPGA方案只能支持到1080P60方案。

Bayer 8bit傳輸,帶寬是RGB888的1/3,因此可以支持更高的分辨率(4K60),同時在同等分辨率下,比RGB888可以支持更長的傳輸距離;不足的是需要AGX的CPU(Neon)來處理Bayer2RGB算法,目前測試1080P120消耗了1個CPU** 43%**的資源(共12個CPU,單核資源消耗如下圖所示)。

綜合評估下,由于當前只用了AGX 1個CPU,并且用戶的算法主要在GPU上跑CUDA,因此采用Bayer傳輸的優勢更明顯。

wKgaomWWD4mAEFBKAABdhVXEgkE099.jpg

** 奧唯思ISP介紹 **

NVIDIA同樣可以做完整的ISP圖像處理,甚至ASIC實現的ISP功能與性能相比FPGA更強大,但在此方案中,我們不得不采用FPGA進行完整的ISP處理,主要原因如下:

針對選定的Sensor,NVIDIA仍需要大量的Tuning工作;

NVIDIA的ISP不支持8bit RAW輸入模式;

部分應用工程師,并不熟悉ISP領域;

部分ISP算法,NVIDIA并沒有包含;

低延時的需求,需要流水線完成ISP。

鑒于此,我們采用FPGA完成了一套完整的ISP處理流程,MIPI CSI直接輸出經過FPGA圖像處理完后的數據,NVIDIA AGX拿到RGB數據后,用戶可以直接進行后續的應用算法。基于易靈思FPGA的ISP圖像處理Pipeline,如下所示:

奧唯思自研的流水線ISP,相關的Feature,如下表所示:

wKgZomWWD4mALM4jAABkwkXVv9E763.jpg

** AGX Orin接入驅動 **

硬件方面,采用奧唯思設計的VC-MIPI-AGX子卡,實現了用戶MIPICSI轉AGX Samtec的輸入。軟件方面,則需要根據硬件板卡和模組設計,開發特定的Sensor驅動適配。如果有特殊定制的控制需求,比如ISP參數的控制,則需要修改Camera框架,進行深度定制開發。

出于對系統安全性的保護,Jetson出廠時的,內核編譯打開了驅動簽名選項,如果新開發的驅動簽名證書不匹配,則驅動ko文件無法加載。但是一般用戶無法拿到NVIDIA編譯出廠鏡像時的簽名證書,無法解決ko簽名問題。如果需要使用新的sensor模組,則需要重新編譯內核、生成全系統鏡像、燒錄系統,工作量相當巨大。

奧唯思為客戶解決上述軟硬件難題,并創造性地使用typeC 3.0線纜作為數據傳輸介質,連接可靠,通信穩定?;贜VIDIA Jetson AGX Orin開發者平臺,接入的自研的FPGA MIPI ISP相機連接環境。







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • FPGA
    +關注

    關注

    1645

    文章

    22040

    瀏覽量

    618167
  • 以太網
    +關注

    關注

    41

    文章

    5631

    瀏覽量

    175863
  • NVIDIA
    +關注

    關注

    14

    文章

    5308

    瀏覽量

    106339
  • MIPI
    +關注

    關注

    11

    文章

    331

    瀏覽量

    49769
  • lvds接口
    +關注

    關注

    1

    文章

    129

    瀏覽量

    17831

原文標題:FPGA模擬MIPI相機,成功接入NVIDIA AGX開發者套件

文章出處:【微信號:瘋狂的FPGA,微信公眾號:瘋狂的FPGA】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    FPGA連接MIPI接口的實現方案

    本文主要介紹MIPI D-PHY在FPGA上的實現。
    發表于 10-08 09:42 ?1.3w次閱讀

    Xilinx FPGA MIPI 接口簡單說明

    MIPI 接口現在非常流行,國產FPGA目前基本都帶MIPI接口,而AMD-Xilinx是從U+系列開始支持MIPI電平,從國內使用情況來看,7系列
    發表于 04-24 09:30 ?7333次閱讀
    Xilinx <b class='flag-5'>FPGA</b> <b class='flag-5'>MIPI</b> 接口簡單說明

    766.FPGA端:大神帶你“解毒”MIPI電路

    fpgaMIPI
    小凡
    發布于 :2022年10月05日 02:49:23

    MIPI 信號幀起始后需要經過一段時間Ts后才發出第一行,這個Ts是什么?

    大家好:我們使用FPGA產生MIPI信號,發送至jetson-tx2的CSI 端口。但發現只能夠接收一幀的圖像。通過對比正常工作的OV5693所產生的MIPI信號,我們發現如下差別:
    發表于 08-18 18:45

    請問是否有MIPI CSI-2解決方案可了解FPGA?

    嗨朋友們 我們正在向MIPI CSI-2項目推出CPI(相機并行接口)。我們使用spartan-6 FPGA。 現在我想了解FPGA,是否有MIPI
    發表于 07-18 14:40

    Jetson NanoPWM4腳風扇安裝問題

    連接 FAN注意對好方向,將風扇接入Jetson Nano 的風扇接口 J15 Fan Header 接口軟件設置 運行風扇sudo sh - c 'echo 255 &...
    發表于 09-08 06:12

    NVIDIA Jetson介紹

    。 NVIDIA Jetson有哪些產品成員、軟件堆棧以及面向行業的解決方案?本課程將系統介紹Jetson的硬件平臺、軟件資源、生態以及應用用例。以下是本次內容分享大綱:NVIDIA Jets
    發表于 12-14 08:05

    Made with KiCad(一):Jetson Nano Baseboard

    、軟件和AI工程公司,也是NVIDIA Jetson生態系統的合作伙伴。 ” 概覽 電路板可通過統一的柔性扁平電纜 (FFC) 連接器與 MIPI CSI-2 視頻設備連接,在 2 通道配置中支持多達
    發表于 06-27 13:40

    armsom:為何選擇rk3588開發與Jetson Nano引腳兼容的嵌入式產品

    引言: 當armsom決定采用RK3588芯片開發一款與Jetson Nano引腳兼容的產品時,這意味著一次重要的技術決策,為開發者和制造商提供了更大的靈活性。這篇文章將解釋我們選擇RK3588
    發表于 10-18 17:35

    D-PHY MIPI相機/雙顯示屏應用中的模擬開關

    本文描述如何利用模擬開關,讓原有處理器能夠在不影響現有系統架構的條件下,輕松與雙相機或雙顯示屏連接,并且在實際應用中通過隔離加載在MIPI總線上的第二個相機(或顯示屏)的
    發表于 06-24 09:51 ?6266次閱讀

    基于賽靈思FPGA的低成本MIPI接口IP

    基于FPGA的低成本MIPI接口,專門針對視頻顯示器和攝像頭的。設計嵌入式系統DSI和CSI-2視頻接口的用戶現在即可采用低成本MIPI接口
    發表于 02-10 16:54 ?1.7w次閱讀

    MIPI和Xilinx MIPI解決方案的介紹

    本視頻簡要介紹了MIPI和Xilinx MIPI解決方案,以及如何查找有關Xilinx FPGA提供的D-PHY MIPI解決
    的頭像 發表于 11-27 06:30 ?1.2w次閱讀

    基于高云半導體FPGAMIPI接口匹配方案

    電子發燒友網站提供《基于高云半導體FPGAMIPI接口匹配方案.pdf》資料免費下載
    發表于 09-14 14:42 ?15次下載
    基于高云半導體<b class='flag-5'>FPGA</b>的<b class='flag-5'>MIPI</b>接口匹配<b class='flag-5'>方案</b>

    FPGA項目承接案例:基于FPGAMIPI接口開發服務

    一整套的協議以及標準,包含了各種子系統獨特的要求,這整個的規定和標準,我們稱之為MIPI協議。 作者:明德揚FPGA科教 https://www.bilibili.com/read/cv19861450 出處:bilibili
    發表于 11-21 10:26 ?1058次閱讀

    使用Jetson Nano的CSI相機接口

    電子發燒友網站提供《使用Jetson Nano的CSI相機接口.zip》資料免費下載
    發表于 11-30 14:18 ?1次下載
    使用<b class='flag-5'>Jetson</b> Nano的CSI<b class='flag-5'>相機</b>接口
    主站蜘蛛池模板: se01短视频在线观看 | 成年人视频在线免费观看 | chaopeng 在线视频| 少妇高潮A视频 | 国产扒开美女双腿屁股流白浆 | 91麻豆国产精品91久久久 | 99久久99久久久99精品齐 | 双性被疯狂灌满精NP | 狠狠操伊人 | 国产GV无码A片在线观看 | 午夜亚洲精品不卡在线 | 91女神娇喘 | 久久综合中文字幕佐佐木希 | 亚洲色图在线播放 | 99热国产这里只有精品6 | 最近日本MV字幕免费观看视频 | www伊人网 | 换脸国产AV一区二区三区 | 天天夜夜草草久久亚洲香蕉 | 十九禁啊啪射视频在线观看 | 青草影院天堂男人久久 | 亚洲AV午夜精品麻豆AV | 年轻的朋友4在线看中文字幕 | 美女裸露胸部100%无遮挡 | 欧美日本高清动作片www网站 | 人妻美妇疯狂迎合 | a级毛片黄免费a级毛片 | 黑色丝袜美腿美女被躁翻了 | 中文字幕亚洲无限码 | 末班车动漫无删减免费 | 欧美另类z0z000高清 | 欧美激情一区二区三区AA片 | 嗯别插太快好深再深点 | 扒开老师大腿猛进AAA片 | 四虎视频最新视频在线观看 | 久久久久久久久久毛片精品美女 | 在线不卡中文字幕 | 肉动漫无码无删减在线观看 | 欧美xxxxx18| 亚洲 欧美 中文 日韩 另类 | 国产精品亚洲电影久久成人影院 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品