色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

ECV2023大賽儀表盤讀數(shù)識(shí)別德國(guó)冠軍方案解讀

新機(jī)器視覺 ? 來源:極市平臺(tái) ? 2023-07-13 15:00 ? 次閱讀

導(dǎo)讀

本文為ECV2023大賽儀表盤讀數(shù)識(shí)別德國(guó)冠軍方案解讀,包含了對(duì)賽題的分析和模型選取構(gòu)建的思考過程。

賽題任務(wù)

1、儀表識(shí)別

對(duì)于預(yù)測(cè)儀表框與真實(shí)儀表框,計(jì)算f1-score,IoU使用0.7,此部分成績(jī)記為score1

2、刻度點(diǎn)識(shí)別

對(duì)于預(yù)測(cè)關(guān)鍵點(diǎn)與真實(shí)關(guān)鍵點(diǎn),計(jì)算RMSE,此部分成績(jī)記為score2

3、OCR識(shí)別

對(duì)于預(yù)測(cè)的數(shù)值框,計(jì)算f1-score,IoU使用0.5,此部分成績(jī)記為score3

4、讀數(shù)識(shí)別

計(jì)算每個(gè)儀表的讀數(shù)得分,并對(duì)所有儀表的得分求平均值,此部分成績(jī)記為 score4

將上述4點(diǎn)得到4項(xiàng)成績(jī)進(jìn)行加權(quán),最終得分:

33caceec-2130-11ee-962d-dac502259ad0.png

加權(quán)的權(quán)重為配置參數(shù),默認(rèn)值為:

weight_1 = 0.1

weight_2 = 0.25

weight_3 = 0.25

weight_4 = 0.4

33eb72d2-2130-11ee-962d-dac502259ad0.png

賽題分析

本次任務(wù)的儀表數(shù)據(jù)集存在以下難點(diǎn):

1、儀表刻度存在遮擋、模糊等問題,影響OCR識(shí)別

2、儀表圖像存在旋轉(zhuǎn)、傾斜問題,影響讀數(shù)測(cè)量

算法設(shè)計(jì)

3432a260-2130-11ee-962d-dac502259ad0.png

算法分為4個(gè)流程,首先用yolov5s模型從原圖中識(shí)別出儀,接著用yolov8x-pose模型檢測(cè)出儀表中的刻度線、指針的關(guān)鍵點(diǎn),再用DBNetpp模型檢測(cè)出數(shù)值框并用SATRN模型進(jìn)行文本識(shí)別,最后后處理得到讀數(shù)結(jié)果。

(1)基于YOLOv5s的儀表檢測(cè)

346e5a58-2130-11ee-962d-dac502259ad0.png

選型理由

Yolov5s網(wǎng)絡(luò)小,速度快。雖然AP精度低,但檢測(cè)的是儀表這種大目標(biāo)是完全夠用的。我們采用極市官方提供的yolov5s訓(xùn)練套件進(jìn)行訓(xùn)練,上手簡(jiǎn)單,且儀表識(shí)別準(zhǔn)確率達(dá)到了99.7%,效果滿足實(shí)際需求。

(2)基于YOLOv8x-pose的指針和刻度關(guān)鍵點(diǎn)檢測(cè)

選型理由

34c1c0c6-2130-11ee-962d-dac502259ad0.png

YOLOv8是YOLOv5團(tuán)隊(duì)ultralytics在今年開源的SOTA模型,引入了新的改進(jìn),進(jìn)一步提升了性能和靈活性。YOLOv8 設(shè)計(jì)快速、準(zhǔn)確且易于使用,使其成為目標(biāo)檢測(cè)、實(shí)例分割、圖像分類和姿態(tài)估計(jì)任務(wù)的絕佳選擇。

yolo-pose是估計(jì)人體姿態(tài)的一個(gè)模型,它將人體姿態(tài)分為17個(gè)關(guān)鍵點(diǎn)。

為了盡可能地提高關(guān)鍵點(diǎn)檢測(cè)精度,我們使用了規(guī)模最大的YOLOv8x-pose模型。

指針關(guān)鍵點(diǎn)數(shù)據(jù)集制作

34ec5b56-2130-11ee-962d-dac502259ad0.png

我們將指針的兩個(gè)點(diǎn)作為其關(guān)鍵點(diǎn),由這兩個(gè)點(diǎn)組成的矩形框作為目標(biāo)檢測(cè)框,如果兩個(gè)點(diǎn)組成的矩形框太窄,進(jìn)行適當(dāng)延伸。

刻度關(guān)鍵點(diǎn)數(shù)據(jù)集制作

35b8c24a-2130-11ee-962d-dac502259ad0.png

由于每個(gè)儀表的數(shù)值框個(gè)數(shù)不同,我們將每個(gè)數(shù)值框視為同一個(gè)類別進(jìn)行目標(biāo)檢測(cè),每個(gè)數(shù)值框攜帶對(duì)應(yīng)的刻度點(diǎn)作為其關(guān)鍵點(diǎn)。

我們采用從官網(wǎng)下載的預(yù)訓(xùn)練模型在儀表數(shù)據(jù)集上微調(diào),將關(guān)鍵點(diǎn)權(quán)重從12提高到20。

(3)基于DBNetpp的文本檢測(cè)

選型理由

由于儀表尺寸大小不一,我們選用DBNetpp模型,它在DBNet模型基礎(chǔ)上引入了多級(jí)特征聚合模塊(Adaptive Scale Fusion, ASF),ASF模塊由階段注意力和空間注意力子模塊構(gòu)成,加強(qiáng)了不同尺度特征的融合,提高了處理不同尺寸圖像的魯棒性。

367ad010-2130-11ee-962d-dac502259ad0.png

(4)基于SATRN模型的文本識(shí)別

36a2beea-2130-11ee-962d-dac502259ad0.png

選型理由

SATRN模型利用self-attention機(jī)制對(duì)字符的2D空間關(guān)系進(jìn)行建模,并且在FFN模塊中引入卷積層,增強(qiáng)了模型對(duì)全局和局部特征的捕捉能力。

SATRN模型對(duì)于大曲率彎曲、大角度旋轉(zhuǎn)文本依然具備足夠的識(shí)別能力,在多個(gè)不規(guī)則文本數(shù)據(jù)集上達(dá)到SOTA。

(5)讀數(shù)識(shí)別

將上述模型的輸出采用opencv進(jìn)行后處理得到讀數(shù)結(jié)果,具體流程如下:

36e19a8e-2130-11ee-962d-dac502259ad0.png

區(qū)分內(nèi)外徑

37208f00-2130-11ee-962d-dac502259ad0.png

根據(jù)刻度點(diǎn)和數(shù)值框距離指針原點(diǎn)的距離區(qū)分內(nèi)徑和外徑,分別進(jìn)行后續(xù)處理。

確定刻度點(diǎn)的順序

375d442c-2130-11ee-962d-dac502259ad0.png

起點(diǎn)到終點(diǎn)的角度差值是相鄰兩點(diǎn)間角度差值中最大的,我們只需要找到這個(gè)最大的角度差值,就可以確定起始點(diǎn)。

先將刻度點(diǎn)坐標(biāo)轉(zhuǎn)成以指針原點(diǎn)為中心的極坐標(biāo),根據(jù)角度從小到大排序[16,0,4,8,12]

然后計(jì)算相鄰刻度點(diǎn)兩兩間的角度差值,選擇最大差值的下一個(gè)刻度點(diǎn)作為起點(diǎn),調(diào)整順序后[0,4,8,12,16]

修正OCR識(shí)別結(jié)果

上圖中由于指針遮擋,1500識(shí)別成500,通過等差數(shù)列對(duì)其進(jìn)行修正。

透視變換

37bf34ca-2130-11ee-962d-dac502259ad0.png

步驟:

1、確定最后一個(gè)點(diǎn)的坐標(biāo):已知最后一個(gè)點(diǎn)在透視變換后的極坐標(biāo)角度為45°,假設(shè)所有刻度點(diǎn)距離圓心距離為R,則最后一個(gè)點(diǎn)的坐標(biāo)可以表示為(45°,R)可以根據(jù)該極坐標(biāo)得出笛卡爾坐標(biāo)系下的坐標(biāo)。

2、確定其他三個(gè)點(diǎn)的坐標(biāo):這里一共有6個(gè)間隔平分整個(gè)270°量程,所以每個(gè)刻度夾角為270/6=45°,據(jù)此可以依次計(jì)算出其他三個(gè)點(diǎn)在變換后的坐標(biāo)。

通過這種方式,可以確定四個(gè)刻度點(diǎn)在透視變換后圖像中的坐標(biāo),并用這些坐標(biāo)來進(jìn)行透視變換。

補(bǔ)充被指針遮擋的點(diǎn)

38099e5c-2130-11ee-962d-dac502259ad0.png

步驟:

1、首先,確定缺失點(diǎn)的前后點(diǎn),以及它們與圓心的平均距離。這些信息將用于推算缺失點(diǎn)的極坐標(biāo)。

2、根據(jù)前后點(diǎn)的角度和平均距離,計(jì)算出缺失點(diǎn)的極坐標(biāo)。極坐標(biāo)由極徑和極角組成,極徑表示點(diǎn)到圓心的距離,極角表示點(diǎn)在極坐標(biāo)系中的角度。將缺失點(diǎn)的極坐標(biāo)轉(zhuǎn)換為笛卡爾坐標(biāo)。

3、如果進(jìn)行了透視變換,需要將轉(zhuǎn)換后的坐標(biāo)應(yīng)用于透視矩陣,以獲得原圖中的坐標(biāo)。

計(jì)算讀數(shù)

38431cae-2130-11ee-962d-dac502259ad0.png

確定指針的前后刻度點(diǎn)位置,并記錄它們?cè)跇O坐標(biāo)系中的角度值。假設(shè)前刻度點(diǎn)角度為, 后刻度點(diǎn)角度為。指針角度為。

假設(shè)指針前刻度點(diǎn)的讀數(shù)為, 后刻度點(diǎn)讀數(shù)為, 指針讀數(shù)為*。

其中Δr=r2-r1, Δθ=

算法優(yōu)化

存在問題

38891772-2130-11ee-962d-dac502259ad0.png

邊框遮擋導(dǎo)致的刻度數(shù)字無法識(shí)別,上述算法不能很好的處理。

改進(jìn)方法

根據(jù)數(shù)據(jù)集分布,為內(nèi)外徑各建立一個(gè)list,以外徑舉例:

outer_list=[
[32,50,100,150,200],
[0,4,8,12,16],
[0,2,4,6,8,10],
[0,1,2,3,4,5,6],
[0,0.2,0.4,0.6,0.8,1],
[0,0.1,0.2,0.3,0.4,0.5,0.6],
[0,2,4,6,8,10,12,14],
[0,10,20,30,40,50,60],
[0,1000,2000,3000,4000,5000,6000],
[0,100,200,300,400,500,600,700,800,860]
]

將左圖中識(shí)別的外徑[0,100,200,300,400,500,600]與該outer_list進(jìn)行匹配,得到最接近的[0,100,200,300,400,500,600,700,800,860]。即可對(duì)照模板將遺漏的刻度點(diǎn)補(bǔ)全。

總結(jié)

最終,我們方案的成績(jī)?nèi)缦隆?/p>

38f1b444-2130-11ee-962d-dac502259ad0.png

優(yōu)點(diǎn):

1、目標(biāo)檢測(cè)算法和ocr識(shí)別算法均源自開源算法庫(kù)中SOTA模型,實(shí)現(xiàn)簡(jiǎn)單高效,且具備豐富的工業(yè)部署落地支持。

2、沒有采用傳統(tǒng)直線檢測(cè)的方式檢測(cè)關(guān)鍵點(diǎn),通過類似姿態(tài)估計(jì)的方式提高了關(guān)鍵點(diǎn)檢測(cè)精度。

3、提出了一種基于查表的魯棒儀表讀數(shù)方法,對(duì)于遮擋嚴(yán)重的情況也能較好地處理。

4、通過透視變換,將形變的儀表圖像修正,使得讀數(shù)更加準(zhǔn)確。

可提升點(diǎn):

1、將模型文件轉(zhuǎn)換為TensorRT格式,加速推理。

2、更改ocr識(shí)別模型,提升效率。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 圖像
    +關(guān)注

    關(guān)注

    2

    文章

    1084

    瀏覽量

    40451
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3229

    瀏覽量

    48812
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1208

    瀏覽量

    24690

原文標(biāo)題:總結(jié)

文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    原裝IC網(wǎng)基于瑞薩單片機(jī)的儀表盤(總線型)解決方案

    本帖最后由 于圭 于 2014-12-29 10:06 編輯 原裝IC網(wǎng)基于瑞薩單片機(jī)的儀表盤(總線型)解決方案儀表盤是汽車中必不可少的一部分,傳統(tǒng)儀表盤為機(jī)電模擬式
    發(fā)表于 02-26 14:48

    汽車儀表盤解決方案

    汽車儀表盤解決方案 TMS470PLF221RFPQ1 是 TI 基于 ARM7 內(nèi)核,專門用來開發(fā)汽車儀表盤的一款 MCU,其內(nèi)帶6個(gè)步進(jìn)電機(jī)驅(qū)動(dòng)器,可以同時(shí)對(duì)六個(gè)儀表電機(jī)進(jìn)行細(xì)分控
    發(fā)表于 01-07 16:04

    虛擬儀表盤是未來的趨勢(shì)嗎?

    `昨天聽了一場(chǎng)富士通半導(dǎo)體的虛擬儀表盤解決方案,曾經(jīng)高大上的虛擬儀表盤正在低成本、低設(shè)計(jì)難度地走入國(guó)產(chǎn)汽車的design in日程,據(jù)富士通的Speaker說捷豹XJL和路虎攬勝就用很早用了他們
    發(fā)表于 09-25 09:43

    基于labview汽車儀表盤的設(shè)計(jì)

    求利用labview軟件設(shè)計(jì)汽車儀表盤
    發(fā)表于 06-01 08:47

    用MCU和安徽閃存打造大時(shí)代凱美瑞高端儀表盤怎么樣

    普拉斯半導(dǎo)體公司宣布全球汽車零部件及系統(tǒng)供應(yīng)商電裝 (DENSO) 公司采用普拉斯 Traveo 車用 MCU 系列和 FL-S Serial NOR 閃存,為豐田2017款凱美瑞汽車儀表盤提供
    發(fā)表于 09-22 10:39

    Maxim開發(fā)出儀表盤應(yīng)用的高效汽車電源方案

      導(dǎo)讀:據(jù)報(bào)道,Maxim日前宣布開發(fā)出汽車儀表盤應(yīng)用的MAX16993,此器件在單顆芯片內(nèi)通過AEC-Q100標(biāo)準(zhǔn)認(rèn)證,提供了多項(xiàng)業(yè)內(nèi)一流的功能,是一款面向現(xiàn)今儀表盤應(yīng)用的高效汽車電源方案
    發(fā)表于 09-27 15:16

    汽車儀表盤MCU背后的故事

    隨著汽車電子技術(shù)的飛速發(fā)展,傳統(tǒng)的車用機(jī)械儀表盤已呈現(xiàn)出向數(shù)字儀表過度的趨勢(shì),與之對(duì)應(yīng)的全部功能顯示也將被渲染后的高清畫面所取代。而引起這一巨大變革的根源,卻是一個(gè)只有一元硬幣大小的集成電子芯片--圖形儀表盤MCU(圖形
    發(fā)表于 07-09 06:27

    汽車儀表盤MCU背后的故事

    隨著汽車電子技術(shù)的飛速發(fā)展,傳統(tǒng)的車用機(jī)械儀表盤已呈現(xiàn)出向數(shù)字儀表過度的趨勢(shì),與之對(duì)應(yīng)的全部功能顯示也將被渲染后的高清畫面所取代。而引起這一巨大變革的根源,卻是一個(gè)只有一元硬幣大小的集成電子芯片--圖形儀表盤MCU(圖形
    發(fā)表于 07-16 07:56

    一文淺析汽車儀表盤

      汽車儀表盤  汽車儀表盤是反映車輛各系統(tǒng)工作狀況的裝置。常見的有燃油指示燈、清洗液指示燈、電子油門指示燈、前后霧燈指示燈及報(bào)警燈。  不同汽車的儀表不盡相同。但是一般汽車的常規(guī)儀表
    發(fā)表于 08-31 06:27

    開發(fā)汽車obd數(shù)字儀表盤的過程記錄

    各位客官老爺們大家好,這是我第一次申請(qǐng)公眾號(hào),也是第一次發(fā)文章,本著分享與求知的心態(tài),記錄一下自己開發(fā)汽車obd數(shù)字儀表盤的過程,能對(duì)別人有一絲的幫助,那是最好不過的,如果沒有,也求拍磚與批評(píng)指導(dǎo)
    發(fā)表于 12-20 08:00

    電子圖形儀表盤解決方案-瑞薩-彭總

    電子圖形儀表盤解決方案
    發(fā)表于 12-26 15:58 ?18次下載

    集成TPMS功能的儀表盤設(shè)計(jì)方案解析

    本文為某電動(dòng)汽車的一款集成TPMS功能的儀表盤設(shè)計(jì)方案,該設(shè)計(jì)將TPMS接收器以子板的形式在儀表盤上實(shí)現(xiàn),降低了獨(dú)立安裝的成本和不便,同時(shí)可方便安裝和拆卸,以滿足不同電動(dòng)汽車配置的要求。根據(jù)TPMS
    發(fā)表于 11-20 15:34 ?0次下載
    集成TPMS功能的<b class='flag-5'>儀表盤</b>設(shè)計(jì)<b class='flag-5'>方案</b>解析

    集成TPMS功能的電動(dòng)汽車儀表盤設(shè)計(jì)解析

    筆者為某電動(dòng)汽車設(shè)計(jì)了一款集成TPMS功能的儀表盤,將TPMS接收器以子板的形式在儀表盤上實(shí)現(xiàn),降低了獨(dú)立安裝的成本和不便,同時(shí)可方便安裝和拆卸,以滿足不同電動(dòng)汽車配置的要求。根據(jù)TPMS、儀表盤
    發(fā)表于 11-21 10:57 ?2次下載
    集成TPMS功能的電動(dòng)汽車<b class='flag-5'>儀表盤</b>設(shè)計(jì)解析

    用于儀表盤的電源解決方案

    用于儀表盤的TI模擬和電源解決方案
    的頭像 發(fā)表于 08-20 01:47 ?3767次閱讀

    克服汽車儀表盤電源設(shè)計(jì)難題

    克服汽車儀表盤電源設(shè)計(jì)難題
    發(fā)表于 11-03 08:04 ?3次下載
    克服汽車<b class='flag-5'>儀表盤</b>電源設(shè)計(jì)難題
    主站蜘蛛池模板: 中文日产无乱码AV在线观| 精品视频在线观看视频免费视频| 牛牛在线视频| 在线亚洲中文字幕36页| 好男人在线视频| 亚洲AV久久无码精品九号| 国产成人啪精视频精东传媒网站 | 金瓶梅 快播| 亚洲精品国产第一区第二区| 国产精品在线手机视频| 手机看片成人| 国产成人a视频在线观看| 日韩精品欧美在线视频在线| 把腿张开再深点好爽宝贝| 彭丹吃奶门| 扒开腿狂躁女人GIF动态图| 欧洲videosdesrxotv| bbbbbxxxxx肥胖| 欧美一区二区三区男同| 9位美女厕所撒尿11分| 欧美同志高清vivoeso| china野外18:19| 秋霞伦理电影在2017韩国在线伦| music radio在线收听| 人妻免费视频公开上传| 芭乐视频免费资源在线观看| 人人爽久久久噜噜噜丁香AV| 大肥婆丰满大肥奶bbw肥| 色偷偷网站| 国产麻豆精品传媒AV国产在线| 亚洲 欧美 日韩 精品 自拍| 果冻传媒在线观看网站| 一个人HD在线观看免费高清视频 | 久久精品午夜一区二区福利 | 四虎永久免费| 国产欧美无码亚洲毛片| 亚洲精品不卡视频| 久久久久亚洲精品影视| 5g在线视讯年龄确认海外禁止进入| 男生jj插入女生jj| 岛国大片在线观看完整版|