色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

動態(tài)蛇形卷積(Dynamic Snake Convolution)用于管狀結(jié)構(gòu)分割

智能感知與物聯(lián)網(wǎng)技術(shù)研究所 ? 來源:未知 ? 2023-07-30 22:35 ? 次閱讀

65b6c6be-2ee5-11ee-815d-dac502259ad0.png

論文題目:Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation

簡介

管狀結(jié)構(gòu)(例如血管、道路)是臨床、自然界等各領(lǐng)域場景中十分重要的一種結(jié)構(gòu),其的精確分割可以保證下游任務(wù)的準(zhǔn)確性與效率。然而這并不是一個簡單的任務(wù),主要的挑戰(zhàn)源于細(xì)長微弱的局部結(jié)構(gòu)特征與復(fù)雜多變的全局形態(tài)特征。

本文關(guān)注到管狀結(jié)構(gòu)細(xì)長連續(xù)的特點(diǎn),并利用這一信息神經(jīng)網(wǎng)絡(luò)以下三個階段同時增強(qiáng)感知:特征提取、特征融合損失約束。分別設(shè)計(jì)了動態(tài)蛇形卷積(Dynamic Snake Convolution),多視角特征融合策略與連續(xù)性拓?fù)浼s束損失。我們同時給出了基于 2D 和 3D 的方法設(shè)計(jì),通過實(shí)驗(yàn)證明了本文所提出的 DSCNet 在管狀結(jié)構(gòu)分割任務(wù)上提供了更好的精度和連續(xù)性。

思考

在開始介紹工作之前,我想和讀者討論下在大模型時代下,專用分割方法的價值

隨著 SAM(Segment Anything)[1]、Universal Model [2]等一眾非常優(yōu)秀的分割基礎(chǔ)模型的提出,越來越多的分割目標(biāo)只需要在大模型的基礎(chǔ)上,直接測試或簡單微調(diào),就能夠得到讓人十分滿意的結(jié)果。這不免讓人感到迷茫,繼續(xù)做專用分割工作是否還有價值?后續(xù)的研究方向是否是要去拼大模型?或者站在前人的肩膀上去研究如何將大模型微調(diào)到專用領(lǐng)域?

值得注意的是,仍存在一些復(fù)雜的領(lǐng)域,大模型還未能夠很好的覆蓋(也許只是時間問題)。例如偽裝目標(biāo)、非顯著性目標(biāo),以及本文所關(guān)注的特殊管狀結(jié)構(gòu)(占比小、特征弱且分布廣)等等。同時,當(dāng)分割的對象上升到 3D 乃至 4D 的數(shù)據(jù)時,一些復(fù)雜的結(jié)構(gòu)(3D 的血管、氣管等)也困擾著大模型。當(dāng)然,一些特殊的場景,需要非常高的精度,例如臨床,1% 的誤差對于診斷都有著非常大的危險。

因此,將專用模型與大模型相結(jié)合,會促進(jìn)研究發(fā)展地更快、更好。大模型關(guān)注更多的是普適性,通用性和便捷性,在此基礎(chǔ)上,大模型針對性地補(bǔ)充領(lǐng)域?qū)S械奶卣餍畔ⅲ軌蚋涌旖莸孬@得更高的精度。

挑戰(zhàn)

65dd8772-2ee5-11ee-815d-dac502259ad0.png

▲ 圖1. 上圖:顯示了三維心臟血管數(shù)據(jù)集和二維遙感道路數(shù)據(jù)集,這兩個數(shù)據(jù)集都旨在提取管狀結(jié)構(gòu),但由于脆弱的局部結(jié)構(gòu)和復(fù)雜的全球形態(tài),這項(xiàng)任務(wù)存在很多挑戰(zhàn)。下圖:標(biāo)準(zhǔn)卷積核旨在提取局部特征。在此基礎(chǔ)上,可變形卷積核豐富其應(yīng)用,并適應(yīng)不同目標(biāo)的幾何形態(tài),但針對細(xì)長的管狀結(jié)構(gòu)容易丟失關(guān)注

管狀結(jié)構(gòu)的精確提取仍然具有挑戰(zhàn):

細(xì)長且脆弱的局部結(jié)構(gòu)。如圖 1 所示,細(xì)長的結(jié)構(gòu)僅占整個圖像的一小部分,像素的組成有限。此外,這些結(jié)構(gòu)容易受到復(fù)雜背景的干擾,因此模型很難精確分辨目標(biāo)的細(xì)微變化,從而導(dǎo)致分割出現(xiàn)破碎與斷裂。

復(fù)雜且多變的全局形態(tài)。圖 1 顯示了細(xì)長管狀結(jié)構(gòu)復(fù)雜多變的形態(tài),即使在同一張圖像中也是如此。位于不同區(qū)域的目標(biāo)的形態(tài)變化取決于分支的數(shù)量、分叉的位置,路徑長度以及其在圖像中的位置。因此當(dāng)數(shù)據(jù)表現(xiàn)出未曾見過的形態(tài)特征時,模型傾向于過擬合到已見過的特征,無法識別未見過的特征形態(tài),從而導(dǎo)致泛化性較弱。

動機(jī)

受到 Deformable Convolution [3] 的啟發(fā),我們希望模型在學(xué)習(xí)特征的過程中,改變卷積核的形狀,從而關(guān)注管狀結(jié)構(gòu)的核心結(jié)構(gòu)特點(diǎn)。由此衍生出很多工作[4][5],并在視網(wǎng)膜血管的分割工作中得到了應(yīng)用。然而在我們的初期實(shí)驗(yàn)中發(fā)現(xiàn),由于管狀結(jié)構(gòu)所占比例較小,模型不可避免地失去對相應(yīng)結(jié)構(gòu)的感知,卷積核完全游離在目標(biāo)以外。因此我們希望根據(jù)管狀結(jié)構(gòu)的特點(diǎn)來設(shè)計(jì)特定的網(wǎng)絡(luò)結(jié)構(gòu),從而指導(dǎo)模型關(guān)注關(guān)鍵特征。

方法

665ae0f0-2ee5-11ee-815d-dac502259ad0.png

▲ 圖2. 完整框架圖

動態(tài)蛇形卷積核(DynamicSnakeConvolution,DSConv)

我們希望卷積核一方面能夠自由地貼合結(jié)構(gòu)學(xué)習(xí)特征,另一方面能夠在約束條件下不偏離目標(biāo)結(jié)構(gòu)太遠(yuǎn)。在觀察管狀結(jié)構(gòu)的細(xì)長連續(xù)的特征后,腦海里想到了一個動物——。我們希望卷積核能夠像蛇一樣動態(tài)地扭動,來貼合目標(biāo)的結(jié)構(gòu)。

我們觀察一下形變卷積的操作核心 [3]

6666a700-2ee5-11ee-815d-dac502259ad0.png

▲ 圖3. 可形變卷積中的偏置學(xué)習(xí)

我們會發(fā)現(xiàn),操控單個卷積核形變的所有偏置(offset),是在網(wǎng)絡(luò)中一次性全部學(xué)到的,并且閱讀其核心代碼會發(fā)現(xiàn),對于這一個偏置只有一個范圍的約束,即感受野范圍(extend)。控制所有的卷積發(fā)生形變,是依賴于整個網(wǎng)絡(luò)最終的損失約束回傳,這個變化過程是相當(dāng)自由的。

66902fee-2ee5-11ee-815d-dac502259ad0.png▲ 圖4. 左圖:DSConv 坐標(biāo)的計(jì)算方法。右圖:DSConv 的真實(shí)感受范圍

完全的自由,容易讓模型丟失占比小的細(xì)小結(jié)構(gòu)特征,這對于細(xì)長管狀結(jié)構(gòu)分割任務(wù)來說,是一個巨大挑戰(zhàn)。因此,如圖 4 所示,我們以蛇來舉例,蛇的連續(xù)移動,是其頭帶動身體,一節(jié)一節(jié)如同波浪一般。因此,我們將連續(xù)性約束加入卷積核的設(shè)計(jì)中。每一個卷積位置都由其前一個位置作為基準(zhǔn),自由選擇擺動方向,從而在自由選擇的同時確保感受的連續(xù)性。(具體的公式可以參考論文與代碼)

這樣的設(shè)計(jì)是否真的有用?我們進(jìn)行了可視化驗(yàn)證:

670496c2-2ee5-11ee-815d-dac502259ad0.png

▲ 圖5. 我們在每張圖像上疊加 3 層的卷積核位置,共計(jì) 729 個點(diǎn)(紅色),以顯示給定點(diǎn)(黃色)的卷積核的位置和形狀。底部:熱圖顯示了每個卷積的感興趣區(qū)域。

以 2D 的視網(wǎng)膜數(shù)據(jù)為例,無論血管的走向、粗細(xì)等,我們的蛇形卷積核確實(shí)能夠更好地自適應(yīng)到管狀結(jié)構(gòu)的細(xì)長結(jié)構(gòu),并且關(guān)注到核心特征。

多視角特征融合

6782817c-2ee5-11ee-815d-dac502259ad0.png

▲ 圖6. 多視角特征融合策略

我們考慮到管狀結(jié)構(gòu)的走向與視角從來不是單一的,因此在設(shè)計(jì)中融合多視角特征也是必然的選擇。然而,融合更多的特征帶來的必然結(jié)果,就是更大的網(wǎng)絡(luò)負(fù)載,且如此多的特征難免會出現(xiàn)冗余,因此我們在特征融合的訓(xùn)練過程中加入了分組隨機(jī)丟棄的策略,一定程度上緩解了網(wǎng)絡(luò)內(nèi)內(nèi)存的壓力并避免模型陷入過擬合。

基于持續(xù)同調(diào)的拓?fù)溥B續(xù)損失(TCLoss)

67e2012e-2ee5-11ee-815d-dac502259ad0.png

▲ 圖7. 基于持續(xù)同調(diào)的連續(xù)性拓?fù)浼s束

我們的目標(biāo)是構(gòu)建數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu),并提取復(fù)雜管狀結(jié)構(gòu)中的高維關(guān)系,也就是持續(xù)同源性(Persistence Homology, PH)。基于 PH 所設(shè)計(jì)的拓?fù)鋼p失函數(shù)也有很多優(yōu)秀的工作 [6][7] 已經(jīng)采用,拓?fù)浼s束確實(shí)針對這類細(xì)長且占比小的結(jié)構(gòu)非常有效,設(shè)計(jì)中所采用的推土機(jī)距離(Wasserstein Distance, WD)用來衡量點(diǎn)集的差異。簡單描述,WD 用來衡量的是從一種離散分布,轉(zhuǎn)變?yōu)榱硪环N離散分布需要的代價。在 [6][7] 的方法中,利用這一算法來計(jì)算點(diǎn)與點(diǎn)的最佳匹配,點(diǎn)集中的離散點(diǎn)會被匹配到對角線(剛出現(xiàn)就消失的點(diǎn)聚集在對角線上),因此這些離散的點(diǎn)不會參與損失函數(shù)的計(jì)算與約束。

假設(shè) PO 的上端存在著一個異常的離散點(diǎn)(橫坐標(biāo)表示出現(xiàn)的時間,縱坐標(biāo)表示消失的時間),這表明存在一個構(gòu)件直到最后才與其他構(gòu)件獲得連接從而消失。因此我們在本文中采用的是豪斯多夫距離(Hausdorff Distance, HD),HD 也是用于衡量點(diǎn)集相似度的一個重要算法,對離散點(diǎn)也非常敏感。

實(shí)驗(yàn)

文中,我們使用了三個數(shù)據(jù)集,包含兩個公共數(shù)據(jù)集和一個內(nèi)部數(shù)據(jù)來驗(yàn)證我們的方法。在 2D 中,我們評估了 DRIVE 視網(wǎng)膜數(shù)據(jù)集和 Massachusetts Roads 數(shù)據(jù)集。在 3D 中,我們使用了一個名為心臟 CCTA 數(shù)據(jù)的數(shù)據(jù)集(私有數(shù)據(jù))。后續(xù),我們也在 3D KIPA 公開數(shù)據(jù)上做了驗(yàn)證,并且正在致力于用該方法測試多組公開挑戰(zhàn)賽數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果會在后續(xù)逐步公布。

6802807a-2ee5-11ee-815d-dac502259ad0.png

▲圖8. 可視化結(jié)果

從可視化結(jié)果可以發(fā)現(xiàn),我們的方法確實(shí)對管狀結(jié)構(gòu)數(shù)據(jù)有著很好的分割效果,尤其是在遙感道路數(shù)據(jù)以及冠脈血管數(shù)據(jù)上。

68c2ade6-2ee5-11ee-815d-dac502259ad0.png

▲ 圖9. 量化結(jié)果

總結(jié)

我們提出的框架針對細(xì)長管狀結(jié)構(gòu)進(jìn)行了相應(yīng)設(shè)計(jì),并成功地將形態(tài)學(xué)特征與拓?fù)鋵W(xué)知識融為一體,以共同指導(dǎo)模型自適應(yīng)的分割。然而,其他形態(tài)學(xué)結(jié)構(gòu)的目標(biāo)是否也有類似的范式,并能夠通過這一方法獲得更好的性能仍然是一個有趣的話題。同時,我們也正在嘗試將其進(jìn)一步優(yōu)化,能夠作為基礎(chǔ)大模型中的一個通用框架,為這類特征難以鑒別的結(jié)構(gòu)提供一種可行的范式。


原文標(biāo)題:動態(tài)蛇形卷積(Dynamic Snake Convolution)用于管狀結(jié)構(gòu)分割

文章出處:【微信公眾號:智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:動態(tài)蛇形卷積(Dynamic Snake Convolution)用于管狀結(jié)構(gòu)分割

文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    AI模型部署邊緣設(shè)備的奇妙之旅:目標(biāo)檢測模型

    更多物體。與此同時,所有除了1 × 1 卷積外的卷積層都使用深度可分離卷積(Depthwise Separable Convolution)。深度可分離
    發(fā)表于 12-19 14:33

    卷積神經(jīng)網(wǎng)絡(luò)的基本原理與算法

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks,F(xiàn)NN
    的頭像 發(fā)表于 11-15 14:47 ?454次閱讀

    管狀印刷無鉛錫膏的性能特點(diǎn)有哪些?

    管狀印刷無鉛錫膏(或稱高頻頭無鉛錫膏)是專為管狀印刷工藝設(shè)計(jì)的錫膏。管狀印刷工藝主要用于通孔元件的焊接,對于間距較小的焊點(diǎn)可以達(dá)到波峰焊無法比擬的效果。由于印刷工藝不同,
    的頭像 發(fā)表于 08-01 15:30 ?241次閱讀
    <b class='flag-5'>管狀</b>印刷無鉛錫膏的性能特點(diǎn)有哪些?

    深度學(xué)習(xí)中反卷積的原理和應(yīng)用

    在深度學(xué)習(xí)的廣闊領(lǐng)域中,反卷積(Deconvolution,也稱作Transposed Convolution)作為一種重要的圖像上采樣技術(shù),扮演著至關(guān)重要的角色。特別是在計(jì)算機(jī)視覺任務(wù)中,如圖
    的頭像 發(fā)表于 07-14 10:22 ?1613次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的工作原理和應(yīng)用

    卷積神經(jīng)網(wǎng)絡(luò)(FCN)是深度學(xué)習(xí)領(lǐng)域中的一種特殊類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),尤其在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出色。它通過全局平均池化或轉(zhuǎn)置卷積處理任意尺寸的輸入,特別適用于像素級別的任務(wù),如圖像
    的頭像 發(fā)表于 07-11 11:50 ?1120次閱讀

    圖像分割與語義分割中的CNN模型綜述

    圖像分割與語義分割是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù),旨在將圖像劃分為多個具有特定語義含義的區(qū)域或?qū)ο蟆?b class='flag-5'>卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為深度學(xué)習(xí)的一種核心模型,在圖像分割與語義
    的頭像 發(fā)表于 07-09 11:51 ?850次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)示例

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)是一種深度學(xué)習(xí)模型,主要用于處理具有網(wǎng)格結(jié)構(gòu)的數(shù)據(jù),如圖像。CNN通過卷積層自動提取圖像特征,然后通
    的頭像 發(fā)表于 07-03 10:51 ?434次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)原理

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識別、視頻分析、自然語言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)原理、
    的頭像 發(fā)表于 07-03 10:49 ?543次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)分類方法有哪些

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像分類、目標(biāo)檢測、語義分割等計(jì)算機(jī)視覺任務(wù)。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-03 09:40 ?456次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和工作原理

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識別、視頻分析、自然語言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
    的頭像 發(fā)表于 07-03 09:38 ?601次閱讀

    cnn卷積神經(jīng)網(wǎng)絡(luò)分類有哪些

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像分類、目標(biāo)檢測、語義分割等領(lǐng)域。本文將詳細(xì)介紹CNN在分類任務(wù)中的應(yīng)用,包括基本結(jié)構(gòu)、關(guān)鍵技術(shù)、常見網(wǎng)絡(luò)架構(gòu)以及實(shí)際應(yīng)用案例。
    的頭像 發(fā)表于 07-03 09:28 ?615次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的是什么

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識別、視頻分析、自然語言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的基本概念、
    的頭像 發(fā)表于 07-03 09:15 ?403次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及其功能

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識別、視頻分析、自然語言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
    的頭像 發(fā)表于 07-02 14:45 ?1580次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本原理、結(jié)構(gòu)及訓(xùn)練過程

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)是一種深度學(xué)習(xí)算法,廣泛應(yīng)用于圖像識別、視頻分析、自然語言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的基本原理、
    的頭像 發(fā)表于 07-02 14:21 ?2528次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

    廣泛應(yīng)用于圖像識別、自然語言處理、語音識別等領(lǐng)域。本文將詳細(xì)闡述卷積神經(jīng)網(wǎng)絡(luò)的概念、基本結(jié)構(gòu)及其在各領(lǐng)域的應(yīng)用。
    的頭像 發(fā)表于 07-01 15:58 ?440次閱讀
    主站蜘蛛池模板: 日日久久狠狠8888偷偷色| 精品午夜中文字幕熟女人妻在线| 久久国产亚洲精品AV麻豆| 色色激情网| 亚州AV中文无码乱人伦在线| 在线免费中文字幕| 国产色精品久久人妻99蜜桃麻豆 | 亚洲一在线| 灌饱娇嫩H将军公主最新章节| 国产午夜精品一区二区三区| 亲嘴扒胸摸屁股视频免费网站| 在线免费观看视频a| GOGOGO高清免费播放| 久久热这里只有 精品| 欧美成 人 网 站 免费| 真实农村女人野外自拍照片| 国产小视频免费在线观看| 涩涩爱涩涩电影网站| 扒开女生尿口| 女人爽得直叫免费视频| 色戒无删减流畅完整版| 亚洲综合中文字幕无线码| jk制服喷水| 美女久久久| 我把寡妇日出水好爽| 纯肉高H种马艳遇风流多| 让男人玩尿道的女人| 亚洲精品国偷拍电影自产在线| 国产成人精品男人免费| 日韩一区二区三区四区区区 | 国产成人a v在线影院| 欧美片第1页 综合| 亚洲黄色高清| AV无码久久无遮挡国产麻豆| 国产欧美精品一区二区色综合| 色多多旧版污污破解版| 亚洲中文字幕乱码熟女在线| 国语对白嫖老妇胖老太| 亚洲a视频在线观看| porono日本xxx| 千禧金瓶梅 快播|