色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種自監督同變注意力機制,利用自監督方法來彌補監督信號差異

5b9O_deeplearni ? 來源:深度學習大講堂 ? 2020-05-12 10:16 ? 次閱讀

編者按:近日,計算機視覺頂會 CVPR 2020 接收論文結果揭曉,從 6656 篇有效投稿中錄取了 1470 篇論文,錄取率約為 22%。中科院VIPL實驗室共七篇論文錄取,內容涉及弱監督語義分割、活體檢測、手勢識別、視覺問答、行人搜索、無監督領域自適應方法等方面,本文將予以詳細介紹。

01

1. Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (Yude Wang, Jie Zhang, Meina Kan, Shiguang Shan, Xilin Chen)

基于類別標簽的弱監督語義分割作為一個具有挑戰性的問題在近年來得到了深入的研究,而類別響應圖(class activation map,簡稱CAM)始終是這一領域的基礎方法。但是由于強監督與弱監督信號之間存在差異,由類別標簽生成的CAM無法很好地貼合物體邊界。

本文提出了一種自監督同變注意力機制(self-supervised equivariant attention mechanism,簡稱SEAM),利用自監督方法來彌補監督信號差異。在強監督語義分割的數據增廣階段,像素層級標注和輸入圖像需經過相同的仿射變換,自此這種同變性約束被隱式地包含,而這種約束在只有類別標簽的CAM的訓練過程中是缺失的。因此,我們利用經過不同仿射變換的圖片得到的類別響應圖本應滿足的同變性來為網絡訓練提供自監督信號。除此之外,我們提出像素相關模塊(pixel correlation module,簡稱PCM),通過發掘圖像表觀信息,利用相似像素的特征來修正當前像素的預測結果,從而增強CAM預測結果的一致性。我們的方法在PASCAL VOC 2012數據集上進行了充分的實驗,驗證了算法的有效性,并取得當前最好性能。

02

2. Single-Side Domain Generalization for Face Anti-Spoofing (Yunpei Jia, Jie Zhang, Shiguang Shan, Xilin Chen)

由于不同數據集之間存在差異,很多活體檢測方法進行跨數據集測試時性能下降明顯。現有的一些方法借用領域泛化的思想,利用多個已有的源域數據去訓練模型,以得到一個領域不變的特征空間,從而在未知的目標域中進行測試時能利用學習到的通用判別特征,去提升模型的泛化性能。但是,由于不同數據集之間,攻擊樣本相對于正常樣本存在更大的差異(比如說攻擊方式的不同,攻擊樣本之間采集的環境差異),努力讓這些攻擊樣本去學習一個領域不變的特征空間是比較困難的,通常會得到一個次優解,如下圖左邊所示。因此,針對這一個問題,我們提出來一個端到端的單邊領域泛化框架,以進一步提升模型的性能。

其中主要思想在于,對于不同數據集中的正常樣本,我們去學習一個領域不變的特征空間;但是對于不同數據集中的攻擊樣本,我們去學習一個具有分辨性的特征空間,使相同數據集中的攻擊樣本盡可能接近,而不同數據集中的攻擊樣本盡可能遠離。最終效果會使攻擊樣本在特征空間中張成更大的區域,而正常樣本僅僅處在一個緊湊的區域中,從而能夠學習到一個對于正常樣本包圍更緊致的分類器,以達到在未知的目標域上更好的性能,如下圖右邊所示。

具體來說,我們引用一個域判別器,利用一種單邊的對抗學習,讓特征提取器僅僅對于正常樣本提取更具有泛化性能的特征。并且,我們提出一個不均衡的三元組損失函數,讓不同數據集之間的正常樣本盡可能接近而攻擊樣本盡可能遠離,以使得攻擊樣本在特征空間中張成一個更大的范圍。同時,我們還引入了特征和參數歸一化的思想,進一步地提升模型的性能。大量實驗表明,我們提出的方法是有效的,并且在四個公開數據庫上均達到了最優的性能。

03

3. Cross-domain Face Presentation Attack Detection via Multi-domain Disentangled Representation Learning (Guoqing Wang, Hu Han, Shiguang Shan, Xilin Chen)

目前,人臉呈現攻擊檢測(Presentation Attack Detection, 簡稱PAD)成為人臉識別系統中一個亟待解決的問題。傳統的方法通常認為測試集和訓練集來自于同一個域,結果表明這些方法并不能很好的推廣到未知場景中,因為學到的特征表示可能會對訓練集中的身份、光照等信息產生過擬合。

為此,本文針對跨域人臉呈現攻擊檢測提出一種高效的特征解耦方法。我們的方法包含特征解耦模塊(DR-Net)和多域學習模塊(MD-Net)。DR-Net通過生成模型學習了一對特征編碼器,可以解耦得到PAD相關的特征和身份信息相關的特征。MD-Net利用來自于不同域中解耦得到的特征進一步學習和解耦,得到與域無關的解耦特征。在當前公開的幾個數據集上的實驗驗證了所提方法的有效性。

04

4. An Efficient PointLSTM Network for Point Clouds based Gesture Recognition (Yuecong Min, Yanxiao Zhang, Xiujuan Chai, Xilin Chen)

現有的手勢識別方法往往采用視頻或骨架點序列作為輸入,但手部在整張圖片中所占比例較小,基于視頻的方法往往受限于計算量并且更容易過擬合,而基于骨架點的方法依賴于獲取的手部骨架點的精度。

本文提出了一個基于點云序列的長短期記憶模塊 (PointLSTM),可以直接從手部點云序列中捕獲手型特征和手部運動軌跡。該模塊為點云序列中的每一個點保留了獨立的狀態,在更新當前點的狀態時,通過一個權值共享的LSTM融合時空相鄰點的狀態和當前點的特征,可以在保留點云空間結構的同時提取長時序的空間和時序信息。此外,本文還提出了一個幀內狀態共享的模塊(PointLSTM-PSS)用于簡化計算量和分析性能提升來源。我們在兩個手勢識別數據集 (NVGesture和SHREC’17) 和一個動作識別數據集 (MSR Action3D) 上驗證了方法的有效性和泛化能力,提出的模型在4096個點(32幀,每幀采樣128點)的規模下,優于目前最好的基于手部骨架點序列的手勢識別方法和基于點云序列的動作識別方法。

05

5. Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text (Difei Gao, Ke li, Ruiping Wang, Shiguang Shan, Xilin Chen)

場景圖像中的文字通常會包含豐富的信息,比如,飯店的名字,產品的信息,等等。能夠理解這些場景文字,并回答與此相關的自然語言問題(即,場景文字問答任務,Text VQA)的智能體也將會有非常廣泛的應用前景。然而,對于當前的模型,場景文字問答任務仍十分具有挑戰。其關鍵的難點之一就是真實場景當中會出現大量的不常見的,多義的或有歧義的單詞,比如,產品的標簽,球隊的名稱等等。要想讓模型理解這些單詞的含義,僅僅訴諸于詞表有限的預訓練單詞嵌入表示(word embedding)是遠遠不夠的。一個理想的模型應該能夠根據場景中周圍豐富的多模態的信息推測出這些單詞的信息,比如,瓶子上顯著的單詞很有可能就是它的牌子。

根據這樣的思路,我們提出了一種新的視覺問答模型,多模態圖神經網絡(Multi-Modal Graph Neural Network,MM-GNN),它可以捕獲圖片當中各種模態的信息來推理出未知單詞的含義。具體來說,如下圖所示,我們的模型首先用三個不同模態的子圖來分別表示圖像中物體的視覺信息,文本的語言信息,以及數字型文本的數值信息。然后,我們引入三種圖網絡聚合器(aggregator),它們引導不同模態的消息從一個圖傳遞到另一個圖中,從而利用各個模態的上下文信息完善多模態圖中各個節點的特征表示。這些更新后的節點特征進而幫助后續的問答模塊。我們在近期提出的Text VQA和Scene Text VQA問答數據庫上進行了實驗,取得了state-of-the-art的性能,并驗證了方法的有效性。

06

6. TCTS: A Task-Consistent Two-stage Framework for Person Search (Cheng Wang,Bingpeng Ma,Hong Chang, Shiguang Shan, Xilin Chen)

當前最先進的行人搜索方法將行人搜索分為檢測和再識別兩個階段,但他們大多忽略了這兩個階段之間的一致性問題。一般的行人檢測器對 query 目標沒有特別的關注;再識別模型是在手工標注的裁剪框上訓練的,在實際情況中是沒有這樣完美的檢測結果的。

為了解決一致性問題,我們引入了一個目標一致的兩階段的行人搜索框架 TCTS,包括一個 identity-guided query(IDGQ)檢測器和一個檢測結果自適應(Detection Results Adapted ,DRA)的再識別模型。在檢測階段,IDGQ 檢測器學習一個輔助的身份分支來計算建議框和查詢圖片的相似度得分。同時考慮查詢相似度得分和前景得分,IDGQ為行人再識別階段生成 query-like 的邊界框。在再識別階段,我們預測檢測輸出的 bounding boxes 對應的身份標簽,并用使用這些樣本為 DRA 模型構造一個更實用的混合訓練集。混合訓練提高了 DRA 模型對檢測不精確的魯棒性。我們在CUHK-SYSU和PRW這兩個基準數據集上評估了我們的方法。我們的框架在CUHK-SYSU上達到了93.9%的mAP和95.1%的rank1精度,超越以往最先進的方法。

07

7. Unsupervised Domain Adaptation with Hierarchical Gradient Synchronization (Lanqing Hu,Meina Kan, Shiguang Shan, Xilin Chen)

無監督領域自適應方法的任務是,將已標注的源域數據集上的知識遷移到無標注的目標域,從而減小對新目標域的標注代價。而源域和目標域之間的差異是這個問題的難點,大多方法通過對齊兩個域的特征的分布來減小域之間的差異,但是仍然很難做到兩個不同分布的每一個局部塊都完美對齊,從而保證判別信息的很好保留。

本文提出一種層級梯度同步的方法,首先在域、類別、類組三個級別通過對抗學習進行條件分布的對齊,然后通過約束不同級別的域判別器的梯度保證相同的方向和幅度,由此提高分布對齊的內在一致性,加強類別結構的保留,從而得到更準確的分類結果。該方法在當前主流測試集Office-31,Office-Home,VisDA-2017上的結果都驗證了其有效性。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 算法
    +關注

    關注

    23

    文章

    4607

    瀏覽量

    92840
  • 計算機視覺
    +關注

    關注

    8

    文章

    1698

    瀏覽量

    45977
  • 數據集
    +關注

    關注

    4

    文章

    1208

    瀏覽量

    24689

原文標題:CVPR2020 | 中科院VIPL實驗室錄取論文詳解

文章出處:【微信號:deeplearningclass,微信公眾號:深度學習大講堂】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    時空引導下的時間序列監督學習框架

    【導讀】最近,香港科技大學、上海AI Lab等多個組織聯合發布了篇時間序列無監督預訓練的文章,相比原來的TS2Vec等時間序列表示學習工作,核心在于提出了將空間信息融入到預訓練階段,即在預訓練階段
    的頭像 發表于 11-15 11:41 ?240次閱讀
    時空引導下的時間序列<b class='flag-5'>自</b><b class='flag-5'>監督</b>學習框架

    國家醫療器械質量監督檢驗中心選購我司差示掃描量熱儀

    近日,國家醫療器械質量監督檢驗中心已正式選購我司生產的差示掃描量熱儀(DSC)。此次合作不僅是對我司產品質量的認可,更是對我們技術實力的肯定。國家醫療器械質量監督檢驗中心差示掃描量熱儀作為一種重要
    的頭像 發表于 11-13 09:48 ?137次閱讀
    國家醫療器械質量<b class='flag-5'>監督</b>檢驗中心選購我司差示掃描量熱儀

    一種基于因果路徑的層次圖卷積注意力網絡

    機電系統中數據驅動故障檢測模型的性能和可解釋性。引入了一種混合因果發現算法發現監測變量之間的繼承因果關系。順序連接因果變量的因果路徑用作接收場,使用多尺度卷積提取特征。基于分層注意力
    的頭像 發表于 11-12 09:52 ?255次閱讀
    <b class='flag-5'>一種</b>基于因果路徑的層次圖卷積<b class='flag-5'>注意力</b>網絡

    曙光公司成都云中心助力提升監督質效

    數字化時代,用好大數據,推動數字技術深度融入紀檢監察各項業務,是大勢所趨。當前,各地正在探索推進大數據監督,借助海量數據、算、算法,不斷延伸監督的觸角,拓展發現問題的渠道。以“算
    的頭像 發表于 11-05 10:05 ?220次閱讀

    一種創新的動態軌跡預測方法

    本文提出了一種動態軌跡預測方法,通過結合歷史幀和歷史預測結果提高預測的穩定性和準確性。它引入了歷史預測注意力模塊,以編碼連續預測之間的動態關系,并通過三重因子
    的頭像 發表于 10-28 14:34 ?398次閱讀
    <b class='flag-5'>一種</b>創新的動態軌跡預測<b class='flag-5'>方法</b>

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    并捕捉長距離依賴關系的神經網絡結構。Transformer通過編碼器(Encoder)和解碼器(Decoder)兩部分實現語言的編碼和解碼。 注意力機制:Transformer中的注意力機制
    發表于 08-02 11:03

    旗晟機器人人員行為監督AI智慧算法

    ,以實現對工業場景巡檢運維的高效化目標。那么,下面我們談談旗晟機器人AI智慧算法之——人員行為監督AI智慧算法。 旗晟人員行為監督AI智慧算法是通過各類采集設備與AI服務器,結合行
    的頭像 發表于 07-24 17:05 ?274次閱讀
    旗晟機器人人員行為<b class='flag-5'>監督</b>AI智慧算法

    神經網絡如何用無監督算法訓練

    神經網絡作為深度學習的重要組成部分,其訓練方式多樣,其中無監督學習是一種重要的訓練策略。無監督學習旨在從未標記的數據中發現數據內在的結構、模式或規律,從而提取有用的特征表示。這種訓練方式對于大規模未
    的頭像 發表于 07-09 18:06 ?776次閱讀

    深度學習中的無監督學習方法綜述

    應用中往往難以實現。因此,無監督學習在深度學習中扮演著越來越重要的角色。本文旨在綜述深度學習中的無監督學習方法,包括自編碼器、生成對抗網絡、聚類算法等,并分析它們的原理、應用場景以及優缺點。
    的頭像 發表于 07-09 10:50 ?683次閱讀

    基于FPGA的類腦計算平臺 —PYNQ 集群的無監督圖像識別類腦計算系統

    )。使用 Spike-Timing-Dependent Plasticity (STDP)在 C1-S2 層之間進行對象特征的學習。該網絡架構屬于麻省理工學院 Riesenhuber &Poggio 提出的 HMAX 模型中的一種,HMAX 模型
    發表于 06-25 18:35

    【大規模語言模型:從理論到實踐】- 閱讀體驗

    再次感謝電子發燒友提供的書籍試讀機會。今天分享下我在學習大模型訓練中 注意力機制 的心得體會。 雖然注意力機制可以顯著提高模型處理長序列數
    發表于 06-07 14:44

    易華錄產品檢測中心順利通過CNAS資質監督評審

    近日,經中國合格評定國家認可委員會評審組現場評審,易華錄產品檢測中心順利通過CNAS資質監督評審。
    的頭像 發表于 05-15 17:26 ?587次閱讀
    易華錄產品檢測中心順利通過CNAS資質<b class='flag-5'>監督</b>評審

    Meta發布新型無監督視頻預測模型“V-JEPA”

    Meta,這家社交媒體和科技巨頭,近日宣布推出一種新型的無監督視頻預測模型,名為“V-JEPA”。這模型在視頻處理領域引起了廣泛關注,因為它通過抽象性預測生成視頻中缺失或模糊的部分來進行學習,提供了
    的頭像 發表于 02-19 11:19 ?1009次閱讀

    語言模型的弱監督視頻異常檢測方法

    了局部Transformer的mask,從時序上將輸入視頻幀特征分割為多個等長塊,令注意力計算局限于塊內,減少了冗余信息建模,降低計算復雜度。
    的頭像 發表于 01-02 15:20 ?827次閱讀
    語言模型的弱<b class='flag-5'>監督</b>視頻異常檢測<b class='flag-5'>方法</b>

    基于神經輻射場的監督多相機占用預測

    本研究提出了一種監督的多攝相機3D占據預測方法,名為OccNeRF。該方法旨在解決無界場景的建模問題。
    的頭像 發表于 01-02 14:53 ?463次閱讀
    基于神經輻射場的<b class='flag-5'>自</b><b class='flag-5'>監督</b>多相機占用預測
    主站蜘蛛池模板: 母狗黄淑珍| 两百磅美女| 久久国产亚洲电影天堂| 亚洲精品偷拍影视在线观看| 亚洲黄视频在线观看| 伊人久久大香线蕉资源| 97超碰97资源在线观看| a级毛片黄免费a级毛片| 俄罗斯XXXXXL18| 国产一及毛片| 麻豆精品传媒2021网站入口| 青青涩射射| 亚洲qvod图片区电影| 中文字幕不卡免费高清视频| yellow免费观看完整版直播| 国产精彩视频在线| 久久re6热在线视频| 欧美最猛性XXX孕妇| 亚洲国产精品免费观看| 在线观看插女生免费版| 草久久久久| 黄色三级视频在线观看| 欧美 亚洲 日韩 在线综合| 我和妽妽在厨房里的激情区二区| 亚洲永久在线观看| qvod电影资源| 簧片在线观看| 妻子的秘密HD观看| 亚洲精品久久无码AV片WWW| 9久久免费国产精品特黄| 国产精品高潮呻吟AV久久96| 久久免费特黄毛片| 色欲人妻无码AV精品一区二区| 伊人国产在线视频| 成人女人A级毛片免费软件| 黄色免费网址在线观看| 热久久伊大人香蕉网老师| 亚洲日韩视频免费观看| 成人在线视频观看| 久热人人综合人人九九精品视频| 色视频色露露永久免费观看|