色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

為什么不同模態的embedding在表征空間中形成不同的簇

深度學習自然語言處理 ? 來源:圓圓的算法筆記 ? 作者:Fareise ? 2022-12-05 14:06 ? 次閱讀

本文介紹的是斯坦福大學在ICLR 2022發表的一篇多模態模型分析文章。這篇文章研究的是一個多模態對比學習模型中常見的問題:為什么不同模態的embedding在表征空間中形成不同的簇,以及這種gap對最終預訓練多模態模型在下游任務中效果的影響。文中分析的一些現象是我們在實驗中經常遇到的,例如為什么深度學習模型輸出的embedding對的cosine往往是大于0的數,并且做了很多有趣的實驗進行了分析和驗證。

文中將一些經典的多模態對比學習模型中兩個模態的embedding,通過降維等方法映射到二維坐標系中。從下圖可以看出,不論是哪種模型,兩個模態的表征都會出現gap(形成獨立的簇)。并且無論是預訓練好的模型,還是隨機初始化的模型,都存在這個問題。

2056fbf2-7455-11ed-8abf-dac502259ad0.png

那么為什么會出現這種現象呢?文中從兩個角度進行了分析,一個是深度學習模型本身的cone effect會帶來gap,另一個是對比學習損失傾向于保持這種gap

1 Core Effect的影響

Core effect在文中的定義可以理解為,使用深度學習模型得到的embedding,會分布在一個狹小的錐形空間里,不論模型的參數是訓練好的還是隨機的。同時,不同的隨機初始化最終產出的embedding會分布在不同的錐形區域。而多模態模型中,一般是兩個模態的模型分別隨機初始化,這就導致兩個模態會隨機生成兩個錐形區域,從而導致不同模態之間的表示空間存在gap。下面詳細介紹一下文中的分析過程

文中通過模型產出的任意兩個embedding的cosine相似度分布來驗證這個問題。從模型中獲取5000個embedding,然后計算兩兩embedding的cosine相似度,求出平均cosine和最小cosine。通過下圖可以發現,各類模型的cosine值基本都是偏高的,并且很少有負數的cosine值。這表明,模型輸出的embedding并不是散落在整個空間中的,而是形成一個從坐標遠點向外擴展的狹小錐形中,才會出現cosine取值分布偏大的現象。

2075938c-7455-11ed-8abf-dac502259ad0.png

那么為什么深度學習模型會出現cone effect現象呢?文中對比了不同激活函數、不同網絡層數的模型形成的cosine均值,發現層數越深cosine均值越高,并且當沒有激活函數的時候就不會出現cosine均值大于0的情況(如下圖所示)。這說明激活函數和網絡層數的加深是cone effect現象形成的主要原因。

20830fd0-7455-11ed-8abf-dac502259ad0.png

接下來,文中又對比了不同隨機初始化對形成的錐形區域的影響。文中對多個模型進行了25次隨機初始化,并繪制了每次隨機初始化的embedding區域。可以看到每次隨機初始化的錐形區域都是不同的,這說明不同的隨機初始化會導致生成的embedding分布在不同的錐形區域。

209026d4-7455-11ed-8abf-dac502259ad0.png

結合以上的信息就可以推倒出多模態模型兩個模態表征存在gap的原因:多模態對比學習一般是雙塔結構,一個模態一個塔,每個塔進行隨機參數初始化后,導致每個塔有一個自己的錐形區域,并且初始化的隨機性導致兩個塔的錐形區域不同。

2 對比學習loss的影響

第二個造成多模態表征存在gap的原因是對比學習loss。文中通過一些實驗驗證了對比學習loss會傾向于保持這種模態之間的gap。為了分析這個問題,文中設計了embedding shift實驗和構造mismatch數據實驗。

在embedding shift實驗中,會在一個訓練好的CLIP模型基礎上,計算兩個模態embedding質心之間的距離。并且不斷的讓兩個模態的embedding進行靠近,再計算不同temperature參數下的對比學習loss。實驗結果如下圖,CLIP模型訓練好后,兩個模態embedding的距離為0.82,隨著距離的拉近或遠離,基本都會帶來loss的上升。而當temperature=1時,最小loss則出現在兩個模態embedding距離更近的位置,這表明對比學習損失對gap的影響是和temperature相關的。

20a6a3fa-7455-11ed-8abf-dac502259ad0.png

在構造mismatch數據實驗中,作者會構造一些mismatch數據(如下圖中I0和T0是正樣本,I1和T1是正樣本,但是I0和T1更接近,I1和T0更接近),然后讓文本表示逐漸向圖像表示靠近。并繪制不同temperature下的loss曲線,可以看到和之前類似的效果,距離為0時loss最大,并且temperature為1時這種現象并不明顯。同時,如果刪除mismatch的數據,這個現象就消失了,這說明mismatch數據是導致對比學習loss傾向于保持多模態表征gap的關鍵因素。

20cbf97a-7455-11ed-8abf-dac502259ad0.png

3 Gap和模型效果

那么多模態表征的gap對模型效果有什么影響呢?首先作者對比了預訓練CLIP在zero-shot任務的效果。下表表示的是如何通過增大或縮小多模態表征gap來提升模型的效果。從下表可以看出,在各類數據集下,通過增大或減小多模態表征的gap,是可以對下游任務產生比較顯著的效果影響的。

21045158-7455-11ed-8abf-dac502259ad0.png

4 總結

這篇文章從一個多模態表征存在gap的現象出發,詳細分析了這個現象產生的原因,設計了豐富的實驗進行分析和驗證,并最終得到如何通過修改表征gap影響模型效果的方法。此外,文中的附錄還有大量的補充實驗,感興趣的同學可以進一步深入閱讀。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Clip
    +關注

    關注

    0

    文章

    31

    瀏覽量

    6664
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121117

原文標題:多模態預訓練常見問題:為什么不同模態表征存在gap?

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    使用TLE9893_2QKW62S進行EEPROM仿真,為什么無法代碼空間中找到寄存器?

    文檔,將這些信息映射到我所使用的控制器時遇到了許多困惑,例如無法代碼空間中找到的寄存器(如:SYS_STRTUP_STS)。
    發表于 05-20 06:03

    如何在KEIL軟件中將變量定義特定的RAM空間中

    _____________________________________________________________如何在KEIL軟件中將變量定義特定的RAM空間中
    發表于 10-16 22:47

    如何在vision空間中添加xy標尺

    哪位大神知道如何在labview的vision的圖片顯示空間中添加標尺?就像正常的labview的圖片控件里的標尺
    發表于 08-27 15:13

    怎么測量空間中某點的電磁功率(功率密度)?

    怎么測量天線輻射下空間中某點的電磁功率(功率密度)?
    發表于 10-16 16:32

    請問一首MP3格式的歌sd卡中是占用1空間嗎?

    一首MP3格式的歌sd卡中是不是占用1空間
    發表于 02-20 22:00

    怎么代碼與數據空間中放置常量

    嗨,相當新的PIC24&XC16和我正在實驗中放置數據常量代碼與數據空間。我注意到,程序代碼大小根據我放置常數的位置而變化;當放置數據段時,程序空間使用較少,這讓我感到驚訝。存儲
    發表于 06-10 12:04

    可不可以同一個內存空間中存儲不同的數據類型呢

    一、什么是聯合體?C語言中,變量的定義是分配存儲空間的過程。一般的,每個變量都具有其獨有的存儲空間,那么可不可以同一個內存空間中存儲不同
    發表于 02-28 08:00

    Hilbert空間中κ-嚴格偽壓縮的強收斂定理

    Hilbert空間中κ-嚴格偽壓縮的強收斂定理:無窮維Hilbert 空間中,即使對非擴張映像Mann,迭代算法僅有弱收斂。為了得到強收斂定理,該文利用Hilbert 空間中閉凸子集
    發表于 10-21 07:59 ?6次下載

    Banach空間中非擴張非自映象不動點的粘滯迭代逼近

    Banach空間中非擴張非自映象不動點的粘滯迭代逼近:具有弱序列連續對偶映象的自反Banach 空間中利用太陽非擴張收縮映象研究了非擴張非自映象不動點的粘滯迭代逼近. 證明了此映
    發表于 10-25 12:16 ?10次下載

    本體個人數據空間中的應用研究

    隨著科學技術的發展和個人信息量的增大,個人信息管理越來越重要。為了實現個人信息的有效管理,把本體引入到個人數據空間中,介紹了描述個人數據空間中個人信息資源的
    發表于 01-22 13:47 ?11次下載

    從one-hot、word embedding、rnn、seq2seq、transformer一步步逼近bert

    word embedding的一個基本思路就是,我們把一個詞映射到語義空間的一個點,把一個詞映射到低維的稠密空間,這樣的映射使得語義上比較相似的詞,他語義
    的頭像 發表于 07-18 14:10 ?7159次閱讀
    從one-hot、word <b class='flag-5'>embedding</b>、rnn、seq2seq、transformer一步步逼近bert

    覆蓋近似空間中的核及性質綜述

    文中覆蓋近似空間中,提出核的概念,研究核的存在性與唯一性以及覆蓋塊、鄰域和核之間的關系;基于核和約簡提出協調覆蓋的概念,揭示約簡、核和協調覆蓋之間的關聯;最后,給出覆蓋產生的鄰域族等于覆蓋本身的充要條件。
    發表于 06-17 16:05 ?11次下載

    關于Flash程序空間中的數據訪問的實驗

    關于Flash程序空間中的數據訪問的實驗(物聯網嵌入式開發)-關于Flash程序空間中的數據訪問的實驗,適合感興趣的學習者學習,可以提高自己的能力,大家可以多交流哈
    發表于 08-04 11:56 ?3次下載
    關于Flash程序<b class='flag-5'>空間中</b>的數據訪問的實驗

    KUKA系統函數FORWARD()是如何計算空間中笛卡爾位置的

    功能 FORWARD 從機器人和附加軸的軸角度中計算空間中的笛卡爾位置 (基坐標系)。
    的頭像 發表于 10-26 09:47 ?1949次閱讀

    VR虛擬空間中的3D 技術

    隨著科技的飛速發展,虛擬空間已成為元宇宙的重要呈現方式。從游戲到工業設計,從電子商務到文旅體驗,3D相關技術虛擬空間中發揮著舉足輕重的作用,決定著用戶們能否真正能體會到VR的沉浸式體驗。 虛擬
    的頭像 發表于 04-29 09:36 ?1532次閱讀
    VR虛擬<b class='flag-5'>空間中</b>的3D 技術
    主站蜘蛛池模板: 免费毛片网站在线观看| 久久99影院| 国产美女视频一区二区二三区| 国产不卡免费| 国产精品免费一区二区区| 国产人妻777人伦精品HD| 国产综合视频在线观看一区| 好姑娘社区在线视频| 久久精品WWW人人爽人人| 毛片免费观看| 日本xxxxxx片免费播放18| 涩涩网站在线看| 亚洲xxxx动漫| 中文无码熟妇人妻AV在线| silk118中文字幕无删减| 高清国产mv视频在线观看| 国产呦精品一区二区三区下载| 精品三级在线观看| 美女被抽插到哭内射视频免费| 日本高清免费一本在线观看| 午夜福利体验免费体验区| 亚洲综合色婷婷在线影院 | 神马电影我不卡国语版| 亚洲AV天堂无码麻豆电影| 在线观看国产精选免费| 成人精品视频在线观看| 国产亚洲精品久久久久小| 老头操美女| 特级淫片大乳女子高清视频| 一本道在线综合久久88| 把腿张开老子CAO烂你动态图 | adc我们的永久网址| 国产成人无码视频一区二区三区| 精品视频网站| 日本乱hd高清videos| 一本色道久久综合亚洲精品| 阿v天堂2017在无码| 国内精品久久久久影院网站| 女人高潮久久久叫人喷水| 亚洲高清国产拍精品影院| 99精品视频在线|