色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

更強!Alpha-CLIP:讓CLIP關注你想要的任何地方!

CVer ? 來源:CVer ? 2023-12-10 10:28 ? 次閱讀

簡介

本文介紹了一個名為Alpha-CLIP的框架,它在原始的接受RGB三通道輸入的CLIP模型的上額外增加了一個alpha通道。在千萬量級的RGBA-region的圖像文本對上進行訓練后,Alpha-CLIP可以在保證CLIP原始感知能力的前提下,關注到任意指定區(qū)域。通過替換原始CLIP的應用場景,Alpha-CLIP在圖像識別、視覺-語言大模型、2D乃至3D生成領域都展現(xiàn)出強大作用。

9ac46fc6-96ac-11ee-8b88-92fbcf53809c.png

圖1 Alpha-CLIP使用場景總覽

CLIP作為目前最流行的視覺基座模型被廣泛使用。它的應用場景包括但不限于1.與LLM大語言模型結合成為視覺多模態(tài)大模型。2.作為圖像生成(Stable Diffusion)、點云生成(Point-E)的condition model, 實現(xiàn)image-to-3D。3.用于指導NeRF的優(yōu)化方向從而實現(xiàn)text-to-3D。4.本身用于開放類別的識別和檢測

然而CLIP必須以整張圖片作為輸入并進行特征提取,無法關注到指定的任意區(qū)域。然而,自然的2D圖片中往往包含不同的物體,part和thing。如果能由用戶或檢測模型指定需要關注的區(qū)域,在圖像編碼的過程就確定需要關注的對象,將會提升CLIP模型的可控制性和區(qū)域檢測能力。

為此,上海人工智能實驗室聯(lián)合上海交通大學、復旦大學、香港中文大學、澳門大學的學者們提出了Alpha-CLIP模型,在原始CLIP模型的RGB三個通道的基礎上額外引入了第四個alpha通道來決定需要關注的區(qū)域。通過構造千萬量級的【RGBA四通道圖片-文本對】對Alpha-CLIP進行訓練,Alpha-CLIP不僅在ImageNet上保持了原始的全圖檢測能力,還能對用戶指定的任意區(qū)域進行highlight關注。下面分別介紹Alpha-CLIP的應用場景。

9ae2f9be-96ac-11ee-8b88-92fbcf53809c.png

* 論文鏈接:https://arxiv.org/abs/2312.03818 * 項目主頁:https://aleafy.github.io/alpha-clip * 代碼鏈接:https://github.com/SunzeY/AlphaCLIP1. 圖像分類

如圖所示,對于ImagNet的一張圖片,我們可以通過alpha-map控制CLIP去關注魚或漁夫。

9afde3fa-96ac-11ee-8b88-92fbcf53809c.png

9b149d20-96ac-11ee-8b88-92fbcf53809c.png

以ImageNet的Zero-Shot Classification作為評價指標,我們驗證了在對全圖進行識別時,Alpha-CLIP可以保持原本CLIP的分類準確率。進一步地,在給出了需要關注區(qū)域的長方形box或者mask時,Alpha-CLIP可以進一步提升分類準確率。

2. 與LLM大語言模型的結合

將主流的LLaVA-1.5中的CLIP基座模型替換為Alpha-CLIP,用戶可以通過簡單地用畫筆標記處需要關注的區(qū)域,從而進行指定區(qū)域的對話交互。

在定量實驗方面,我們通過LLaVA測試了MLLM的region caption能力。通過在RefCOCO和VG上分別進行finetune,取得了SOTA的region caption分數(shù)。

9b25a822-96ac-11ee-8b88-92fbcf53809c.png

3. 與Stable Diffusion的結合

Stable-Diffusion是目前主流的2D圖片生成模型,其Image Variation版本可以實現(xiàn)“圖生圖”,其中圖片的編碼器也是CLIP模型。通過將該模型替換為Alpha-CLIP,可以實現(xiàn)更復雜圖片中指定物體的生成(同時較好地保留背景)。如上圖所示,使用原始的CLIP會生成同時具有獅子和老虎特征的“獅虎獸”,而Alpha-CLIP能夠很好地區(qū)分兩個物體,從而指導Stable Diffusion模型生成更專一的圖片。更多結果見下圖

9b33657a-96ac-11ee-8b88-92fbcf53809c.png

4. 與Point-E的結合

Point-E是Open-AI開源的一個支持Image-to-3D和text-to-3D的點云diffusion模型,通過將它的Image編碼器從原始的CLIP替換為Alpha-CLIP。可以支持用戶對任意區(qū)域進行關注,從而恢復丟失的“表針”和“盾牌的十字架”。更多結果見下圖

9b53d166-96ac-11ee-8b88-92fbcf53809c.png

5. Attention Map可視化

本工作對Alpha-CLIP的注意力進行可視化,以檢查Alpha-CLIP是否更加關注用戶定義alpha-map。通過檢查視覺編碼器中最后一個Transformer塊中[CLS] token的注意力圖。可視化采用了具有16個注意頭的ViT-L/14模型。為了進行公正比較,使用第5和第16個注意頭的注意力圖進行可視化,因為我們發(fā)現(xiàn)在這16個頭中,這兩個特征圖最為明顯。結果如下圖所示。這種可視化驗證了Alpha-CLIP更加關注要聚焦的區(qū)域,更重要的是,它在保留原始CLIP特征位置的二維位置信息時沒有造成損害。

9b755b6a-96ac-11ee-8b88-92fbcf53809c.png

結論

本文介紹的這項工作提出了Alpha-CLIP模型,該模型引入了一個額外的alpha通道,用于指定感興趣的區(qū)域。通過對數(shù)百萬個RGBA區(qū)域-文本對進行訓練,Alpha-CLIP不僅表現(xiàn)出卓越的區(qū)域關注能力,而且確保其輸出空間與原始的CLIP模型保持一致。這種一致性使得Alpha-CLIP在CLIP的各種下游應用中能夠輕松替代,無縫銜接。我們證明了當提供特定關注的區(qū)域時,Alpha-CLIP展現(xiàn)出了更強大的Zero-Shot識別能力,并驗證了它在許多下游任務中的有用性。CLIP的應用遠遠超出了本文的范圍。我們希望在前景區(qū)域或mask較容易獲得時,Alpha-CLIP將能夠在更多場景中得到應用。

雖然Alpha-CLIP在需要關注區(qū)域的各種場景中表現(xiàn)出有效的性能,但目前的結構和訓練過程限制了其專注于多個對象或建模不同對象之間關系的能力。此外,當前的訓練方法限制了alpha通道在中間值之外的泛化(只能接受0,1兩個值)。因此,用戶無法指定注意力的幅度。另一個限制同時存在于我們的Alpha-CLIP和原始CLIP中,即純Transformer結構的編碼器分辨率較低,這阻礙了Alpha-CLIP識別小物體并進行關注。我們計劃在未來的工作中解決這些限制并擴展CLIP的輸入分辨率。我們相信這些未來的方向是增強Alpha-CLIP能力并在各種下游任務中擴展其實用性的途徑。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    47203

    瀏覽量

    238272
  • Clip
    +關注

    關注

    0

    文章

    31

    瀏覽量

    6664
  • 大模型
    +關注

    關注

    2

    文章

    2425

    瀏覽量

    2646

原文標題:更強!Alpha-CLIP:讓CLIP關注你想要的任何地方!

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    新品 | 可拼接燈板矩陣 Puzzle Unit & 創(chuàng)意固定套件CLIP-A/CLIP-B

    本月的第三波新品上線了3款全新產(chǎn)品,涵蓋了多種需求和應用領域。從激發(fā)興趣和創(chuàng)意的PuzzleUnit,到多功能創(chuàng)意套件CLIP-A&CLIP-B,每一款都為不同場景提供了創(chuàng)新解決方案。快來
    的頭像 發(fā)表于 11-16 01:07 ?135次閱讀
    新品 | 可拼接燈板矩陣 Puzzle Unit &amp;amp; 創(chuàng)意固定套件<b class='flag-5'>CLIP</b>-A/<b class='flag-5'>CLIP</b>-B

    使用TPA6112A后,藍牙1KHz信號有失真現(xiàn)象,怎么解決?

    測試條件:手機藍牙播放1KHz信號; 藍牙輸出的單端信號波形(貴司TPA6112A輸入端)圖如下及附件clip_image002 經(jīng)過TPA6112A后信號波形如下圖,能夠很明顯的看出
    發(fā)表于 11-04 07:00

    設計的tas5613a板子BTL模式正常工作1,2分鐘后clip告警,輸出端電壓為0是哪里的問題?怎么解決?

    我的電路是參照手冊設計的,外圍元件參數(shù)和手冊中的一樣,有時加電時就clip告警,輸出ABCD四個輸出電壓為0,有時能正常工作一段時間,沒有任何問題!請工程師幫助分析一下
    發(fā)表于 10-30 07:25

    TPA3251不小心把GVDD_CD腳和CLIP管腳碰到一起,然后CILP和FAULT指示燈一直亮,管腳一直輸出低電平,什么問題?

    求幫忙,我測量demo板的CLIP管腳的電壓輸出時,不小心把GVDD_CD腳和CLIP管腳碰到一起了,然后CILP和FAULT指示燈一直亮,這兩個管腳也一直輸出低電平。是不是TPA3251芯片被我燒毀了?謝謝。
    發(fā)表于 10-29 07:50

    為什么我的TPA3251上電后,F(xiàn)AULT和CLIP_OTW輸出電壓是1.4V左右?

    請教大神們,為什么我的TPA3251上電后,F(xiàn)AULT和CLIP_OTW輸出電壓是1.4V左右。我的PVDD是15V,GVDD是12V,就算把PVDD調高了,也是輸出1.4V左右的電壓。求教大神們給解答,急急急。謝謝謝謝謝謝
    發(fā)表于 10-29 07:05

    請問TPA3244,RESET FAULT CLIP_OTW怎么跟MCU連接?

    TPA3244,RESET FAULT CLIP_OTW,怎么跟MCU連接,還有我直接上電,沒有MUTE控制會不會有PO PO 聲
    發(fā)表于 10-14 06:38

    TPA3220功放的OTW_CLIP管腳會異常拉低,為什么?

    當功放的功率達到120W時,TPA3220功放的OTW_CLIP管腳會異常拉低。 正常情況下FAULT和OTW_CLIP管腳均為高電平,如圖為FAULT和OTW_CLIP管腳的真值表圖, 圖為異常時抓取的波形:
    發(fā)表于 09-29 09:04

    TAS5630電路PBTL接法,CLIP燈無法滅是怎么回事?

    TAS5630電路PBTL接法,正在測試時CLIP信號燈亮(CLIP低電平),輸出為0,無論重新開機或人工復位,均不能使得CLIP燈滅,請大俠教我。謝謝。
    發(fā)表于 09-03 07:58

    便攜解碼耳放 - 你隨時隨地享受頂級音質

    便攜解碼耳放將高保真音質和便攜性完美結合,讓你在任何地方都能享受到頂級的音樂體驗。
    的頭像 發(fā)表于 07-24 17:55 ?1478次閱讀
    便攜解碼耳放 - <b class='flag-5'>讓</b>你隨時隨地享受頂級音質

    如何停止引導加載程序輸出消息?

    我想知道是否有任何方法可以停止引導加載程序輸出消息,或者至少能夠將它們定向到 UART1 而不是 UART0? 另外,引導加載程序的源代碼是否在任何地方都可用?我找不到它們,但我可能找錯了地方
    發(fā)表于 07-15 06:33

    求分享esp8266和esp32的匯編指令集?

    想做操作系統(tǒng)移植,可是沒有在網(wǎng)上任何地方找到匯編指令集和寄存器說明,能否出一個?或者告訴我在那里找
    發(fā)表于 06-05 06:20

    CapSENSE在CSX模式下同時跟蹤的觸點數(shù)量是否有限制?

    我沒有在任何地方看到這樣的數(shù)字。 CapSENSE 最新一代(GEN 5)在 CSX 模式下同時跟蹤的觸點數(shù)量是否有限制? 據(jù)我所知,CapSENSE Tuner 應用程序僅限三個。
    發(fā)表于 05-29 06:18

    愛芯元智推出邊端側智能SoCAX650N,視覺更智能

    當前大模型蓬勃發(fā)展,OpenAI的Sora、ChatGPT、CLIP、DALL-E,Google的Gemini、ViT-22B,Meta的LLaMA3、DINO v2,
    的頭像 發(fā)表于 05-09 14:39 ?1550次閱讀
    愛芯元智推出邊端側智能SoCAX650N,<b class='flag-5'>讓</b>視覺更智能

    TPAK SiC優(yōu)選解決方案:有壓燒結銀+銅夾Clip無壓燒結銀

    TPAK SiC優(yōu)選解決方案:有壓燒結銀+銅夾Clip無壓燒結銀
    的頭像 發(fā)表于 04-25 20:27 ?700次閱讀
    TPAK SiC優(yōu)選解決方案:有壓燒結銀+銅夾<b class='flag-5'>Clip</b>無壓燒結銀

    全志R128 SDK HAL 模塊開發(fā)指南——G2D

    ]; g2d_rect clip_rect; g2d_size resize; g2d_coor coor; __u32 gamut; int bpremul; __u8 alpha
    發(fā)表于 04-01 13:31
    主站蜘蛛池模板: asmr淫语| 18美女腿打开无遮软件| 亚洲欧美高清在线| 亚洲精品无夜久久久久久久久| 亚洲a视频在线| 亚洲综合国产精品| 主播蜜汁丝袜精品自拍| 99久久精品国产亚洲AV| 成人在线视频免费| 国产偷国产偷亚洲高清app| 久久re这里视频精品15| 美女诱惑性感揉胸| 三级黃60分钟| 97视频在线免费播放| 第七色 夜夜撸| 果冻传媒视频在线观看完整版免费 | 孕交videosgratis乌克兰| 0951影音在线| 俄罗斯9一14 young处| 久久精品AV麻豆| 日韩欧美国产免费看清风阁| 亚洲精品卡2卡3卡4卡5卡区| 97国产成人精品视频| 国产51麻豆二区精品AV视频| 久久观看视频| 日本孕妇大胆孕交| 尤物99久久久合集一区区| 啊好大好厉害好爽真骚| 精品亚洲午夜久久久久| 日本午夜精品理论片A级APP发布| 亚洲色欲色欲综合网站| 成人天堂资源WWW在线| 久久亚洲精选| 亚洲国产AV一区二区三区四区| 90后性爱视频| 久久精品手机观看| 亚洲AV精品无码喷水直播间 | 一本之道高清www在线观看| 福利视频一二三在线观看| 理论片在线观看片免费| 亚洲精品白色在线发布 |