色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌提出PaLI:一種多模態大模型,刷新多個任務SOTA!

CVer ? 來源:機器之心 ? 2023-01-29 11:25 ? 次閱讀

PaLI-17B 在多個 benchmark 上都達到了 SOTA。

語言和視覺任務的建模中,更大的神經網絡模型能獲得更好的結果,幾乎已經是共識。在語言方面,T5、GPT-3、Megatron-Turing、GLAM、Chinchilla 和 PaLM 等模型顯示出了在大文本數據上訓練大型 transformer 的明顯優勢。視覺方面,CNN、視覺 transformer 和其他模型都從大模型中取得了很好的結果。language-and-vision 建模也是類似的情況,如 SimVLM、Florence、CoCa、GIT、BEiT 和 Flamingo。

在這篇論文中,來自谷歌的研究者通過一個名為 PaLI (Pathways Language and Image)的模型來延續這一方向的研究。

44af4238-9f76-11ed-bfe3-dac502259ad0.png

PaLI: A Jointly-Scaled Multilingual Language-Image Model

論文:https://arxiv.org/abs/2209.06794

PaLI 使用單獨 “Image-and-text to text” 接口執行很多圖像、語言以及 "圖像 + 語言" 任務。PaLI 的關鍵結構之一是重復使用大型單模態 backbone 進行語言和視覺建模,以遷移現有能力并降低訓練成本。

在語言方面,作者復用有 13B 參數的 mT5-XXL。mT5-XXL 已經把語言理解和泛化能力一體打包。作者通過實驗證明這些功能可以維護并擴展到多模態情況。

在視覺方面,除復用 2B 參數 ViT-G 模型外,作者還訓練了擁有 4B 參數的模型 ViT-e("enormous")。ViT-e 在圖像任務上表現出很好的性能(ImageNet 上準確率達到 90.9%;ObjectNet 準確率達到 84.9%)。

作者發現了聯合 scaling 視覺和語言組件的好處,視覺提供了更好的投入回報(每個參數 / FLOP 帶來的準確度提升)。實驗結果表明,最大的 PaLI 模型——PaLI-17B 在兩種任務模式下表現相對平衡,ViT-e 模型約占總參數的 25%。而先前的大規模視覺和語言建模工作,情況并非總是如此(Wang 等人,2022a;Alayrac 等人,2022),因為視覺和語言 backbone 之間的先驗量表并不匹配。

作者通過將多個圖像和 (或) 語言任務轉換為廣義的類似 VQA 的任務,實現它們之間的知識共享。使用 “image+query to answer” 來構建所有任務,其中檢索和回答都表示為文本標記。這使得 PaLI 能夠使用跨任務的遷移學習,并在廣泛的視覺和語言問題中增強 language-and-image 理解能力:圖像描述、視覺問答、場景文本理解等(如圖 1 所示)。

44bb7832-9f76-11ed-bfe3-dac502259ad0.png

為了訓練 PaLI-17B,作者構建了全新的大容量 image-and-language 數據集 WebLI,包含 10B 的圖文對數據,WebLI 數據集包含 100 多種語言的文本。通過訓練模型用多種語言執行多模態任務,這大大增加了任務的多樣性,并測試了模型在跨任務和跨語言之間有效擴展的能力。作者也提供了數據卡來介紹有關 WebLI 及其構造的信息

PaLI-17B 在多個 benchmark 上都達到了 SOTA,表現優于某些強大的模型(見表 1)。

44d95f1e-9f76-11ed-bfe3-dac502259ad0.png

具體來說,PaLI 在 COCO 數據集 benchmark 上的表現優于多數新舊模型,在 Karpaty 分割上的得分為 149.1。PaLI 在 VQAv2 上使用類似 Flamingo 的開放詞匯文本生成的設置達到 84.3% 的最新 SOTA,該結果甚至優于在固定詞匯分類環境中評估的模型,例如 CoCa、SimVLM、BEiT-3。作者的工作為未來的多模態模型提供了 scaling 路線圖。Model scaling 對于多語言環境中的語言圖像理解特別重要。作者的結果支持這樣一個結論:與其他替代方案相比,scaling 每個模式的組件會產生更好的性能。

這篇文章在知乎上引發了一些討論。有人感嘆說,「剛要匯報 beit3,隨便一刷知乎,又被超了」(引自知乎用戶 @走遍山水路)。還有人認為,論震撼程度,PaLI 比不上 BEiT-3,「畢竟 model scaling 這事大家已經比較麻了」。但「谷歌把這個大家伙做出來了,還達到了一系列新 SOTA,并且零樣本都已經做得很突出,還是非常令人敬佩」(引自知乎用戶 @霜清老人)。

44e86716-9f76-11ed-bfe3-dac502259ad0.png

來自知乎用戶 @霜清老人的評價。鏈接:https://www.zhihu.com/question/553801955?utm_source

以下是論文細節。

模型架構

作者使用 PaLI 的目的是執行單模態(語言、視覺)和多模態(語言和視覺)任務。這些任務中的許多任務最好由不同的模型處理。如圖像分類及許多 VQA 需要從固定集合中預測元素,而 language-only 任務和圖像描述需要開放詞匯文本生成。作者通過使用所有任務所需的通用接口來解決該問題:模型接受圖像和文本字符串作為輸入,并生成文本作為輸出。在預訓練和微調時使用相同的接口。由于所有任務都使用相同的模型執行,即沒有任務特定的參數,因此使用基于文本的提示指導模型需要執行的任務。

圖 2 展示了模型架構的高階示意圖。其核心是一個文本 encoder-decoder transformer。為了將視覺作為輸入,向文本編碼器提供視覺“tokens”:視覺 transformer 將圖像作為輸入,并輸出相關特征。通過交叉注意力將視覺 token 傳遞到 encoder-decoder 模型之前,不會將池化應用于視覺 transformer 的輸出。

44f74786-9f76-11ed-bfe3-dac502259ad0.png

作者重復使用之前訓練過的單模態模型。對于文本 encoder-decoder,重復使用預訓練的 mT5(Xue 等,2021)模型,而對于圖像編碼,則重復使用大型 vanilla ViT 模型(Dosovitskiy 等,2021; Zhai 等,20222a)。

實驗結果

作者在三個純英文圖像的 benchmark 上評估了 PaLI 模型的變體,結果如表 4 所示。

4506f78a-9f76-11ed-bfe3-dac502259ad0.png

作者對四個僅英文視覺問答(VQA)benchmark 進行評估,結果見表 6。

4513d5ae-9f76-11ed-bfe3-dac502259ad0.png

作者將 mT5-XXL 和 PaLI-17B 在一系列語言理解任務 benchmark 進行比較,對比結果如表 8 所示。

45244100-9f76-11ed-bfe3-dac502259ad0.png

作者使用 224x224 分辨率(在高分辨率預微調之前)對 PaLI 模型在 Imagenet 和 Imagenet OOD 數據集上進行評估,評估結果如表 9 所示。

452faa0e-9f76-11ed-bfe3-dac502259ad0.png

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • 圖像
    +關注

    關注

    2

    文章

    1083

    瀏覽量

    40449
  • 模型
    +關注

    關注

    1

    文章

    3226

    瀏覽量

    48809
  • 大模型
    +關注

    關注

    2

    文章

    2424

    瀏覽量

    2645

原文標題:ICLR 2023 | 谷歌提出PaLI:一種多模態大模型,刷新多個任務SOTA!

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    商湯日日新模態模型權威評測第

    剛剛,商湯科技日日新SenseNova模態模型,在權威綜合評測權威平臺OpenCompass的模態評測中取得榜單第
    的頭像 發表于 12-20 10:39 ?144次閱讀

    文理解模態大語言模型——下

    /understanding-multimodal-llms ? 《文理解模態大語言模型 - 上》介紹了什么是
    的頭像 發表于 12-03 15:18 ?114次閱讀
    <b class='flag-5'>一</b>文理解<b class='flag-5'>多</b><b class='flag-5'>模態</b>大語言<b class='flag-5'>模型</b>——下

    文理解模態大語言模型——上

    /understanding-multimodal-llms 在過去幾個月中, OpenVINO? 架構師 Yury閱讀了眾多有關模態大語言模型的論文和博客,在此基礎上,推薦了篇解
    的頭像 發表于 12-02 18:29 ?306次閱讀
    <b class='flag-5'>一</b>文理解<b class='flag-5'>多</b><b class='flag-5'>模態</b>大語言<b class='flag-5'>模型</b>——上

    Waymo利用谷歌Gemini大模型,研發端到端自動駕駛系統

    邁新步,為其機器人出租車業務引入了一種基于谷歌模態大語言模型(MLLM)“Gemini”的全新訓練模型
    的頭像 發表于 10-31 16:55 ?1052次閱讀

    利用OpenVINO部署Qwen2模態模型

    模態模型的核心思想是將不同媒體數據(如文本、圖像、音頻和視頻等)進行融合,通過學習不同模態之間的關聯,實現更加智能化的信息處理。簡單來說,
    的頭像 發表于 10-18 09:39 ?413次閱讀

    智譜AI發布全新模態開源模型GLM-4-9B

    近日,智譜AI在人工智能領域取得重大突破,成功推出全新開源模型GLM-4-9B。這款模型以其卓越的模態能力,再次刷新了業界對于大型語言
    的頭像 發表于 06-07 09:17 ?731次閱讀

    谷歌發布模態AI新品,加劇AI巨頭競爭

    在全球AI競技場上,谷歌與OpenAI直穩居領先地位。近日,谷歌在I/O開發者大會上掀起了股新的技術浪潮,發布了多款全新升級的
    的頭像 發表于 05-16 09:28 ?446次閱讀

    谷歌推出模態VLOGGER AI

    谷歌最新推出的VLOGGER AI技術引起了廣泛關注,這項創新的模態模型能夠讓靜態肖像圖“活”起來并“說話”。用戶只需提供張人物肖像照片
    的頭像 發表于 03-22 10:45 ?835次閱讀

    螞蟻集團推出20億參數模態遙感基礎模型SkySense

    近日,螞蟻集團聯合武漢大學宣布成功研發出20億參數模態遙感基礎模型SkySense。這創新模型由螞蟻集團的AI創新研發部門NextEvo
    的頭像 發表于 03-04 11:22 ?813次閱讀

    谷歌模型軟件有哪些功能

    谷歌模型軟件通常指的是谷歌推出的系列人工智能模型和軟件工具,其中最具代表性的是Google Gemini。Google Gemini是
    的頭像 發表于 03-01 16:20 ?651次閱讀

    螞蟻推出20億參數模態遙感模型SkySense

    據了解,負責開發的百靈團隊利用自身擁有的19億遙感影像數據集進行了預訓練,從而生成了具有20.6億參數的SkySense大模型。官方稱其為全球范圍內參數規模最大、任務覆蓋最全且識別精度最高的
    的頭像 發表于 02-28 15:53 ?662次閱讀

    韓國Kakao宣布開發模態大語言模型“蜜蜂”

    韓國互聯網巨頭Kakao最近宣布開發了一種名為“蜜蜂”(Honeybee)的模態大型語言模型。這種創新模型能夠同時理解和處理圖像和文本數據
    的頭像 發表于 01-19 16:11 ?682次閱讀

    機器人基于開源的模態語言視覺大模型

    ByteDance Research 基于開源的模態語言視覺大模型 OpenFlamingo 開發了開源、易用的 RoboFlamingo 機器人操作模型,只用單機就可以訓練。
    發表于 01-19 11:43 ?408次閱讀
    機器人基于開源的<b class='flag-5'>多</b><b class='flag-5'>模態</b>語言視覺大<b class='flag-5'>模型</b>

    自動駕駛和模態大語言模型的發展歷程

    模態大語言模型(MLLM) 最近引起了廣泛的關注,其將 LLM 的推理能力與圖像、視頻和音頻數據相結合,通過多模態對齊使它們能夠更高效地執行各種
    發表于 12-28 11:45 ?520次閱讀
    自動駕駛和<b class='flag-5'>多</b><b class='flag-5'>模態</b>大語言<b class='flag-5'>模型</b>的發展歷程

    從Google模態模型看后續大模型應該具備哪些能力

    前段時間Google推出Gemini模態模型,展示了不凡的對話能力和模態能力,其表現究竟如何呢?
    的頭像 發表于 12-28 11:19 ?1259次閱讀
    從Google<b class='flag-5'>多</b><b class='flag-5'>模態</b>大<b class='flag-5'>模型</b>看后續大<b class='flag-5'>模型</b>應該具備哪些能力
    主站蜘蛛池模板: 色姐妹久久综合在线av| 九色终合九色综合88| 调教椅上的调教SM总裁被调教 | 秋葵app秋葵官网18在线观看| 久久国产精品自线拍免费| 久艾草在线精品视频在线观看| 国产色精品VR一区二区| 国语自产偷成人精品视频| 好大太快了快插穿子宫了| 久久99国产精品无码AV| 美国色情三级欧美三级纸匠情挑| 老师的丝袜脚| 欧美18videosex| 婷婷久久无码欧美人妻| 亚洲国产成人综合| 中国少妇内射XXXHD免费| 99精品无码AV在线播放| 国产成人a在一区线观看高清| 国产欧美二区综合| 久久这里只精品国产99re66| 免费看国产精品麻豆| 偷拍 自怕 亚洲 在线| 在线日本高清日本免费| 成a人片亚洲日本久久| 国产真实女人一级毛片| 暖暖 免费 高清 日本视频5| 色呦呦人人视频| 在线精品视频成人网| 高清 仑乱 一级 a| 久章草一区二区| 午夜福利92看看电影80| 99re久久热在线播放8| 国产性色AV内射白浆肛交后入| 恋老视频 国产国佬| 色欲档案之麻雀台上淫| 69xx欧美| 国产午夜久久影院| 青青视频国产依人在线| 中文字幕网站在线观看| 国产午夜在线观看视频| 青青草原影视|