色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌多模態大模型PaLI研究神經網絡

3D視覺工坊 ? 來源:機器之心 ? 作者:Xi Chen ? 2022-10-09 14:18 ? 次閱讀

作者丨Xi Chen等

來源丨機器之心

編輯丨張倩

語言和視覺任務的建模中,更大的神經網絡模型能獲得更好的結果,幾乎已經是共識。在語言方面,T5、GPT-3、Megatron-Turing、GLAM、Chinchilla 和 PaLM 等模型顯示出了在大文本數據上訓練大型 transformer 的明顯優勢。視覺方面,CNN、視覺 transformer 和其他模型都從大模型中取得了很好的結果。language-and-vision 建模也是類似的情況,如 SimVLM、Florence、CoCa、GIT、BEiT 和 Flamingo。

在這篇論文中,來自谷歌的研究者通過一個名為 PaLI (Pathways Language and Image)的模型來延續這一方向的研究。

PaLI 使用單獨 “Image-and-text to text” 接口執行很多圖像、語言以及 “圖像 + 語言” 任務。PaLI 的關鍵結構之一是重復使用大型單模態 backbone 進行語言和視覺建模,以遷移現有能力并降低訓練成本。

在語言方面,作者復用有 13B 參數的 mT5-XXL。mT5-XXL 已經把語言理解和泛化能力一體打包。作者通過實驗證明這些功能可以維護并擴展到多模態情況。

在視覺方面,除復用 2B 參數 ViT-G 模型外,作者還訓練了擁有 4B 參數的模型 ViT-e(“enormous”)。ViT-e 在圖像任務上表現出很好的性能(ImageNet 上準確率達到 90.9%;ObjectNet 準確率達到 84.9%)。

作者發現了聯合 scaling 視覺和語言組件的好處,視覺提供了更好的投入回報(每個參數 / FLOP 帶來的準確度提升)。實驗結果表明,最大的 PaLI 模型——PaLI-17B 在兩種任務模式下表現相對平衡,ViT-e 模型約占總參數的 25%。而先前的大規模視覺和語言建模工作,情況并非總是如此(Wang 等人,2022a;Alayrac 等人,2022),因為視覺和語言 backbone 之間的先驗量表并不匹配。

作者通過將多個圖像和 (或) 語言任務轉換為廣義的類似 VQA 的任務,實現它們之間的知識共享。使用 “image+query to answer” 來構建所有任務,其中檢索和回答都表示為文本標記。這使得 PaLI 能夠使用跨任務的遷移學習,并在廣泛的視覺和語言問題中增強 language-and-image 理解能力:圖像描述、視覺問答、場景文本理解等(如圖 1 所示)。

為了訓練 PaLI-17B,作者構建了全新的大容量 image-and-language 數據集 WebLI,包含 10B 的圖文對數據,WebLI 數據集包含 100 多種語言的文本。通過訓練模型用多種語言執行多模態任務,這大大增加了任務的多樣性,并測試了模型在跨任務和跨語言之間有效擴展的能力。作者也提供了數據卡來介紹有關 WebLI 及其構造的信息

PaLI-17B 在多個 benchmark 上都達到了 SOTA,表現優于某些強大的模型(見表 1)。

具體來說,PaLI 在 COCO 數據集 benchmark 上的表現優于多數新舊模型,在 Karpaty 分割上的得分為 149.1。PaLI 在 VQAv2 上使用類似 Flamingo 的開放詞匯文本生成的設置達到 84.3% 的最新 SOTA,該結果甚至優于在固定詞匯分類環境中評估的模型,例如 CoCa、SimVLM、BEiT-3。作者的工作為未來的多模態模型提供了 scaling 路線圖。Model scaling 對于多語言環境中的語言圖像理解特別重要。作者的結果支持這樣一個結論:與其他替代方案相比,scaling 每個模式的組件會產生更好的性能。

這篇文章在知乎上引發了一些討論。有人感嘆說,「剛要匯報 beit3,隨便一刷知乎,又被超了」(引自知乎用戶 @走遍山水路)。還有人認為,論震撼程度,PaLI 比不上 BEiT-3,「畢竟 model scaling 這事大家已經比較麻了」。但「谷歌把這個大家伙做出來了,還達到了一系列新 SOTA,并且零樣本都已經做得很突出,還是非常令人敬佩」(引自知乎用戶 @霜清老人)。

以下是論文細節。

模型架構

作者使用 PaLI 的目的是執行單模態(語言、視覺)和多模態(語言和視覺)任務。這些任務中的許多任務最好由不同的模型處理。如圖像分類及許多 VQA 需要從固定集合中預測元素,而 language-only 任務和圖像描述需要開放詞匯文本生成。作者通過使用所有任務所需的通用接口來解決該問題:模型接受圖像和文本字符串作為輸入,并生成文本作為輸出。在預訓練和微調時使用相同的接口。由于所有任務都使用相同的模型執行,即沒有任務特定的參數,因此使用基于文本的提示指導模型需要執行的任務。

圖 2 展示了模型架構的高階示意圖。其核心是一個文本 encoder-decoder transformer。為了將視覺作為輸入,向文本編碼器提供視覺“tokens”:視覺 transformer 將圖像作為輸入,并輸出相關特征。通過交叉注意力將視覺 token 傳遞到 encoder-decoder 模型之前,不會將池化應用于視覺 transformer 的輸出。

作者重復使用之前訓練過的單模態模型。對于文本 encoder-decoder,重復使用預訓練的 mT5(Xue 等,2021)模型,而對于圖像編碼,則重復使用大型 vanilla ViT 模型(Dosovitskiy 等,2021; Zhai 等,20222a)。

實驗結果

作者在三個純英文圖像的 benchmark 上評估了 PaLI 模型的變體,結果如表 4 所示。

作者對四個僅英文視覺問答(VQA)benchmark 進行評估,結果見表 6。

作者將 mT5-XXL 和 PaLI-17B 在一系列語言理解任務 benchmark 進行比較,對比結果如表 8 所示。

作者使用 224x224 分辨率(在高分辨率預微調之前)對 PaLI 模型在 Imagenet 和 Imagenet OOD 數據集上進行評估,評估結果如表 9 所示。

審核編輯:郭婷


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6164

    瀏覽量

    105309
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100720
  • 大模型
    +關注

    關注

    2

    文章

    2425

    瀏覽量

    2646

原文標題:谷歌多模態大模型PaLI:采用參數量為4B的ViT-e,效果超過BEiT-3

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    神經網絡辨識模型具有什么特點

    神經網絡辨識模型是一種基于人工神經網絡的系統辨識方法,它具有以下特點: 非線性映射能力 :神經網絡能夠處理非線性問題,可以很好地擬合復雜的非線性系統。 泛化能力 :
    的頭像 發表于 07-11 11:12 ?452次閱讀

    pytorch中有神經網絡模型

    處理、語音識別等領域取得了顯著的成果。PyTorch是一個開源的深度學習框架,由Facebook的AI研究團隊開發。它以其易用性、靈活性和高效性而受到廣泛歡迎。在PyTorch中,有許多預訓練的神經網絡模型可供選擇,這些
    的頭像 發表于 07-11 09:59 ?692次閱讀

    PyTorch神經網絡模型構建過程

    PyTorch,作為一個廣泛使用的開源深度學習庫,提供了豐富的工具和模塊,幫助開發者構建、訓練和部署神經網絡模型。在神經網絡模型中,輸出層是尤為關鍵的部分,它負責將
    的頭像 發表于 07-10 14:57 ?493次閱讀

    基于神經網絡的語言模型有哪些

    基于神經網絡的語言模型(Neural Language Models, NLMs)是現代自然語言處理(NLP)領域的一個重要組成部分,它們通過神經網絡來捕捉語言的統計特性和語義信息,從而生成自然語言
    的頭像 發表于 07-10 11:15 ?713次閱讀

    rnn是什么神經網絡模型

    RNN(Recurrent Neural Network,循環神經網絡)是一種具有循環結構的神經網絡模型,它能夠處理序列數據,并對序列中的元素進行建模。RNN在自然語言處理、語音識別、時間序列預測等
    的頭像 發表于 07-05 09:50 ?595次閱讀

    人工神經網絡模型包含哪些層次

    人工神經網絡(Artificial Neural Network,ANN)是一種模擬人腦神經網絡的計算模型,具有自適應、自學習、泛化能力強等特點。本文將詳細介紹人工神經網絡
    的頭像 發表于 07-05 09:17 ?564次閱讀

    人工神經網絡模型的分類有哪些

    人工神經網絡(Artificial Neural Networks, ANNs)是一種模擬人腦神經元網絡的計算模型,它在許多領域,如圖像識別、語音識別、自然語言處理、預測分析等有著廣泛的應用。本文將
    的頭像 發表于 07-05 09:13 ?1118次閱讀

    反向傳播神經網絡和bp神經網絡的區別

    神經網絡在許多領域都有廣泛的應用,如語音識別、圖像識別、自然語言處理等。然而,BP神經網絡也存在一些問題,如容易陷入局部最優解、訓練時間長、對初始權重敏感等。為了解決這些問題,研究者們提出了一些改進的BP
    的頭像 發表于 07-03 11:00 ?790次閱讀

    卷積神經網絡和bp神經網絡的區別

    不同的神經網絡模型,它們在結構、原理、應用等方面都存在一定的差異。本文將從多個方面對這兩種神經網絡進行詳細的比較和分析。 引言 神經網絡是一種模擬人腦
    的頭像 發表于 07-02 14:24 ?3666次閱讀

    數學建模神經網絡模型的優缺點有哪些

    數學建模神經網絡模型是一種基于人工神經網絡的數學建模方法,它通過模擬人腦神經元的連接和信息傳遞機制,對復雜系統進行建模和分析。神經網絡
    的頭像 發表于 07-02 11:36 ?898次閱讀

    神經網絡模型的原理、類型及應用領域

    數學建模神經網絡模型是一種基于人工神經網絡的數學建模方法,它通過模擬人腦神經元的工作機制,實現對復雜問題的建模和求解。神經網絡
    的頭像 發表于 07-02 11:31 ?1115次閱讀

    基于神經網絡算法的模型構建方法

    神經網絡是一種強大的機器學習算法,廣泛應用于各種領域,如圖像識別、自然語言處理、語音識別等。本文詳細介紹了基于神經網絡算法的模型構建方法,包括數據預處理、網絡結構設計、訓練過程優化、
    的頭像 發表于 07-02 11:21 ?515次閱讀

    人工神經網絡模型及其應用有哪些

    人工神經網絡(Artificial Neural Networks,ANNs)是一種受生物神經網絡啟發的計算模型,它通過模擬人腦神經元的連接和交互來實現對數據的學習和處理。自20世紀4
    的頭像 發表于 07-02 10:04 ?1045次閱讀

    深度神經網絡模型有哪些

    模型: 多層感知器(Multilayer Perceptron,MLP): 多層感知器是最基本的深度神經網絡模型,由多個全連接層組成。每個隱藏層的神經元數量可以不同,通常使用激活函數如
    的頭像 發表于 07-02 10:00 ?1329次閱讀

    神經網絡模型的原理、類型、應用場景及優缺點

    神經網絡模型是一種基于人工神經元的數學模型,用于模擬人腦的神經網絡結構和功能。神經網絡
    的頭像 發表于 07-02 09:56 ?1334次閱讀
    主站蜘蛛池模板: 在线免费视频a| 午夜国产精品视频在线| A级超碰视频在线观看| 欧美牲交A欧美牲交| www.三级| 三级全黄的视频在线观看| 国产亚洲va在线电影| 一个人高清在线观看日本免费 | RAPPER性骚扰大开黄腔| 色狠狠AV老熟女| 狠狠色狠狠色综合系列| ebc5恐怖5a26房间| 亚洲欧美中文日韩视频| 欧美日韩亚洲中字二区| 国模沟沟一区二区三区| 99久久精品国产自免费| 亚洲国产精品无码AV久久久| 欧美ⅹxxxx18性欧美| 精品亚洲午夜久久久久| 芭乐草莓樱桃丝瓜18岁大全| 亚洲精品乱码久久久久久中文字幕| 免费啪视频观试看视频| 国精产品一区二区三区四区糖心| 99免费在线观看| 依人在线观看| 亚洲1区2区3区精华液| 翘臀少妇被扒开屁股日出水爆乳 | 办公室沙发口爆12P| 538久久视频在线| 野花韩国高清完整版在线观看5| 日本2021免费一二三四区| 噜噜噜狠狠夜夜躁| 久久精品国产色蜜蜜麻豆国语版| 凤楼app| vidosgratis tv少女| 99精品在线看| 99久久综合精品免费| 538prom国产在线视频一区| 在线亚洲免费| 中国农村真实bbwbbwbbw| 永久免费在线视频|