色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

CMU最新《多模態(tài)機(jī)器學(xué)習(xí)的基礎(chǔ)和最新趨勢》綜述

新機(jī)器視覺 ? 來源:專知 ? 作者:專知 ? 2022-12-07 14:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

57ae762e-75e6-11ed-8abf-dac502259ad0.png

論文:Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions

地址:https://arxiv.org/pdf/2209.03430.pdf

多模態(tài)機(jī)器學(xué)習(xí)是一個(gè)充滿活力的多學(xué)科研究領(lǐng)域,旨在通過整合多種交流模態(tài),包括語言、聲學(xué)、視覺、觸覺和生理信息,設(shè)計(jì)具有理解、推理和學(xué)習(xí)等智能能力的計(jì)算機(jī)智能體。隨著最近人們對(duì)視頻理解、具身化自主智能體、文本到圖像生成以及醫(yī)療健康和機(jī)器人等應(yīng)用領(lǐng)域的多傳感器融合的興趣,多模態(tài)機(jī)器學(xué)習(xí)給機(jī)器學(xué)習(xí)社區(qū)帶來了獨(dú)特的計(jì)算和理論挑戰(zhàn),因?yàn)閿?shù)據(jù)源的異質(zhì)性和模式之間經(jīng)常發(fā)現(xiàn)的相互聯(lián)系。然而,多模態(tài)研究的廣泛進(jìn)展使得很難確定該領(lǐng)域的共同主題和開放問題。通過從歷史和最近的角度綜合廣泛的應(yīng)用領(lǐng)域和理論框架,本文旨在提供一個(gè)多模態(tài)機(jī)器學(xué)習(xí)的計(jì)算和理論基礎(chǔ)的概述。我們首先定義了驅(qū)動(dòng)后續(xù)創(chuàng)新的模態(tài)異質(zhì)性和相互聯(lián)系的兩個(gè)關(guān)鍵原則,并提出了6個(gè)核心技術(shù)挑戰(zhàn)的分類:表征、對(duì)齊、推理、生成、轉(zhuǎn)移和涵蓋歷史和近期趨勢的量化。最新的技術(shù)成果將通過這種分類法來展示,讓研究人員了解新方法的異同。最后,我們提出了幾個(gè)由我們的分類法確定的開放問題,以供未來研究。

開發(fā)具有智能能力的計(jì)算機(jī)智能體一直是人工智能的一個(gè)宏偉目標(biāo),如通過多模態(tài)經(jīng)驗(yàn)和數(shù)據(jù)進(jìn)行理解、推理和學(xué)習(xí),就像我們?nèi)祟愂褂枚喾N感官模式感知世界的方式一樣。隨著近年來在具身自主代理[77,512]、自動(dòng)駕駛汽車[647]、圖像和視頻理解[16,482,557]、文本到圖像生成[486]以及機(jī)器人[335,493]和醫(yī)療健康[281,357]等應(yīng)用領(lǐng)域的多傳感器融合方面的進(jìn)展,我們現(xiàn)在比以往任何時(shí)候都更接近能夠集成許多感官形態(tài)并從中學(xué)習(xí)的智能體。多模態(tài)機(jī)器學(xué)習(xí)這一充滿活力的多學(xué)科研究領(lǐng)域帶來了獨(dú)特的挑戰(zhàn),因?yàn)閿?shù)據(jù)的異質(zhì)性和通常在模態(tài)之間發(fā)現(xiàn)的相互聯(lián)系,并在多媒體[351,435]、情感計(jì)算[353,476]、機(jī)器人[308,334]、人機(jī)交互[445,519]和醫(yī)療健康[85,425]中有廣泛的應(yīng)用。

然而,多模態(tài)研究的進(jìn)展速度使得很難確定歷史和近期工作的共同主題,以及該領(lǐng)域的關(guān)鍵開放問題。通過從歷史和最近的角度綜合廣泛的應(yīng)用領(lǐng)域和理論見解,本文旨在提供多模態(tài)機(jī)器學(xué)習(xí)的方法論、計(jì)算和理論基礎(chǔ)的概述,這很好地補(bǔ)充了最近在視覺和語言[603]、語言和強(qiáng)化學(xué)習(xí)[382]、多媒體分析[40]和人機(jī)交互[269]等面向應(yīng)用的研究。

581f04f2-75e6-11ed-8abf-dac502259ad0.png

圖1:多模態(tài)學(xué)習(xí)的核心研究挑戰(zhàn):(1)表示研究如何表示和總結(jié)多模態(tài)數(shù)據(jù),以反映單個(gè)模態(tài)元素之間的異質(zhì)性和相互聯(lián)系。(2)對(duì)齊旨在識(shí)別所有元素之間的聯(lián)系和相互作用。(3)推理的目的是將多模態(tài)證據(jù)組合成知識(shí),通常通過對(duì)一個(gè)任務(wù)的多個(gè)推理步驟。(4)生成包括學(xué)習(xí)生成過程,以產(chǎn)生反映跨模態(tài)交互、結(jié)構(gòu)和一致性的原始模態(tài)。(5)遷移旨在在模態(tài)及其表示之間遷移知識(shí)。(6)量化包括實(shí)證和理論研究,以更好地理解異質(zhì)性、相互聯(lián)系和多模態(tài)學(xué)習(xí)過程。

為了建立多模態(tài)機(jī)器學(xué)習(xí)的基礎(chǔ),我們首先為數(shù)據(jù)模式和多模態(tài)研究的定義奠定基礎(chǔ),然后確定驅(qū)動(dòng)后續(xù)技術(shù)挑戰(zhàn)和創(chuàng)新的兩個(gè)關(guān)鍵原則:(1)模態(tài)是異質(zhì)的,因?yàn)樵诓煌B(tài)中出現(xiàn)的信息往往表現(xiàn)出不同的質(zhì)量、結(jié)構(gòu)和表征;(2)模態(tài)是相互聯(lián)系的,因?yàn)樗鼈兘?jīng)常相關(guān)、共享共性,或在用于任務(wù)推斷時(shí)相互作用產(chǎn)生新信息?;谶@些定義,我們提出了多模態(tài)機(jī)器學(xué)習(xí)中的六個(gè)核心挑戰(zhàn)的新分類:表示、對(duì)齊、推理、生成、遷移和量化(見圖1)。這些構(gòu)成了傳統(tǒng)單模態(tài)機(jī)器學(xué)習(xí)中研究不足的核心多模態(tài)技術(shù)挑戰(zhàn),為了推動(dòng)該領(lǐng)域向前發(fā)展,需要解決這些挑戰(zhàn):

1. 表征: 我們能學(xué)習(xí)反映個(gè)體模態(tài)元素之間的異質(zhì)性和相互聯(lián)系的表征嗎?本文將涵蓋以下基本方法:(1)表示融合:整合來自2個(gè)或更多模態(tài)的信息,有效減少單獨(dú)表示的數(shù)量;(2)表示協(xié)調(diào):互換跨模態(tài)信息,目標(biāo)是保持相同的表示數(shù)量,但改善多模態(tài)語境化;創(chuàng)建一個(gè)新的不相交的表示集,其數(shù)量通常大于輸入集,反映有關(guān)內(nèi)部結(jié)構(gòu)的知識(shí),如數(shù)據(jù)聚類或因子分解。

2. 對(duì)齊:我們?nèi)绾巫R(shí)別樣式元素之間的連接和交互?模態(tài)之間的對(duì)齊具有挑戰(zhàn)性,涉及(1)識(shí)別模態(tài)元素之間的連接,(2)上下文表示學(xué)習(xí)以捕獲模態(tài)連接和交互,以及(3)處理具有歧義分割的模態(tài)輸入。

3. 推理被定義為從多模態(tài)證據(jù)中組合知識(shí),通常通過多個(gè)推理步驟,為特定任務(wù)開發(fā)多模態(tài)對(duì)齊和問題結(jié)構(gòu)。這種關(guān)系通常遵循某種層次結(jié)構(gòu),更抽象的概念在層次結(jié)構(gòu)中被定義為較不抽象的概念的函數(shù)。推理包括(1)對(duì)推理發(fā)生的結(jié)構(gòu)建模,(2)推理過程中的中間概念,(3)理解更抽象概念的推理范式,(4)在結(jié)構(gòu)、概念和推理的研究中利用大規(guī)模的外部知識(shí)。

4. 生成:第四個(gè)挑戰(zhàn)涉及學(xué)習(xí)生成過程,以生成反映每個(gè)模態(tài)的獨(dú)特異質(zhì)性和模態(tài)之間的相互聯(lián)系的原始模態(tài)。我們將其子挑戰(zhàn)分類為:(1)總結(jié):總結(jié)多模態(tài)數(shù)據(jù)以減少信息內(nèi)容,同時(shí)突出輸入中最突出的部分;(2)翻譯:從一種模態(tài)轉(zhuǎn)換到另一種模態(tài)并保持信息內(nèi)容,同時(shí)與跨模態(tài)交互保持一致;(3)創(chuàng)造:同時(shí)生成多個(gè)模態(tài)以增加信息內(nèi)容,同時(shí)保持模態(tài)內(nèi)部和跨模態(tài)的一致性。

5. 遷移旨在在模態(tài)及其表示之間遷移知識(shí),通常用于幫助可能有噪聲或資源有限的目標(biāo)模態(tài)。以以下算法為例:(1)跨模態(tài)遷移:使模型適應(yīng)涉及主要模態(tài)的下游任務(wù);(2)共同學(xué)習(xí):通過在兩種模態(tài)之間共享表示空間,將信息從次要模態(tài)轉(zhuǎn)移到主要模態(tài);保持單個(gè)單模態(tài)模型獨(dú)立,但在這些模型之間傳遞信息,從一種模態(tài)學(xué)到的知識(shí)(例如,預(yù)測的標(biāo)簽或表示)如何幫助以另一種模態(tài)訓(xùn)練的計(jì)算模型?

6. 量化: 第六個(gè)挑戰(zhàn)涉及實(shí)證和理論研究,以更好地理解異質(zhì)性、模態(tài)相互聯(lián)系和多模態(tài)學(xué)習(xí)過程。量化旨在理解(1)多模態(tài)數(shù)據(jù)集的異質(zhì)性維度以及它們?nèi)绾斡绊懡:蛯W(xué)習(xí),(2)多模態(tài)數(shù)據(jù)集和訓(xùn)練過的模型中模態(tài)連接和交互的存在和類型,以及(3)異構(gòu)數(shù)據(jù)涉及的學(xué)習(xí)和優(yōu)化挑戰(zhàn)。

最后,我們對(duì)多模態(tài)學(xué)習(xí)的未來研究方向提出了一個(gè)長遠(yuǎn)的展望。

5839d4a8-75e6-11ed-8abf-dac502259ad0.jpg

58503e32-75e6-11ed-8abf-dac502259ad0.jpg

588f42bc-75e6-11ed-8abf-dac502259ad0.jpg

58b9bf7e-75e6-11ed-8abf-dac502259ad0.jpg

58d724b0-75e6-11ed-8abf-dac502259ad0.jpg

58fcea56-75e6-11ed-8abf-dac502259ad0.jpg

59260314-75e6-11ed-8abf-dac502259ad0.jpg

5945c23a-75e6-11ed-8abf-dac502259ad0.jpg

5988050a-75e6-11ed-8abf-dac502259ad0.jpg

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    213

    文章

    29715

    瀏覽量

    212733
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8501

    瀏覽量

    134555
  • 智能體
    +關(guān)注

    關(guān)注

    1

    文章

    300

    瀏覽量

    11075

原文標(biāo)題:CMU最新《多模態(tài)機(jī)器學(xué)習(xí)的基礎(chǔ)和最新趨勢》綜述

文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    模態(tài)感知+豆包大模型!家居端側(cè)智能升級(jí)

    的關(guān)鍵力量。星宸科技與豆包大模型的合作,將這一技術(shù)趨勢落實(shí)到實(shí)際應(yīng)用場景中,在智能家居、可穿戴設(shè)備以及連鎖店等領(lǐng)域引發(fā)了深刻變革。 ? 智能家居升級(jí) ? 陳立敬指出:“智能家居2.0需要大模型大腦”。在智能家居領(lǐng)域,模態(tài)感知與
    的頭像 發(fā)表于 06-21 00:06 ?5619次閱讀
    <b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>感知+豆包大模型!家居端側(cè)智能升級(jí)

    模態(tài)+空間智能:盾華以AI+智慧路燈桿,點(diǎn)亮城市治理新方式

    模態(tài)+空間智能:盾華以AI+智慧路燈桿,點(diǎn)亮城市治理新方式
    的頭像 發(fā)表于 06-12 10:17 ?163次閱讀
    <b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>+空間智能:盾華以AI+智慧路燈桿,點(diǎn)亮城市治理新方式

    愛芯通元NPU適配Qwen2.5-VL-3B視覺模態(tài)大模型

    熟悉愛芯通元NPU的網(wǎng)友很清楚,從去年開始我們?cè)诙藗?cè)模態(tài)大模型適配上一直處于主動(dòng)緊跟的節(jié)奏。先后適配了國內(nèi)最早開源的模態(tài)大模MiniCPM V 2.0,上海人工智能實(shí)驗(yàn)室的書生
    的頭像 發(fā)表于 04-21 10:56 ?1417次閱讀
    愛芯通元NPU適配Qwen2.5-VL-3B視覺<b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>大模型

    ?模態(tài)交互技術(shù)解析

    模態(tài)交互 模態(tài)交互( Multimodal Interaction )是指通過多種感官通道(如視覺、聽覺、觸覺等)或多種交互方式(如語音、手勢、觸控、眼動(dòng)等)與計(jì)算機(jī)系統(tǒng)進(jìn)行自然、
    的頭像 發(fā)表于 03-17 15:12 ?2024次閱讀

    ??低暟l(fā)布模態(tài)大模型文搜存儲(chǔ)系列產(chǎn)品

    模態(tài)大模型為安防行業(yè)帶來重大技術(shù)革新,基于觀瀾大模型技術(shù)體系,海康威視將大參數(shù)量、大樣本量的圖文模態(tài)大模型與嵌入式智能硬件深度融合,發(fā)布
    的頭像 發(fā)表于 02-18 10:33 ?673次閱讀

    2025年Next Token Prediction范式會(huì)統(tǒng)一模態(tài)

    訓(xùn)練方法與推理策略 性能評(píng)測體系 現(xiàn)存挑戰(zhàn)與未來方向 綜述的完整目錄如下: 模態(tài)的 Tokenization 我們認(rèn)為模態(tài)的 Token
    的頭像 發(fā)表于 01-21 10:11 ?454次閱讀
    2025年Next Token Prediction范式會(huì)統(tǒng)一<b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>嗎

    體驗(yàn)MiniCPM-V 2.6 模態(tài)能力

    模態(tài)組網(wǎng)
    jf_23871869
    發(fā)布于 :2025年01月20日 13:40:48

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人大模型

    模態(tài)融合的創(chuàng)新與突破 機(jī)器人控制技術(shù)的另一個(gè)重要突破在于模態(tài)大模型的應(yīng)用。相比于僅通過文字進(jìn)行人機(jī)交互的傳統(tǒng)方法,現(xiàn)代
    發(fā)表于 12-29 23:04

    商湯日日新模態(tài)大模型權(quán)威評(píng)測第一

    剛剛,商湯科技日日新SenseNova模態(tài)大模型,在權(quán)威綜合評(píng)測權(quán)威平臺(tái)OpenCompass的模態(tài)評(píng)測中取得榜單第一。
    的頭像 發(fā)表于 12-20 10:39 ?1000次閱讀

    一文理解模態(tài)大語言模型——下

    /understanding-multimodal-llms ? 《一文理解模態(tài)大語言模型 - 上》介紹了什么是模態(tài)大語言模型,以及構(gòu)建
    的頭像 發(fā)表于 12-03 15:18 ?584次閱讀
    一文理解<b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>大語言模型——下

    中科創(chuàng)達(dá)推動(dòng)下一代模態(tài)智能機(jī)器人創(chuàng)新

    具身智能在業(yè)界被普遍認(rèn)為即將掀起人工智能領(lǐng)域的全新浪潮。人形機(jī)器人作為具身智能的絕佳載體,隨著模態(tài)大模型的迅猛發(fā)展,人形機(jī)器人的智能化程度將顯著提升,進(jìn)而加速其產(chǎn)業(yè)化進(jìn)程。2024
    的頭像 發(fā)表于 11-15 11:03 ?889次閱讀

    利用OpenVINO部署Qwen2模態(tài)模型

    模態(tài)大模型的核心思想是將不同媒體數(shù)據(jù)(如文本、圖像、音頻和視頻等)進(jìn)行融合,通過學(xué)習(xí)不同模態(tài)之間的關(guān)聯(lián),實(shí)現(xiàn)更加智能化的信息處理。簡單來說,
    的頭像 發(fā)表于 10-18 09:39 ?1241次閱讀

    通道開關(guān)濾波器的創(chuàng)新者,引領(lǐng)電磁兼容技術(shù)新趨勢

    維愛普|通道開關(guān)濾波器的創(chuàng)新者,引領(lǐng)電磁兼容技術(shù)新趨勢
    的頭像 發(fā)表于 10-16 14:25 ?560次閱讀

    云知聲推出山海模態(tài)大模型

    在人工智能技術(shù)的浩瀚星海中,模態(tài)交互技術(shù)正成為引領(lǐng)未來的新航標(biāo)。繼OpenAI的GPT-4o掀起滔天巨浪后,云知聲以創(chuàng)新之姿,推出了其匠心獨(dú)運(yùn)的山海模態(tài)大模型,正式宣告“Her時(shí)代
    的頭像 發(fā)表于 08-27 15:20 ?627次閱讀

    【《時(shí)間序列與機(jī)器學(xué)習(xí)》閱讀體驗(yàn)】+ 了解時(shí)間序列

    學(xué)習(xí)方法對(duì)該序列數(shù)據(jù)進(jìn)行分析,可以得到結(jié)論或預(yù)測估計(jì),因此時(shí)間序列分析的用途是非常的,比如: 可以反映社會(huì)經(jīng)濟(jì)現(xiàn)象的發(fā)展變化過程,描述現(xiàn)象的發(fā)展?fàn)顟B(tài)和結(jié)果。 可以研究社會(huì)經(jīng)濟(jì)現(xiàn)象的發(fā)展趨勢和發(fā)展速度
    發(fā)表于 08-11 17:55
    主站蜘蛛池模板: 有人在线观看的视频吗免费 | 67194线在线精品观看 | 国产女合集小岁9三部 | 国模孕妇模特季玥之粉红 | 亚洲第一色网 | 亚洲中文字幕国产综合 | 97国产蝌蚪视频在线观看 | 亚洲高清有码中文字 | 国偷自产视频一区二区99 | 亚洲黄色官网 | 久久精品亚洲AV无码三区观看 | 狠狠色丁香婷婷久久综合五月 | 日本高清无人区影院 | 我们中文在线观看免费完整版 | 97资源总站(中文字幕) | 四虎一级片| 久久99久久成人免费播放 | 日本xxxxx按摩19 | 啊…嗯啊好深男男小黄文 | 久久超碰色中文字幕 | 三级网站午夜三级 | 欧美性xxxxxx爱 | 美女强奷到抽搐在线播放 | 男女边吃奶边做边爱视频 | 2017最新伦理伦理片67 | 日韩精品欧美在线视频在线 | 亚洲人女同志video | 亚洲欧美免费无码专区 | 高H高肉强J短篇校园 | 伊人精品影院 | 成人午夜精品久久久久久久秋霞 | 免费观看成人毛片 | 国语92电影网午夜福利 | 午夜DV内射一区区 | 一个人色导航 | 欧美成 人 网 站 免费 | 亚洲国产精麻豆 | 亚洲网站视频在线观看 | xxnx动漫| 精品国产乱码久久久久久夜深人妻 | 全黄H全肉细节文短篇 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品