UniVL-DR: 多模態(tài)稠密向量檢索模型
論文標(biāo)題：
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
背景介紹盡管當(dāng)前主流搜索引擎主要面向文本數(shù)據(jù)，然而多媒體內(nèi)容的增長一直是互聯(lián)網(wǎng)上最顯著趨勢之一，各種研究表明用戶更喜歡搜索結(jié)果中出現(xiàn)生動的多模態(tài)內(nèi)容。因而，針對于多模態(tài)數(shù)據(jù)的信息獲取需求在用戶搜索過程中尤為重要。
▲圖1. 不同多模態(tài)檢索框架示意圖為了實現(xiàn)多模態(tài)檢索過程，當(dāng)前的多媒體搜索系統(tǒng)通常采用“分而治之”的方法。如圖 1(a) 所示，這些方法首先在單個模態(tài)中進(jìn)行搜索，包括文本、圖像、視頻等 ，然后將各個模態(tài)的檢索結(jié)果融合在一起，例如，在這些單/交叉模態(tài)檢索器之上構(gòu)建另一個排序模塊來進(jìn)行模態(tài)融合。
顯而易見，相關(guān)性建模（Relevance Modeling）和檢索結(jié)果融合（Retrieval Result Fusion）二者的建模過程通常交織在一起，以實現(xiàn)更準(zhǔn)確的多模態(tài)檢索結(jié)果。然而，由于模態(tài)差距，這類模型只能以分而治之的方式進(jìn)行流水線建模，這使得融合來自不同模態(tài)的檢索結(jié)果具有挑戰(zhàn)性。
在本文中，我們提出端到端多模態(tài)檢索模型，通過用戶查詢對多模態(tài)文檔進(jìn)行統(tǒng)一的檢索。如圖 1(b) 所示，通用多模態(tài)檢索將查詢和多模態(tài)文檔映射到一個統(tǒng)一的嵌入空間，并通過最近鄰搜索檢索多模態(tài)候選結(jié)果。最終，本文將相關(guān)性建模（Relevance Modeling）、跨模態(tài)匹配（Cross-Modality Matching）和檢索結(jié)果融合（Retrieval Result Fusion）進(jìn)行統(tǒng)一的建模。多模態(tài)檢索任務(wù)介紹
▲圖2. 不同檢索任務(wù)示意圖
單模態(tài)檢索（Single Modality Retrieval）。如圖 2（a）所示，單模態(tài)檢索側(cè)重于在一個模態(tài)空間內(nèi)進(jìn)行相關(guān)性檢索，包括文本-文本檢索和圖像-圖像檢索。文本-文本檢索旨在從文本集合中檢索出與查詢相關(guān)的文本文檔；而圖像-圖像檢索期望于從圖像集合中檢索出與給定查詢圖像匹配度較高的圖像。
跨模態(tài)檢索（Cross Modality Retrieval）。如圖 2（b）所示，該檢索場景包含兩個子任務(wù)：文本-圖像檢索，圖像-文本檢索。這兩種任務(wù)要求檢索模型在圖像與圖像對應(yīng)的描述文字之間進(jìn)行跨模態(tài)匹配，
例如，在圖像-文本檢索任務(wù)中，對于給定的圖像，檢索模型需要在給定的圖像描述文本集合中檢索出與之匹配的描述文本。這種跨模態(tài)檢索場景中的任務(wù)更加側(cè)重于文本與圖像之間的跨模態(tài)語義信息匹配，不同于信息檢索中的相似度搜索，這種跨模態(tài)匹配更加注重“淺層”的語義匹配，對于深層的文檔理解能力要求不高。
多模態(tài)檢索（Multi-Modal Retrieval）。如圖 2（c）所示，該檢索場景旨在包含多模態(tài)文檔的數(shù)據(jù)集合中檢索相關(guān)文檔。在多模態(tài)檢索場景下，檢索模型需要同時處理查詢與不同模態(tài)文檔之間的相似度計算，例如，對于給定的查詢，檢索模型需要在給定的文檔集合中檢索出相似文檔。
不同于單模態(tài)檢索和跨模態(tài)檢索，多模態(tài)檢索的目的是從多模態(tài)文檔集合中檢索、返回相關(guān)文檔。根據(jù)用戶的查詢，檢索結(jié)果可能由文本文檔、圖像文檔或文本文檔與圖像文檔的混合序列組成。多模態(tài)檢索更加關(guān)注查詢和文檔之間的關(guān)聯(lián)建模，且檢索過程中涉及查詢與文本文檔的單模態(tài)匹配、查詢與圖像文檔的跨模態(tài)匹配以及不同模態(tài)文檔與查詢的相似度之間的比較，這使得這項任務(wù)具有更大的挑戰(zhàn)性。UniVL-DR：基于統(tǒng)一表征空間的多模態(tài)稠密向量檢索框架
▲圖3. UniVL-DR模型結(jié)構(gòu)圖
在多模態(tài)信息檢索場景下，本文提出了 Universal Vision-Language Dense Retrieval (UniVL-DR) 模型來建模多模態(tài)檢索過程。如圖 3 所示，對于給定用戶查詢和多模態(tài)文檔，UniVL-DR 將用戶查詢、文本文檔和圖像文檔編碼在一個統(tǒng)一的向量表征空間中，并在該表征空間中進(jìn)行用戶查詢與相關(guān)文檔的相關(guān)性建模以及多模態(tài)文檔向量表征建模。
UniVL-DR 由兩個編碼器構(gòu)成：文本編碼器和圖像編碼器。查詢、圖像文檔和文本文檔均通過這兩個編碼器編碼得到稠密向量表示。
查詢編碼：如公式（1）所示，本文算法直接通過文本編碼器對查詢進(jìn)行編碼，得到查詢的表征向量：
文本文檔編碼：如公式（2）所示，對于文本文檔，本文算法將其經(jīng)過文本編碼器得到文本文檔的稠密表征向量：
為解決圖像文檔與文本文檔在表征上的模態(tài)屏障，本文提出通過圖像的語言化拓展來彌合不同模態(tài)文檔間表征鴻溝的方法。
▲圖4. 圖像的語言拓展算法示意圖
本文借鑒信息檢索領(lǐng)域中的文檔拓展技術(shù)對圖像進(jìn)行語言化拓展，增強(qiáng)圖像的語義表示。如圖（4）所示，首先對圖像進(jìn)行目標(biāo)檢測，得到圖像的區(qū)域特征和檢測出的區(qū)域文本標(biāo)簽集合。本文首先將由圖像和目標(biāo)檢測得到的區(qū)域標(biāo)簽生成圖像描述形式的語言化拓展，輸入結(jié)構(gòu)如公式（6）所示：
實驗結(jié)果
實驗結(jié)果如表 2 所示。UniVL-DR 在性能評估上比所有基線模型提高了 7% 以上，顯著的檢索性能提升說明了本文算法在構(gòu)建面向多模態(tài)文檔的信息檢索系統(tǒng)方面的有效性。相比較分而治之的策略，UniVL-DR 甚至超過了 BM25&CLIP-DPR（Oracle Modality）模型，該模型利用了數(shù)據(jù)集中標(biāo)注的與用戶問題相關(guān)的文檔模態(tài)信息進(jìn)行模態(tài)路由。證明統(tǒng)一化的多模態(tài)文檔向量建模能夠很好地建模多模態(tài)檢索任務(wù)。
▲表2. 主實驗結(jié)果
如表 3 所示，本文展示了模型的消融試驗結(jié)果。在實驗中我們發(fā)現(xiàn)針對于多模態(tài)檢索任務(wù)，圖像文檔的標(biāo)題信息相比較像素信息更加重要。同時，在圖像文檔標(biāo)題信息的基礎(chǔ)上加入圖像像素信息能夠進(jìn)一步提升檢索的效果。
▲表3. 消融實驗結(jié)果
如圖 5 所示，在用戶問題中，往往會出現(xiàn)與圖片所描述內(nèi)容相關(guān)的實體，例如：明尼通卡杜鵑花（Minnetonka Rhododendron flower），然而，現(xiàn)有的圖片編碼器（例如：CLIP）往往缺少此類的背景知識，因而導(dǎo)致在多模態(tài)檢索過程中圖像文本的像素編碼向量的作用不大。此原因?qū)е铝嗽诙嗄B(tài)檢索過程中圖片像素的語義信息對檢索精度的提升貢獻(xiàn)不大的現(xiàn)象。
▲圖5. 圖片檢索樣例
進(jìn)一步我們通過不同負(fù)例選取方式訓(xùn)練得到的多模態(tài)檢索模型的向量空間可視化，如圖 6 所示。我們的實驗結(jié)果發(fā)現(xiàn)，通過模態(tài)平衡難負(fù)例訓(xùn)練的檢索模型學(xué)習(xí)的向量空間更加的均勻。同時，通過對難負(fù)例的模態(tài)進(jìn)行平衡可以很好地緩解檢索模型對于模態(tài)的偏見問題。
▲圖6. 稠密向量可視化
總結(jié)本文提出了 UniVL-DR，UniVL-DR 構(gòu)建了統(tǒng)一的多模態(tài)向量表征空間，將單模態(tài)、跨模態(tài)匹配和檢索結(jié)果融合建模在一起，實現(xiàn)端到端的多模態(tài)信息檢索。具體來講，本文的主要貢獻(xiàn)有以下兩點：1）通過模態(tài)均衡的難負(fù)例選取策略進(jìn)行統(tǒng)一多模態(tài)表征空間的對比優(yōu)化。2）利用圖像語言化方法彌合了原始數(shù)據(jù)空間中圖像和文本之間的模態(tài)差距。實驗表明，UniVL-DR 可以通過圖像語言化技術(shù)彌合模態(tài)差距，并通過模態(tài)均衡的難負(fù)例選取策略避免過度擬合某一種模態(tài)的訓(xùn)練監(jiān)督信號。 ·
原文標(biāo)題：UniVL-DR: 多模態(tài)稠密向量檢索模型
文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2909文章
44567瀏覽量
372816
原文標(biāo)題：UniVL-DR: 多模態(tài)稠密向量檢索模型
文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
商湯日日新多模態(tài)大模型權(quán)威評測第一
一文理解多模態(tài)大語言模型——下
一文理解多模態(tài)大語言模型——上
利用OpenVINO部署Qwen2多模態(tài)模型
云知聲山海多模態(tài)大模型UniGPT-mMed登頂MMMU測評榜首
Meta發(fā)布多模態(tài)LLAMA 3.2人工智能模型
云知聲推出山海多模態(tài)大模型
依圖多模態(tài)大模型伙伴CTO精研班圓滿舉辦
李未可科技正式推出WAKE-AI多模態(tài)AI大模型
AI機(jī)器人迎來多模態(tài)模型
蘋果發(fā)布300億參數(shù)MM1多模態(tài)大模型
螞蟻集團(tuán)推出20億參數(shù)多模態(tài)遙感基礎(chǔ)模型SkySense
機(jī)器人基于開源的多模態(tài)語言視覺大模型
自動駕駛和多模態(tài)大語言模型的發(fā)展歷程
從Google多模態(tài)大模型看后續(xù)大模型應(yīng)該具備哪些能力
工商網(wǎng)監(jiān)
評論