色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

小模型也能進行上下文學習!字節(jié)&華東師大聯(lián)合提出自進化文本識別器

CVer ? 來源:CVer ? 2023-11-27 16:28 ? 次閱讀

大語言模型(LLM)能夠以一種無需微調的方式從少量示例中學習,這種方式被稱為 "上下文學習"(In-context Learning)。目前只在大模型上觀察到上下文學習現(xiàn)象,那么,常規(guī)大小的模型是否具備類似的能力呢?GPT4、Llama等大模型在非常多的領域中都表現(xiàn)出了杰出的性能,但很多場景受限于資源或者實時性要求較高,無法使用大模型。為了探索小模型的上下文學習能力,字節(jié)和華東師大的研究團隊在場景文本識別任務上進行了研究。

場景文本識別(Scene Text Recognition)的目標是將圖像中的文本內容提取出來。實際應用場景中,場景文本識別面臨著多種挑戰(zhàn):不同的場景、文字排版、形變、光照變化、字跡模糊、字體多樣性等,因此很難訓練一個能應對所有場景的統(tǒng)一的文本識別模型。一個直接的解決辦法是收集相應的數(shù)據(jù),然后在特定場景下對模型進行微調。但是這一過程需要重新訓練模型,當場景變多、領域任務變得復雜時,實際的訓練、存儲、維護資源則呈幾何倍增長。如果文本識別模型也能具備上下文學習能力,面對新的場景,只需少量標注數(shù)據(jù)作為提示,就能提升在新場景上的性能,那么上面的問題就迎刃而解。然而,場景文本識別是一個資源敏感型任務,將大模型當作文本識別器非常耗費資源,并且通過初步的實驗,研究人員發(fā)現(xiàn)傳統(tǒng)的訓練大模型的方法在場景文本識別任務上并不適用。

為了解決這個問題,來自字節(jié)和華東師大的研究團隊提出了自進化文本識別器,ESTR(Ego-Evolving Scene Text Recognizer),一個融合了上下文學習能力的常規(guī)大小文本識別器,無需微調即可快速適應不同的文本識別場景。ESTR配備了一種上下文訓練和上下文推理模式,不僅在常規(guī)數(shù)據(jù)集上達到了SOTA的水平,而且可以使用單一模型提升在各個場景中的識別性能,實現(xiàn)對新場景的快速適應,甚至超過了經過微調后專用模型的識別性能。ESTR證明,常規(guī)大小的模型足以在文本識別任務中實現(xiàn)有效的上下文學習能力。ESTR在各種場景中無需微調即可表現(xiàn)出卓越的適應性,甚至超過了經過微調后的識別性能。

8e61a640-8c75-11ee-939d-92fbcf53809c.png

論文地址:https://arxiv.org/pdf/2311.13120

方法

圖1介紹了ESTR的訓練和推理流程。

8e777d4e-8c75-11ee-939d-92fbcf53809c.png

1.基礎文本識別訓練

基礎文本識別訓練階段采用自回歸框架訓練視覺編碼器和語言解碼器:

8e992818-8c75-11ee-939d-92fbcf53809c.png

2.上下文訓練

上下文訓練階段ESTR 將根據(jù)文中提出的上下文訓練范式進行進一步訓練。在這一階段,ESTR 會學習理解不同樣本之間的聯(lián)系,從而從上下文提示中獲益。

8ea68454-8c75-11ee-939d-92fbcf53809c.png

如圖2所示,這篇文章提出 ST 策略,在場景文本數(shù)據(jù)中進行隨機的分割和轉換,從而生成一組 "子樣本"。子樣本在視覺和語言方面都是內在聯(lián)系的。這些內在聯(lián)系的樣本被拼接成一個序列,模型從這些語義豐富的序列中學習上下文知識,從而獲取上下文學習的能力。這一階段同樣采用自回歸框架進行訓練:

8eb82718-8c75-11ee-939d-92fbcf53809c.png

3.上下文推理

針對一個測試樣本,該框架會從上下文提示池中選擇 個樣本,這些樣本在視覺隱空間與測試樣本具有最高的相似度。具體來說,這篇文章通過對視覺token序列做平均池化,計算出圖像embedding 。然后,從上下文池中選擇圖像嵌入與 的余弦相似度最高的前 N 個樣本,從而形成上下文提示。

8ec51a9a-8c75-11ee-939d-92fbcf53809c.png

上下文提示和測試樣本拼接在一起送入模型,ESTR便會以一種無訓練的方式從上下文提示中學得新知識,提升測試樣本的識別準確率。值得注意的是,上下文提示池只保留了視覺編碼器輸出的token,使得上下文提示的選擇過程非常高效。此外,由于上下文提示池很小,而且ESTR不需要訓練就能直接進行推理,因此額外的消耗也降到了最低限度。

實驗

實驗從三個角度進行:

1.傳統(tǒng)數(shù)據(jù)集

從訓練集中隨機抽取很少的樣本(1000個,訓練集 0.025% 的樣本數(shù)量)組成上下文提示池,在12個常見的場景文本識別測試集中進行的測試,結果如下:

8eef0760-8c75-11ee-939d-92fbcf53809c.png

2.跨域場景

跨域場景下每個測試集僅提供100個域內訓練樣本,無訓練和微調對比結果如下。ESTR甚至超過了SOTA方法的微調結果。

8f0ad454-8c75-11ee-939d-92fbcf53809c.png

3.困難樣本修正

研究人員收集了一批困難樣本,對這些樣本提供了10%~20%的標注,對比ESTR的無訓練學習方法和SOTA方法的微調學習方法,結果如下:

8f2a9f82-8c75-11ee-939d-92fbcf53809c.png

可以發(fā)現(xiàn),ESTR-ICL大大降低了困難樣本的錯誤率。

未來展望

ESTR證明了使用合適的訓練和推理策略,小模型也可以擁有和LLM類似的In-context Learning的能力。在一些實時性要求比較強的任務中,使用小模型也可以對新場景進行快速的適應。更重要的是,這種使用單一模型來實現(xiàn)對新場景快速適應的方法使得構建統(tǒng)一高效的小模型更近了一步。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3238

    瀏覽量

    48824
  • 識別器
    +關注

    關注

    0

    文章

    20

    瀏覽量

    7580
  • 大模型
    +關注

    關注

    2

    文章

    2439

    瀏覽量

    2672

原文標題:小模型也能進行上下文學習!字節(jié)&華東師大聯(lián)合提出自進化文本識別器

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    《具身智能機器人系統(tǒng)》第7-9章閱讀心得之具身智能機器人與大模型

    的應用。MAML算法通過二階優(yōu)化找到對任務變化敏感的模型參數(shù),實現(xiàn)了快速適應。上下文學習則引入了注意力機制,使模型能夠根據(jù)當前場景動態(tài)調整行為策略。在預訓練-微調范式中,我們要注意任務表示的重要性:好的表示
    發(fā)表于 12-24 15:03

    Llama 3 語言模型應用

    理解復雜的上下文信息,包括對話歷史、用戶偏好和文化差異。這使得它在對話系統(tǒng)和個性化推薦中表現(xiàn)出色。 情感分析 :通過深度學習技術,Llama 3 能夠識別和理解文本中的情感傾向,無論是
    的頭像 發(fā)表于 10-27 14:15 ?274次閱讀

    onsemi LV/MV MOSFET 產品介紹 & 行業(yè)應用

    系列MOSFET介紹。4.onsemiLV/MVMOSFET市場&應用。技術亮點onsemi最新一代T10系列MOSFET優(yōu)勢&市場前景。學習收獲期望了解onsemiSi
    的頭像 發(fā)表于 10-13 08:06 ?390次閱讀
    onsemi LV/MV MOSFET 產品介紹 &<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>; 行業(yè)應用

    SystemView上下文統(tǒng)計窗口識別阻塞原因

    SystemView工具可以記錄嵌入式系統(tǒng)的運行時行為,實現(xiàn)可視化的深入分析。在新發(fā)布的v3.54版本中,增加了一項新功能:上下文統(tǒng)計窗口,提供了對任務運行時統(tǒng)計信息的深入分析,使用戶能夠徹底檢查每個任務,幫助開發(fā)人員識別阻塞原因。
    的頭像 發(fā)表于 08-20 11:31 ?433次閱讀

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    的信息,提供更全面的上下文理解。這使得模型能夠更準確地理解復雜問題中的多個層面和隱含意義。 2. 語義分析 模型通過訓練學習到語言的語義特征,能夠
    發(fā)表于 08-02 11:03

    鴻蒙Ability Kit(程序框架服務)【應用上下文Context】

    [Context]是應用中對象的上下文,其提供了應用的一些基礎信息,例如resourceManager(資源管理)、applicationInfo(當前應用信息)、dir(應用文件路徑)、area
    的頭像 發(fā)表于 06-06 09:22 ?494次閱讀
    鴻蒙Ability Kit(程序框架服務)【應用<b class='flag-5'>上下文</b>Context】

    編寫一個任務調度程序,在上下文切換后遇到了一些問題求解

    \"rfe\" 不會在 A[11] 寄存中設置新的返回地址。 當任務函數(shù)以\"ret16\" 結束時,μC 將在陷阱中運行。 我在上下文切換的準備過程中錯過了什么? 在上下文切換/\"rfe\" 之后,A[11] 的正確行為是
    發(fā)表于 05-22 07:50

    MiniMax推出“海螺AI”,支持超長文本處理

    近日,大模型公司MiniMax宣布,其全新產品“海螺AI”已正式上架。這款強大的AI工具支持高達200ktokens的上下文長度,能夠在1秒內處理近3萬字的文本
    的頭像 發(fā)表于 05-17 09:30 ?734次閱讀

    OpenAI發(fā)布GPT-4o模型,支持文本、圖像、音頻信息,速度提升一倍,價格不變

     此外,該模型還具備128K的上下文記憶能力,知識截止日期設定為2023年10月。微軟方面宣布,已通過Azure OpenAI服務提供GPT-4o的預覽版。
    的頭像 發(fā)表于 05-14 17:12 ?849次閱讀

    大語言模型:原理與工程時間+小白初識大語言模型

    的分布式表示,基于預訓練的詞嵌入表示。 獨熱表示就是在一個大的向量空間中,其中一個位1,其余都為0,這樣就會變成單獨的。 詞的分布式表示:根據(jù)上下文進行推斷語義。 基于預訓練的詞嵌入表示:重要的是利用莫
    發(fā)表于 05-12 23:57

    【大語言模型:原理與工程實踐】大語言模型的基礎技術

    Transformer有效避免了CNN中的梯度消失和梯度爆炸問題,同時提高了處理長文本序列的效率。此外,模型編碼可以運用更多層,以捕獲輸入序列中元素間的深層關系,并學習更全面的
    發(fā)表于 05-05 12:17

    【大語言模型:原理與工程實踐】揭開大語言模型的面紗

    用于文本生成,根據(jù)提示或上下文生成連貫、富有創(chuàng)造性的文本,為故事創(chuàng)作等提供無限可能。大語言模型面臨挑戰(zhàn)。一方面,其計算資源需求巨大,訓練和
    發(fā)表于 05-04 23:55

    TC397收到EVAL_6EDL7141_TRAP_1SH 3上下文管理EVAL_6EDL7141_TRAP_1SH錯誤怎么解決?

    我收到EVAL_6EDL7141_TRAP_1SH 3 類(TIN4-Free 上下文列表下溢)上下文管理EVAL_6EDL7141_TRAP_1SH錯誤。 請告訴我解決這個問題的辦法。
    發(fā)表于 03-06 08:00

    請問risc-v中斷還需要軟件保存上下文和恢復嗎?

    risc-v中斷還需要軟件保存上下文和恢復嗎?
    發(fā)表于 02-26 07:40

    ISR的上下文保存和恢復是如何完成的?

    函數(shù):ifxCPU_enableInterrupts ();如果我讓更高優(yōu)先級的 ISR 中斷優(yōu)先級較低的 ISR,那么 ISR 的上下文保存和恢復是如何完成的?
    發(fā)表于 01-22 06:28
    主站蜘蛛池模板: 久久婷婷五月综合色精品首页| yellow免费影视大全| 亚洲人女同志video| 天天爽夜夜爽8888视频精品| 肉蒲团从国内封禁到日本成经典 | 99久久精品费精品国产一区二| 一本道的mv中文字幕| 一区精品在线| 一个人免费观看HD完整版| 杨幂被视频在线观看| 月夜直播视频免费观看| 中文字幕高清在线观看| 777琪琪午夜理论电影网| 97视频在线免费播放| 99re6热这里在线精品视频| 97免费视频在线| japanese幼儿videos| 穿白丝袜边走边尿白丝袜| 国产成人精品三级在线| 国产偷抇久久精品A片蜜臀AV| 国产亚洲精品久久久999无毒 | a视频在线观看免费| 超碰97人人做人人爱网站| 国产69精品久久久久乱码韩国| 国产成人啪精视频精东传媒网站| 国产女人91精品嗷嗷嗷嗷| 娇妻被朋友玩得呻吟在线电影| 久久久影院亚洲精品| 欧美成人精品高清在线观看| 日韩精品真人荷官无码| 亚洲a免费| 0951影音在线| 成人免费视频在线观看| 国产色精品久久人妻无码看片软件 | 诱咪视频免费| 99久久久无码国产精精品| 大胆国模一区二区三区伊人| 国产色播视频在线观看| 久久这里只有精品国产精品99| 亲嘴扒胸摸屁股视频免费网站| 无限资源在线完整高清观看1 |