色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

超分畫質(zhì)大模型!華為和清華聯(lián)合提出CoSeR:基于認(rèn)知的萬物超分大模型

CVer ? 來源:CVer ? 2023-12-04 16:22 ? 次閱讀

8980ef80-912c-11ee-939d-92fbcf53809c.png

項(xiàng)目主頁:https://coser-main.github.io/ 論文:https://arxiv.org/abs/2311.16512 代碼:https://github.com/VINHYU/CoSeR

8999186c-912c-11ee-939d-92fbcf53809c.png

圖1. LR,GR和SR分別為低清圖像、基于對(duì)低清圖像的認(rèn)知生成的參考圖像和超分圖像。

圖像超分辨率技術(shù)旨在將低分辨率圖像轉(zhuǎn)換為高分辨率圖像,從而提高圖像的清晰度和細(xì)節(jié)真實(shí)性。這項(xiàng)技術(shù)在手機(jī)拍照等領(lǐng)域有著廣泛的應(yīng)用和需求。隨著超分技術(shù)的發(fā)展和手機(jī)硬件性能的提升,人們期望拍攝出更加清晰的照片。然而,現(xiàn)有的超分方法存在一些局限性,如圖2所示,主要有以下兩個(gè)方面:

一是缺乏泛化能力。為了實(shí)現(xiàn)更好的超分效果,通常需要針對(duì)特定場(chǎng)景使用特定傳感器采集到的數(shù)據(jù)來進(jìn)行模型訓(xùn)練,這種學(xué)習(xí)方式擬合了某種低清圖像和高清圖像間的映射,但在其他場(chǎng)景下表現(xiàn)不佳。此外,逐場(chǎng)景訓(xùn)練的方式計(jì)算成本較高,不利于模型的部署和更新。

二是缺乏理解能力。現(xiàn)有的超分方法主要依賴于從大量數(shù)據(jù)中學(xué)習(xí)圖像的退化分布,忽視了對(duì)圖像內(nèi)容的理解,無法利用常識(shí)來準(zhǔn)確恢復(fù)物體的結(jié)構(gòu)和紋理。

89aff262-912c-11ee-939d-92fbcf53809c.png

圖2. 真實(shí)場(chǎng)景超分SOTA方法的局限性:(行一)難以處理訓(xùn)練集外的退化分布;(行二)難以利用常識(shí)恢復(fù)物體結(jié)構(gòu)。

人類在處理信息時(shí),有兩種不同的認(rèn)知反饋系統(tǒng)。諾貝爾獎(jiǎng)經(jīng)濟(jì)學(xué)得主丹尼爾·卡爾曼在《思考,快與慢》中將它們稱為系統(tǒng)一和系統(tǒng)二,如圖3所示。系統(tǒng)一是快速的、直覺的、基于記憶的反饋,比如,我們可以脫口而出十以內(nèi)的加減運(yùn)算。系統(tǒng)二是緩慢的、多步的反饋,比如,28x39往往需要逐步運(yùn)算。現(xiàn)有的超分方法更貼近系統(tǒng)一,它們主要依賴于從大量數(shù)據(jù)中學(xué)習(xí)圖像的退化分布,忽視了對(duì)圖像內(nèi)容的理解,無法按照常識(shí)來準(zhǔn)確恢復(fù)物體的結(jié)構(gòu)和紋理,也無法處理域外的退化情況。本文認(rèn)為,真正能有效應(yīng)用于真實(shí)場(chǎng)景的畫質(zhì)大模型應(yīng)該具備類似系統(tǒng)二的多步修復(fù)能力,即基于對(duì)圖像內(nèi)容的認(rèn)知,結(jié)合先驗(yàn)知識(shí)來實(shí)現(xiàn)圖像超分(Cognitive Super-Resolution,CoSeR)。

8a52aa48-912c-11ee-939d-92fbcf53809c.png

圖3. CoSeR采用類似于人腦中系統(tǒng)二的修復(fù)方式

CoSeR模仿了人類專家修復(fù)低質(zhì)量圖像自上而下的思維方式,首先建立對(duì)圖像內(nèi)容的全面認(rèn)知,包括識(shí)別場(chǎng)景和主要物體的特征,隨后將重點(diǎn)轉(zhuǎn)移到對(duì)圖像細(xì)節(jié)的檢查和還原。本文的主要貢獻(xiàn)如下:

提出了一種通用的萬物超分畫質(zhì)大模型CoSeR,它能夠從低清圖像中提取認(rèn)知特征,包括場(chǎng)景內(nèi)容理解和紋理細(xì)節(jié)信息,從而提高模型的泛化能力和理解能力。

提出了一種基于認(rèn)知特征的參考圖像生成方法,它能夠生成與低清圖像內(nèi)容一致的高質(zhì)量參考圖像,用于指導(dǎo)圖像的恢復(fù)過程,增強(qiáng)圖像的保真度和美感度。

提出了一種“All-in-Attention”模塊,它能夠?qū)⒌颓鍒D像、認(rèn)知特征、參考圖像三個(gè)條件注入到模型當(dāng)中,實(shí)現(xiàn)多源信息的融合和增強(qiáng)。

在多個(gè)測(cè)試集和評(píng)價(jià)指標(biāo)上,相較于現(xiàn)有方法,CoSeR均取得了更好的效果。同時(shí),CoSeR在真實(shí)場(chǎng)景下也展現(xiàn)頗佳。

方法介紹

圖4展示了CoSeR的整體架構(gòu)。CoSeR首先使用認(rèn)知編碼器來對(duì)低清圖像進(jìn)行解析,將提取到的認(rèn)知特征傳遞給Stable Diffusion模型,用以激活擴(kuò)散模型中的圖像先驗(yàn),從而恢復(fù)更精細(xì)的細(xì)節(jié)。此外,CoSeR利用認(rèn)知特征來生成與低清圖像內(nèi)容一致的高質(zhì)量參考圖像。這些參考圖像作為輔助信息,有助于提升超分辨率效果。最終,CoSeR使用提出的“All-in-Attention”模塊,將低清圖像、認(rèn)知特征、參考圖像三個(gè)條件注入到模型當(dāng)中,進(jìn)一步提升結(jié)果的保真度。

8a68cc88-912c-11ee-939d-92fbcf53809c.png

圖4. 本文提出的萬物超分畫質(zhì)大模型CoSeR

圖5展示了CoSeR參考圖像生成的效果。與直接從低清圖像中獲取描述的方法相比,CoSeR的認(rèn)知特征保留了細(xì)粒度的圖像特征,在生成具有高度相似內(nèi)容的參考圖像時(shí)具有優(yōu)勢(shì)。在圖5的第一行,使用BLIP2從低清圖像生成的描述無法準(zhǔn)確識(shí)別動(dòng)物的類別、顏色和紋理。此外,CoSeR的認(rèn)知特征對(duì)于低清圖像更加魯棒。例如,在圖5的第二行,由于輸入分布的差異,BLIP2會(huì)生成錯(cuò)誤的圖像描述,而CoSeR生成了內(nèi)容一致的高質(zhì)量參考圖像。最后,相比于BLIP2大模型接近7B的參數(shù)量,CoSeR的認(rèn)知編碼器只有其3%的參數(shù)量,極大提升了推理速度。

8a836d40-912c-11ee-939d-92fbcf53809c.png

圖5.(行一)使用BLIP2描述生成的參考圖和CoSeR生成的參考圖;(行二)CoSeR的高魯棒性

結(jié)果展示

表1和圖6展示了CoSeR與其他方法的定量和定性結(jié)果對(duì)比。CoSeR在含有豐富類別的ImageNet數(shù)據(jù)集及真實(shí)超分?jǐn)?shù)據(jù)集RealSR和DRealSR上,都取得了不錯(cuò)的結(jié)果。CoSeR能夠恢復(fù)出更加清晰和自然的圖像細(xì)節(jié),同時(shí)保持了圖像的內(nèi)容一致性和結(jié)構(gòu)完整性。

8a8e2cc6-912c-11ee-939d-92fbcf53809c.png

表1. 定量結(jié)果對(duì)比

8aa67060-912c-11ee-939d-92fbcf53809c.png

圖6. 定性結(jié)果對(duì)比

本文提出的CoSeR模型為圖像超分辨率技術(shù)提供了一種新的思路和方法,它能夠從低清圖像中提取認(rèn)知特征,用于激活圖像先驗(yàn)、生成參考圖像,從而實(shí)現(xiàn)高質(zhì)量的萬物超分效果。我們未來的研究重點(diǎn)是如何在不影響超分性能的情況下加速采樣,以獲得更高的視覺質(zhì)量。此外,我們還將探索統(tǒng)一模型在更多樣化的圖像修復(fù)任務(wù)中的表現(xiàn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2550

    文章

    51035

    瀏覽量

    753085
  • 圖像
    +關(guān)注

    關(guān)注

    2

    文章

    1083

    瀏覽量

    40449
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2423

    瀏覽量

    2645

原文標(biāo)題:超分畫質(zhì)大模型!華為和清華聯(lián)合提出CoSeR:基于認(rèn)知的萬物超分大模型

文章出處:【微信號(hào):CVer,微信公眾號(hào):CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    IoT聯(lián)網(wǎng)課程清單

    ://t.elecfans.com/v/25643.html *附件:L610功能之連接公有云-華為云.pdf 應(yīng)用 萬物互聯(lián)工程實(shí)例(騰訊云)part1 1027秒 https://t.elecfans.com/v
    發(fā)表于 03-24 09:18

    萬物互聯(lián)時(shí)代引領(lǐng)者—微聯(lián)網(wǎng)云服務(wù)平臺(tái)

    本帖最后由 一只耳朵怪 于 2018-5-21 16:56 編輯   現(xiàn)今,人們對(duì)城市、企業(yè)的規(guī)劃與認(rèn)知也產(chǎn)生了顛覆性的質(zhì)變,人們期待萬事萬物的預(yù)期發(fā)展具象化、視覺化,實(shí)現(xiàn)真正意義上的萬物互聯(lián)
    發(fā)表于 05-21 16:52

    鴻蒙是什么?他是兼容萬物的斗戰(zhàn)勝佛

    萬物互聯(lián)時(shí)代,手機(jī)眼睛冰箱連你家的門都可以上網(wǎng),要上網(wǎng)就要計(jì)算,為每個(gè)設(shè)備都單獨(dú)開發(fā)一個(gè)系統(tǒng)不現(xiàn)實(shí),那鴻蒙就是解決這個(gè)問題而誕生的。 從功能機(jī)到智能機(jī)時(shí)代,諾基亞掉隊(duì)了,微軟想插隊(duì)也失敗了,從智能機(jī)到
    發(fā)表于 09-08 14:00

    HarmonyOS IoT首著,走進(jìn)萬物互聯(lián)的世界!

    !HarmonyOS是新一代智能終端操作系統(tǒng),為不同設(shè)備的智能化、互聯(lián)與協(xié)同提供了統(tǒng)一的語言。華為常務(wù)董事、消費(fèi)者業(yè)務(wù)CEO余承東表示:“萬物互聯(lián)時(shí)代,沒有人會(huì)是一座孤島,每個(gè)人、每個(gè)設(shè)備都是萬物互聯(lián)大陸的一部
    發(fā)表于 06-16 16:45

    HarmonyOS IoT首著,走進(jìn)萬物互聯(lián)的世界!

    !HarmonyOS是新一代智能終端操作系統(tǒng),為不同設(shè)備的智能化、互聯(lián)與協(xié)同提供了統(tǒng)一的語言。華為常務(wù)董事、消費(fèi)者業(yè)務(wù)CEO余承東表示:“萬物互聯(lián)時(shí)代,沒有人會(huì)是一座孤島,每個(gè)人、每個(gè)設(shè)備都是萬物互聯(lián)的一部
    發(fā)表于 06-16 17:08

    鴻蒙座艙子品牌來了,華為發(fā)布 HarmonySpace:萬物互聯(lián)的智能出行空間

    生態(tài)圈。基于讓座艙融入無處不在的智能世界的愿景,華為打造了一個(gè)寓意萬物互聯(lián)的座艙子品牌 ——HarmonySpace。讓座艙不僅是座艙,而是一個(gè)連通萬物,不斷生長,個(gè)性智能的移動(dòng)出行空間。華為
    發(fā)表于 12-23 14:40

    ARM用以解決圖像模型過參數(shù)問題

    本文提出一種Any-time super-Resolution Method(ARM)用以解決圖像模型過參數(shù)問題,其出發(fā)點(diǎn)在于如下三個(gè)觀察:不同圖像塊的性能會(huì)
    發(fā)表于 06-10 17:52

    介紹一種MobileAI2021的圖像競(jìng)賽的最佳方案

    AIBenchmark軟件測(cè)試了所提方案的CPU、GPU以及NNAPI耗時(shí),結(jié)果見下表。MAI2021 SISR Challenge本文起初用于參加MAI2021圖像競(jìng)賽,結(jié)果見下表。注:首次的提交的模型
    發(fā)表于 06-10 18:03

    介紹一種Any-time super-Resolution Method用以解決圖像模型過參數(shù)問題

    本文提出一種Any-time super-Resolution Method(ARM)用以解決圖像模型過參數(shù)問題,其出發(fā)點(diǎn)在于如下三個(gè)觀察:不同圖像塊的性能會(huì)
    發(fā)表于 03-21 15:25

    基于混合先驗(yàn)模型分辨率重建

    在L1范數(shù)圖像分辨率重建算法框架下,引入?yún)?shù)自適應(yīng)估計(jì),結(jié)合差圖像統(tǒng)計(jì)特性和概率分布模型提出一種基于混合先驗(yàn)模型
    發(fā)表于 04-11 08:42 ?24次下載

    基于信譽(yù)模型認(rèn)知聯(lián)網(wǎng)非均勻簇路由算法

    基于信譽(yù)模型認(rèn)知聯(lián)網(wǎng)非均勻簇路由算法_李瑩
    發(fā)表于 01-07 20:32 ?0次下載

    如何使用TensorFlow Hub的ESRGAN模型來在安卓app中生成圖片

    從一張低分辨率的圖片生成一張對(duì)應(yīng)的高分辨率圖片的任務(wù)通常被稱為單圖(Single Image Super Resolution - SISR)。盡管可以使用傳統(tǒng)的插值方法(如雙線性
    的頭像 發(fā)表于 11-26 09:40 ?3504次閱讀

    OpenHarmony論壇-圖庫應(yīng)用數(shù)據(jù)加載顯示模型

    OpenHarmony論壇-圖庫應(yīng)用數(shù)據(jù)加載顯示模型 天的2021華為開發(fā)者大會(huì)上,OpenHarmony論壇上展示了圖庫應(yīng)用數(shù)據(jù)加載顯示模型
    的頭像 發(fā)表于 10-23 13:42 ?1030次閱讀
    OpenHarmony<b class='flag-5'>分</b>論壇-圖庫應(yīng)用數(shù)據(jù)加載顯示<b class='flag-5'>模型</b>

    眸瑞科技與沐曦集成電路聯(lián)合發(fā)布首個(gè)AI模型“貼圖”技術(shù)

    近日,長沙眸瑞網(wǎng)絡(luò)科技有限公司(下稱“眸瑞科技”)與沐曦集成電路(上海)有限公司(下稱“沐曦”)聯(lián)合發(fā)布首個(gè)AI模型“貼圖”技術(shù)。
    發(fā)表于 09-06 14:08 ?411次閱讀

    沐曦首次將AI分成功應(yīng)用到3D模型領(lǐng)域

    近日,長沙眸瑞網(wǎng)絡(luò)科技有限公司(下稱“眸瑞科技”)與沐曦集成電路(上海)有限公司(下稱“沐曦”)聯(lián)合發(fā)布首個(gè)AI模型“貼圖”技術(shù)。該技術(shù)依托曦思N系列AI推理GPU首款產(chǎn)品曦思N1
    的頭像 發(fā)表于 09-06 14:11 ?963次閱讀
    主站蜘蛛池模板: avtt天堂网2014| 国产午夜在线精品三级a午夜电影| 精品无码国产自产在线观看水浒传 | 最新国产三级在线不卡视频| 国产色精品久久人妻无码看片软件| 日本久久精品毛片一区随边看| 中文字幕偷乱免费视频在线| 精品AV无码一二三区视频| 午夜免费国产体验区免费的| 囯产精品久久久久久久久免费蜜桃 | 国产成人精品精品欧美| 欧美一区二区三区播放| 97在线视频免费播放| 老师的脚奴| 中文字幕在线视频观看| 久久99re热在线观看视频| 亚洲欧美精品无码大片在线观看| 国产精品嫩草影院一区二区三区| 色橹橹欧美在线观看视频高| 抽插内射高潮呻吟爆乳| 精品AV无码一二三区视频| 青青草偷拍国产亚洲欧洲| 亚洲欧美国产旡码专区| 九九热在线观看视频| 三级网站视频| CHINA篮球体育飞机2022网站| 精品无码国产污污污免费网站2| 天天躁夜夜踩很很踩2022| 99精品国产免费久久久久久下载| 花蝴蝶高清影视视频在线播放| 一本到2v不卡区| 国产亚洲精品看片在线观看| 日本伦理片 中文字幕| www黄色com| 人妻无码AV中文系统久久免费| 亚洲爱视频| 京香在线播放| 伊人网伊人网| 两个人看的www免费高清直播| 51无码人妻精品1国产| 男女牲交大战免费播放|