色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

逼真到頭發絲,光線可調,Meta推出實時3D頭像合成方法

3D視覺工坊 ? 來源:機器之心 ? 2023-12-10 10:02 ? 次閱讀

Meta 一直沒放棄元宇宙。

2021 年,Facebook 將「元宇宙(metaverse)」作為公司主營業務,并將公司名稱更改為 Meta。然而,這一年,隨著 ChatGPT 的橫空出世,生成式 AI 成為一個新的研究趨勢,很多科技公司都將生成式 AI 作為公司重要研發業務。但 Meta 一直沒有停止 VR/AR 的研究步伐。

最近,Meta 的 Codec Avatars Lab 提出了一種高保真、光線可調節的虛擬頭像合成方法 ——Relightable Gaussian Codec Avatars。

302b95da-96ad-11ee-8b88-92fbcf53809c.png

論文地址:https://arxiv.org/pdf/2312.03704.pdf

項目主頁:https://shunsukesaito.github.io/rgca/

今年 9 月,Meta 首席執行官馬克?扎克伯格與麻省理工學院(MIT)科學家 Lex Fridman 在元宇宙里進行了一小時的對話。彼時,兩位的形象是使用掃描技術構建的用戶面部 3D 模型,逼真度已經很高。

現在,Relightable Gaussian Codec Avatars 能夠構建更加逼真、光線可調節的實時 3D 頭像,精細到連頭發絲都清晰可見:

30442b4a-96ad-11ee-8b88-92fbcf53809c.png

下面我們來看下 Relightable Gaussian Codec Avatars 方法的核心內容和實驗結果。

方法簡介

我們知道,人類的視覺感知對人臉外觀高度敏感,因此合成 3D 頭像 / 虛擬化身(avatar)一直存在一些挑戰。

首先,人類頭部由高度復雜和多樣化的材料組成,這些材料表現出不同的散射和反射特性。例如,皮膚由于微觀幾何形狀以及顯著的次表面散射而產生復雜的反射,頭發由于其半透明纖維結構而表現出具有多次反射的面外散射,而眼睛有多個具有高反射膜的層。總的來說,沒有一種單一的材料表征可以準確地表示所有這些,尤其是實時的。

為了以統一的方式表征人體頭部的多種材質,該研究提出了一種基于可學習輻射傳輸(radiance transfer)的新型可重新照明外觀模型,使用球面高斯實現了全頻率反射的實時重新照明。

304d9a86-96ad-11ee-8b88-92fbcf53809c.gif

另一方面,對運動中的底層幾何體進行精確跟蹤和建模極具挑戰性。為此,該研究提出基于 3D 高斯的可驅動化身,使用 Gaussian Splatting 技術有效地渲染復雜的幾何細節。

305a52ee-96ad-11ee-8b88-92fbcf53809c.gif

3063e49e-96ad-11ee-8b88-92fbcf53809c.gif

此外,該研究還提出了可重新照明的顯式眼睛模型,首次以完全數據驅動的方式實現對其他面部運動以及全頻率眼部反射的注視控制,并進一步提高了眼睛反射的保真度。

30714d00-96ad-11ee-8b88-92fbcf53809c.gif

最終,Relightable Gaussian Codec Avatars 可以捕獲 3D 一致的亞毫米細節,例如動態面部序列上的發絲和毛孔。

307d7a30-96ad-11ee-8b88-92fbcf53809c.png

實驗及結果

上圖 1 顯示了重建的虛擬人物可以擁有新的表情、視圖以及光照,包括點光源和高分辨率環境圖。就連眼睛中的光反射,都忠實地再現了周圍環境,而不會丟失高頻細節。

如圖 3 所示,Relightable Gaussian Codec Avatars方法能夠實現 3D 一致且高保真的內部分解。

30846a0c-96ad-11ee-8b88-92fbcf53809c.png

幾何表征。該研究通過比較三種變體來評估幾何組件:本文方法、本文方法但排除了顯式眼睛模型(EEM)和基于體素的原型。為了公平比較,該研究使用相同的外觀模型,僅改變幾何表征(表 1 和表 2 B、D、H)。

3090d09e-96ad-11ee-8b88-92fbcf53809c.png

309a584e-96ad-11ee-8b88-92fbcf53809c.png

圖 4 清楚地表明,基于 3D 高斯的幾何體可以比 MVP 更好地建模皮膚細節和發絲。此外,完整的模型與 EEM 結合使用時,眼睛里的反光都非常令人折服。除了在強光下的 SSIM 指標外,高斯模型在所有指標中都取得了優異的性能。

30a5828c-96ad-11ee-8b88-92fbcf53809c.png

外觀表征。對于外觀表征,該研究將外觀模型與現有的 relightable 外觀表征進行了比較。如上表 1 和表 2 C、D、E 顯示,本文的外觀表征在大多數指標中優于現有的外觀模型。

如圖 5 所示,雖然線性模型可以產生正確的顏色,但 relighting 的結果模糊且缺乏高頻細節。EyeNeRF 中與視圖相關的球諧函數顯示出更詳細的反射,但由于使用球諧函數來實現鏡面反射,因此其表現力受到限制。此外,該研究觀察到依賴于視圖的球諧函數更容易過度擬合,從而導致動畫中出現閃爍偽影。相比之下,Relightable Gaussian Codec Avatars方法不受帶寬限制,因此實現了高頻反射。

30b1c7b8-96ad-11ee-8b88-92fbcf53809c.png

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 3D
    3D
    +關注

    關注

    9

    文章

    2875

    瀏覽量

    107486
  • Facebook
    +關注

    關注

    3

    文章

    1429

    瀏覽量

    54722
  • Meta
    +關注

    關注

    0

    文章

    270

    瀏覽量

    11378

原文標題:逼真到頭發絲,光線可調,Meta推出實時3D頭像合成方法

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    3D光線掃輪廓傳感器在汽車行業的汽車車縫檢測的應用

    在實際應用中,3D光線掃傳感器可以集成到自動化檢測系統中,與機器人或自動化輸送系統配合,實現對汽車車縫的全面檢測。這些系統通常包括傳感器、控制軟件、數據處理單元和用戶界面,能夠自動分析檢測數據
    的頭像 發表于 09-14 09:00 ?453次閱讀
    <b class='flag-5'>3D</b>激<b class='flag-5'>光線</b>掃輪廓傳感器在汽車行業的汽車車縫檢測的應用

    裸眼3D筆記本電腦——先進的光場裸眼3D技術

    隨著科技的不斷進步,裸眼3D技術已經不再是科幻電影中的幻想。如今,英倫科技裸眼3D筆記本電腦將這一前沿科技帶到了我們的日常生活中。無論你是專業的3D模型設計師,還是希望在視頻播放和模型展示中體驗
    的頭像 發表于 07-16 10:04 ?517次閱讀

    Meta推出革命性3D Gen AI模型:1分鐘內生成高質量3D內容

    在科技日新月異的今天,Meta再次引領創新潮流,宣布了一項令人矚目的技術突破——3D Gen AI模型的誕生。這款先進的模型以其前所未有的高效性與卓越品質,重新定義了3D內容創作的邊界,標志著數字藝術創作進入了一個全新的快速響應
    的頭像 發表于 07-04 18:12 ?1015次閱讀

    奧比中光3D相機打造高質量、低成本的3D動作捕捉與3D動畫內容生成方

    高質量、低成本的3D動作捕捉與3D動畫內容生成方案。 Moverse公司總部位于希臘塞薩洛尼基,是三維動畫相關媒體和娛樂行業的一家科技創業公司。基于奧比中光3D相機,Moverse可以
    的頭像 發表于 06-25 16:37 ?1067次閱讀

    VIVERSE 推行實時3D渲染: 探索Polygon Streaming技術力量與應用

    在商業領域和娛樂行業中,3D渲染技術一直是推動視覺體驗革新的關鍵力量。隨著技術的進步,實時3D渲染技術逐漸成為主流,近期VIVERSE平臺對外發布引入一項全新技術——Polygon
    的頭像 發表于 05-31 15:49 ?2334次閱讀
    VIVERSE 推行<b class='flag-5'>實時</b><b class='flag-5'>3D</b>渲染: 探索Polygon Streaming技術力量與應用

    光纖尖端上3D打印的玻璃折射率傳感器,可測量有機溶劑的濃度

    據麥姆斯咨詢報道,瑞典斯德哥爾摩皇家理工學院(KTH Royal Institute of Technology)的研究人員首次在光纖尖端(其表面小至只有人類頭發絲橫截面大小)上3D打印了石英玻璃微光學器件。
    的頭像 發表于 05-24 09:39 ?451次閱讀
    光纖尖端上<b class='flag-5'>3D</b>打印的玻璃折射率傳感器,可測量有機溶劑的濃度

    天馬微電子首發TIANMA META SIGHT光場3D解決方案

    3D顯示領域,視角的大小和畫面的穩定性一直是行業內的難題,TIANMA META SIGHT 3D光場顯示器采用了先進的追蹤式超多視點技術
    的頭像 發表于 05-23 10:21 ?500次閱讀
    天馬微電子首發TIANMA <b class='flag-5'>META</b> SIGHT光場<b class='flag-5'>3D</b>解決方案

    UltiMaker正式推出了工業級3D打印機—UltiMaker Factor 4

    與之前的UltiMaker S系列桌面3D打印機不同,全球3D打印領域的領導者UltiMaker正式推出了工業級3D打印機——UltiMaker Factor 4。
    的頭像 發表于 05-09 16:58 ?548次閱讀

    Meta發布SceneScript視覺模型,高效構建室內3D模型

    Meta 表示,此模型具備創建室內 3D 模型的高效與輕便,僅需幾KB內存便能生成完整清晰的幾何圖形,同時,這些形狀數據具備可解釋性,便于用戶理解和編輯。
    的頭像 發表于 03-26 11:16 ?573次閱讀

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,該模型以其獨特的功能吸引了眾多關注。此模型具備從單張圖像中生成多視圖3D視頻的能力,為視頻制作領域帶來了革命性的突破。
    的頭像 發表于 03-22 10:30 ?832次閱讀

    谷歌模型合成軟件有哪些

    谷歌模型合成軟件通常指的是谷歌提供的用于創建、修改和共享3D模型的軟件。目前,谷歌推出的模型合成軟件中最知名的是Google SketchUp。
    的頭像 發表于 02-29 18:20 ?1382次閱讀

    Adobe提出DMV3D3D生成只需30秒!讓文本、圖像都動起來的新方法

    因此,本文研究者的目標是實現快速、逼真和通用的 3D 生成。為此,他們提出了 DMV3D。DMV3D 是一種全新的單階段的全類別擴散模型,能直接根據模型文字或單張圖片的輸入,生成
    的頭像 發表于 01-30 16:20 ?850次閱讀
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b>生成只需30秒!讓文本、圖像都動起來的新<b class='flag-5'>方法</b>!

    介紹一種使用2D材料進行3D集成的新方法

    美國賓夕法尼亞州立大學的研究人員展示了一種使用2D材料進行3D集成的新穎方法
    的頭像 發表于 01-13 11:37 ?1061次閱讀

    友思特C系列3D相機:實時3D點云圖像

    3D相機
    虹科光電
    發布于 :2024年01月10日 17:39:25

    一文了解3D視覺和2D視覺的區別

    一文了解3D視覺和2D視覺的區別 3D視覺和2D視覺是兩種不同的視覺模式,其區別主要體現在立體感、深度感和逼真度上。本文將詳細闡述這些區別,
    的頭像 發表于 12-25 11:15 ?3018次閱讀
    主站蜘蛛池模板: 亚洲AV无码乱码国产精品品麻豆| 国产看午夜精品理论片| 暖暖视频免费观看社区| 99精品免费观看| 欧美成人无码A区在线观看免费 | 国产系列视频二区| 羞羞在线观看| 国内精品免费视频精选在线观看 | 视频一区视频二区在线观看| 国产1广场舞丰满老女偷| 天天摸夜添狠狠添高| 国产女人91精品嗷嗷嗷嗷| 亚洲地址一地址二地址三| 精品久久电影网| 又大又硬又爽免费视频| 老司机无码精品A| 日本理论片午午伦夜理片2021 | 99久久精品国产亚洲AV| 欧美一区二区高清| 99re8久久热在线视频| 欧美又粗又大AAAA片| 俄罗斯女肥臀大屁BBW| 污到湿的爽文免费阅读| 国产呦精品一区二区三区下载| 天堂色| 国产午夜精品一区二区| 亚洲午夜性春猛交XXXX| 曼谷av女郎| 中文在线无码高潮潮喷在线| 免费看国产曰批40分钟| 又亲又揉摸下面视频免费看| 毛片网站在线观看| 爱穿丝袜的麻麻3d漫画acg| 色色噜一噜| 国产真实露脸乱子伦| 在线观看免费精品国产| 欧美日韩精品一区二区三区高清视频 | 久久精品手机观看| 99国产电影| 涩涩电影网| 九九热视频这里只有精|