DeepFocus是一種基于AI的渲染系統,用于在VR中渲染自然逼真的人眼聚焦效果。本文來自Facebook工程博客,LiveVideoStack進行了翻譯。感謝阿里巴巴高級算法專家盛驍杰提供的技術審校。
研究內容:
一種新的基于AI的框架,用于在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可與高級原型頭盔配合使用,在不同的焦距實時渲染模糊效果。例如,當有人戴著支持DeepFocus的設備觀看附近的一個物體時,它會立即聚焦并變得清晰,而背景物體則會像在現實生活中一樣,呈現出失焦模糊效果。這種失焦模糊(也稱為視網膜模糊)對于實現VR中的真實感和深度感知非常重要。DeepFocus是第一個能夠為VR應用程序實時產生這種效果的系統。我們現在開放我們的工作和數據集,以幫助VR研究界的其他人。
它是如何運作的:
一些傳統方法,例如使用累積緩沖算法(accumulation buffer),可以實現物理上精確的失焦模糊。但它們無法實時生成復雜,豐富的內容,因為這種處理,即使是對于最先進的芯片,要求也太高了。與此不同的是,我們使用深度學習解決了這個問題。我們開發了一種新穎的端到端卷積神經網絡,一旦眼睛看到場景的不同部分,就會產生具有精確視網膜模糊的圖像。該網絡包括新的保持體積的交織層,以減少輸入的空間維度,同時充分保留圖像細節。然后,網絡的卷積層運行在相同的,降低了的空間分辨率上,從而運行時間能夠明顯減少。
為什么重要:
隨著對新型VR頭顯技術的研究不斷深入,DeepFocus將能夠模擬精確的視網膜模糊,從而產生非常逼真的視覺效果。該平臺還表明AI可以幫助解決VR渲染高度計算密集型視覺效果的挑戰。DeepFocus為克服未來新型顯示系統的實際渲染和優化限制提供了基礎。
由于DeepFocus僅依賴于標準RGB-D顏色和深度輸入,因此它幾乎適用于所有現有的VR游戲和應用程序。它還兼容VR研究界目前正在探索的所有三種頭顯類型,分別是:變焦顯示器(如Half Dome),多焦點顯示器(例如,FRL先前的工作)和光場顯示器。
詳細了解Facebook Reality Labs如何創建DeepFocus。
(https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/)
閱讀完整的論文:
DeepFocus:用于計算顯示的學習圖像合成
(https://research.fb.com/publications/deepfocus-siggraph-asia-2018/)
-
AI
+關注
關注
87文章
30747瀏覽量
268899 -
vr
+關注
關注
34文章
9638瀏覽量
150214
原文標題:DeepFocus,基于AI實現更逼真的VR圖像
文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論