針對四足動物的動畫生成問題,愛丁堡大學的研究人員開發了一個被稱為“模式自適應神經網絡”的新神經網絡架構,它可以從實際的運動數據學習,生成非常自然的動畫。團隊在今天開源了所有代碼、數據和編譯的demo。
創作四足動物動畫是計算機動畫行業一個特別困難的問題。四足動物動畫在電腦游戲和電影中的應用很重要,同時也是機器人領域的一個具有挑戰性的話題。傳統方法制作四足動物動畫時,動畫師必須經過特殊培訓,設計出各種復雜的動作,然后利用各種DCC軟件進行動作捕捉。
針對四足動物的動畫生成問題,來自愛丁堡大學HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的團隊開發了一個被稱為“模式自適應神經網絡”的新神經網絡架構,它可以從實際的運動數據學習,生成自然的動畫。系統不需要對相位或運動步態進行標記,而是從非結構化的運動捕獲數據,以端到端的方式學習。
整個研究使用 Unity3D / Tensorflow 完成,并且團隊在今天開源了所有代碼、數據和編譯的demo。
模式自適應神經網絡
四足動物運動的多模態造成了動畫制作的復雜性。四足動物有多種移動模式,例如步行、踱步、快走、慢跑、疾跑等,運動時其軀干和四肢的相位變化非常復雜。
圖:不同的四足運動模式。橫條表示每條腿的站立相位。右側的圖像表示步態周期中腳接觸的順序。
目前還沒有以數據驅動的方式系統地構建四足動物運動控制器的工作。除了上面提到的運動復雜性外,困難還來源于四足動物與人類不同,無法進行受控的數據采集。因此,捕獲的數據往往不是結構化的。使用這些數據設計角色控制器時,工程師需要手動/半自動地提取步態周期和轉換,再將它們拼接在一起,調整motion trees和有限狀態機的參數。因此,傳統的方法要么效率低,要么不精確。
上圖展示了基于動作捕捉實現的動畫制作,但捕捉的動畫是非結構化的,而且隨機動作太過廣泛。捕捉的數據不是很精準,動作存在很多噪波,細節的地方還需要后期修正。
上圖是通過標準神經網絡生成的動畫,但會產生失真和明顯的滑步。
上圖的動畫由相位函數神經網絡(Phase-Functioned Neural Networks)的方式生成,優點是動作精準,但是當兩個動作進行融合時動作顯得僵硬,而且操控不是那么靈敏。
這個新研究提出了一種新的網絡架構——模式自適應神經網絡(Mode-Adaptive Neural Networks ,MANN),它可以從大量的非結構化四足動物運動捕獲數據中學習運動控制器。
MANN架構圖示,由門控網絡和運動預測網絡組成。
這個系統由運動預測網絡和門控網絡組成。在每一幀處,運動預測網絡在給定的前一幀的狀態和用戶提供控制信號的情況下計算當前幀的角色狀態。門控網絡通過選擇和混合所謂的專家權重(expert weights),動態地更新運動預測網絡的權重,每個expert weight都專門針對特定的運動。
MANN與以前方法的對比
這種架構提供了靈活性,使得系統能夠在廣泛的非周期動作和周期性的無標記步態類型中學習一致的特征。這個框架可以將開發人員從冗長而困難的相位標記工作中解放出來。特別是,我們的模型不需要單獨的標簽來區分不同的步態,這種區分即使對人類來說也很難,因此,可以在數據預處理過程避免步態錯誤。
該研究的貢獻可概括如下:
提出第一個構建數據驅動的四足角色控制器的系統方法,它可以合成具有各種運動模式和動作轉換的高質量動畫。
提出一種新穎的端到端神經網絡架構,可以從非結構化的四足動物運動捕捉數據中學習,而無需提供相位和運動步態標簽。
通過與現有方法進行比較,對所提出的架構進行了全面評估。
數據準備和結果
研究人員使用狗的動作捕捉(Dog Motion Capture)作為訓練數據。這些數據包含各種運動模式,例如步行、踱步、小跑、跑步等,以及其他類型的動作,例如坐、站、閑散,躺著和跳躍。通過鏡像將數據規模加倍。
實驗中使用的狗模型的骨架結構。由27塊骨頭組成,總共有81個自由度。
表1:狗運動數據集和運動類型
四足動物在不平坦地形上行走
沿預定的地面軌跡的行走。可以觀察到,即使在突然轉彎的情況下,它也能很好地沿著曲線運動。
值得一提的是,這個研究延續自去年該團隊所做的“用于角色控制的 Phase-Functioned 神經網絡”(PFNN)工作,當時在SIGGRAPH 2017大會演示,同樣令人印象深刻。
-
機器人
+關注
關注
211文章
28380瀏覽量
206918 -
神經網絡
+關注
關注
42文章
4771瀏覽量
100715 -
數據驅動
+關注
關注
0文章
127瀏覽量
12333
原文標題:超酷的神經網絡合成動物運動動畫,解救動畫師!(代碼開源+視頻)
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論