UC Berkeley近日發表了一篇論文，題目簡潔明了：Everybody Dance Now，大家一起跳起來！沒錯，這個被網友稱為“mad lab”的實驗室提出了一種框架，把專業舞蹈演員的動作遷移到不會跳舞的人身上，不論是酷酷的街舞還是優雅的芭蕾，效果簡直是神同步，流暢度和還原度都非常高。下面跟著論智一起看看這篇論文吧。

我們在這篇文章中提出了一個簡單的方法進行動作遷移：首先選擇一支單人跳舞視頻作為源視頻，幾分鐘后，在另一個目標視頻上（完全不會跳舞的人）會呈現同樣的動作。我們將這一問題看作是每一幀上圖像到圖像的轉換，同時保證時間和空間的流暢。用動作探測器作為源視頻和目標視頻中間的表示，我們學習了一種從舞者動作畫面到目標物體的映射，并且對這一設置進行調整，讓它與視頻完美融合，同時還加上了真實的人臉合成。

先放個視頻感受一下這驚艷的效果，在后半部分的補充案例中，還展示了芭蕾舞的遷移?？梢钥吹?，原視頻中芭蕾舞演員的大腿部分被裙子遮擋，但是映射到目標視頻中，大腿動作也能正確呈現，效果滿分！

簡介

我們提出了一種方法，實現了動作在不同視頻中的不同人物之間的轉換?，F在有兩段視頻，其中一段是我們希望進行合成的目標（不會跳舞的人），另一個是模仿的源視頻（專業舞者）。我們通過基于像素的端到端通道實現了這一動作遷移。這一方法與過去二十年常見的最近鄰搜索或3D中的重新制定目標動作不同。通過這一框架，我們讓很多未經訓練的人跳出了芭蕾和街舞。

為了實現兩視頻之間每幀的動作遷移，我們必須學習一種兩個人物之間的映射。我們的目標是在源視頻和目標視頻之間進行圖像到圖像的轉換。然而，我們沒有兩個目標物體做出同樣動作的圖片，也就無法直接對這一轉換進行監督學習。即使視頻中的兩個人做出一系列同樣的動作，還是很難提取每一幀的姿勢，因為身體形狀和風格完全不同。

我們發現，能體現身體各部分位置的關鍵點可以用作二者之間的表示。于是，我們設計了用來體現動作的“中間表示（火柴人）”，如圖所示：

從目標視頻中，我們用動作識別器為每一幀制作了(火柴人, 目標人物圖像)的組合。有了這樣相關的數據，我們就能用監督方法學習火柴人和目標人物之間圖像到圖像的轉換模型了。于是，我們的模型通過訓練，可以生成個性化的視頻。之后，為了將源視頻的動作遷移到目標視頻中，我們把火柴人輸入到經過訓練的模型后，得到和源視頻中人物相同的目標動作。另外，為了提高生成的質量，我們添加了兩個元素。為了使生成的模型更流暢，我們都會根據上一幀對目前的幀進行預測。為了提高生成人臉的真實性，我們還加入了經過訓練的GAN來生成目標人物的臉部。

具體方法

這一任務大致分為三步：動作檢測、全局動作規范化和動作映射。訓練和遷移過程如下圖所示：

模型通過探測器P創造目標視頻中人物所對應的火柴人。訓練時，我們學習了映射G和一個對抗判別器D。D的作用是嘗試判斷火柴人和視頻中的人是否符合。

下面一行是遷移過程。我們用動作探測器P：Y’→X’來獲得源視頻中的火柴人形象，這個火柴人形象通過歸一化處理變成了為目標人物設計的火柴人。接著對其應用經過訓練的映射G即可。

為了讓效果更真實，我們還專門增加了生成對抗網絡設置，讓面部更真實，效果也顯著提高。

網絡架構

為了提取身體、面部和手部的動作關鍵點，我們使用了最先進的動作檢測器OpenPose。在圖像轉換階段，我們使用了Wang等人提出的pix2pixHD模型。對于面部圖像的生成，我們沒有使用完全的pix2pixHD生成器，而是利用pix2pixHD的全局生成器。

實驗對比

由于我們沒有標準答案，為了對比兩個不同視頻中的目標人物，我們分析了目標人物的重建過程（也就是將源視頻人物當做目標人物）。另外，為了評估每一幀的生成質量，我們測量了結構相似度（SSIM）和學習認知圖像補丁相似性（LPIPS）。

除此之外，我們還在每個系統的輸出上應用了動作檢測器P，比較這些重建之后的關鍵點和原始的動作有何不同。

遷移結果。最上方的是源目標人物，中間是對應的“火柴人”，最下面一行是輸出的目標人物動作

我們對比了標準pix2pixHD、只含有流暢度設置的我們模型版本（T.S.）以及我們模型的最終版本（有流暢設置和人臉GAN）。首先，三種模式下相似度的對比如圖：

而在臉部區域，三種生成圖像的質量對比：

可以看到，我們的完整版模型的分數是最好的。

討論

看過這篇論文后，許多人只有一個反應：“Amazing?。　钡拇_，效果這么好的視頻生成技術未來可應用的場景有很多，比如電影拍攝、VR動畫等等。但也有人表示擔心，會不會像之前的deepfakes換臉一樣，再產生一堆虛假視頻？