在拍照時候最大的困難之一就是無法控制環境光的影響。在逆光、測光、暗光的影響下無法拍出滿意的照片。很多時候不禁感嘆，和攝影大師也許就僅僅隔著一盞攝影燈的距離！如何讓手機也能拍出專業攝影工作室燈效下的人像呢？加州大學圣迭戈分校和谷歌的研究人員給出了他們的答案。

在最新提出的portrait relighting算法中，只需要單張RGB人像模型就可以重建出重新調整光照后的完美照片，畫質不輸專業攝影裝備，而你需要的僅僅是一個可以拍照的智能手機，不用打光不用等候，輕輕一拍算法處理后就能拿到期待的光照效果。

上面的圖中最左側是輸入的照片，右邊三個是模型重建出在不同環境光照下的效果，照片的光照被完全修改為期待的樣子了。光照是肖像攝影最重要的部分之一，不同光照可以呈現出千差萬別的效果。所以攝影也被稱為光與影的藝術。專業的攝影工作室除了昂貴的相機外最引人矚目的就是那一排排炫目的燈光設備了。

但對于大多數使用手機的消費者來說并不具備控制環境光照的條件，用手機自拍的小伙伴們沒有濾鏡、沒有散射片、沒有反光板，手頭最多只有一個相機自帶的閃光燈，而且閃光燈的強度還極其有限。

如何打破硬件設備的限制為重新為照片進行光照渲染一直是圖形學、手機廠商的研究熱點。使用后處理的方法改變照片的光照將會給手機攝影、特別是自拍照片的質量帶來較大的提升。先前的方法主要基于特定的硬件或者多張圖像的HDR、或者需要已知環境光照，已知目標對象精確的幾何形貌和反射率的方法來對照片的光照進行調整。研究人員充分考慮了HDR方法、光度立體視覺、單圖像表面重建、人臉重建和重光照以及最近的深度學習方法，提出了一種基于自編碼器的新型架構，在無需環境光照先驗和物體外形及反射率的情況下重建出調整光照后的圖像。模型主要結構由編碼器-解碼器構成，在使用時只需要輸入原圖像并在編碼空間中注入希望的環境光照，即可生成出期望的光照效果。

同時這一網絡也可以預測輸入圖像的環境光照，并可以在編碼空間（網絡圖中的瓶頸位置）進行調整，隨后解碼成期待光照下的圖像。例如下圖中用戶對編碼器恢復的環境光進行操作，解碼后得到了新光照條件下的圖像，隨著光源的右移照片中人臉的右側明顯變亮了。

和傳統方法或先前基于學習的方場景推斷、人臉重建法不同的是，這一方法并沒有任何顯式的步驟用于估計物體的幾何外形與反射率。像朗伯體反射和球均勻光照等模型限制方法的表達能力。而這篇文章中提出的方法直接利用單個網絡通過原始圖像和目標光照恢復出重光照后的圖像，并將所有需要的幾何與反射等物理模型涵蓋到網絡內部，通過充分的訓練模型可以處理絕大多數的人臉表情和面部細節，陰暗、散射、高光和陰影都可以有效處理。這一網絡模型可以由下面的映射公式表示，通過輸入源圖像Is和目標光照，估計出目標圖像It和源光照Ls。

下面是網絡架構的細節圖，輸入圖通過不斷的卷積進行編碼，并利用加權平均預測出了輸入圖像的環境光。隨后目標光照注入網絡并與編碼器各層的特征共同解碼最后得到期待光照下的圖像。模型的損失主要來自于目標圖像與輸出圖像，預測光照與真實環境光照之間的損失。

為了訓練這一網絡，研究人員們首先建立了(one-light-at-a-time,OLAT)數據集，首先構建了一個由七個相機304個LED光源組成的圖像收集裝置，其中每個相機相隔中心相機20度，并與拍攝主題相隔1.7m進行拍攝，隨后將這些圖像進行線性加權并結合起來得到訓練的基準圖像。實驗中共邀請了22個人，每個人3-5個表情，共進行了98次拍攝（每次拍攝304個燈以此亮起）。通過數據處理和渲染共得到了226800對肖像數據用于訓練。

此外，為了在自然環境光下渲染圖像，研究人員利用了多個HDR數據集來得到環境光圖，主要包括了來自Laval Indoor HDR Dataset，室外Eisklotz, HDRI Haven, HDRI Skies, HDRLabs, HDRMAPS, NoEmotion HDRs, and Openfootage等多個數據集的共計3094張不同的環境光照。下圖中可以看到模型的效果，與先前方法相比，重光照圖像非常自然，不會出現各種奇怪的人工痕跡：

對于自然環境下的圖像，在估計出的光照圖上調整后重新渲染得到的效果也相當不錯：

這種方法將有可能為手機照相軟件的后處理提供強大的光照后處理能力，用戶可以為照片像添加濾鏡一樣添加不同的環境光來實現豐富的照片效果，海灘、焰火、夕陽、雪山…你想要的都可以。也可以通過調整源圖像的環境光來修正圖像的光照，重新渲染出最靚的你！