AI 換臉用來拍電影願望終於要實現了？迪士尼自研演算法突破高畫質百萬畫素

仔細來看，AI 換臉技術近些年還是成熟不少，整體的臉部貼合度、細節處理都有了明顯的提升。近日，Deepfake 領域再一次取得重要突破。據了解，迪士尼公司公布一項最新研究成果，聲稱其人臉交換技術可達到業內最高水平。

從效果圖來看，果然挑不出一點毛病！

（Source：影片截圖，下同）

據了解，迪士尼研究室與蘇黎世聯邦理工學院合作基於 GAN 提出了一種新型演算法，它可以自動實現圖像 / 影片中的人臉交換，同時保證數百萬級的高解析度。

更值得關注的是，目前這項研究成果已初步計劃用於好萊塢大片製作，據說因為它可以改善電影品質和後期製作成本。

走進好萊塢大片的 Deepfake

人臉交換在電影行業並不罕見。在一些好萊塢大片經常會用到替身演員完成一些專業的、高難度動作。為了保證電影效果，後期製作會花費大量成本。然而常見的電腦圖形合成技術，效果常常差強人意，甚至會翻新重拍。

這在時間和金錢方面都是非常大的成本消耗，因此，迪士尼公司特此聯合蘇黎世聯邦理工學院展開此項合作研究。

近日，迪士尼公司對外宣稱，他們研究了一款新型人臉交換技術，可用於電影或電視劇製作。他們聲稱該技術可在人臉交換過程中產生高解析度，逼真的圖像 / 影片，非常適合大螢幕播放。

局部融合更考驗換臉的技術難度。為了驗證演算法性能，研究人員他們沒有對人臉的眼部、唇部等局部器官進行融合，效果也是非常驚人。

基於圖一，對圖二、三分別進行了唇部和眼部的局部人臉融合，可以看出局部融合度非常高，高清、自然，看不出一點破綻。同時它能夠隨著唇部抖動即時貼合，毫無跳脫感。而且研究人員證實，影片中的人臉交換一般比靜態圖像效果更好。

局部人臉交換在動態影片中的融合優勢，這在電影場景中是非常必要的。

更值得關注的是它可以產生百萬級畫素的解析度。不過，研究人員表示他們採用了一種漸進式的方法（Progressive Tr AI ning）對原始影片、圖像進行預訓練，演算法可從中提取較高解析度圖像。下圖可明顯看到經訓練的人臉畫素遠高於未經訓練的結果。

（Source：DisneyResearch，下同）

研究人員介紹，基於高清解析度和局部融合技術的新型演算法最大限度地擴展了人臉交換在電影中的應用。除了替身演員的全臉交換外，如果需要刻畫一位年齡逐漸增長的任務或已經進入垂暮之年的老人，可以根據需要為角色添加細微皺紋、髮型和體態。

另外，它可以與其他作品完成表演上的替換，當然這裡可以對原影片的背景和光照進行特殊處理，以使他可以融入電影場景中。這也是區別於傳統後期製作的一種新方法。

基於梳狀模型的最新演算法

那麼這項 AI 換臉技術是如何實現的呢？我們先來看一組完整的換臉路徑圖：

▲ 人臉交換源的完整示意圖。

步驟 1 和 2：對原始圖像進行臉部辨識、特徵提取，以及標準化剪裁（1,024×1,024）。

步驟 3：將圖像輸入通用編碼器進行模型訓練。

步驟 4：將解碼後輸出的圖像與需要配合的目標進行多頻帶混合，最終得到人臉交換後的效果圖。

其中通用編碼器的訓練模型是一個關鍵，這裡研究人員採用的是一種漸進式梳狀網路結構（Comb Model）臉部交換主要是透過域轉移的方法來實現。我們使用通用編碼器將經預處理的圖像嵌入共享的潛在空間中，然後使用與之對應的解碼器將這些嵌入映射回畫素空間中。通常域轉移主要在這兩個空間中進行切換，但在本文中，研究人員擴展了一種新的思路。