換臉換花換雲都行,Recycle-GAN 讓影像轉換更簡單真實

作者 | 發布日期 2018 年 09 月 20 日 20:06 | 分類 AI 人工智慧 , 尖端科技 follow us in feedly

近日於德國舉行的歐洲電腦視覺會議 ECCV 2018 上,卡內基美隆大學(CMU)研究團隊展示出它們設計的圖像處理方式,可以自動將影片中的內容轉換為另一個影片的內容,不只是人們面部表情,甚至連花朵的綻放、雲朵的移動都可以進行轉換。



由於團隊設計出的方法不需要人為干預,因此可以將大量影片快速轉換,同時也可用於將黑白影片轉換為彩色,或替 VR 體驗創造內容,因此對於電影製作來說可說是福音。

CMU 機器人研究所博士生 Aayush Bansal 表示,他協助設計這種演算法的主要動機,就是協助相關電影製作能夠更快、更低成本的進行。「這是藝術家的工具,給予他們一個初始模型可以自行改進。」

當然 Bansal 也不諱言的表示,這項技術確實有被用於「deepfakes」的可能──所謂的「deepfakes」,指的是影片中未經許可置入某人的影像,使得那個人看起來已經完成或說出一些不合時宜的事物。

「對於這個領域的所有人來說,造假可以如此進行且具有影響力是非常驚人的,找到方法去發現它們將會是很重要的進展。」

團隊使用的技術是基於生成對抗網路(GANs),其中鑑別器(discriminator)用來學習檢測圖片或影片的內容是否一致,而生成器(generator)則是用來學習如何創造符合某種風格的圖片或影片;在這兩種模型激烈競爭之下,系統最終就會懂得如何將內容轉換成某種風格。

而在 GAN 的相關應用上,CycleGAN 是相當受到歡迎的一種變體應用,這項 2017 年出現的技術已經證明能有效將圖片轉換為另一種圖片的樣式,然而在整體影像轉換上仍具有一些瑕疵存在。

▲ 影片中可以看出,右側的 Recycle-GAN 相較起中間的 CycleGAN 更為真實。 

為了應對這樣的問題,研究人員開發了名為 Recycle-GAN 的新技術,不只是空間資訊,同時也將額外的時間變化納入考量,進一步限制轉換的過程並產生了更好的結果。

在研究人員的測試影片中可以看到,Recycle-GAN 可以自由的將兩位脫口秀主持人的影片相互套用,讓 John Oliver 做出 Stephen Colbert 的表情,反之亦可以讓 Colbert 說出 Oliver 口中的話。

而將真實人物的表情轉換為卡通人物也可輕易做到,不僅是面部表情,表演的動作和節奏也都可以進行。同時除了人以外,甚至是將花朵以其他花朵的盛開形式綻放、將天空中雲朵的移動轉換為另一種天氣的情況,類似的改變都能夠輕易做到。

▲ RecycleGAN 可以讓花朵以其他花朵的形式綻放。 

Bansal 認為,這種效果對於能在夜間或惡劣天氣駕駛的自駕車來說很有用。因為要獲得能識別物體的夜景、暴風雨天氣的影像非常困難,而 Recycle-GAN 則可以將容易獲得、識別物體的日間場景轉換為夜間或暴風雨場景,提供自駕車影像來訓練面對這些情境的操作。

(首圖來源:CMU

延伸閱讀: