照片也變臉,NVIDIA FastPhotoStyle 演算法將氛圍轉移到另一張照片

作者 | 發布日期 2018 年 02 月 28 日 12:00 | 分類 AI 人工智慧 , 軟體、系統 follow us in feedly

想必各位讀者多少都有注意到,先前有開發者利用 AI 與圖像處理技術,將成人影片中女主角的臉與明星交換,達到「變臉」的效果。這次 NVIDIA 釋出的 FastPhotoStyle 演算法,則能分析來源照片的風格,並套用至目標照片,能讓目標照片保有原本的景色並染上不同風格,創造出更精彩的照片。



照片風格也能轉移

照片風格轉移演算法的用意,在於將來源照片的風格與目標照片的景色融合為一,讓合成產生的新照片能保有原本的景色,並套上不同風格。雖然目前已有許多現成演算法能達到這功能,但效果並不一定理想,有時還會造成圖像錯誤的情況。且這些演算法往往相當吃運算資源,一張解析度為 640×480 的照片可能就需花費好幾分鐘來處理。

加州大學默塞德分校(University of California, Merced)與 NVIDIA 研究團隊為了改善這些問題,一起研發了創新的 FastPhotoStyle 演算法。

FastPhotoStyle 會將處理程序拆分為風格轉化(Stylization)與平滑化(Smoothing)等兩步驟,在風格轉化階段,程式會分析來源照片的風格,並套用至目標照片。接下來的平滑化階段,程式則會強化圖片空間的一致性,發揮降低破綻的效果。

60 倍速超高效率

FastPhotoStyle 演算法會在風格轉化階段輸入來源、目標等兩張照片,然後對其進行 Photo WCT 轉換(Whitening and Coloring Transform),如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格,但是會因為合成影像的關係,讓畫面產生鬼影與失真。

接下來的平滑化階段,需要讓輸出的照片看起來更自然,為了達到這個需求,演算法會輸入目標、中繼照片,並比對圖中鄰近的區域,將相近的像素套入相同的風格,讓畫面更為滑順,接下來則是避免平滑化讓結果偏離 Photo WCT,以維持整體風格。

與現有演算法最大的不同是,FastPhotoStyle 並不需經過更新運算的過程,每個步驟獨立進行,能夠讓處理速度提升 60 倍,並能在研究中以人眼分辨的測試中,獲得 2 倍優於目前演算法的評價。

NVIDIA 將 FastPhotoStyle 演算法以開源方式釋出,有興趣嘗試的讀者可以至 GitHub 下載程式,或是閱讀 A Closed-form Solution to Photorealistic Image Stylization 白皮書

(本文由 T客邦 授權轉載;首圖來源: