想必各位讀者多少都有注意到，先前有開發者利用 AI 與圖像處理技術，將成人影片中女主角的臉與明星交換，達到「變臉」的效果。這次 NVIDIA 釋出的 FastPhotoStyle 演算法，則能分析來源照片的風格，並套用至目標照片，能讓目標照片保有原本的景色並染上不同風格，創造出更精彩的照片。
照片風格也能轉移
照片風格轉移演算法的用意，在於將來源照片的風格與目標照片的景色融合為一，讓合成產生的新照片能保有原本的景色，並套上不同風格。雖然目前已有許多現成演算法能達到這功能，但效果並不一定理想，有時還會造成圖像錯誤的情況。且這些演算法往往相當吃運算資源，一張解析度為 640×480 的照片可能就需花費好幾分鐘來處理。
加州大學默塞德分校（University of California, Merced）與 NVIDIA 研究團隊為了改善這些問題，一起研發了創新的 FastPhotoStyle 演算法。
FastPhotoStyle 會將處理程序拆分為風格轉化（Stylization）與平滑化（Smoothing）等兩步驟，在風格轉化階段，程式會分析來源照片的風格，並套用至目標照片。接下來的平滑化階段，程式則會強化圖片空間的一致性，發揮降低破綻的效果。
60 倍速超高效率
FastPhotoStyle 演算法會在風格轉化階段輸入來源、目標等兩張照片，然後對其進行 Photo WCT 轉換（Whitening and Coloring Transform），如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格，但是會因為合成影像的關係，讓畫面產生鬼影與失真。
接下來的平滑化階段，需要讓輸出的照片看起來更自然，為了達到這個需求，演算法會輸入目標、中繼照片，並比對圖中鄰近的區域，將相近的像素套入相同的風格，讓畫面更為滑順，接下來則是避免平滑化讓結果偏離 Photo WCT，以維持整體風格。
與現有演算法最大的不同是，FastPhotoStyle 並不需經過更新運算的過程，每個步驟獨立進行，能夠讓處理速度提升 60 倍，並能在研究中以人眼分辨的測試中，獲得 2 倍優於目前演算法的評價。
NVIDIA 將 FastPhotoStyle 演算法以開源方式釋出，有興趣嘗試的讀者可以至 GitHub 下載程式，或是閱讀 A Closed-form Solution to Photorealistic Image Stylization 白皮書。
（本文由 T客邦 授權轉載；首圖來源：）
科技新報粉絲團
加入好友
訂閱免費電子報
