照片動漫化神器 AnimeGAN 推出線上版,效果堪比專業畫家

作者 | 發布日期 2021 年 12 月 19 日 0:00 | 分類 AI 人工智慧 , app , 科技趣聞 Telegram share ! follow us in feedly


說到能將照片轉成繪畫的 AI 工具,首先想到的也許是多年前 Prisma,當時以「能讓照片瞬間變名畫」爆紅。

也許還會想到最近流行的迪士尼濾鏡,在 Snapchat、B612 等一些熱門美圖 App 都能找到這功能。最近引起熱議的動漫風轉換工具 AnimeGANv2 又再次由衷感歎科技力量之強大:只要挑選到正確的照片,成像效果真的可用「驚豔」形容。

AnimeGAN 原是 GitHub 開源項目,2019 年發表後就引起不少討論,還有人專門發文講述演算法模型。此工具是基於 GAN(生成對抗網路)打造,相比傳統神經網路模型,GAN 是種全新非監督式架構。

訓練 AI 時,GAN 包括 A 和 B 兩套獨立網路,A 網路是需要訓練的分類器,分辨成圖是否符合標準;B 網路是生成器,生成類似真實樣本的隨機樣本,並當作假樣本以欺騙網路 A。藉 A 和 B 相互博弈,AI 水準逐漸提升,最後大提升品質。

最近 AnimeGAN 發表二代,更新後 AnimeGANv2 支援風景照和風景影片三種動漫化風格(分別是宮崎駿、新海誠和今敏),視覺效果更佳,模型規模更小且容易訓練。

(Source:知乎

更重要的是目前 AnimeGANv2 成果經社群貢獻者開發,由 Gradio 實現直接線上使用的 Demo,並發至 Hugging Face,換言之任何人都可網路輕鬆體驗 AnimeGANv2 的效果。

打開網站 可看到簡單的 App 線上版。照片上傳完成後點擊「Submit」,等待數秒就可看到效果。

(Source:AnimeGANv2,下同)

工具本身也提供多樣板照片供測試,網頁下拉點擊這些照片再回到上方就可看到成果。圖片下方可選擇不同效果,「version 1」代表提高風格化,降低穩健性的設置,「version 2」相反,降低風格化程度,提高穩健性。

簡單來說選擇 version 1,照片會更有動漫特點,但寫實還原度會降低,選擇 version 2 相反,生成更逼真的效果圖。下圖鋼鐵人是兩版對照,上面是 version 1,下面是 version 2。

AnimeGANv2 提供很多名人動漫成品照給用戶參考,效果都非常優秀。

來實際體驗,首先是人像。先從免費圖庫 pixabay 找幾張清晰人像(男性、女性和孩子),以下是測試效果。

效果十分不錯,生成圖人物邊緣清晰,五官分明,繪畫感強,且更難得的是 App 捕捉人物外貌特點準確,頗具神韻。當然普通人沒有專門設備和技術幫助下,還是很難提供 pixabay 般乾淨清晰的照片,因此筆者網路找了幾張拍攝較隨便的大頭照對比。

測試照片均為亞洲人,且應該就是拍照者隨意自拍,AnimeGANv2 演算效果並沒有讓人失望。

檢測發現,白底證件證照效果最好,基於肖像權原因,效果圖不能公開。如果沒有合適的照片,不妨直接使用證件照體驗,不僅成圖效果好,人物氣質把握精準,美顏效果更超群。

不過有個美中不足的地方,不知道是不是訓練 AI 時多是女性照片或提供 AI 學習的動漫圖片風格偏陰柔,當輸入男性真人照時,成像眼睛會顯得有些女性化,戴眼鏡遮擋能改善效果。

上述測試是無背景大頭照,倘若是有背景的生活照效果又如何?

雖然整體效果還是能看,但五官瞬間模糊,看來想獲得更好效果還得盡量使用半身或大頭照。另外發現 App 對照片品質也有要求,模糊的大頭照同樣會使人物五官無法精確捕捉。

再來嘗試動物照,同樣從 pixabay 取材。選擇小貓照片時特意挑了一張表情奇特且臉部有遮擋的照片,沒想到 AnimeGANv2 出色完成任務。

一直以為選擇「Version 2」應對五官細節等還原最佳,但測試小狗照時發現並不一定這樣,看來據不同對象挑選適合風格也很重要。

▲ 小狗 version 1 (上)與 version 2 對比。

最後是風景照, 雖然在知乎裡描述說 AnimeGANv2 目前支援三種動漫場景風格,但線上版並沒有風格選項(可能需至 GitHub 完整程式碼找找)。從 pixabay 挑選北京天壇、香港街道、京都神社及兩張自然風景照測試。

雖然看不太出來像哪位大師手筆,但成品效果都令人滿意,特別香港街頭照充滿藝術感,都可以說是手繪的以假亂真。

市面照片轉繪畫風格的應用不少,甚至手機常備的美圖秀秀等 App 就附帶此功能,AnimeGAN 的團隊為何要花三年多對這工具精雕細琢?也許這輪測試下來,我們會得到答案──成圖自然又好看,跟平時隨處可見但效果千篇一律的繪畫風格轉換 App 不一樣。

雖然工具頁面樸素,成像時間也是短短幾秒,但蘊含複雜計算和數不勝數的 AI 鍛鍊,用戶難以得知背後原理,但驚豔效果的感性體驗就是最好證明。

(本文由 愛范兒 授權轉載;首圖來源:AnimeGANv2

延伸閱讀: