一鍵切換「漫畫臉」AI:秒變「迪士尼在逃公主」

作者 | 發布日期 2020 年 09 月 23 日 8:15 | 分類 AI 人工智慧 , 科技趣聞 Telegram share ! follow us in feedly


上傳一張照片就能擁有自己的動漫版頭像?名為「Toonify yourself」的 AI 工具就能辦到,且效果非常逼真。

最近話題不斷的真人版《花木蘭》電影掀起一股懷舊動漫風,各種名人漫畫形象頻頻洗板,如這張宮崎駿老爺爺,可愛到能馬上出演動漫電影。

還有演員楊紫瓊的動漫形象,大眼、尖下巴等動漫角色的典型特徵都不缺。

更重要的是幾乎復刻真人,包括頭髮、臉部表情、神態,完全就是自訂化動漫形象。

這些動漫形象全部出自名為「Toonify yourself」的 AI 工具,不僅效果逼真,步驟也很簡單,只需上傳一張照片即可。

據了解,這款工具剛發表就完成 25 萬次轉檔,非常受用戶歡迎,還有網友評論「研發者可考慮商業化了」。

這款工具如何做到的呢?

生成漫畫臉的技術原理

據建立者之一 Doron Adler 介紹,主要利用混合網路(Blended Network),這是複雜的網路機制,主要由兩部分模型組成:StyleGAN Model 和 Blended Model。

StyleGAN Model 負責預訓練原始照片,目的是節省訓練時間和成本,因對個人而言,並不是每個人都有足夠 CPU 或數週時間訓練模型,這過程也稱為「移轉學習」(Transfer learning)。

重要的是透過預訓練模型,可得到更高品質的影像。

Doron 介紹,為了更好的動漫效果,他們收集了迪士尼、皮克斯、夢工廠等約 300 張動漫影像組成資料集,透過訓練資料集學習動漫角色的典型特徵。從以下匯出結果看來,效果非常不錯。

儘管資料集有少量訓練,但大眼、尖下巴等典型特徵都有捕捉到。部分影像較模糊,是因原始影像解析度低,且有些是手繪影像造成。

接下來,臉部微調後的影像會進入 Blend Model 階段。由於 StyleGAN 架構,模型不同層以不同方式影響生成人物的外觀。低解析度層決定頭部姿態和臉部形狀,高解析度層則控制光線和材質等細節。

Doron 使用的 Layer Swapping 程式檔從原始模型擷取高解析度層,從 StyleGAN Model 微調模型擷取低解析度層,最後得到有卡通臉部架構且有照片級逼真渲染效果的混合模型。

可看到使用原始面孔模型和混合卡通模型生成影像,兩者有明顯關連,保持人物原始面貌,同時也達成動漫化。要強調的是,若需要高解析度的卡通形象,得匯入高畫素的原始影像,不得低於 1,024×1,024 畫素。

效果逼真,操作簡單,但因太紅下線

StyleGAN 模型可產生大量臉部影像,可找到任何一張臉部影像。如透過模型匯入一張需處理的影像範例,模型會透過「程式碼」(也稱為潛在向量)匯出與範例完全符合的臉部影像,如下圖左邊為原圖,右邊為生成圖。

然後將有特定「程式碼」的臉部影像匯入混合模型,就可得到卡通化臉部形象。

這過程範例大致經歷三步處理過程:

  • 擷取臉部特徵,並自動對齊影像。
  • 找到潛在程式碼,複製影像。
  • 使用卡通模型的潛在程式碼,處理影像。

基於此原理,用戶只需上傳照片即可。不過可惜的是,由於用戶存取量過大,考慮到伺服器執行成本,Doron 暫時關閉了系統,並表示重新規劃成本效益後,會再次開放。

作者何人?

Justin Pinkney 是另一建立者。與 Doron 一樣,Justin 對生成藝術和機器學習非常感興趣。

從他個人首頁了解,Justin 曾是物理學家,現在英國 MathWorks 擔任軟體顧問,負責演算法開發、模型訓練及組織軟體開發實踐。

Justin 利用 StyleGAN 模型做過多項研究,如透過 StyleGAN Network Blend 讓浮世繪的平面畫變成立體人臉。

此項研究同樣基於「圖層交換」(Layer Swapping)概念,將基礎模型與使用移轉學習的模型(即微調模型)融合,達到最終成果。

此外,還有利用神經網路生成各類假蛋糕圖等。

此類研究的詳細技術過程,Justin 部落格有詳細說明,有興趣的朋友可自行參考。

(本文由 雷鋒網 授權轉載;圖片來源:Justin Pinkney

延伸閱讀: