Google AI 一鍵生成客製版 3D 神獸,還可線上體驗

作者 | 發布日期 2020 年 11 月 22 日 0:00 | 分類 AI 人工智慧 , Google , 科技趣聞 Telegram share ! follow us in feedly


會畫畫的 AI 有多可怕?你是否想過把螞蟻和豬、螃蟹和鯨魚,或 100 種生物任兩個組合起來會是什麼樣子?現在,AI 可以把這些天馬行空的想像全部變成現實。

只需要我們點點滑鼠隨便塗鴉,像這樣:

(Source:Google AI Blog,下同)

犀牛的犄角、老鷹的翅膀、恐龍的尾巴,組合起來就變成這樣:

一幅完美的專業創意作品,對繪畫小白真是太友善。更重要的是,或許還能激發你的創意靈感,這也是 Google 研究團隊推出這款工具的目的之一

這款 AI 繪畫神器名為 Chimera Painter,是線上工具,功能是利用動物簡圖生成逼真的「小怪獸」。

(Source:TechCrunch

塗鴉完後,只要點擊「轉換」按鈕,就會自動生成 3D 效果的「怪獸」。Google 研究團隊還把 Chimera Painter 創作的怪獸做成數位卡牌遊戲。

每張卡的攻擊值由怪獸決定,而怪獸的技能由組成的兩種物種決定。

(Source:Google AI Blog,下同)

據了解,這款 AI 工具的研發靈感來自平時玩遊戲都可看到的「怪獸」。Google 研究人員認為,怪獸創作往往需要遊戲美術設計有高度藝術創造力和技術知識,而 AI 可充當畫筆,幫他們節省創作時間,如一鍵完成 3D 渲染,甚至還能增強創造力。

假如遊戲有 100 種動物,每種動物都能融合,會給藝術家帶來很大的工作量,但這對機器學習來說很輕鬆。

那麼這 AI 是如何做到的?

基於 GAN 的生成模型

Chimera Painter 是一種機器學習(ML)模型。為了生成高品質且任意組合的怪獸模組,研究團隊提供數千張生物圖像,並標記如爪、腿、眼睛等特殊部位,以供模型訓練。

訓練過程使用的仍是生成對抗網路(GAN),GAN 已講過很多次,可基於兩個卷積神經網路:生成器和判別器生成高清且逼真的新圖像。工作原理是生成器創建新圖像,判別器確定圖像是否來自訓練資料庫。

不過研究人員提出稱為條件 GAN 的變體,生成器採用單獨輸入指導圖像生成過程。有趣的是,這種方法與其他 GAN 的工作完全不同,因後者通常側重照片真實性,而新工具的目的是融合不同物種成嵌合體。

為了訓練 GAN,研究團隊創建全彩色圖像資料庫,包含單種生物輪廓,改編自 3D 生物模型。這種生物輪廓描述每種生物的形狀和大小,並提供分割地圖辨識身體各部分。

(Source:TechCrunch

訓練後的模型可基於藝術家提供的輪廓,生成表現最好的多物種嵌合體,並嵌入 Chimera Painter。

創建有結構的生物數據集

使用 GAN 生成新物種時會遇到一個問題,即在繪製圖像細節或低對比度部分時,可能會失去空間的連貫性,包括眼睛、手指,甚至是具相似紋理的重疊身體部位間的區別。

(Source:Google AI Blog,下同)

因此這對訓練資料庫提出一定要求,現有圖庫不適合訓練 ML模型,原因是可能有衝突或缺少多樣性。生成嵌合體的資料庫需要有獨特性,如戲劇性視角、構圖和燈光等。為了解決這問題,研究人員開發用戶主導的半自動方法,即從 3D 生物模型創建 ML 訓練資料庫。過程中用戶將創建並獲得一組 3D 生物模型。

具體來說,他們將使用虛幻引擎製作 2 組紋理,並疊加在 3D 模型上——一組有全彩色紋理(左圖),另一組顯示身體每個部位(如頭、耳朵、脖子等),稱為分割圖(右圖)。

圖二身體細分部分會提交模型訓練,以確保 GAN 了解各種生物身體部位的特定結構、形狀、紋理和比例。

3D 生物模型都放在 3D 場景,並同樣使用虛幻引擎。一組自動化腳本將採用這個 3D 場景,並在不同的姿勢、視點和每個 3D 生物模型的縮放等級間插值,創建全彩色圖像和分割地圖,形成 GAN 的訓練資料庫。

研究人員為每個 3D 生物模型生成 10,000 多張圖像+分割圖,與手動創建這些資料相比,用戶每張圖像可節省約 20 分鐘。

生成高傳真度圖像

GAN 的超參數大小會影響模型輸出圖像的品質。為了驗證模型哪個版本性能最佳,研究團隊收集分析模型生成不同生物類型的樣本,並提取一些顯著特徵,如深度感、生物紋理樣式、臉部眼睛的真實感等。

這些訊息不僅用於訓練模型新版,且能在模型生出成千上萬生物圖像後,從每種生物類別(如瞪羚、山貓、大猩猩等)選出最佳圖像。

研究團隊透過感知損失( Perceptual Loss)最佳化 GAN。損失函數組件使用從單獨的卷積神經網路(CNN)提取的特徵計算兩幅圖間的差異,卷積神經網路之前已訓練 ImageNet 資料庫數百萬張照片。

從 CNN 不同層提取特徵,並對每個特徵施加權重,這會影響特徵對最終損耗值的貢獻,這些權重對確定最終圖像的外觀至關重要。

下面是來自不同感知損失權重訓練 GANs 的結果。

顏色變化主要由資料庫導致,因資料庫一個生物往往包含多種紋理(如蝙蝠的紅色版和灰色版),即使忽略顏色變化,許多差異也直接與感知損失值變化有關。研究人員發現,特定值會產生更清晰臉部特徵,使生成生物更有真實感。

下面是一些由 GAN 生成的生物,使用不同感知損失權重訓練,展示模型可處理一小部分輸出和姿勢。

線上體驗

總之,對藝術創作者或繪畫愛好者來說,Chimera Painter 只需調整生物局部形狀、類型或位置,就可輕鬆創建大量圖像,而不是從頭繪製幾十種類似的生物。同時模型還允許使用外部軟體(如 Photoshop)創建的生物輪廓。

Google 團隊表示,希望這些 GAN 模型和 Chimera Painter 工具可激發人們生出新藝術創作思路。

使用機器學習畫畫時,你想創造出什麼東西呢?

(本文由 雷鋒網 授權轉載;首圖來源:Chimera Painter