隨手一畫就是風景,NVIDIA GauGAN 助概念設計師化想像為現實

作者 | 發布日期 2019 年 10 月 08 日 15:51 | 分類 AI 人工智慧 , 軟體、系統 follow us in feedly


在今年 3 月於美國舉行的 GTC 大會中,NVIDIA 發布了 GauGAN AI 影像生成系統的最新成果,這套能用簡單線條創造栩栩如生影像的 AI 工具自然受到群眾熱烈歡迎,也不禁好奇 NVIDIA 未來究竟還會帶來什麼樣的驚喜。

包含光追技術、自駕車路徑感知,NVIDIA 的創新多是由旗下研究 NVIDIA Research 所進行,GauGAN 自然也不例外,事實上 GauGAN 背後的重要功臣,便是 NVIDIA 來自台灣的首席研究科學家劉洺堉。

劉洺堉是 NVIDIA Deep Imagination Research 團隊的一員,團隊的目標是透過機器學習與視覺的結合,實現機器創造、實時影像與內容創作,團隊曾發表過許多研究成果,但都沒有最新發布的 GauGAN 來的受社群歡迎,劉洺堉表示,其實開發團隊對此也感到相當驚喜。

GauGAN 也可說是結合各項研究的累積成果。包含為訓練自駕車打造的 UNSUPERVISED、將影像套用名畫風格的 PIX2PIXHD、影像人物替換的 VID2VID 項目都是 NVIDIA Research 的研究計畫,結合這些技術才成就了最新的項目 GauGAN。

▲ 在 Nvidia 看來,就像過去的石板、畫筆、小畫家一樣,AI 也將成為人們傳遞腦中畫面的工具 。

據劉洺堉解釋,之所以命名為「GauGAN」,除了因為有用到 GAN 神經網路,另一方面也是致敬法國知名印象派畫家高更。由於人們在使用 GauGAN 的簡易繪畫操作上確實頗有印象派風格,這項命名選擇也不禁讓人會心一笑。

在圖像辨識的 AI 應用中,語意分割是相當重要的過程,透過將影像以顏色劃分為不同部位並進行標記,AI 可以理解並分辨出照片內含有的元素,而 NVIDIA Deep Imagination Research 團隊好奇的是:過程倒著來行不行?

在這樣的概念之下,GauGAN 也就隨之誕生,在使用數百萬張影像訓練後,GauGAN 現在已經可以將人們簡易畫出來的畫塊及時轉換為擬真的影像,上線至今已有超過 100 萬名獨立使用者嘗試,在許多大神參與下,也創造出許多驚人作品。

▲ 網友運用 GauGAN 作出的圖片。

美中不足的地方在於,由於 GauGAN 主要訓練的數據多是平面視角,因此並無法創造出如仰拍、俯拍的特殊視角,同時 AI 對「山」、「雲」等物品都有固定理解,因此在觀看多張後可能會發現其中的重複之處,同時難以掌控光影變化的「太陽」也是 GauGAN 仍無法攻克的目標。

只是儘管有這些缺點,GauGAN 能做到的事仍舊相當驚人。以電影、遊戲為例,概念設計師經常必須透過原畫與團隊溝通設計理念,但有時只有角色、物品則畫面相對單調,此時只需用 GauGAN 簡易設計畫面架構,便能拿來作為背景使用,增添雙方傳遞腦中畫面的效果。

▲ 透過將原畫與 GauGAN 生成影像結合,創作者可以更好的傳遞畫面概念。

除了傳達概念之外,GauGAN 也還有著其他用途。劉洺堉指出,因為發現 GauGAN 的繪圖過程能夠協助病人減壓,一些醫療中心也向團隊表達對 GauGAN 的興趣。

▲ 新版本中 GauGAN 也可用來創造室內場景,儘管細節仍與真實影像有所區別,但用來當作概念傳遞卻已足夠。

據了解,GauGAN 目前仍在持續進化中,隨著 NVIDIA Deep Imagination Research 持續努力,可想見未來 GauGAN 將讓人們能更輕鬆打造出腦海中的畫面,在新版本推出以前,不妨先來測試版網站上試著體會 GauGAN 的驚人轉換效果吧。

(首圖來源:科技新報,內文圖片來源:NVIDIA)

延伸閱讀:

關鍵字: , ,