從抽象再回歸具體,類神經網路將素描圖片返轉變照片

作者 | 發布日期 2016 年 07 月 30 日 0:00 | 分類 Big Data , 軟體、系統 follow us in feedly

最近很熱門的應用軟體 Prisma 恐怕擊中了不少人的喜好,那種讓普通照片變身藝術作品的感覺確實非同凡響。不過,加個濾鏡誰都會,但能將抽象變得具體恐怕就不那麼容易了。眼下,在荷蘭研究者的努力下,這一概念正在變成現實。




荷蘭奈梅亨拉德伯德大學(Radboud University Nijmegen) 的 4 位神經科學家正在利用深度神經網路打造新的模型,利用該模型,用戶可以將普通的面部素描作品變成逼真的圖片。

這項名為迴旋素描反轉(Convolutional Sketch Inversion)的研究開始登陸了線上論文預印平台arXiv(未經同行評審的論文),不過現在已經得到了歐洲計算機視覺會議的首肯。

神經科學家們表示,他們的模型可以相容於各種藝術品,將自畫像轉換成普通照片。不過,恐怕其最大的受益者還是警方,因為原本不甚清晰的目擊者描述終於可以變成正常的照片了。

「我們做出這個模型也是受了neural style(讓機器模仿已有畫作的繪畫風格來把一張圖片重新繪制的算法)的啟發,」參與研究的神經科學家 Yağmur Güçlütürk 和 Umut Güçlü 說。

之前,他們曾將一張德國蒂賓根市的風景圖轉換成了類似梵谷名作《星夜》風格的油畫。「這次經歷讓我們有了新的思考,反過來轉換會如何呢?梵谷的《星夜》又會變成什麼模樣?」Güçlütürk 和 Güçlü寫道。

在研究論文中,Güçlütürk 和 Güçlü 講解了他們類神經網路軟體的工作方式:

「下面,我們來解釋下類神經網路是如何將素描轉換成普通照片的。首先,我需要搭建一個龐大的數據集,並為其填充各種素描和照片(成對的)。隨後,我開始向類神經網路展示素描,並要求它轉換成照片。起初,類神經網路的準確度一般。將其轉換的圖片與數據庫進行對比後,我會指出類神經網路的失誤。根據這些回饋,類神經網路需要不斷調整策略並最終給出精確的轉換圖片。」

5796076e4d3d0.png

▲ 類神經網路的作品,左邊的圖片是原版,中間為素描,右側的則是算法轉換出的圖片,精確度確實相當高。

熟能生巧,只要不斷地進行重覆,該模型就學會了配對素描和圖片。

「我們不斷重覆最後兩步,」Güçlütürk 和 Güçlü 說。「最終,類神經網路終於能轉換出較為完美的圖片了。如果一切順利,未來類神經網路不但可以轉換看到過的素描,在轉換全新素描時也能有相當高的準確度。」

為了不斷訓練並測試這一算法,神經科學家還用上了電腦生成的素描,這些素描主要基於 CelebA 數據集(大規模名人人臉標註數據集,包含 20 萬以上的名人圖片)和 LFW 數據集(13,000 以上網路圖片)。

除了拿自己的臉部素描做實驗,神經科學家們還用了 3 個荷蘭著名藝術家的自畫像(林布蘭、梵谷和埃舍爾)。

579606fd9f187.png

▲ 3 位著名藝術家自畫像的轉換。

眼下,Güçlütürk 和 Güçlü 正考慮如何將該技術推向市場。據了解,藝術市場和法庭可能是首批採用新技術的領域。Güçlütürk 和 Güçlü 表示:「我們的子公司已經開始了前期準備,希望能盡快將該技術推向市場。」

(本文由 雷鋒網 授權轉載)

延伸閱讀:

發表迴響