有碼變高清!研究團隊開發「修圖界老司機」,AI 黑科技一秒還原馬賽克

作者 | 發布日期 2020 年 06 月 26 日 0:00 | 分類 AI 人工智慧 , 軟體、系統 line share follow us in feedly line share
有碼變高清!研究團隊開發「修圖界老司機」,AI 黑科技一秒還原馬賽克


畫素不夠,後期修圖來湊?網路上關於低畫素修圖的問題,發問的人很多,而且從 PS 技巧到各類修圖 App 教學多到眼花繚亂,重點是效果不知道會怎麼樣。

不過,近日杜克大學(Duke University)研究團隊開發了一款 AI 修圖黑科技 PULSE,可解決所有低畫素煩惱。據說這能將圖像原始解析度放大 64 倍,任何渣畫質都可秒變高清、逼真圖像,甚至打馬賽克的人臉圖像,毛孔、皺紋,頭髮也都能清晰還原。

馬賽克秒變高清人像

PULSE 是一種新型超解析度演算法,透過潛在空間探索對照片採樣,可以將 16×16 畫素的低解析度(Low Resolution,簡稱 LR)放大到 1,024×1,024 畫素的高解析度(High Resolution,HR),幾秒內增加 64 倍,而傳統方法最多只能放大 8 倍。

先來看一組範例,修圖界最難處理的 LR 大頭照,經過 PULSE 也能秒變高清、細膩的圖像。

更重要的是,PULSE 可定位臉部關鍵特徵,以更高解析度生成一組類似細節。儘管人頭打了馬賽克,PULSE 也可自行「想像」出諸如眉毛、睫毛、頭髮、臉型等細節,形成高清逼真的人像。

不過,過度虛化產生的人像只是虛擬新面孔,事實上並不存在。正因如此,這項技術不能用於身分辨識。如監控攝影鏡頭拍攝的失焦、無法辨識圖片,不能透過 PULSE 還原成真實的人像。

杜克大學研究小組的電腦科學家 Cynthia Rudin 說:「之前從來沒有如此超高解析度的圖像製作出來,它能產生不存在的新面孔且看起來很真實。」

她也補充,這項研究採取的技術可廣泛用於醫學、顯微鏡、天文學,以及衛星圖像等領域。另外,研究團隊已將論文發表至預印論文庫 arVix,同時 IEEE 國際電腦視覺與模式辨識會議(CVPR 2020)也有收錄。

「縮減損失」超越常規修圖法

對於一個 LR 圖像,傳統將 HR 解析度部分匹配給 LR 圖像而獲取超高解析度(SR)的方式,往往會導致 HR 圖像出現感光度差、不平滑,畫面失真的情況。

在本次研究,杜克大學研究團隊開拓一種新思路,提出新型超解析度演算法 PULSE,不是從 LR 圖像慢慢添加細節,而是發現與 HR 相對應的 LR,透過「縮減損失」的方式得到 SR 圖像。

▲ 原始 LR(第一行),PULSE 輸出 HR(中間行),HR 對應的 LR(最後一行)。

PULSE 使用生成對抗網路(GAN),是一種訓練模型,顧名思義,透過對抗博弈的方式訓練目標。主要結構包括生成器(Generator)和鑑別器(Discriminator),在同一組照片訓練,一個負責訓練接收的圖像並輸出,一個負責接收輸出,並檢驗是否夠逼真。

以下是與原圖比較後的試驗結果:

第一行為原圖,第二行透過「縮減損失」得到的 HR 對應的 LR,第三行是經過 PULSE 得到的 HR,可以​​看出,儘管與原圖還有細微差別,但還原度已經非常高。

論文表明,為了檢驗 PULSE 在 SR 方面的優勢,杜克大學研究團隊採用 4 種不同圖像縮放方法與其比較。本次研究利用 CelebA HQ 數據集的 1,440 張圖像,以 X8,X64 的比例因子,試驗 LR 臉部圖像,尤其是眼部、唇部以及頭髮等細節處。

PULSE 呈現出明顯優勢,尤其是 X64 解析度下,模糊頭像完全還原,尤其眼唇等細節之處,其他演算法幾乎達不到同樣效果。

另外,針對測試結果,研究人員採用感測超解析度常見的 MOS 測試方式,邀請 5 位評分者對圖像結果給予 1~5 分數,結果顯示,HR 源高清圖像解析度得分為 3.74,而 PULSE 達 3.60,僅差 0.14,可說幾乎達到真實的高品質圖片水準。

不過,研究人員也承認 PULSE 還不是很完美,高解析度圖像與專業原圖像相比還是有差別。但隨著技術工具改進,這項技術會更完善。

現在研究團隊已將 PULSE 發表到 Github 開源平台,且獲得 569 顆星星。有修圖煩惱的朋友可安裝體驗一下。

(本文由 雷鋒網 授權轉載)

延伸閱讀: