討厭馬賽克?Google 表示你可以「修復」它了

作者 | 發布日期 2021 年 09 月 20 日 0:00 | 分類 AI 人工智慧 , Google , 數位內容 line share follow us in feedly line share
討厭馬賽克?Google 表示你可以「修復」它了


1982 年上映的科幻電影《銀翼殺手》構想充滿「賽博龐克」(以資訊技術為主體的科幻故事分支)科技的 2019 年:漫天都是飛行車,人類可使用一種大螢幕機器(Esper)完成許多不可思議的工作。

主角瑞克·戴克追查複製人行蹤時,就用了 Esper 挖掘肉眼忽略的線索。瑞克將現場找到的可疑照片塞進 Esper,一遍又一遍無損放大照片一角,最後在鏡子倒影找到人造人左拉。

科幻作品的想像力有時確實會被當時科技局限,1982 年 PC 才剛流行,《銀翼殺手》沒有想到網路出現改變了人類生活,也沒能想像模擬技術有一天被數位技術取代。

不過無損放大圖像技術的想像卻十分超前,這是至今都難以解決的難題。

你可能遇過這情境:聚會後朋友拍合照,回去後放大看老同學的臉,或當晚喝的飲料牌子,結果是模糊不清的馬賽克。這是因照片放大到一定程度,局部解析度非常低,看到的只是畫素。

我們有可能像 30 年前幻想,從微不足道的「馬賽克」提出圖像資訊嗎?Google AI 團隊近日發表部落文提到新圖片演算法,非常接近《銀翼殺手》。

不可思議的解析度提升

一張 64×64 畫素的照片有多大?以 iPhone 拍攝的 1,200 萬畫素的照片為模版,約只有三千分之一,顯示到高畫質螢幕時只會看到滿滿的「馬賽克」。

▲ 超高解析度照片。

在數位時代,我們從螢幕看到的每張圖都是由密密麻麻畫素組成,單位面積畫素越多,解析度就越高,圖就越清晰。

Google AI 研究人員便思考,有沒有可能從低解析度提取夠多圖片資訊,用機器學習儘可能還原圖片原貌,提高圖片解析度,得到清晰的圖片呢?

(Source:Google AI,下同)

最近部落格文,Google 展現最新研究成果,效果看十分震撼──透過兩種演算法,能將 64×64 畫素照片變成 1,024×1,024,且細節非常完整。

要指出的是,Google 透過機器學習演算法還原的照片與原照片還會有偏差,但當我們無法獲得原圖(如老照片)時,儘可能貼近真實的「還原」照片確實難能可貴。

Google 介紹,修復一張「馬賽克」照片由兩個過程組成──「破壞」與「重組」。

首先,為了盡可能挖掘「馬賽克」畫素方塊的圖形細節,Google 研究人員會先用高斯雜訊演算法處理樣本,得到一張完全由噪點組成的「雪花圖」,看起來有點像以前電視無訊號的畫面。

▲ 第三行是 Google 修復演算法,第四行是原圖參考。

接著研究人員利用神經網路演算法,逆轉高斯雜訊的破壞過程,透過逆向工程合成新圖片,從純噪聲圖儘可能降噪,得到一張清晰圖。

圖片修復原理並不複雜,但涉及的演算法不簡單,為了修復「1:1 還原」高畫質大圖,Google 研究人員提出超解析度演算法 SR3 和級聯擴散模型 CDM,透過大規模圖片比對學習提高還原的準確性。

雖然我們一直用「馬賽克」稱呼低解析度的低品質圖片,但和真正打碼照片有本質差異。

Google 還原演算法之所以能將低畫質圖片變清晰,本質上是根據圖片本身包含的正確圖像資訊,透過龐大數據庫無數圖像比對匹配,最後得到模擬出的近似畫素填充。而照片被打馬賽克時,圖像資訊會發生變化。

馬賽克演算法簡單說是在區域內照固定間隔,隨機選擇畫素點顏色,然後把區域內所有畫素顏色取平均值,變成新顏色填入方格。經打碼後,原本畫素資訊都會遺失,得到的只是隨機算出的錯誤資訊,這時再讓機器學習去還原,就像要求它算出題目完全錯試卷的正確答案,幾乎不可能。

所以如果有人想用 Google 演算法挖掘抹掉的隱私資訊,可打消念頭了。

你已邁入未來

Google 高畫質修復演算法最終有可能應用於 Google 照片、Snapseed 等 Google 圖像處理軟體,如 HDR、視角矯正等演算法一樣成為修圖工具。

回到《銀翼殺手》,Esper 其實是台很有趣的機器,有點像模擬技術與數位技術的融合。一方面它很先進,人們可用語音控制,並實現無損放大;另一方面它又很老套,有清晰大螢幕卻還是 CRT 結構,導入照片的過程還是從實體照片掃瞄。

據電影效果,Esper 有可能是定點照片某處坐標後,透過精密鏡片結構(顯微鏡)放大照片觀察。現在來看,無損放大想法很超前,但模擬技術顯然不屬於現實。

對現代人來說,手機和電腦就是每個人的「Esper」。如今照片完成全數位化工作演變,用數位技術放大照片不是難事。換句話說,其實我們已邁入《銀翼殺手》描繪的「未來」。

圖像超解析度一直是電腦視覺領域熱門研究主題,Adobe 等公司都在開拓圖像處理技術,Photoshop、Lightroom 等圖形處理軟體已經有應用。以 Photoshop 為例,導入 RAW 格式圖片後,可選擇「增強」→「超解析度」,軟體會根據相似內容,豐富圖片紋理,將解析度放大 4 倍,整個過程大概只需 1 分鐘。

(Source:Adobe)

對比增強前後照片,解析度提高後照片銳利度明顯提高,一些模糊不可辨認的細節也變清晰。Adobe 今年 3 月技術部落格提到,超解析度演算法也是透過大量機器學習訓練,不斷完善改進。

圖片解析度爆炸式提高有什麼意義嗎?也許拍完照片後,你不會放大深究每個細節,但當需要印出照片時,解析度直接決定最大尺寸。這對攝影師尤其重要,有時候用廣角鏡頭拍攝風光時天邊飛過一隻老鷹,用廣角鏡頭抓拍往往不能拍到老鷹的羽毛細節,這時用超解析度放大後再裁切,很可能就會得到想要畫面。

▲ 先裁剪,再用超畫素放大得到 1,000 萬畫素的照片。(Source:Adobe)

Adobe 用一張 250 萬畫素照片為例,用超解析度功能放大到 1,000 萬畫素,可列印成「像樣」照片,Adobe 形容為「數位變焦」。

比較 Adobe 和 Google 演算法,兩者有差異,Adobe 需保留量圖片原始資訊的 RAW 格式照片計算,Google 演算法可基於非常粗糙的資訊還原照片。

▲ Adobe 演算法經過大量機器學習不斷進步。(Source:Adobe)

目前來看,兩種演算法都未成熟,還需要大量機器學習提高準確度。不過可肯定的是,超解析度技術會在不久的將來成為最流行的圖像技術,幫助人們擺脫長焦鏡頭等器材限制,記錄生活每個瞬間。為了看到更清晰的世界,我們仍未停止探索。

(本文由 愛范兒 授權轉載;首圖來源:pixabay

延伸閱讀: