Google 超解析度技術 RAISR:模糊圖片瞬間變清晰,運算速度快十倍

作者 | 發布日期 2016 年 11 月 16 日 8:06 | 分類 Google , 軟體、系統
shutterstock

每天都有數以百萬計的圖片在網路上被分享、儲存,用戶藉此探索世界,研究感興趣的話題,或者與朋友家人分享假期照片。問題是,大量的圖片要嘛被照相設備的畫素所限制,要嘛在手機、平板或網路限制下被人為壓縮,降低了畫質。



如今高解析度顯示螢幕正在家庭和行動裝置上普及,因此,把低解析度圖片轉化為高清晰版本,並可在多種裝置上查看和分享,正在成為一項巨大的需求。日前,Google 推出了一項新技術 RAISR,其全稱是「Rapid and Accurate Image Super-Resolution」,意為「快速、精確的超解析度技術」。

RAISR 這項技術能利用機器學習,把低解析度圖片轉為高解析度圖片。它的效果能達到甚至超過現在的超解析度解決方案,同時速度提升大約 10 至 100 倍,且能夠在普通的行動裝置上運行。而且,Google 的技術可以避免產生混疊效應(aliasing artifacts)。

之前已經具有透過升採樣方式,把低解析度圖片重建為尺寸更大、像素更多、更高畫質圖片的技術。最廣為人知的升採樣方式是線性方法,即透過把已知的像素值進行簡單、固定的組合,以添加新的像素值。因為使用固定的線性過濾器(一個恆定卷積核對整個圖片的無差別處理),該方法速度很快。但是它對於重建高清作品裡生動的細節有些力不從心。正如下面這張圖片,升採樣的圖片看起來很模糊,很難稱得上畫質提升。

雷鋒網配圖

▲ 左為原始圖片;右為升採樣處理後圖片。

對於 RAISR,Google 另闢蹊徑得採用機器學習,用一對低解析度、高解析度圖片訓練該程式,以找出能選擇性應用於低解析度圖片中每個像素的過濾器,這樣能生成媲美原始圖片的細節。目前有兩種訓練 RAISR 的方法:

  • 第一種是「直接」方式,過濾器在成對高、低解析度圖片中直接學習。
  • 第二種方法需要先對低解析度圖片應用低功耗的的升採樣,然後在升採樣圖片和高解析度圖片的組合中學習過濾器。
  • 「直接」方式處理起來更快,但第二種方法照顧到了非整數範圍的因素,並且更好地利用硬體性能。

無論是哪種方式,RAISR 的過濾器都是根據圖像的邊緣特徵訓練的:亮度和色彩梯度、平實和紋理區域等。這又受到方向(direction,邊緣角度)、強度(strength,更銳利的邊緣強度更高)和黏性(coherence,一項量化邊緣方向性的指標)的影響。以下是一組 RAISR 過濾器,從一萬對高、低解析度圖片中學習得到(低解析度圖片經過升採樣)。該訓練過程耗費約 1 小時。

雷鋒網配圖
註:3 倍超解析度學習,獲得的 11×11 過濾器集合。過濾器可以從多種超解析度因素中學習獲得,包括部分超解析度。注意當圖中邊緣角度變化時,過濾器角度也跟著旋轉。相似的,當強度提高時,過濾器的銳利度也跟著提高;黏性提高時,過濾器的非均相性(anisotropy)也提高。

從左至右,學習得到的過濾器與處理後的邊緣方向有選擇性的呼應。舉例來說,最底一行中間的過濾器最適合強水平邊緣(90 度梯度角),並具有高黏性(直線的而非彎曲的邊緣)。如果這個水平邊緣是低對比度的,那麼如同圖中最上一行,另一個過濾器就被選擇。

實際使用中,RAISR 會在已經學習到的過濾器列表中選擇最合適的過濾器, 應用於低解析度圖片的每一個像素周圍。當這些過濾器被應用於更低畫質的圖像時,它們會重建出相當於原始解析度的細節,這大幅優於線性、雙三(bicubic)、蘭索斯(Lancos)解析方式。

雷鋒網配圖

▲ RAISR 演算法運行圖式下:原始圖像(左),2 倍雙三解析(中),RAISR 效果(右)。

一些運用 RAISR 進行圖片增強的範例:

雷鋒網配圖

▲ 上:原始圖片,下:RAISR 2 倍超解析度效果。

雷鋒網配圖

▲ 左:原始圖片,右:RAISR 3 倍超解析度效果。

超解析度技術更複雜的地方在於如何避免混疊效應,例如龜紋(Moire patterns)和高頻率內容在低解析度下渲染產生的鋸齒(對圖像人為降級的情形)。這些混疊效應的產物會因對應部分的形狀不同而變化,並且很難消除。

雷鋒網配圖

▲ 左:正常圖像;右:右下角有龜紋(混疊效應)的圖像。

線性方法很難恢復圖像結構,但是 RAISR 可以。下面是一個例子,左邊是低解析度的原始圖片,左 3 和左 5 有很明顯的空間頻率混淆(aliased spatial frequencies),而右側的 RAISR 圖像恢復了其原始結構。RAISR 的過濾器學習方法還有一項重要的優點:用戶可以把消除噪音以及各類壓縮演算法的產物做為訓練的一部分。當 RAISR 被提供相應的範例後, 它可以在圖片銳化之外學會消除這些效果,並把這些功能加入過濾器。

雷鋒網配圖

▲ 左:有強混疊效應的原始圖片;右:RAISR 處理後效果。

超解析度技術利用不同的方法已經有了不少進展。如今,透過把機器學習與多年來不斷發展的成像技術相結合,圖像處理技術有了長足的進步,並帶來許多好處。舉例來說,除了放大手機上的圖片,用戶還可以在低解析度和超高清下捕捉、儲存、傳輸圖像,使用更少的行動網路數據和儲存空間,而且不會產生肉眼能觀察到的畫質降低。

小結:自從賈伯斯 2010 年在 iPhone 4s 上推出「視網膜螢幕」概念之後,數位產品市場開啟了一場超高清顯示革命。如今,家用顯示器逐步走向 4K,各大手機廠商也競相推出 2K 旗艦機。但 2K、4K 內容的缺乏一直是困擾行業發展的痛點。之前的超解析度技術受成本、硬體限制,主要應用於專業領域,未能大範圍普及。

此次 Google RAISR 大幅降低了圖像增強的時間成本和硬體要求,有望實現超解析度技術在消費領域的應用,把充斥網路的低畫質圖片轉化為高清圖片,大幅提高視覺效果和用戶體驗。雷鋒網十分期待將來 RAISR 在行動裝置的應用,例如把消費者手機拍攝的照片轉化為媲美單反畫質的高清美圖。

(本文由 雷鋒網 授權轉載;首圖來源:shutterstock) 

關鍵字: , , ,

發表迴響