Google Pixel 2 動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動

作者 | 發布日期 2018 年 03 月 17 日 0:00 | 分類 Android 手機 , app , Google line share follow us in feedly line share
Google Pixel 2 動態照片背後的技術,利用光學穩定器與演算法讓影像不晃動


隨著智慧型手機的相機功能與攝影品質越來越精進,雖然品質部分可能還無法完全取代數位相機,但因為方便考量,許多使用者已捨棄數位相機,全以智慧型手機記錄生活大小事。廠商也無不致力於強化智慧型手機的拍照功能,不但搭載更強悍的光學元件,也透過演算法強化防手震效果。

透過極短片記錄生活

有許多智慧型手機搭載動態照片功能(Motion Photo),可以拍攝長度為 3 秒的短片,如此一來使用者就不必在要拍攝照片或影片之間抉擇。然而影片與照片之間的差異除了動態與靜態,另一個問題在於拍攝影片時若也在走動,或沒有將手機拿穩,就會產生畫面晃動。

為了改善這個情況,Google 開發了 Android 平台 Motion Stills 技術與 App,強化防手震效果。這是透過分析影片的每個畫格,計算每個物件的動態向量,並分辨這些向量屬於前景或背景物件。這種以純軟體運作的方式,雖然能適用多數 Android 裝置,但整體效果還是有限制。

▲ Motion Stills App 有許多功能,影像穩定也包含在內。

結合軟、硬體功能降低晃動

Pixel 2 智慧型手機上,Google 的研發團隊結合了以軟體為基礎的影像辨識追蹤,和以硬體為基礎的動態感應偵測,開發了新的動態預估以及混合式影像穩定技術,有助於提供比 Motion Stills 或純硬體技術更穩定的拍攝成果。

每當使用者按下快門,系統就會擷取一張靜態照片及 3 秒動態影片,而在拍下影片時,也會將拍攝當時陀螺儀以及光學影片穩定器記錄的動態資訊(手機移動、晃動的情況)一併保留下來,當作影像調整與穩定化的參考數據。

由於 Motion Stills 只能透過影像辨識來判斷晃動情況,難免會誤判,而混合式影像穩定技術則可在影像辨識過程納入動態資訊,提升判斷的精準度。

系統能準確預估影片背景晃動狀態後,就能透過影像處理的方式,將背景「貼齊」到固定位置,受益於混合式影像穩定技術,即便影片場景很複雜、有多種不同距離的景物,或是前景物件占據大半畫面,都能有效降低晃動的情況。

▲ 即便移動中拍攝,穩定效果也有不錯的表現(點此看 Gif 動態圖檔,檔案尺寸約 4.2MB)。

使用 Pixel 2 拍攝動態短片時,系統只會儲存原始影片和容量很小的附加資訊,並在播放影片的當下,透過繪圖處理器的著色器(GPU Shader)即時處理影像。如果使用者想分享穩定的影像也不是問題,只要透過 Google Photos,就能將原始影片轉換成穩定的影片或 Gif 檔,上傳至社群網站或傳送給朋友,如此一來其他裝置也能看到穩定處理後的影片。

(本文由 T客邦 授權轉載;首圖來源:Flickr/Tinh tế Photo CC BY 2.0)

延伸閱讀: