YouTube Stories 測試新功能,手機上套用影片分割效果

作者 | 發布日期 2018 年 03 月 02 日 19:30 | 分類 app , Google follow us in feedly

將影片場景分為前景與背景兩種不同的視覺層,修改背景以達到張力十足的視覺效果即是常見的影片分割技術。現在 Google 為 YouTube Stories 開發新功能,在行動裝置上就能實現影片分割效果。




影片分割(video segmentation)是電影導演或影片創作者廣泛使用的技術,將影片場景的前景與背景分開,視為兩種不同的視覺層,再透過修改背景來傳達特定的氛圍,打造張力十足的視覺效果。傳統上利用這種技術的創作方式相當耗時,甚至需要使用綠幕與色鍵技術(chroma keying)來替換背景。

為了讓用戶手持行動裝置可以直接使用影片分割技術,Google 開發了一種適用於《YouTube》App 短片集(YouTube Stories,附註)的新技術,在拍攝人物時直接套用不同情境的背景,不必花時間後製、不用花錢買器材就能精確且即時地呈現新的效果。

▲《YouTube》短片集的新功能可呈現影片分割的效果,左右切換也能即時顯示。

在手機或平板上,要利用特定 Apps 為一般 RGB 圖像去除背景並不容易,更何況是拍攝動態影像並進行影片分割更為困難。Google 的工程師將此視為一項挑戰,建立了一種卷積神經網路(Convolutional Neural Networks,CNNs)架構,利用數千個已標記的圖像以機器學習(Machine Learning)技術進行功能訓練;其架構可辨識出人體頭部、頸部、肩膀等共同特徵,並進行一系列優化以降低影像數據量,最後產出即時的影片分割效果。

此模式需要至少達到 30 FPS 的運算結果,而新技術的運算速度夠快足以用於影片拍攝,例如使用 Google Pixel 2 可達 40+ FPS、蘋果 iPhone 7 更能超過 100+ FPS。

不過由於新技術目前存在於 YouTube stories 功能裡,而 YouTube stories 仍在測試階段,尚未正式開放給一般用戶使用,好奇的讀者們只能耐心等待功能正式上線,Google 也計劃將新技術廣泛應用在其他 AR(Augmented Reality,擴增實境)服務上。

附註:YouTube stories 類似於 Instagram、Snapchat 的限時動態,讓 YouTuber 或一般用戶也能透過限時短片的方式簡單分享生活動態、與他人互動。

▲ 仍在測試階段的 YouTube stories。(Source:Google Blog

(圖片來源:Google Blog

延伸閱讀: