神奇影片修復 AI，可換天造物秒變科幻大片

AI 修圖到底有多強？前幾日 Adobe Max 大會剛結束，Photoshop 2021 版便登上各大媒體版面。

因新版 PS 工具內建 AI 驅動工具，如「天空置換」等高難度修圖問題，現在點點滑鼠就輕鬆達成，效果遠超過人手慢慢修。

無論拍人拍景或其他，「天空」都是攝影的關鍵元素。如一張平平無奇的景色圖加上落日餘暉的天空色調，是不是更有味道？

對短片愛好者來說，修影片如果也能達到如此境界，豈不是高興到飛上天？

沒錯，今天就是要介紹一款基於原生影片的 AI 處理工具，不僅可一鍵更換天空背景，還可打造各種「天空之城」。

AI 影片新玩法

這項 AI 處理工具來自密西根大學的華裔博士後最新研究，基於視覺技術可一鍵調整影片天空背景和轉換天氣。

如《星際爭霸戰》等科幻電影經常出現的浩瀚星空、宇宙太空船，也可利用這項技術融入隨手拍的影片。

（Source：SkyAR，下同）

公路片秒變科幻片，毫無違和感。影片的藍色天空也隨太空船變成灰濛濛色調，世界末日感馬上就出來了。

當然玩法還不只如此。動漫迷也可創建自己的移動城堡。喜歡《天空之城》、《霍爾的移動城堡》的人應對下面這幕非常熟悉。

或掛上一顆超級月亮，又是另一番景象。

只要腦洞夠大，利用這項 AI 技術，影片創作就有無限玩法。

另外還有天氣轉換功能，如晴空萬里、陰雨綿綿、雷雨交加等各種天氣，都可隨意切換。

喜歡玩 Vlog 的朋友是不是心動了？研究人員表示，現在已考慮製作成外掛程式／腳本，方便業界或個人使用。

在此之前，這項技術的 AI 代碼已在 Github 開源，懂技術的讀者可先安裝玩玩看。

技術原理

不同於傳統研究，研究人員提出一種完全基於視覺的解決方案。好處就是可處理非靜態圖像，同時不受拍攝設備限制，也不需要用戶互動，可處理線上或離線影片。

上述實驗影片，均是透過智慧手機和行車記錄器在野外拍攝。經過處理後，影片畫質、運動動態、照明轉換方面都還有較高保真度。如浮動城堡、超級月亮範例，使用單張 NVIDIA Titan XP GPU 卡，可輸出解析度 640×320 達 24fps 的即時處理速度，854×480 時達近 15fps 即時處理速度。

此工具分為 3 個核心模組：

天空遮罩框架（Sky Matting Network）：檢測影片幀天空區域的影片框架。採用基於深度學習的預測通道，產生更精確的檢測結果和更具視覺效果的天空模版。
動態預測（Motion Estimation）：恢復天空動態的動態估算器。天空影片需在真實攝影機運動下渲染及同步。
圖像混合（Image Blending）：將用戶指定的天空模板混合到影片幀的 Skybox。除此之外還能重置和著色，使混合結果在顏色和動態範圍內更逼真。

完整框架如下圖：

天空遮罩框架：利用卷積神經網路（CNN）的優勢，在一畫素級回歸框架下預測天空冰雹，可產生粗細兩種天空模版。天空遮罩框架由一個分段編碼器（ Segmentation Encoder ）、一個掩模預測解碼器（Mask Prediction Decoder）和一個軟細化模組（Soft Refinement Module）組成。編碼器的目的是學習採樣輸入圖像的中間特徵。解碼器訓練和預測粗糙的天空。優化模組同時接收粗糙的天空模版和高解析度輸入，並生成高精度的天空模版。

動態預測：研究人員直接預測目標在無窮遠處的動態，並創建圖像混合的天空盒（Skybox），透過將 360 度天空盒模板圖像混合到透視窗口，渲染虛擬天空背景。

假設天空模式運動是由矩陣 M ² R ³³模擬，由於天空中物體（如雲、太陽或月亮）應在同位置，假設透視變換參數是固定值，並已包含於天空盒背景圖像，然後使用更新 Lucas-Kanade 和金字塔方法計算光學流，進而逐幀追蹤一組稀疏特徵點。對每對相鄰幀，給定兩組 2D 特徵點，使用基於 RANSAC 的強健性模糊估計計算有 4 個自由度（僅限於平移、旋轉和均勻縮放）的最佳 2D 變換。

圖像混合：預測天空模版時，輸出畫素值越高，表示畫素屬於天空背景的機率越高。常規方法通常利用圖像遮罩，將新合成的影片幀與背景線性組合，以當作畫素級組合權重。

但由於前景色和背景色可能是不同色調和強度，因此直接進行上述方法可能會導致不切實際的結果。研究人員應用重新著色和重新照明技術，將顏色和強度從背景轉移到前景。