不怕路人意外入鏡,GitHub 工具可一鍵移除不想要的物體

作者 | 發布日期 2019 年 07 月 29 日 18:43 | 分類 AI 人工智慧 follow us in feedly


要拍攝一部完美的影片需要許多前置作業,有時候一切都恰到好處,卻就是有那麼個路人、車輛或其他移動物體意外入鏡,雖然多數人都知道如何裁剪或修改照片來移除不需要的東西,但在影片要這樣做完全是另一回事。

以目前來說,要從影片移除特定物體需要專業的技能和軟體,同時操作也相當耗時,但現在一個新的 Github 項目將使任務變得更簡單:只要透過簡單指定對象,你便可以從影片有效地「抹掉」它。在 GitHub 已有的範例,我們可看到使用者操作非常簡單,只需要簡單圈選目標對象,系統便會追蹤並刪除框架內的視覺內容,接著再運用推理重建圖片遺失或損壞部分的技術「修復」填補留下的洞。據了解,這個 GitHub 項目的靈感來自兩篇 CVPR 論文:SiamMaskDeep Video Inpainting,其中預先訓練的 SiamMask 可持續遮蓋對象,並以每秒 55 幀的速度跟蹤對象保持遮蓋,而 Deep Video Inpainting 則是重建圖片遺失或損壞部分的技術,透過合成、平滑影片內容來「修復」留下的空洞。

透過安裝預先訓練的 SiamMask 和 Inpainting 模型並將其放在「cp /」資料夾,用戶可輕鬆運用邊框指定隱藏任何東西。

從上面的 GIF 例子可看出,背景越簡單修復效果越好,在複雜背景下不對齊或重影的問題就可能出現。儘管目前來看,物體去除技術明顯還不夠完美,但結果仍然令人印象深刻,可想見未來影片編輯很快就會有更便利的工具可使用。

(圖片來源:GitHub