只需要一張正面全身照,Photo Wake-Up 演算法便能讓照片人物動起來

作者 | 發布日期 2019 年 06 月 23 日 9:11 | 分類 AI 人工智慧 , 尖端科技 follow us in feedly


要為特定對象打造 3D 模型,通常需要多個角度拍攝的對象照片,但現在 Facebook 和華盛頓大學研究人員已經開發出可以繞過這種限制的 AI 演算法,即使是卡通人物也好,只需要一張清晰的正面全身照便都能產生相當精確的 3D 模型。

在辨識出影像中的人或卡通人物後,Photo Wake-Up 演算法會將背景與目標人物劃分開來,為其打造符合身體輪廓的 3D 模型,接著再將模型投影回 2D 平面使其與人物位置相符,最後運用原始影像數據產生模型的背面,縫合兩者讓主體看起來就像完整的 3D 人物。

就像過去流行過各種 3D 錯視圖片的進化版,Wake-Up 演算法編輯後的照片中目標人物將從背景中「浮出」,以 3D 形式脫離原始背景行走、跑步、坐下或跳躍,而人物原始存在的地方也不會是挖空的剪影,系統會自動以圖片元素填充其空白處。

Wake-Up 的應用不僅於此,由於演算法會自動辨識人物身體範圍並建造 3D 模型,使用者也可以透過調整 3D 模型的關節來改變人物動作姿勢,進而得到一張彷彿在同景色中拍攝的全新照片。

當然,這項應用仍存在著一些限制,包括要叫醒的對象最好是在圖片中從正面呈現,系統也還無法處理交叉的腿或大部分身體被阻擋的情況,但可以輕鬆想見這項技術應用於博物館、美術館等環境,結合 AR 技術讓參觀者與展品的交流更為生動。

儘管模型看起來不完全擬真,有些甚至就像是任天堂 64 遊戲中跑出來的角色,但也正是這種半擬真的風格更令人感到討喜,可想見相較起模仿人類的 deepfake 應用,這項技術在正面應用上明顯更為廣泛。

(首圖來源:arXiv via Photo Wake-Up 研究團隊)

關鍵字: , ,