不用買 iPhone,普通手機也能玩「Animoji」

作者 | 發布日期 2019 年 07 月 09 日 11:21 | 分類 社群 , 科技趣聞 , 軟體、系統 follow us in feedly


7 月 4 日,微軟官方發布消息,測試版的 SwiftKey(註:2016 年,SwiftKey 被微軟收購)中加入了新功能 Puppets,這個新功能提供了熊貓、恐龍、貓頭鷹等多個動物的 3D 形象,還能夠透過 AI 技術即時反映用戶的表情和頭部動態。

儘管 3D 表情近幾年開始席捲全球,但值得一提的是,人們關於創建 3D 動態形象的想法,早在十幾年前就已經生根發芽了。

從好萊塢大片中得到的靈感

2005 年左右,動作捕捉技術還遠未達到成熟階段,即便是在 2009 年上映的《阿凡達》,也需要演員提前在臉上標記特定的小點,穿上帶有特製小球的衣服,幫助光學系統追蹤人臉和身體的動作變化,最終精準地捕捉到人物角色的表情和動作。

(Source:影片截圖)

Faceshift 公司(註:Faceshift 是一家臉部追蹤技術公司,2015 年被蘋果公司收購)的聯合創始人之一 Mark Pauly 表示:

為演員的臉部標點是一個很不錯的想法,因為這樣可以幫助簡化運動追蹤的計算量。但這需要大量的設備,還需要花費大量的時間成本。

Mark Pauly 和其他研究者開始尋求新的方法──開始探索如何使用深度感應相機和演算法來取代傳統的方法,使臉部表情追蹤變得更簡單。而他們的最終目標是製作出可以即時模仿人類表情的動態數位形象。

由於人臉總是持續變化,因此,為了讓機器可以準確辨識出臉部運動,必須讓它辨識出在不同環境或狀態下的人臉,比如變幻的光線、頭部的旋轉角度、人臉的膚色等。接下來就是不斷地訓練演算法來處理這些臉部數據資訊,然後建立大量的 3D 模型,形成模擬形象。

臉部追蹤技術從電影走向手機

在 2013 年開始,蘋果就陸續收購了 3D 感測器製造商 PrimeSense、圖像辨識公司 Perceptio、擴增實境公司 Metaio 和臉部追蹤技術公司 Faceshift。從現在看來,這波瘋狂收購的背後,很大一部分原因是蘋果在為推出 iPhone X 做準備。

2017 年 9 月,蘋果推出了 iPhone X,從外形上來看,除了經典 Home 鍵的消失,螢幕頂端還出現了一塊「瀏海」區域。

(Source:蘋果

在這塊神祕的黑色瀏海之下,內建了麥克風、喇叭、前置鏡頭,以及包括環境光感測器、距離感應器、紅外線鏡頭、泛光感應元件、點陣投影器在內的 5 種感應器。這 5 種感應器組成了原深感鏡頭系統(True Depth Camera System),它可以捕捉並分析用戶的臉部 3D 結構特徵,類似 3D 建模一樣,然後再透過蘋果神經引擎(A11 Bionic Neural Engine)即時處理辨識數據。

基於原深感鏡頭和神經網路的支援,3D 版的 Emoji──Animoji 就這樣應運而生了;用戶可以在使用 iMessage 時開啟 Animoji 錄製一段不超過 10 秒的小影片,而 3D 動畫形象會同步用戶的表情,而且這個功能還支援錄音。

雖然,Animoji 只是做為 iMessage 的一個功能出現,但從 3D 動畫表情創新的層面上來說,Animoji 可以算得上是開山之作,它讓好萊塢大片中的 3D 人臉追蹤技術走向了手機。

(Source:影片截圖)

在蘋果開始採用 3D 結構光技術來支持人臉辨識和 Animoji 之後,三星、華為、小米等手機廠商也在不斷努力之後,實現了這個技術,並打造了屬於自己的「Animoji」,甚至逐漸擺脫了對原深感鏡頭的依賴。

基於深度神經系統的 Puppets

與蘋果 Animoji 不同的是,微軟 3D 動畫表情 Puppets 的載體不在於系統內的短訊(iMessage),而是在於第三方軟體 SwiftKey;這款個性化輸入法基於先進流利的預言推理引擎,能夠進行十分快速的輸入操作──微軟預計,SwiftKey 每周可以節約總計 2,000 萬個小時的打字時間。

除此之外,Puppets 最大的不同在於,蘋果 Animoji 以及其他許多 3D 動態表情都需要原深感鏡頭的支援,進而掃描人臉的 3D 結構圖來建模,而 Puppets 僅用普通鏡頭也能塑造出即時 3D 動態表情。這是因為 Puppets 的運作原理基於一個由志願者提供圖片和影片集成的龐大資料庫,微軟透過這個數據庫來訓練自己的深度神經網路,進而辨識用戶的表情,比如微笑和眨眼,直接進行模仿。

(Source:影片截圖)

用戶可以透過 Puppets 錄製長達 30 秒的影片,影片會即時轉化為 3D 動態形象,這些小影片還可以分享到社交媒體或其他平台上。

微軟產品經理 Deepak Paramanand 表示:

我們希望 SwiftKey 用戶在與家人朋友溝通時,除了預先設置的 GIF 動圖之外,還能有更多的選擇,因此我們創建了 Puppets。人們希望快速打字,SwiftKey 能夠滿足這一點;人們也希望以有趣的方式來表達自己,這一點 SwiftKey 現在也能做到了。

從應用在 3D 電影中的人臉追蹤技術,到蘋果開先河的 3D 動畫表情 Animoji,再到微軟的 Puppets,這些技術和產品或許有其不足之處,但至少可以清楚地看到它們在隨著迭代而成長。

值得一提的是,目前推出的 Puppets 還只是測試版,而且僅限於 Android 手機;更多關於 Puppets 的動態,將會繼續關注。

(本文由 雷鋒網 授權轉載;首圖來源:微軟