不用買 iPhone，普通手機也能玩「Animoji」

7 月 4 日，微軟官方發布消息，測試版的 SwiftKey（註：2016 年，SwiftKey 被微軟收購）中加入了新功能 Puppets，這個新功能提供了熊貓、恐龍、貓頭鷹等多個動物的 3D 形象，還能夠透過 AI 技術即時反映用戶的表情和頭部動態。

儘管 3D 表情近幾年開始席捲全球，但值得一提的是，人們關於創建 3D 動態形象的想法，早在十幾年前就已經生根發芽了。

從好萊塢大片中得到的靈感

2005 年左右，動作捕捉技術還遠未達到成熟階段，即便是在 2009 年上映的《阿凡達》，也需要演員提前在臉上標記特定的小點，穿上帶有特製小球的衣服，幫助光學系統追蹤人臉和身體的動作變化，最終精準地捕捉到人物角色的表情和動作。

（Source：影片截圖）

Faceshift 公司（註：Faceshift 是一家臉部追蹤技術公司，2015 年被蘋果公司收購）的聯合創始人之一 Mark Pauly 表示：

為演員的臉部標點是一個很不錯的想法，因為這樣可以幫助簡化運動追蹤的計算量。但這需要大量的設備，還需要花費大量的時間成本。

Mark Pauly 和其他研究者開始尋求新的方法──開始探索如何使用深度感應相機和演算法來取代傳統的方法，使臉部表情追蹤變得更簡單。而他們的最終目標是製作出可以即時模仿人類表情的動態數位形象。

由於人臉總是持續變化，因此，為了讓機器可以準確辨識出臉部運動，必須讓它辨識出在不同環境或狀態下的人臉，比如變幻的光線、頭部的旋轉角度、人臉的膚色等。接下來就是不斷地訓練演算法來處理這些臉部數據資訊，然後建立大量的 3D 模型，形成模擬形象。

臉部追蹤技術從電影走向手機

在 2013 年開始，蘋果就陸續收購了 3D 感測器製造商 PrimeSense、圖像辨識公司 Perceptio、擴增實境公司 Metaio 和臉部追蹤技術公司 Faceshift。從現在看來，這波瘋狂收購的背後，很大一部分原因是蘋果在為推出 iPhone X 做準備。

2017 年 9 月，蘋果推出了 iPhone X，從外形上來看，除了經典 Home 鍵的消失，螢幕頂端還出現了一塊「瀏海」區域。

（Source：蘋果）

在這塊神祕的黑色瀏海之下，內建了麥克風、喇叭、前置鏡頭，以及包括環境光感測器、距離感應器、紅外線鏡頭、泛光感應元件、點陣投影器在內的 5 種感應器。這 5 種感應器組成了原深感鏡頭系統（True Depth Camera System），它可以捕捉並分析用戶的臉部 3D 結構特徵，類似 3D 建模一樣，然後再透過蘋果神經引擎（A11 Bionic Neural Engine）即時處理辨識數據。

基於原深感鏡頭和神經網路的支援，3D 版的 Emoji──Animoji 就這樣應運而生了；用戶可以在使用 iMessage 時開啟 Animoji 錄製一段不超過 10 秒的小影片，而 3D 動畫形象會同步用戶的表情，而且這個功能還支援錄音。

雖然，Animoji 只是做為 iMessage 的一個功能出現，但從 3D 動畫表情創新的層面上來說，Animoji 可以算得上是開山之作，它讓好萊塢大片中的 3D 人臉追蹤技術走向了手機。

（Source：影片截圖）

在蘋果開始採用 3D 結構光技術來支持人臉辨識和 Animoji 之後，三星、華為、小米等手機廠商也在不斷努力之後，實現了這個技術，並打造了屬於自己的「Animoji」，甚至逐漸擺脫了對原深感鏡頭的依賴。

基於深度神經系統的 Puppets

與蘋果 Animoji 不同的是，微軟 3D 動畫表情 Puppets 的載體不在於系統內的短訊（iMessage），而是在於第三方軟體 SwiftKey；這款個性化輸入法基於先進流利的預言推理引擎，能夠進行十分快速的輸入操作──微軟預計，SwiftKey 每周可以節約總計 2,000 萬個小時的打字時間。

除此之外，Puppets 最大的不同在於，蘋果 Animoji 以及其他許多 3D 動態表情都需要原深感鏡頭的支援，進而掃描人臉的 3D 結構圖來建模，而 Puppets 僅用普通鏡頭也能塑造出即時 3D 動態表情。這是因為 Puppets 的運作原理基於一個由志願者提供圖片和影片集成的龐大資料庫，微軟透過這個數據庫來訓練自己的深度神經網路，進而辨識用戶的表情，比如微笑和眨眼，直接進行模仿。