為什麼在 Meta、微軟元宇宙裡,我們都沒有腿?

作者 | 發布日期 2022 年 02 月 25 日 8:30 | 分類 xR/AR/VR/MR , 元宇宙 , 穿戴式裝置 line share follow us in feedly line share
為什麼在 Meta、微軟元宇宙裡,我們都沒有腿?


當戴 Oculus Quest 2 進入 Meta VR 社交平台 Horizon Worlds 時,需創建虛擬形象代表自己,可它看起來怎麼也不像你,因為沒有下半身,像霍格華茲幽靈漫遊,最近還飄進超級盃廣告

隔壁微軟也這樣,元宇宙入口 Mesh for Teams 的虛擬形象同樣沒有腿。然後你脫口而出:為什麼沒有腿?

加雙腿有那麼難?

Andrew Bosworth 是 Meta Reality Labs 副總裁,帶領 XR 部門期間,養成透過 Instagram 即時問答的習慣。2 月 10 日問答他就承認加腿是件難事。

如果想在 VR 以逼真樣貌呈現雙腿,首先需知道腿在現實的舉動,然後推斷腿在 VR 裡應該做什麼。難點在雖然 Quest 2 能追蹤頭手,估算手臂和胸部的位置,但不知道腿在哪裡。

Quest 2 配備 4 顆廣角灰度鏡頭,2 顆在上方兩角、2 顆在下方偏前。如果我們向前看,這些鏡頭通常可看到手臂,如果坐著或向下看,鏡頭也能看到身體更多部分。但追蹤範圍有限,有時腹部等「障礙物」可能會擋住鏡頭;有時傾斜或轉動頭部,下方鏡頭也無法看到腿。Meta 還想將設備做得更小,鏡頭就更難看到腿了。

(Source:Oculus Quest 2

而另外做腿部設備感測呢?理論可行,但目前幾乎沒有腿部商用感測器和控制器。

HTC 銷售企業用戶 Vive VR 設備,還推出綁在四肢或物體(如網球拍)的追蹤器。不過追蹤器只能與連接電腦設備,且需要設置定位器。說到定位器,「無腿」核心原因就呼之欲出,即 Quest 2 的定位方式。

VR 定位技術可分為兩類,一是 Outside-in,二是 Inside-out。Outside-in 需事先放置多個定位器,定位器會發射雷射、紅外線、可見光等覆蓋定位器之間空間,以建立三度空間資訊,透過三角定位確定使用者位置和移動方向。

(Sourec:WAREABLE

Quest 2 屬於 Inside-out,無需架設定位裝置,只 VR 設備裝鏡頭,讓設備自己檢測外部環境變化,再用 SLAM 演算法算出鏡頭空間位置和移動方向。

簡單來說,Inside-out 定位無需定位器,所以使用空間自由,更適合日常娛樂和移動;Outside-in 可提供更精準、範圍更大的追蹤效果,全身動捕一般靠 Outside-in 的追蹤設置達成。

既然目前做不到全身追蹤,Meta、微軟就將腰部以下「砍掉」了。

定位方式與使用習慣及公司戰略方向有關──科技發展越方便越好,消費者不一定關心是什麼技術。起價 299 美元的 Quest 2 雖然精準度和延遲相對落後,但定位方式對普通用戶來說夠友善。

經營 VR 社群,一直是許多 VR 製造商的目標。Meta 當然希望將 VR 更推向大眾消費市場。更逼真的身體表現固然引起更多人對 VR 的興趣,但也可能使用戶體驗更繁瑣、成本更高,至少短期如此。所謂「兩權相害取其輕」,更低使用門檻對普及 VR 意義重大。

Unity 增強和虛擬實境副總裁 Timoni West 提出一種解決方法──先採集大量走路數據,再利用 AI 據設備檢測到的頭部運動預測腿部運動。AI 可能無法精準預測用戶每個動作,會導致 AI 再現動作不自然;「採集大量走路方式數據」前提也不容易,當未來某時每人家裡都有跑步機可 360 度捕捉腿部運動時,製作人體運動虛擬模型可能就不再困難。

簡言之,如果不在身上或周圍裝設許多感測器,就要求消費產品一體式 VR 設備完美追蹤腿部,基本上不可能。就像 HTC 美國公司總經理 O′Brien 所說:

一般人追求的一直是全身心沉浸式體驗,用一台一體式設備就再現身體每個動作。但我們目前還做不到。

你要跳舞嗎?

2019 年 9 月,Meta 宣布 Oculus Quest 使用深度神經網路準確追蹤手部。戴著 Quest 2,我們可揮手在主介面簡單操作,也可握著控制器在遊戲裡大殺四方。在 Horizon Worlds,飄浮的「無腿怪」可閒逛、結識朋友、開槍殺殭屍或創建世界。

精確的手部追蹤為什麼重要?因解鎖一系列新體驗──用手勢暫停電影,社群遊戲更自然表達,與現實一樣揮手打招呼、猜拳、握手、拿取、擊掌等。相比之下,如果不需跳舞等遊戲用途,腿部追蹤似乎沒那麼必要。就算不用腿部追蹤,軟體也可模擬行走、蹲下等動作。

為了讓步行更逼真,有研究人員推出腳部 VR 力回饋方案。舉例說,行走時體感包括視覺場景變化、腳踩在地面的回饋,以及四肢移動的體感。因此理論上,透過刺激和模擬這些體感、視覺效果,也能模擬逼真的行走體驗。如果只是看不慣,裝「假腿」就夠了。Andrew Bosworth 就這麼想:

我們可為虛擬形象做雙假腿,讓人們看到完整的形象,沒人會知道差別在哪。

當然 Andrew Bosworth 也承認,假腿無法取代真腿。假腿只是能在閒逛、聊天等簡單 VR 社交體驗時讓飄浮的虛擬形像看起來更自然,但沒有靈活的腿,總覺得少了什麼。更沉浸真實的 VR 體驗,我們總需要腿,這方面代表便是 VR 社群平台 VRChat。

VRChat 一大特點是虛擬角色不受限制,二次元飯熟知的 MMD 模型可直接轉換成 VRChat 角色,卡比獸、海綿寶寶、初音未來一起出現。不僅如此,越來越多 VR 舞者藉綁在身上的運動追蹤器來場街舞 battle。

為了在 VR 完成全身舞蹈,南韓 VRChat 舞者 Makoto 的追蹤器特別齊全:有無線附加配件的 HTC Vive、手腕上的 Index 控制器及腰部和腳部 Vive Tracker。

(Source:MAKOTO

VR 愛好者願意為全身追蹤付出許多金錢和精力,意味擁有「真腿」的門檻依然很高。但更長遠看,社群就是圍繞這些活動形成,世界第一個 VR 舞蹈社群 @IDA_officialVR 在 VRChat 舉辦一系列舞蹈比賽,VR 真正連結了可能永遠都不會見面的人們。我們仍期待技術更好、更便宜那天到來,VR 就能提供更多比擬真實的體驗。

或許從「為什麼沒有腿」問題就可看出,比起祖克柏的元宇宙,現在 VR 技術還有些距離,Horizon Worlds 也不是完整的元宇宙。話又說回來,或許不是所有人都喜歡有腿,不是每人都想有反射日常生活的虛擬形象。至少,未來人人皆可觸及的 VR 世界,要讓「飄浮的無腿怪」成為選擇之一而不是遺憾。

(本文由 愛范兒 授權轉載;首圖來源:Horizon Worlds

延伸閱讀: