在 VR 裡,親手觸摸到虛擬物體是怎樣的體驗?

作者 | 發布日期 2019 年 09 月 17 日 7:30 | 分類 VR/AR , 科技趣聞 , 穿戴式裝置 follow us in feedly


頭戴顯示器騙過了視覺,控制器卻騙不過觸覺,是目前很多 VR 裝置的尷尬之處。

如果你是第一次玩 VR,戴上頭顯看到逼真的影像後,多少會下意識伸手去摸。手伸出去後,卻發現穿過虛擬物體,視覺和觸覺不一致,沉浸感頓時被打破。

通常,拿起有位置追蹤功能的控制器後,你才能和虛擬物體互動。因為成熟的技術和性價比,控制器是 VR 裝置現在主流的互動方式。然而,控制器並不最簡單、直覺、自然──多少次你想伸手去抓一個物體,需要大腦把這個動作轉化成「按下控制器的某個按鍵」。

▲ HTC Vive 的控制器。(Source:Unsplash

在沉浸的虛擬環境中,不用經過大腦動作,才是最符合自然行為的互動方式。

深圳新創企業 Dexta Robotics 正往這方向發展。創立於 2014 年的 Dexta Robotics(岱仕科技),將機器人技術和動作捕捉技術結合,打造一款便攜、無線的力反饋手套 Dexmo。

Dexmo 可以做到什麼?

2019 年 6 月,經過 2 年多開發者版本測試改進後,力反饋手套 Dexmo 企業版正式發售。

觸覺可分為動覺和觸覺,前者讓人感受到物體的形狀、重量和硬度,後者讓人感受到物體的紋理、粗糙度和溫度。雖然 Dexmo 的名字是力反饋手套,但它的觸覺反饋版本也能提供一部分觸覺。

從外形看,Dexmo 像科幻電影怪獸的爪子。這些「爪子」其實是機械外骨骼,承擔收集手指運動數據、提供力反饋的功能。

機械外骨骼是穿在身上的裝置,給予人體額外的動力或能力,比如讓腿殘疾的人自己走上樓。Dexmo 將機械外骨骼這個概念應用到力反饋手套。

整個裝置的穿戴很簡單,主體結構(主控制器)用一條大綁帶固定在掌心,手指結構透過魔鬼氈(力反饋版本)或指套(觸覺反饋版本)附著對應指尖,指尖運動時,機械外骨骼會一起移動。

比如,當你戴著 Dexmo 時,伸手抓一個剛性物體(比如石頭),會感受到機械外骨骼的牽引力,讓手正好停留在虛擬石頭的表面,感受到石頭的形狀和硬度。

▲ 抓剛性物體。

你用手握捏一隻尖叫雞,不僅能摸到形狀,還可以感受到捏它後的反彈力。

▲ 捏尖叫雞。

把手指放在水龍頭下,能感受到水滴向下的衝擊力。

▲ 感知水滴。

Dexmo 的觸覺反饋版本還能模擬一定程度的觸覺,比如摸玻璃、木頭和砂紙,能感受到光滑、粗糙和顆粒 3 種質地。

▲ 觸摸玻璃、木頭、砂紙。

Dexmo 是怎麼做到的?

要達到以上所述效果,Dexmo 需要首先捕捉到手部運動的數據,然後根據數據來模擬力的大小和方向,這兩部分對應的技術模組是「手部動作捕捉」和「力反饋」。

11 個動作捕捉感測器分別整合在 Dexmo 旋轉關節和力反饋單元(每個手指一個)。這意味著,Dexmo 能捕捉 11 個自由度的動作,包括大拇指的 3 個自由度(旋轉、展開和彎曲)和其餘 4 指各 2 個自由度(展開和彎曲)。

▲ 外骨骼的機械設計:42 手指固定裝置、21 驅動機構、1 底座、511 無線通訊模組。

用戶戴上 Dexmo 手套開始運動後,感測器會將捕捉到的運動數據傳輸到電腦。電腦將數據輸入虛擬空間的 3D 手部模型,讓模型和真實手部保持同步運動。

也就是說,Dexmo 為用戶當下進入的虛擬空間,創建了一對虛擬手。用戶在真實世界的手部運動,會全部反射到虛擬手。

▲ 手部動作捕捉。

一旦虛擬手和虛擬物體碰撞,電腦會算出實際應生成的力(包括向量方向和大小),然後對力反饋單元下達指令。這時,力反饋單元裡的電機會計算出力的大小,然後輸出大小可變的力反饋。

▲ 力反饋單元的機械設計:71 旋轉感測器、211 電機、52 處理器、22 連桿。

簡言之,就是外骨骼結構透過施加反向的力,把手指固定住;就好像現實世界中,手指觸摸到一個實體,會固定在表面。

▲ 力反饋。

值得一提的是,當用戶觸摸柔性物體時,比如捏尖叫雞,力反饋單元剛開始輸出的力比較小,容易擠壓;隨著物體變形,力反饋單元輸出的力會變大,變得難以擠壓,直至在某一個位置停住用戶的手。

Dexta Robotics CEO 谷逍馳告訴 PingWest,類似的現有產品,Dexmo 是唯一一個做到柔性反饋的。

除了力反饋,Dexmo 還提供一定程度的觸覺反饋,也就是上面所說摸玻璃、木頭和砂紙能感受到光滑、粗糙和顆粒 3 種質地。谷逍馳表示,Dexmo 的觸覺反饋類似 iPhone 的虛擬按鍵,透過線性振動馬達輸出不同的振動波形模擬不同表面的觸感。目前 Dexmo 有 5 種基本波形,透過排列組合,可獲得不同的觸感。

Dexmo 可用在什麼地方?

動作捕捉、力反饋和觸覺反饋這些特性,讓 Dexmo 具備模擬逼真動覺和觸覺的能力,幫助用戶完成控制器難以做到的精細動作。

「我們了解到,現在 B 端一些客戶覺得只有控制器的 VR 裝置就是玩具,他們需要能完成精細動作的互動工具。」谷逍馳說。

Dexmo 企業版已經正式開始量產發售,汽車製造是 Dexmo 應用一大領域,奧迪、福特、豐田、本田等車企都是客戶。Dexta Robotics 說,有車企正在使用 Dexmo 培訓新入職工學習安裝線束,讓工人的動作準確反映至虛擬訓練,靈活使用手指學習操作步驟,並及時評估,確保工人正式上產線前達到要求。

除了工人培訓,Dexmo 還能應用於改進車輛的設計流程。汽車設計師可在 VR 裡即時觸摸到新設計並檢測創意,不再需要製作昂貴耗時的物理原型。

汽車企業之外,Dexmo 還由航太、大學、醫院等機構採用,比如機艙緊急逃生培訓、可視化操作、組裝機械。

▲ 機艙緊急逃生培訓。

▲ 可視化操作。

▲ 用 Dexmo 在虛擬環境力練習組裝無人機。

為了方便 B 端客戶使用,Dexmo 提供了SDK(應用程式接口),支援 Unity 和 UE4 平台,且具有手部互動物理引擎。企業和開發人員可以透過互動模組自行構建應用程式。

除了 B 端的客戶,PingWest 還獨家獲知,三大 VR 頭戴裝置廠商(HTC、Oculus、Sony)其中 2 家跟 Dexta Robotics 有多次接觸,未來有望看到 Dexmo 被整合進去。或許過不了多久,Dexmo 不僅可在 B 端專業操作場景發揮作用,還會用於 VR 打麻將這類休閒遊戲。

(本文由 PingWest 授權轉載;首圖來源:Unsplash