在 VR 裡，親手觸摸到虛擬物體是怎樣的體驗？

頭戴顯示器騙過了視覺，控制器卻騙不過觸覺，是目前很多 VR 裝置的尷尬之處。

如果你是第一次玩 VR，戴上頭顯看到逼真的影像後，多少會下意識伸手去摸。手伸出去後，卻發現穿過虛擬物體，視覺和觸覺不一致，沉浸感頓時被打破。

通常，拿起有位置追蹤功能的控制器後，你才能和虛擬物體互動。因為成熟的技術和性價比，控制器是 VR 裝置現在主流的互動方式。然而，控制器並不最簡單、直覺、自然──多少次你想伸手去抓一個物體，需要大腦把這個動作轉化成「按下控制器的某個按鍵」。

▲ HTC Vive 的控制器。（Source：Unsplash）

在沉浸的虛擬環境中，不用經過大腦動作，才是最符合自然行為的互動方式。

深圳新創企業 Dexta Robotics 正往這方向發展。創立於 2014 年的 Dexta Robotics（岱仕科技），將機器人技術和動作捕捉技術結合，打造一款便攜、無線的力反饋手套 Dexmo。

Dexmo 可以做到什麼？

2019 年 6 月，經過 2 年多開發者版本測試改進後，力反饋手套 Dexmo 企業版正式發售。

觸覺可分為動覺和觸覺，前者讓人感受到物體的形狀、重量和硬度，後者讓人感受到物體的紋理、粗糙度和溫度。雖然 Dexmo 的名字是力反饋手套，但它的觸覺反饋版本也能提供一部分觸覺。

從外形看，Dexmo 像科幻電影怪獸的爪子。這些「爪子」其實是機械外骨骼，承擔收集手指運動數據、提供力反饋的功能。

機械外骨骼是穿在身上的裝置，給予人體額外的動力或能力，比如讓腿殘疾的人自己走上樓。Dexmo 將機械外骨骼這個概念應用到力反饋手套。

整個裝置的穿戴很簡單，主體結構（主控制器）用一條大綁帶固定在掌心，手指結構透過魔鬼氈（力反饋版本）或指套（觸覺反饋版本）附著對應指尖，指尖運動時，機械外骨骼會一起移動。

比如，當你戴著 Dexmo 時，伸手抓一個剛性物體（比如石頭），會感受到機械外骨骼的牽引力，讓手正好停留在虛擬石頭的表面，感受到石頭的形狀和硬度。

▲ 抓剛性物體。

你用手握捏一隻尖叫雞，不僅能摸到形狀，還可以感受到捏它後的反彈力。

▲ 捏尖叫雞。

把手指放在水龍頭下，能感受到水滴向下的衝擊力。

▲ 感知水滴。

Dexmo 的觸覺反饋版本還能模擬一定程度的觸覺，比如摸玻璃、木頭和砂紙，能感受到光滑、粗糙和顆粒 3 種質地。

▲ 觸摸玻璃、木頭、砂紙。

Dexmo 是怎麼做到的？

要達到以上所述效果，Dexmo 需要首先捕捉到手部運動的數據，然後根據數據來模擬力的大小和方向，這兩部分對應的技術模組是「手部動作捕捉」和「力反饋」。

11 個動作捕捉感測器分別整合在 Dexmo 旋轉關節和力反饋單元（每個手指一個）。這意味著，Dexmo 能捕捉 11 個自由度的動作，包括大拇指的 3 個自由度（旋轉、展開和彎曲）和其餘 4 指各 2 個自由度（展開和彎曲）。

▲ 外骨骼的機械設計：42 手指固定裝置、21 驅動機構、1 底座、511 無線通訊模組。

用戶戴上 Dexmo 手套開始運動後，感測器會將捕捉到的運動數據傳輸到電腦。電腦將數據輸入虛擬空間的 3D 手部模型，讓模型和真實手部保持同步運動。

也就是說，Dexmo 為用戶當下進入的虛擬空間，創建了一對虛擬手。用戶在真實世界的手部運動，會全部反射到虛擬手。

▲ 手部動作捕捉。

一旦虛擬手和虛擬物體碰撞，電腦會算出實際應生成的力（包括向量方向和大小），然後對力反饋單元下達指令。這時，力反饋單元裡的電機會計算出力的大小，然後輸出大小可變的力反饋。

▲ 力反饋單元的機械設計：71 旋轉感測器、211 電機、52 處理器、22 連桿。

簡言之，就是外骨骼結構透過施加反向的力，把手指固定住；就好像現實世界中，手指觸摸到一個實體，會固定在表面。

▲ 力反饋。

值得一提的是，當用戶觸摸柔性物體時，比如捏尖叫雞，力反饋單元剛開始輸出的力比較小，容易擠壓；隨著物體變形，力反饋單元輸出的力會變大，變得難以擠壓，直至在某一個位置停住用戶的手。

Dexta Robotics CEO 谷逍馳告訴 PingWest，類似的現有產品，Dexmo 是唯一一個做到柔性反饋的。

除了力反饋，Dexmo 還提供一定程度的觸覺反饋，也就是上面所說摸玻璃、木頭和砂紙能感受到光滑、粗糙和顆粒 3 種質地。谷逍馳表示，Dexmo 的觸覺反饋類似 iPhone 的虛擬按鍵，透過線性振動馬達輸出不同的振動波形模擬不同表面的觸感。目前 Dexmo 有 5 種基本波形，透過排列組合，可獲得不同的觸感。

Dexmo 可用在什麼地方？

動作捕捉、力反饋和觸覺反饋這些特性，讓 Dexmo 具備模擬逼真動覺和觸覺的能力，幫助用戶完成控制器難以做到的精細動作。

「我們了解到，現在 B 端一些客戶覺得只有控制器的 VR 裝置就是玩具，他們需要能完成精細動作的互動工具。」谷逍馳說。

Dexmo 企業版已經正式開始量產發售，汽車製造是 Dexmo 應用一大領域，奧迪、福特、豐田、本田等車企都是客戶。Dexta Robotics 說，有車企正在使用 Dexmo 培訓新入職工學習安裝線束，讓工人的動作準確反映至虛擬訓練，靈活使用手指學習操作步驟，並及時評估，確保工人正式上產線前達到要求。

除了工人培訓，Dexmo 還能應用於改進車輛的設計流程。汽車設計師可在 VR 裡即時觸摸到新設計並檢測創意，不再需要製作昂貴耗時的物理原型。

汽車企業之外，Dexmo 還由航太、大學、醫院等機構採用，比如機艙緊急逃生培訓、可視化操作、組裝機械。

▲ 機艙緊急逃生培訓。

▲ 可視化操作。

▲ 用 Dexmo 在虛擬環境力練習組裝無人機。

為了方便 B 端客戶使用，Dexmo 提供了SDK（應用程式接口），支援 Unity 和 UE4 平台，且具有手部互動物理引擎。企業和開發人員可以透過互動模組自行構建應用程式。

除了 B 端的客戶，PingWest 還獨家獲知，三大 VR 頭戴裝置廠商（HTC、Oculus、Sony）其中 2 家跟 Dexta Robotics 有多次接觸，未來有望看到 Dexmo 被整合進去。或許過不了多久，Dexmo 不僅可在 B 端專業操作場景發揮作用，還會用於 VR 打麻將這類休閒遊戲。