一年一度 IEEE VR 大會將於 3 月 27 日至 4 月 1 日線上舉行，為展示虛擬、增強和混合實境（VR / AR / XR）領域最新研究成果的重要國際性會議，IEEE VR 2021 自然將出現不少創意作品。
如瑞士蘇黎世聯邦理工學院電腦科學系就研發一種手環，戴上這手環，就可以彈空氣鋼琴。
（Source：影片截圖）
左右手比一下，即可調整圖片位置和尺寸。
「虛擬鍵盤」也出現了。
研究成果以預印本公開，將在 IEEE VR 2021 發表，題目為〈TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing〉（TapID：虛擬實境使用可穿戴感測的快速觸摸互動）。
快速觸摸互動內建 2 顆慣性感測器
眾所周知，隨著硬體和算力提升，VR 可產生更逼真有吸引力的場景。
VR 越來越流行，傳統產品透過控制器或鏡頭追蹤四肢互動。然而研究團隊看來，空中互動是阻礙 VR 場景生產力的關鍵因素，因 VR 場景需長時間持續互動，而傳統方式無法滿足需求。
VR 系統觸控互動的核心挑戰就在精確偵測觸控事件。頭戴式系統可追蹤手部動作，單一優勢會導致深度感測不準確，使觸摸／非觸摸辨識和接觸定位產生挑戰性。
研究員已提出許多方法，透過整合可靠的觸摸檢測和抑制濾波器，嘗試用深度鏡頭精確檢測。當然不論濾波器還是相機幀率，都會限制系統精確檢測的互動速度。
為了滿足互動需求、保證用戶得到片刻休息，研究團隊設計快速觸摸互動，即名叫 TapID 的手環──其實最新 MR 系統已結合輸入檢測的手勢辨識，AR 設備（如微軟 Hololens 2）和 VR 設備（Oculus Quest 2）都是。
TapID 外表小巧，兩側嵌有 2 顆慣性感測器。
（Source：SIPLab，下同）
論文稱 TapID 手環是「基於手腕動作的慣性感測系統」。透過感測器，TapID 提供粒度和細微運動檢測。不僅可檢測到某表面（如桌面）的觸摸事件，還可額外辨識手指，二者結合即在 VR 觸發輸入事件。平板和手機應用程式與互動模式可無縫又可靠轉移到 VR 場景。也就是說，用戶使用 VR 設備就像操作常見生產力工具如手機和平板電腦。
用戶使用 TapID 時需兩手各戴一個，這樣 TapID 就能檢測到用戶的手指輕叩等動作。原理在機器學習演算法，可分析人體骨骼系統的獨特振動──這在 VR 環境頗有效。
透過檢測手勢可確定哪隻手指敲擊「鍵盤」，並不需精確的位置訊息。用戶可像現實世界用鍵盤打字，或於某物品表面與虛擬物品互動。
TapID 達成精確檢測
為檢測 TapID 性能，研究團隊設計一系列測試。團隊招募 18 名參與者（14 名男性、4 名女性；年齡為 19~57 歲，平均 28.4 歲），平均手腕長為 16.8 公分（最短 14.6 公分，最長 18.5 公分）。
每輪測試參與者戴上 TaplD，按照指示重複用每根手指展示敲擊動作（敲 30 下），短暫休息後，繼續重複 2 次。每位參與者都在 20 分鐘內完成測試。
團隊測得：
- TapID 事件檢測精度 F1 = 0.997。
- 手指辨識精度單用戶 F1 = 0.93，多用戶改進後 F1 = 0.91，多用戶改進前 F1 = 0.87。
論文顯示，TapID 的檢測準確度明顯超過不少頭顯感測器和攝影鏡頭系統等。
研究團隊總結 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌上做手勢等。
講到懸空打字，也許有人會覺得不可靠，如開源社群 Hackaday 所說：
在虛擬環境用虛擬鍵盤打字，我們不敢保證效果如何，畢竟真正鍵盤更容易摸到，當然可能也更便宜。
不過 Hackaday 表示，設計能準確判斷用戶手指姿態、即時互動的設備，為 VR 領域應用提供新思路。也就是說，不論研究團隊的懸空打字是否有可行性，這項技術確實有效。
或許未來我們可順著這思路，提升與智慧手錶的互動方式。
科技新報粉絲團
加入好友
訂閱免費電子報
