指尖 VR!新型手環精準辨識手指動作,隔空也能打字彈琴

作者 | 發布日期 2021 年 03 月 27 日 0:00 | 分類 VR/AR , 尖端科技 , 穿戴式裝置 Telegram share ! follow us in feedly


一年一度 IEEE VR 大會將於 3 月 27 日至 4 月 1 日線上舉行,為展示虛擬、增強和混合實境(VR / AR / XR)領域最新研究成果的重要國際性會議,IEEE VR 2021 自然將出現不少創意作品。

如瑞士蘇黎世聯邦理工學院電腦科學系就研發一種手環,戴上這手環,就可以彈空氣鋼琴。

(Source:影片截圖)

左右手比一下,即可調整圖片位置和尺寸。

「虛擬鍵盤」也出現了。

研究成果以預印本公開,將在 IEEE VR 2021 發表,題目為〈TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing〉(TapID:虛擬實境使用可穿戴感測的快速觸摸互動)。

快速觸摸互動內建 2 顆慣性感測器

眾所周知,隨著硬體和算力提升,VR 可產生更逼真有吸引力的場景。

VR 越來越流行,傳統產品透過控制器或鏡頭追蹤四肢互動。然而研究團隊看來,空中互動是阻礙 VR 場景生產力的關鍵因素,因 VR 場景需長時間持續互動,而傳統方式無法滿足需求。

VR 系統觸控互動的核心挑戰就在精確偵測觸控事件。頭戴式系統可追蹤手部動作,單一優勢會導致深度感測不準確,使觸摸/非觸摸辨識和接觸定位產生挑戰性。

研究員已提出許多方法,透過整合可靠的觸摸檢測和抑制濾波器,嘗試用深度鏡頭精確檢測。當然不論濾波器還是相機幀率,都會限制系統精確檢測的互動速度。

為了滿足互動需求、保證用戶得到片刻休息,研究團隊設計快速觸摸互動,即名叫 TapID 的手環──其實最新 MR 系統已結合輸入檢測的手勢辨識,AR 設備(如微軟 Hololens 2)和 VR 設備(Oculus Quest 2)都是。

TapID 外表小巧,兩側嵌有 2 顆慣性感測器。

(Source:SIPLab,下同)

論文稱 TapID 手環是「基於手腕動作的慣性感測系統」。透過感測器,TapID 提供粒度和細微運動檢測。不僅可檢測到某表面(如桌面)的觸摸事件,還可額外辨識手指,二者結合即在 VR 觸發輸入事件。平板和手機應用程式與互動模式可無縫又可靠轉移到 VR 場景。也就是說,用戶使用 VR 設備就像操作常見生產力工具如手機和平板電腦。

用戶使用 TapID 時需兩手各戴一個,這樣 TapID 就能檢測到用戶的手指輕叩等動作。原理在機器學習演算法,可分析人體骨骼系統的獨特振動──這在 VR 環境頗有效。

透過檢測手勢可確定哪隻手指敲擊「鍵盤」,並不需精確的位置訊息。用戶可像現實世界用鍵盤打字,或於某物品表面與虛擬物品互動。

TapID 達成精確檢測

為檢測 TapID 性能,研究團隊設計一系列測試。團隊招募 18 名參與者(14 名男性、4 名女性;年齡為 19~57 歲,平均 28.4 歲),平均手腕長為 16.8 公分(最短 14.6 公分,最長 18.5 公分)。

每輪測試參與者戴上 TaplD,按照指示重複用每根手指展示敲擊動作(敲 30 下),短暫休息後,繼續重複 2 次。每位參與者都在 20 分鐘內完成測試。

團隊測得:

  • TapID 事件檢測精度 F1 = 0.997。
  • 手指辨識精度單用戶 F1 = 0.93,多用戶改進後 F1 = 0.91,多用戶改進前 F1 = 0.87。

論文顯示,TapID 的檢測準確度明顯超過不少頭顯感測器和攝影鏡頭系統等。

研究團隊總結 TapID 的一系列用途,包括 UI 控制、敲鍵盤、鋼琴演奏、在桌上做手勢等。

講到懸空打字,也許有人會覺得不可靠,如開源社群 Hackaday 所說:

在虛擬環境用虛擬鍵盤打字,我們不敢保證效果如何,畢竟真正鍵盤更容易摸到,當然可能也更便宜。

不過 Hackaday 表示,設計能準確判斷用戶手指姿態、即時互動的設備,為 VR 領域應用提供新思路。也就是說,不論研究團隊的懸空打字是否有可行性,這項技術確實有效。

或許未來我們可順著這思路,提升與智慧手錶的互動方式。

(本文由 雷鋒網 授權轉載;首圖來源:影片截圖)