手上戴個「圈」就能玩 VR,這是什麼新玩意?

作者 | 發布日期 2020 年 08 月 02 日 0:00 | 分類 AI 人工智慧 , VR/AR , 穿戴式裝置 Telegram share ! follow us in feedly


一說到玩 VR 遊戲,想必你腦袋裡已經浮現出一個看起來有點奇怪的人──他戴著一個碩大的頭戴裝置、兩手握著厚重的控制器,手臂在空氣中張牙舞爪。虛擬遊戲中,他的手緊握手把,變成了哆啦 A 夢一般的圓球,靈活的手指在磅礴奇幻的新世界卻毫無用武之處。

不過很快,我們就不用握手把了。虛擬世界中的手,也將恢復自由。

來自康乃爾大學和威斯康辛大學麥迪遜分校的華人科學家,近日聯合打造了一副「3D 手環」──FingerTrak。

戴上這個「圈」,你十指的動作就都能被精準捕捉,而且它在未來的玩法,可能比你想到的還要多。

研究成果已經發表在《ACM 互動,行動,可穿戴和普及技術期刊》上。

它的面世,意味著可穿戴感測器技術又迎來了新突破。

一個能讀懂你手的「圈」

近年來,精準的手指運動追蹤,已經成了 VR 和 AR 領域研究的熱門技術。

如果你是一個動畫師,應該就知道捕捉人手有多複雜了,手部每個關節的每次彎曲、伸展,都有著無數種可能。

FingerTrak 的最大特色,就是用了一種新技術,來準確預測每根手指的位置——熱感測器追蹤。

這個「圈」看起來就像一個雙層的手環,不過重點是手環周圍安裝的 4 個熱像儀。

(Source:影片截圖,下同)

這些熱像儀非常小,長 5.7mm、直徑 9.3mm,就跟豌豆大小差不多。

它們的尖端都有一個低解析度的紅外線鏡頭,指向手指的一面。雖然解析度較低,只有 32×24 像素,但它們能夠精準地追蹤佩戴者手的運動。

研究裡呈現的紅外熱像儀圖像中,可以看到手指橙色和黃色區域在隨著指尖移動不斷變化。

再透過系統中專門設計的深度神經網路(DNN),就能準確地根據手腕輪廓,預測 20 個手指關節的位置。最後,將各個輪廓的圖像連結在一起,就能以 3D 方式重構整隻手。

接著,重構的手勢訊息就能在虛擬模型甚至是機器人的手上再現。

在研究人員的測試中,裝置能夠準確地仿生人類動作。

學會翻書:

拿筆寫字:

拿杯子喝水:

玩手機:

熱感測器追蹤的新方式,極大改善了手部動作的辨識能力。

因為裝置不再是透過鏡頭直接捕捉手指位置,而是結合熱成像和機器學習技術來「隱形」獲取。鏡頭拍不到的地方、檢測不到的細微運動,將都可以被「看到」。

這也是第一個基於手腕輪廓來重建全手姿勢的系統。

在對 11 位受試者的測試中,研究結果表明辨識角度誤差為 6.46° 至 8.06°,而且背景越均勻,錯誤率就越低。

不能說已經實現了高精度追蹤,但是至少實現了一種更好的手指追蹤解決方案。

玩 VR 不用手把了,但不止於此

研究中的 FingerTrak 原型,是連接 Raspberry Pi 進行的運作。但研究人員表示,未來升級的版本將可以與智慧手機連接,與 VR 眼鏡連接,甚至可以無線連接。

連上之後,你戴著手環就可以玩 VR 遊戲了,手指也能在遊戲中進行更自然和多樣化的操作。

在日常生活中,它的用處就更貼近每個人了。

FingerTrak 將能像智慧手錶一般,監測我們的健康狀況,但比智慧手錶厲害的地方在於,只要你動動手,它就能傳達你的身體狀態好壞。

這對於老年人尤其受用,特別是透過老年人日常生活如何使用雙手,進而監測帕金森氏症和阿茲海默症等疾病的早期徵兆。

在人機互動方面,你還能透過 FingerTrak 介入,讓家裡的機器人模仿人類的動作,更好地為我們服務。

研究人員還指出了一個最有希望的潛在應用:翻譯手語。

畢竟當前的手語翻譯技術,不是需要用戶戴手套,就是需要使用到相機,這兩者體驗都比較麻煩,而 FingerTrak 將能讓手語翻譯變得直接、快速、人性化。

但是,FingerTrak 現在仍處於早期的研究階段,商業化可能還需要幾年時間,畢竟上述所說的任一場景實際使用都不簡單。

比如說,如果要和 VR / AR 應用匹配,替代裝置中的手把控制器,首先就得考慮精準度問題,以及手指之間的配合問題。

畢竟在現實中,少了一根手指,偏移一點位置,我們手中的東西可能都會掉在地上,所以精準度和現實稍有偏失,虛擬世界中的真實體驗就會錯亂。

不過,研究人員表示該裝置採用的組件價格都很實惠,而且數據已經能達到相當高的準確度,這是未來商業化前值得慶幸的一件事。

虛擬實境仍處於起步階段,FingerTrak 的出現已經為我們帶來了新的可能性,也讓人看到了它在未來的巨大潛力。

據悉,FingerTrak 預計將在今年 9 月中旬的 ACM 普及計算國際會議上發布。

我們離理想的手部追蹤還有多遠?

如果只是監測整隻手,其實智慧手錶就可以了。

我們生活中常見的可穿戴裝置,使用陀螺儀和加速計等感測器就能監測手部運動,比如抬起手腕,螢幕就會自動點亮等。

但是,未來要在虛擬世界逼近真實體驗,必須得檢測到每根手指的運動,智慧手錶的監測還做不到。

▲ Google Project Soli 計畫,一種基於雷達的手勢辨識技術。(Source:影片截圖)

手指是表達人類感情的重要一環。手部追蹤技術的研發其實已經走很長一段路了,各種新興技術每年都紛繁顯現。

比如深度感應鏡頭或紅外感測器──普渡大學的科學家就利用深度感應鏡頭來捕獲手部動作,利用深度學習網路來了解數百萬種手勢,然後將它們在虛擬世界中準確顯示。

(Source:影片截圖)

有人還使用運動感應手套──加州大學洛杉磯分校(UCLA)的研究人員公布了一種手套式裝置,透過機器學習輔助的可伸縮感測器陣列,能夠將手語轉換為語音對話,並在手機上播放。

(Source:影片截圖)

甚至還有使用電磁感測器──Oculus 研究部門的成員在 2015 年開發過一種電磁感測器系統,透過安裝在用戶指尖的電磁體和 4 個磁力計來追蹤指尖運動,人們就可以在 VR 遊戲途中停下來,用指尖選擇彈鋼琴或畫畫。

(Source:影片截圖)

但它們都有相同的弊端:要不就是裝置太大太笨重了,要不就是需要高性能 PC 支援、反應滯後,大部分都無法商用。

近年來,隨著 AR / VR 等領域的發展,裝置舒適度和視覺逼真度方面都在升級,研究人員一直在開發比手持控制器更自然的方案,因此手部追蹤技術也更新換代極快。

這種進步主要體現在兩個方面:一是追蹤手指運動的準確性提升,二是裝置尺寸減小及重量減輕。

前者譬如 Sony 在今年 5 月份發布了「可高精度追蹤手指運動的下一代 VR 遊戲控制器」原型,這個握柄根據電極感應來確定手指運動,已經能追蹤到手指的細微動作了,可以做出握拳、彎曲手指,上能比「耶」,下能比「666」,11 種姿勢任君挑選。

(Source:影片截圖)

研究模擬中,玩家可以用手拿起虛擬空間的積木,並一個個搭建起來,只是手指姿勢辨識依然有限。

後者譬如今年 2 月份,華盛頓大學的研究人員開發出一個名為 AuraRing 的戒指,它利用新型的電磁追蹤系統,能夠進行高解析度的光學追蹤,人們只需要在食指套一個 3D 列印的電線線圈,加上遍布感測器的腕帶,手指就能在虛擬世界書寫、敲擊、輕拂、擠壓物體等。

(Source:影片截圖)

輕是輕,小是小,但它的問題就在於,戒指是腕帶感應能力的擴展,要在虛擬世界全盤操作,恐怕得戴滿整隻手才行。

而在 VR 市場,做為代表的 Sony、Oculus、HTC 三家廠商中,Oculus 在頭戴式裝置 Oculus Quest 上也使用到「手勢追蹤」的新技術,它甩開別家廠商的優勢就在於,可以完全不用任何實物就實現手部追蹤。

玩家戴上頭盔,雙手就會映射進虛擬空間,然後你就可以用雙手在裡面做你能做的任何事。

(Source:影片截圖)

這都是基於 Oculus Quest 頂上那 4 顆外置鏡頭,它不僅能掃描周邊空間,確認玩家所處的位置,還能在你望向手指操作時,細化分析每根手指的運動,並延伸到虛擬世界中。

Oculus Quest 已經做到了脫離手機和電腦的一體式設計,再加上手部追蹤技術,就能更讓玩家沉浸感更強,它還可能做為 Facebook AR 頭戴裝置的開端,將真實世界的物體帶入 VR 世界。

不過也因為電腦視覺和定位技術的局限,Oculus Quest 的手勢應用在實際中還是會受到一些限制。

回過頭看,FingerTrak 的設計雖然要帶「手環」,但是最大的優勢就在於「手環」輕便、小巧、可自由移動。

研究團隊表示,透過進一步的工程設計,它的尺寸還能變得更小。

總而言之,手部追蹤要在虛擬世界變得自然無形,必然還有一定距離,但這個距離並不遠。

祖克柏堅信,VR 和 AR 會在 10 年內成為繼行動裝置之後的下一代主要電腦平台,直接改變我們的工作與生活。

調研機構 Gartner 也指出,在 5G 和 AI 的驅動下,從現在到 2028 年,VR 和 AR 將讓用戶體驗將在兩個方面發生巨大變化──用戶對於數位世界的感知,和用戶與數位世界的互動方式。

這意味著我們與數位世界的互動不再只局限於二維螢幕,而是在 VR 和 AR 中充分發揮人類完整的能力,讓數位和現實完全無縫融合。

Oculus 首席科學家 Michael Abrash 在 2020 年電腦視覺和模式辨識大會指出:

未來的 VR 頭顯能夠實現 200 度視場,視網膜解析度,可變焦距,逼真音頻,而 AR 眼鏡則是「超級時尚」,完全可以取代智慧手機,並賦予佩戴者感知超能力。

這也需要同等水平的技術升級,包括光學系統、介面、觸覺、虛擬化身、人體工學等,而手部追蹤,就是其中至關重要的一環。

(Source:Project Soli

當然,對我們來說,最理想的情況,是根本不需要特定方式來追蹤手部。

不過 VR 和 AR 就像一塊嶄新而巨大的​​拼圖,所有可能性都攤落在這片未來的藍圖之中。人人都知道新面貌終將面世,但在這之前,我們還得繼續尋找答案,我們也正努力填充答案。

(本文由 愛范兒 授權轉載;首圖來源:影片截圖)