近距離了解 Project Soli:Google 這個技術的背景、原理及有趣應用

作者 | 發布日期 2016 年 06 月 24 日 10:04 | 分類 Google , 尖端科技 follow us in feedly
雷鋒網 配圖
官網

2015 年的 Google I/O 上,Google 神秘的 ATAP 部門(Advanced Technologies and Projects)曾經展示過非常酷炫的 Project Soli。因為當時技術還在早期階段,只是小範圍裡給 60 名開發者發放了開發套件,用於內部測試。在今年的 I/O 2016 裡,Google 除了帶來 Daydream、Android N 等重磅更新,ATAP 也低調展示了 Project Soli 的最新進展。我們今天就來扒一扒 Project Soli 的來龍去脈,讓我們深入了解這項技術的原理和應用。



Soli 是什麼

Soli 是一項運用微型雷達監測空中手勢動作的新型傳感技術。這種特殊設計的雷達傳感器可以追蹤亞毫米精準度的高速運動,然後將雷達訊號進行各種處理之後,辨識成一系列通用的交互手勢,方便控制各種可穿戴和微型裝置。

Soli 01

目前 Google 設計的這些通用交互手勢,是基於人們平時所熟悉的一些物理工具和動作,比如按鈕,轉盤和滑桿:

Soli 02

Soli 03

Soli 04

雖然這些動作都是虛擬的,但因為是多個手指之間的相互動作,它可以給用戶很好的觸覺感應和物理反饋。也因為人類有精準的小肌肉運動技能(fine motor skills),它可以讓這些虛擬工具透過我們手勢運動實現很高的流暢性和精準度。

Google 相信這些有物理反饋與觸感的交互方式是比平面的觸摸螢幕或者語音辨識技術更自然的控制方式,為人機介面引入了新的思惟與機會。

 

Soli 與其他手勢追蹤技術的區別

目前關於手掌與手指運動辨識與追蹤的技術,市面上已經有好種不同的解決方案:

微軟 Kinect 為代表的深度感應技術(結構光和飛行時間兩種)

LeapMotion 為代表的紅外線投影與成像

uSense 為代表的光學立體成像技術

相比這幾種常見的解決方案,採用毫米波雷達的 Soli 技術有以下幾種優點:

依賴紅外線的深度感應和投影技術在室外紅外線干擾多的環境可靠性很差,毫米波雷達則無這方面問題。

基於光學立體成像的技術需要相當大的計算量獲取深度數據,高的分辨率較難實現,功耗不低;同時由於依賴可見光,在低光亮環境無法使用,毫米雷達波也無這方面問題。

同時因為毫米波雷達的頻率遠低於紅外線和可見光,相比基於紅外線的時間飛行技術,毫米波雷達可以計算相移(Phase shift)和多普勒效應(Doppler Effect),從而以很低的計算量獲取物體的運動與方向。

毫米波雷達對於一些材料還有很好的穿透性,不受光路遮擋的影響。

因為天線技術近年來有不小提高,不到一平方釐米的面積 Google 就可以把傳感器和天線陣集成到一起,這方便了該技術應用到可穿戴裝置和手機上,而其他的解決方案目前還不能如此小巧:

Soli 05

這次 I/O 2016 大會上,Google 就帶來了跟 LG 合作的智慧手錶,在錶帶處繼承了 Soli 技術,用於捕捉用戶指尖的微小動作。這樣的體積與功耗,傳統手勢感應技術是無法想像。

Soli 06

在這個 demo 裡,展示著用手指的按鍵與滑動兩種動作可以發送不同的指令:

Soli 07

在 Soli 專案的影片介紹裡,也出現了跟智慧手錶相關的設計概念:

Soli 08

是不是很酷炫?智慧手錶受限於螢幕大小,如果觸控操作直接在螢幕上進行的話,手指就會遮擋螢幕;如果設計物理按鍵或者撥盤也很難操作。而這種空中手勢有望解決上面這些問題。

Soli 09

Soli 的原理與實現

目前 Soli 項目公開的技術細節非常少,目前我們知道的是它可能採取了單發射、多接收的天線設計。在天線前面的障礙物會反射電波回到雷達天線,而反射訊號的能量、延時以及都卜勒效應則對應了物體的各項特徵,包括物體的大小、形狀、材料、距離以及速度。

Google 在介紹 Soli 的時候專門強調 Soli 不像傳統的雷達傳感器,並沒有需要很大的頻寬和空間解析度。事實上,Soli 的解析度比手指可以實現的精細動作更低,所以對手指運動的捕捉需要分析反射訊號在時間上的動態變化,這也對手勢辨識的算法提了更高要求。

從原始的雷達訊號到最終的手勢控制需要經歷下面幾步:

  1. 捕捉原始反射訊號
  2. 將接收的時序訊號處理和轉換到 Range Doppler Map
  3. 特徵提取、辨識、定位與追蹤
  4. 從提取的特徵完成手勢辨識

Soli SDK 為第三方開發者提供了上面每一步的程序接口,同時兼容不同類型的雷達,支持從每秒 100 到 10,000 的採樣幀數。

Soli 的雷達採用了調頻連續波 Frequency Modulated Continuous Wave(FMCW)的調製格式。這項技術目前已經用在汽車自動巡航等應用,可以同時實現對物體距離和速度的感應。下面我們結合 NVDIA 最近發表的一篇論文《Short-range FMCW monopulse radar for hand-gesture sensing》來解釋這項技術的原理:

FMCW 這種格式是由周期性鋸齒波函數調製。雷達發射的迅號從物體反射回後產生了時間與頻率上的差異。其中時間的延時 τ 是電波往返的時間,頻率上的變化 fd 則是物體運動導致的都卜勒效應。

Soli 10

我們把接收到的訊號跟原訊號相乘,然後在模擬訊號領域進行低通過濾,這樣就可以產生明顯的 beat 訊號。然後把二維的時序訊號各自做 FFT 轉換,減去靜止不變的背景環境,就可以獲得所需的 Range Doppler Map(RDM):

Soli 11

RDM 的每一格都對應著目標的目前距離和運動速度。因為不同物體可以在不同距離或在相似的距離,但是各自有不同的速度,RDM 便實現了同時追蹤多個物體的效果。比如下圖是一個正在移動的手掌,每一個綠框可以是被辨識出來的手指。

Soli 12

如果我們有多個接收天線,透過比較每個天線之間 RDM 的相位差,我們可以計算出每個物體的到達角度(Angle of Arrival),配合上之前算出的距離,這樣就實現了對物體的空間定位。如果跟傳統的深度感應器進行校準之後,則可以獲得三度深度圖。

Soli 13

我們可以把四度的矢量信號(三度空間位置加上徑向速度)映射到一個手掌模型上,導入後端的手勢學習模型中進行辨識。

這是 5 個不同用戶進行 4 種手勢產生的 RDM,可以明顯看出手勢之間的差異是明顯的,而不同用戶在進行同一手勢時是有很多相似點的。

Soli 14

所以 FMCW 這種格式相比其他雷達有以下這些優點:

  1. 同時計算速度與距離,距離訊息準確度高。
  2. Beat 頻率不高,對應採樣率也低,降低了模擬電路與數位訊號處理的難度,整個算法可以嵌入在低功耗晶片上實現。
  3. 最短測量距離跟訊號波長相關,所以物體可以離天線非常近,甚至可以貼到天線上。

由此可見,Soli 採用的這種 FMCW 技術是它實現微型化雷達和極低功耗的基礎。Google 網站上展示的 2014 年的早期產品原型還是一個巨大的機盒,然後僅一年多之後就把系統縮小到了不到 1 平方公分的面積,其中包含了多種天線和感應器。

Soli 15

Google 對 Soli 的目標是製造出成本低廉、可以大規模量產並且功耗極低的微型雷達晶片,期望可以集成到最小的行動裝置裡面。透過這兩年的發展,可以說 Google 離這個目標已經非常近了。

Soli 的應用

下面整理了一些過去一年早期開發者在使用 dev kit 進行的各種有趣的應用:

因為毫米波雷達對部分材質有一定的穿透作用,反射訊號也有一些差別,有開發者據此設計出材質探測器,不僅可以識別塑料和多種金屬,還能辨識水跟牛奶。

Soli 16

車內手勢是一項有意思的應用,相比可見光和紅外光的技術,Soli 可以完美解決不同光照環境下傳統技術不穩定的問題,而且雷達對捕捉細微運動有很強的優勢。

Soli 17

在 Soli 的幫助下我們對手機觸控螢幕的互動又多了新的一個維度,Hover 在螢幕上的手指現在也可以精確地捕捉和預測了

Soli 18

既然 Soli 可以掃瞄和計算出深度圖,為何不拿來做成 3D 掃瞄與成像的應用?

Soli 19

這個應用很酷炫,手指空中劃出 3D 密碼,抽屜自動開啟!

Soli 20

利用 Soli 對手勢的捕捉設計出一套樂器如何?

Soli 21

一個類似的專案號稱用 Soli 設計了全世界最小的小提琴! 精確捕捉手指的每一點動作然後映射到音符上。

Soli 22

總結

從 2014 年項目開始,到 2015 年 I/O 上發表的初期原型到今年 I/O 帶來的各種創意應用,這兩年 Soli 進展很快。Google 宣稱相比 2015 年的版本,目前晶片面積縮小了 70%,功耗下降了 22 倍,從本來就不高的 1.2 瓦進一步下降到了 0.054 瓦,算法也得到了 256 倍的效率提升。

據媒體報導,Google 年底或明年會有全新的 dev kit 提供給更多開發者,相信在不遠的未來我們將會看到採用 Soli 技術的智慧手錶,VR/AR 裝置以及智慧家電出現在市場中。

另 外一個巨大的市場就是可穿戴裝置,事實上 ATAP 的另外一個神奇專案 Project Jacquard 正在跟 Levi 牛仔合作一種可觸摸布料,用於製造智慧外套。Soli 採用的雷達技術正好可以穿透許多傳統的紡織材料,很可能成為來為智慧服裝標配的交互途徑。Soli 這種新穎的雷達技術以後也可以跟其他射頻與傳感技術進行融合,或許可以創造出更多意想不到的應用。

 

(本文由 雷鋒網 授權轉載;本文作者陳哲,現為 Google Glass 部門高級軟體工程師,關注智慧型感應、VR/AR、可穿戴設備等領域。曾任加拿大黑莓軟體工程師,從事無線通信和感應器軟體方面的設計與開發。加拿大 McGill 大學電子工程專業榮譽學士,滑鐵盧大學電子工程碩士。;首圖來源:Google

延伸閱讀:

發表迴響