微軟尖端科技 HoloLens 的前世今生

作者 | 發布日期 2019 年 02 月 28 日 8:58 | 分類 Microsoft , VR/AR , 穿戴式裝置 follow us in feedly

2 月底的 MWC(Mobile World Congress,世界行動通訊大會),微軟 CEO 薩蒂亞‧納德拉(Satya Nadella)、全球資深副總裁朱莉亞‧懷特(Julia White)和艾力克斯‧基普曼(Alex Kipman)都到場出席,並發表了 HoloLens 2。



HoloLens 是微軟的混合實境頭戴顯示器,於 2015 年 1 月問世。納德拉曾多次在公開場合提及 HoloLens 的重要性:混合實境、人工智慧和量子計算將是未來三大主要技術。

由於微軟的混合顯示業務一直專注於 B 端市場和垂直產業,很多消費者還沒有機會接觸到 HoloLens 這堪稱「黑科技」的產品。但事實上,HoloLens 背後的技術普通消費者接觸過,載體正是消費電子界頗有聲望的 Kinect。

Kinect 之父基普曼曾說,HoloLens 的開發團隊和 Kinect 是原班人馬,在 HoloLens 辨識並追蹤人的行動,實際上是把遊戲主機 XBox 的體驗延伸到另一個平台。

曾經的黑科技:Kinect

Kinect 是微軟 2010 年為 Xbox 360 遊戲主機推出的操控周邊設備,能把用戶的手勢、姿態轉為輸入指令。

按照微軟的說法,Kinect 為第一款內建機器學習技術的消費級裝置。當時的背景下,Kinect 是徹頭徹尾的黑科技。同時代的 Wii 和 PlayStation,都需要用戶手持控制器才能輸入姿態,而 Kinect 完全依靠鏡頭就解決了,且效果更好。

外形上看,Kinect 有 3 個鏡頭。從左至右分別是:紅外線發射器、彩色 CMOS 鏡頭、紅外線 CMOS 攝影機。第一個和第三個構成深度感測器,讓 Kinect 讀懂房間的空間資訊以及人物的行動資訊。

Kinect 還內建語音辨識麥克風,當用戶呼叫「Xbox On」,就會打開 Xbox One。

這些領先的功能,後來都在其他消費電子產品看到,比如 Google Tango 計畫、 蘋果「Hey Siri」及 iPhone X 的 3D 人臉辨識。

有意思的是,iPhone X 和 Kinect 還有淵源。Kinect 的技術部分授權自 PrimeSense,後者於 2013 年被蘋果收購。蘋果將 PrimeSense 的技術應用在人臉辨識。

Kinect 發表後 60 天內,便賣出驚人的 800 萬部,成為當時銷售速度最快的消費級電動周邊。打破這紀錄的是蘋果 2011 年發表的 iPhone 4s,發表後 78 天內銷量高達 3,300 萬部。

儘管發表之初非常受消費者歡迎,但 Kinect 還是逐漸走下坡。最主要的原因是,「微軟沒能說服頂尖的遊戲工作室認真投入 Kinect」,這導致 Kinect 一直都是休閒遊戲為主,沒有殺手級應用。

2014 年,微軟不再將 Kinect 和 Xbox 遊戲主機綑綁銷售。2017 年 10 月,微軟正式停產 Kinect,共銷售約 3,500 萬台。

Kinect 雖然停產,但許多技術依然在微軟其他產品發光發熱,比如人工語音助理 Cortana,人臉 ID 系統 Windows Hello。當然,還包括集 Kinect 技術大成者──HoloLens。

Kinect 技術的繼承者:HoloLens

Kinect 發表的 2010 年,基普曼就開始研發另一個項目 Project Baraboo,一副集大成的全息眼鏡:將虛擬影像投射在真實世界,用戶以手勢和語音互動。2015 年 1 月,成果正式發表,微軟命名為 HoloLens,開發者版售價 3,000 美元。

這是個一體裝置,自備計算處理單元,搭載英特爾 14 奈米製程的 Cherry Trail CPU+GPU,以及自研的 HPU(Holographic Processing Unit,全息處理單元)。

HPU 採用台積電 28 奈米製程,整合 24 個核心。每秒可執行約 1 兆次計算,且傳輸到 CPU 的資料幾乎不需額外處理。

HoloLens 有 4 個環境感知鏡頭、1 個深度鏡頭、1 個視訊鏡頭,和 Kinect 的深度感知一脈相承。

互動方式部分,HoloLens 支援語音和手勢控制。使用語音喚醒詞「Hey Cortana」觸發後,可用語音開啟應用、拍照。

微軟將手勢操作命名為「Air Tap」,基本姿勢是:將手置於頭顯前方,食指豎直,其餘手指輕輕合攏。食指朝下方點擊,這就是空中點擊。

系統面,HoloLens 搭載 Windows Holographic。這個平台是 Windows 10 的分支,可執行 Windows 通用應用。

微軟並沒有把 Windows Holographic 限制於 HoloLens。2016 年 6 月,微軟在台北國際電腦展宣布,將 Windows Holographic 平台開放給 OEM、ODM 和硬體合作夥伴。合作夥伴負責製造 VR 頭戴顯示器和配件,Windows Holographic 負責提供操作介面、內容應用商店、真實物體理解能力及 Inside-Out 追蹤能力。

2017 年 3 月,微軟正式把 Windows Holographic 平台更名為 Windows Mixed Reality 平台。

不做遊戲,做生產力工具

和 Kinect 是遊戲周邊設備不同,HoloLens 定位為生產力裝置,製造、建築、醫療、汽車、軍事等垂直產業都是方向,最知名的案例是蒂森克虜伯(ThyssenKrupp AG)。

2016 年,微軟宣布提供世界知名電梯廠商蒂森克虜伯 2.4 萬台 HoloLens,用於技術人員維修電梯。

維修前戴上 HoloLens,蒂森克虜伯技術人員可在眼前看到維修服務要求、將要維修的電梯三維影像,影像任何部分都可放大研究。

維修時戴上 HoloLens,技術人員可看到以前的維修紀錄、調出電梯模擬圖、使用 HoloLens 內建的 Skype 呼叫遠端支援。

過去,這些作業都需要技術人員操作筆電完成。戴上 HoloLens 後,技術人員只需動動手指、說兩句話,就能調出各種資料及呼叫專家。蒂森克虜伯表示,配備 HoloLens 後,技術人員可在 20 分鐘內,解決以往需要 2 小時才能搞定的問題。

2018 年 Build 大會,微軟將垂直產業的經驗提煉出來,推出 Microsoft Remote Assist 和 Microsoft Layout 兩款針對工業的標準化應用。

Microsoft Remote Assist 能讓配戴 HoloLens 的工作人員將第一視角畫面分享給遠端協作者。協作者在 PC、平板或手機檢視,並對擴增實境下註釋。

Microsoft Layout 是 3D 模型預覽工具,能將虛擬影像放到真實空間,與 IKEA 的家居預覽應用非常像。

從 Kinect 到 HoloLens,微軟在改革人機互動這條路上已走了 9 年多。Kinect 已折戟沉沙,而繼任者 HoloLens 目前發展良好,傳聞二代將具更小型化的外觀和更強大的 HPU 單元。但隨著蘋果、Facebook、Google 等加入戰場,HoloLens 也將面臨比 Kinect 經歷過更大的挑戰。

(本文由 PingWest 授權轉載;首圖來源:微軟

延伸閱讀: