被蘋果稱為「空間運算設備」的第一款 Vision Pro 終於正式亮相，產品尚未正式上市、來到用戶手上之前，外界對它有著許多好奇和想像。
隨著蘋果揭曉 Vision Pro，曾在該公司的擔任神經科技原型研究人員的 Sterling Crispin 發表推文，不僅分享他對開發 Vision Pro 所做的貢獻，更透露它還未對用戶好好展現的強大技術力。
Vision Pro 可將數位內容無縫融入真實世界，並擁有全 3D 使用者介面，透過用戶的眼睛、雙手或者聲音，能以自然、直覺的方式操控，彷彿用意念就能控制一切。由於 Vision Pro 內建了高效眼追蹤系統，使用高速攝影機和一圈 LED 投射不可見的光圖像至用戶雙眼，以獲取即時的直覺回饋。
Sterling Crispin 在蘋果所做的工作多是有關用戶的沉浸式體驗，根據用戶身體和大腦反應的數據資料來偵測他們的心理狀態。大部分工作雖然有簽保密協議，不得對外透露，但有些內容已經透過專利對外公開。
他舉例，Vision Pro 可在用戶點擊某處之前預測點擊行為，看起來很像讀心術，實際卻能透過 Vision Pro 辦到。
I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved that it’s finally… pic.twitter.com/vCdlmiZ5Vm
— Sterling Crispin 🕊️ (@sterlingcrispin) June 5, 2023
當用戶處在 VR（Virtual Reality，虛擬實境）或 MR（Mixed Reality，混合實境）環境下，AI 模型試圖預測用戶是不是感受到好奇、思緒漫遊、害怕、注意力集中、回憶過去經歷或其他狀態，這些心理狀態可以透過眼動追蹤、腦電活動、心跳和心律、肌肉活動、腦中血液密度、血壓、皮膚導電等量測來推斷。
要能預測用戶的點擊行為，絕對是一項艱鉅的挑戰。其一觀察到用戶的瞳孔在點擊前會做出反應，部分原因可能是用戶預期在點擊後會發生一些情況，因此透過監測用戶的眼動行為來建立大腦的生物回饋，並讓 UI 來適應用戶。其他推斷心理狀態的方式，像是對用戶快速閃爍視覺效果或播放聲音，然後監測他們的反應。
有另一項專利詳細介紹如何使用機器學習以及來自身體和大腦的信號預測用戶的注意力、放鬆程度或學習情況，然後更新虛擬環境以強化當下狀態，例如透過改變背景可看到、可聽到的內容，幫助用戶完成工作、學習或者放鬆。
然而值得思考的是，蘋果強調以隱私和安全為基礎打造 Vision Pro，宣稱用戶的瀏覽內容和眼追蹤資訊不會分享給蘋果本身、第三方網站或服務，來自攝影機和其他感測器的資料則直接在系統端處理，這對用戶而言就萬無一失嗎？用戶的雙眼時時刻刻被監測，而如此貼近用戶真實且即時的行為紀錄，是否會暗地運用在其他用途上？外界存在質疑的聲音。
蘋果這次大會最後的「One more thing」端出傳聞已久的 Vision Pro，帶領人們從「PC 運算」、「行動運算」大步跨入「空間運算」新領域。距離明年上市還有一段時間，蘋果不只要努力讓用戶有感體驗，對於質疑安全性的聲音也應有更具體的回應。
（圖片來源：蘋果）
科技新報粉絲團
加入好友
訂閱免費電子報
