蘋果詳細簡報了 iOS 11 的 ARKit：讓人驚豔，但還有後招

蘋果日前在 WWDC 尾聲的簡報揭露了更多 iOS 11 ARKit 的技術內容，以及目前的限制。而在 ARKit 搭配 iOS 11 推出預覽版後，許多開發者除了開始體驗這款新 SDK，先前關於 iPhone 8 的 3D 感測器傳聞似乎也有了更高的可能性。

ARKit 是什麼？

ARKit 是一系列新的 iOS 開發工具，用途是讓搭載 A9 以上 SoC 的 iOS 裝置，可以透過相機鏡頭，在真實畫面中看到虛擬物件，比如在自己的辦公桌看到寶可夢。雖然技術嚴格來說不新，就是靠著相機拍來的影像，搭配 M 系列運動協處理器整合的資料進行多層座標定位，然後再靠著高效能的 GPU 搭配蘋果自己開發的 Metal API，在相機影像上即時渲染。蘋果把這項技術稱作「Visual Inertial Odometry」。

不過一如蘋果以往擅於「二創」、同時快速打入市場的能力，相比有類似功能、但硬體更複雜的微軟 HoloLens、以及 Google Tango，蘋果僅靠著優異的 SDK 與一般手機的鏡頭、感應器，就完成相差不遠的效果，同時還靠著支援現有的數億台 iOS 裝置，大大吸引了開發者的注意力。在 WWDC 的示範影片中，用戶可以在客廳「放」一架虛擬小飛機，然後透過手機螢幕與相機，朝不同的角度觀察它。飛機既不會抖動，也不會位移。當用戶將手機往飛機「拉近」，還可以看到更多細節，就像真的把眼睛貼上去看一樣。

目前的 ARKit

蘋果隨後在 WWDC 的一場 ARKit 小簡報裡談到了更多細節，同時也透露了早在 ARKit 正式公開前的早期合作者，包括了 Ikea 以及 Pokémon GO。新 Ikea App 的功能並不新鮮，就是讓用戶可以透過相機，在家裡擺放虛擬家具，模擬一下實際買回來的感受；至於 Pokémon GO 則是升級了先前宛如貼紙般飄移的寶可夢們，讓牠們會老實地待在平面。鏡頭轉向時，牠們也會跟著位移，保持正面戰鬥的樣子。

除了靠相機以及運動感測器追蹤真實世界的影像，ARKit 的另一項功能是「場景理解」，可以判斷平面，以及平面的高度，也可以透過相機的測光功能來判讀、整合真實世界的光影，避免虛擬物件的存在過於突兀。而由於 AR 的一項重要應用就是遊戲，甚至在新版的 App Store 還從其他 App 獨立出來，擁有自己的獨立 Tab，ARKit 也整合了主流的遊戲引擎 Unity，以及 Unreal Engine。

不過 ARKit 目前也有一些限制。基本的除了相機要能正常運作，ARKit 也需要一組完整的場景，比如相機如果只拍到一面白牆，AR 就會無法運作。此外，目前的 ARKit 也比較靜態取向，如果畫面有太多東西在動，ARKit 也會失效，所幸從目前實測的影片來看，多數的室內平面場景都可以支援；ARKit 所謂的「平面」，寬容度也不小，小至筆電的觸控板，或是掌心都可以；擺放的虛擬物件目前也可以看到成人般的大小。

有趣的是，為了真實呈現平面的意義，ARKit 支援了「地心引力」的效果。因此虛擬物件如果會移動，比如從桌子移動到地板，它將會「摔落」下去。此次蘋果為了演示 ARKit 的效果，也設計了一個範例開發包，可以讓開發者擺放椅子、碗盤這類東西。蘋果也特地展示了「變色龍」：玩家除了可以在觸控螢幕上直接為牠調色，太過靠近牠，牠還會吐舌頭舔你──雖然在蘋果工程師的示範中，變色龍的舌頭似乎因為 Bug，舌長直衝天際。

玩瘋的開發者

而在預覽版推出後，iOS 開發者們也開始競相玩起各種應用，同時放上網路：

Bar charts are so boring!!! #ARKit @thevrara #ios #iosdev #wwdc pic.twitter.com/jpG4VLGZ8n

— azamsharp (@azamsharp) 2017年6月8日

Playing with #ARkit #unity Real time post effects and video recording with #unitychan pic.twitter.com/eP6JQxmwVC

— yumetsu (@yumetsu_vfx) 2017年6月9日

Tracking got a little messed up by the dark but wow! Apples #arkit is nuts. pic.twitter.com/i9SQIAtqK5

— Hammad Bashir (@HammadTime) 2017年6月8日

Doodling with the new #ARKit @Apple @madewithunity #madewithunity #ar #socool
##iOS11 smashes it out of the park! pic.twitter.com/4K0N2wcH4q

— Brandon Sidebottom (@Brannydonowt) 2017年6月8日

Naval battle on our office floor! @Apple ARKit is incredible. We can’t wait to make some games for it! #ar #apple #arkit #AugmentedReality pic.twitter.com/9TFVu3zJUo

— Immersion (@ImmersionVR) 2017年6月8日

iPhone 8 的 AR？

在蘋果推出 ARKit 之後，先前關於 iPhone 8 將會搭載 3D 感測器的傳聞，現在看來可能性又更高了些。實際上，當時對於這枚新的 3D 感測器除了用途，也包括它會搭載在前鏡頭還是後鏡頭。由於不少人猜測它是要用來支援臉孔辨識，以輔助新式 Touch ID，因此先前多半是覺得會使用在前鏡頭，不過由於 3D 相機比起一般手機鏡頭更適合製作或體驗 AR 內容，此次 WWDC 只推出第三方 SDK、卻沒有著墨自家 AR 應用的蘋果，很可能會有一些新的 iOS 應用，是必須搭配只有自己、或少數開發商才知道的新式鏡頭才能呈現，換言之，可能得到 iPhone 8 發表，蘋果才會拿出完整的自家 AR 方案。

至於那是什麼？其中一個可能是支援 AR 的 Live Photo，或是 AR 版導航。值得一提的是，先前 Pokémon GO 僅僅推出貼紙效果似的低階 AR，就讓手機成了耗電大戶，今年 WWDC 發表的 Metal 2 似乎有考慮到這一點，至於實際體驗的續航效果，也只能等 iOS 11 正式上線了。到那個時候，蘋果或許也會聯手一些重要的第三方開發商，在 iPhone 十週年發表會亮相新的 AR 應用。

（首圖來源：蘋果）