蘋果詳細簡報了 iOS 11 的 ARKit:讓人驚豔,但還有後招

作者 | 發布日期 2017 年 06 月 12 日 18:13 | 分類 Apple , iOS , VR/AR follow us in feedly

蘋果日前在 WWDC 尾聲的簡報揭露了更多 iOS 11 ARKit 的技術內容,以及目前的限制。而在 ARKit 搭配 iOS 11 推出預覽版後,許多開發者除了開始體驗這款新 SDK,先前關於 iPhone 8 的 3D 感測器傳聞似乎也有了更高的可能性。



ARKit 是什麼?

ARKit 是一系列新的 iOS 開發工具,用途是讓搭載 A9 以上 SoC 的 iOS 裝置,可以透過相機鏡頭,在真實畫面中看到虛擬物件,比如在自己的辦公桌看到寶可夢。雖然技術嚴格來說不新,就是靠著相機拍來的影像,搭配 M 系列運動協處理器整合的資料進行多層座標定位,然後再靠著高效能的 GPU 搭配蘋果自己開發的 Metal API,在相機影像上即時渲染。蘋果把這項技術稱作「Visual Inertial Odometry」。

不過一如蘋果以往擅於「二創」、同時快速打入市場的能力,相比有類似功能、但硬體更複雜的微軟 HoloLens、以及 Google Tango,蘋果僅靠著優異的 SDK 與一般手機的鏡頭、感應器,就完成相差不遠的效果,同時還靠著支援現有的數億台 iOS 裝置,大大吸引了開發者的注意力。在 WWDC 的示範影片中,用戶可以在客廳「放」一架虛擬小飛機,然後透過手機螢幕與相機,朝不同的角度觀察它。飛機既不會抖動,也不會位移。當用戶將手機往飛機「拉近」,還可以看到更多細節,就像真的把眼睛貼上去看一樣。

目前的 ARKit

蘋果隨後在 WWDC 的一場 ARKit 小簡報裡談到了更多細節,同時也透露了早在 ARKit 正式公開前的早期合作者,包括了 Ikea 以及 Pokémon GO。新 Ikea App 的功能並不新鮮,就是讓用戶可以透過相機,在家裡擺放虛擬家具,模擬一下實際買回來的感受;至於 Pokémon GO 則是升級了先前宛如貼紙般飄移的寶可夢們,讓牠們會老實地待在平面。鏡頭轉向時,牠們也會跟著位移,保持正面戰鬥的樣子。

除了靠相機以及運動感測器追蹤真實世界的影像,ARKit 的另一項功能是「場景理解」,可以判斷平面,以及平面的高度,也可以透過相機的測光功能來判讀、整合真實世界的光影,避免虛擬物件的存在過於突兀。而由於 AR 的一項重要應用就是遊戲,甚至在新版的 App Store 還從其他 App 獨立出來,擁有自己的獨立 Tab,ARKit 也整合了主流的遊戲引擎 Unity,以及 Unreal Engine

不過 ARKit 目前也有一些限制。基本的除了相機要能正常運作,ARKit 也需要一組完整的場景,比如相機如果只拍到一面白牆,AR 就會無法運作。此外,目前的 ARKit 也比較靜態取向,如果畫面有太多東西在動,ARKit 也會失效,所幸從目前實測的影片來看,多數的室內平面場景都可以支援;ARKit 所謂的「平面」,寬容度也不小,小至筆電的觸控板,或是掌心都可以;擺放的虛擬物件目前也可以看到成人般的大小。

有趣的是,為了真實呈現平面的意義,ARKit 支援了「地心引力」的效果。因此虛擬物件如果會移動,比如從桌子移動到地板,它將會「摔落」下去。此次蘋果為了演示 ARKit 的效果,也設計了一個範例開發包,可以讓開發者擺放椅子、碗盤這類東西。蘋果也特地展示了「變色龍」:玩家除了可以在觸控螢幕上直接為牠調色,太過靠近牠,牠還會吐舌頭舔你──雖然在蘋果工程師的示範中,變色龍的舌頭似乎因為 Bug,舌長直衝天際。

玩瘋的開發者

而在預覽版推出後,iOS 開發者們也開始競相玩起各種應用,同時放上網路:

iPhone 8 的 AR?

在蘋果推出 ARKit 之後,先前關於 iPhone 8 將會搭載 3D 感測器的傳聞,現在看來可能性又更高了些。實際上,當時對於這枚新的 3D 感測器除了用途,也包括它會搭載在前鏡頭還是後鏡頭。由於不少人猜測它是要用來支援臉孔辨識,以輔助新式 Touch ID,因此先前多半是覺得會使用在前鏡頭,不過由於 3D 相機比起一般手機鏡頭更適合製作或體驗 AR 內容,此次 WWDC 只推出第三方 SDK、卻沒有著墨自家 AR 應用的蘋果,很可能會有一些新的 iOS 應用,是必須搭配只有自己、或少數開發商才知道的新式鏡頭才能呈現,換言之,可能得到 iPhone 8 發表,蘋果才會拿出完整的自家 AR 方案。

至於那是什麼?其中一個可能是支援 AR 的 Live Photo,或是 AR 版導航。值得一提的是,先前 Pokémon GO 僅僅推出貼紙效果似的低階 AR,就讓手機成了耗電大戶,今年 WWDC 發表的 Metal 2 似乎有考慮到這一點,至於實際體驗的續航效果,也只能等 iOS 11 正式上線了。到那個時候,蘋果或許也會聯手一些重要的第三方開發商,在 iPhone 十週年發表會亮相新的 AR 應用。

(首圖來源:蘋果)

延伸閱讀:

關鍵字: , , , , ,