Magic Leap 發表多篇論文和專利,這家公司終於要揭開神祕面紗了?

作者 | 發布日期 2017 年 08 月 12 日 12:00 | 分類 VR/AR , 穿戴式裝置 follow us in feedly

Magic Leap,這家僅憑炫酷的宣傳影片就獲得 14 億美元融資的 MR 創業公司,依然還沒有公布任何可體驗的頭戴裝置產品。



The Information、The Verge 等多家國外媒體報導指出,Magic Leap 的宣傳影片存在誤導大眾的嫌疑,該公司的技術實際上遠遠沒有形容的那麽「先進」。他們雖然展示了可日常配戴的 MR 眼鏡,但事實上卻將 AR 技術融合到小型設備上遭遇瓶頸。

我們都知道,擴增實境的關鍵在於對環境的感知,所有 AR 公司都得先解決這一基本問題。近來從他們發表的多篇論文來看,「飄在雲端」的 Magic Leap 也和大家一樣在踏踏實實解決基本問題。

RoomNet 房間布局估計

8 月 7 日最新一篇論文名為「RoomNet: End-to-End Room Layout Estimation」,該論文致力於用 AI 估算房間的大小和形狀,名為 RoomNet 。論文總結表示對室內導航,場景重建和擴增實境十分重要。

論文摘要部分敘述:「論文聚焦於從單眼 RGB 圖像估計房間布局,先前的工作將這個問題分成兩個子任務:地板、牆壁、天花板的語義分割以產生布局假設,接著是更新優化步驟來對這些假設進行排序。相比之下,我們採用更直接的方式來描述這個問題,做為估計房間布局關鍵點的有序集合之一。給定了這些有序關鍵點的位置,房間布局和相應的分割就完全清晰了。我們使用 RoomNet(端到端可編程編碼器─解碼器網路)預測房間布局關鍵點的位置。在具有挑戰性的基準數據集 Hedau 和 LSUN 上,與最近的工作相比,我們實現了最先進的性能以及 200 倍至 600 倍加速。此外,我們提供了 RoomNet 架構的可選擴展,包括循環計算和記憶體單元,以在相同的參數容量下細化關鍵點位置。」

他們研究注重從任何相機都能提供的常規圖像中尋找房間布局。論文解釋了利用相機辨識房間布局的關鍵點,然後再用深度神經網路來辨識這些關鍵點,提供了 10 種不同方法。

之前,他們曾展示一個在房間裡玩 MR 鬼故事的遊戲,在這款遊戲中,你會丟棄傳統的遊戲手把,首先玩起手中的木塊,第一階段任務就是學會如何使用這些木塊並在 MR 世界中用這些工具完成互動。完成這步後,你家裡就會響起奇怪的聲音,會越變越大,你要做的就是找尋聲音的源頭。對房間和環境的辨識有助這類 MR 遊戲的實現。

邁向幾何型深度 SLAM

在兩週前,他們還發表了一篇名為「邁向幾何型深度 SLAM」的論文,在這篇論文中可窺見一種創新的機器視覺技術,帶領公司向創造一個強大的 AR 頭盔邁進。

這篇論文描述一個由兩個卷積神經網路(CNNs)驅動的點追蹤系統,一個稱為 MagicPoint,另一個稱為 Magic Wrap。兩個系統都快速簡潔,很輕鬆地在單一 CPU 上以 30+FPS 的狀態執行。

簡單來說,根據該文件,MagicPoint 對單個圖像進行操作,並創建重要的具有跟蹤目的的 2D 點,這些點將被反饋到即時定位和地圖構建(SLAM)視覺演算法。將他們的網路與經典點檢測器進行比較,團隊發現「在有圖像噪聲時存在顯著性能差距」。因為探測器性能會被噪點破壞,對傳統探測器來說,斑點噪點尤其難以處理。

因為計算移動的物體形狀並不是一件容易的事情──不管是物體移動還是觀察者移動──MagicWarp 的工作就是使用一對由 MagicPoint 生成的 2D 點圖像來實質預測運動。MagicWarp SLAM 演算法以與傳統方式不同的方式進行,因為它僅使用點的位置,而不是更覆雜的「本地點描述符」,這是專用於描述包含編碼、獨特標識訊息的事物的電腦視覺術語。

使用物理和合成數據進行測試,據說兩個卷積神經網路能夠實時運行。作者總結說:「我們認為大規模部署以 SLAM 系統驅動的深度學習 Deep-Learning 的日子並不遙遠」。

Magic Leap 9 日通過了一項專利申請,「a compact optical see-through head-mounted display capable of combining, a see-through image path with a virtual image path」(一種結合透視圖像路徑與虛擬圖像路徑的緊湊光學透視式頭顯),主要是關於虛擬對象能實際遮擋真實對象。

小結

雖然我們並不清楚 Magic Leap 是否會有一個如 CEO Rony Abovitz 所稱的「小巧、移動、強大且很酷」的頭戴裝置,我們都盡力從他們的論文看到任何有用的成果。從這兩篇論文和一項專利看,發現 Magic Leap 在環境辨識、SLAM 上都有了自己的成果,他們若是能實現自己的願景:直接將數位內容呈現在你身邊,這些內容可不斷與用戶互動,還能與現實世界互動」,再等 3 年又何妨。

(本文由 雷鋒網 授權轉載;首圖來源:Magic Leap)