GPU 性能不夠跑 VR?這項技術或許能解決難題

作者 | 發布日期 2016 年 05 月 02 日 0:00 | 分類 VR/AR , 晶片 , 穿戴式裝置 follow us in feedly

所謂虛擬實境,就是要欺騙人的眼睛和大腦,讓虛擬世界感覺跟真實世界一樣。目前好的 VR 產品已經在這方面做得相當不錯了,但仍有進步空間。下面要說的就是一項可以讓虛擬世界更能模擬真實世界的技術。



人眼看世界與 VR 計算材質貼圖方式

人眼能看到的範圍是有限的,因此產生了一個名詞叫人眼視度。人眼視度指的是人不動頭時的可視角度。我們身處一個 360 度環繞的世界,但任何時候我們只能看 120 度視度範圍內的事物,並且我們的雙眼會聚焦在視野中一小塊不超過 6 度的區域(中央凹 + 近中央凹視野),周圍則是模糊的(周邊視野),這就是我們看世界的方式。

頂級的 VR 頭顯(HTC Vive、Oculus Rift)的可視角度能達到 110 度左右(與眼睛和螢幕之間的距離有關),與人眼視度非常接近。我們在 VR 頭顯中看到的世界,也只是它的螢幕所顯示內容的一部分,而真正聚焦的更是這一小部分中的一小塊區域。但是 VR 裝置在計算畫面時卻是對整個視野進行計算,不在人眼聚焦的畫面一樣在以相同的速度更新。

由於 VR 裝置的高解析度和更新率,這種貼圖計算方式需要消耗大量的 GPU 資源,使得 PC 平台的頭盔對顯卡要求很高(通常在 GTX 970 以上),而行動 VR 則很難達到良好的體驗。

不過,一些公司已經在著手解決問題,Nvidia 推出了 MRS(multi-resolution shading)技術,中國公司七鑫易維則希望在此基礎上加入焦點算圖(Foveated rendering)技術。

 

分區算圖的 MRS

2015 年 5 月,Nvidia 在自家針對 VR 的開發者套件 GameWorks VR 中加入了 MRS 技術。這項技術使得針對 VR 的算圖不再是將整個畫面以相同的解析度進行計算,而是分成了幾個不同的區域。

雷鋒網配圖

畫面的中央,也就是人眼在 VR 中看到的主要區域,也是畫面沒有畸變的地方,會以完整的高解析度進行貼圖計算;而畫面的邊緣則以更低品質進行算圖,再加上邊緣的圖元經過變形後的損失,可以節省 25%-50% 的圖元,理論上可以提升一倍的計算效果。

使用 Nvidia Maxwell 架構的顯卡,包括 GeForce Titan X 和 GTX 900 系列,目前都支援這一技術。

在接受雷鋒網採訪時,Nvidia 全球副總裁、中國區總經理張建中也解釋了這項技術:

傳統的眼鏡都是魚眼的,傳統的 GPU 算圖的是長方形,長方形變成魚眼,用傳統的方法去計算是不行的。所以我們想了一個比較聰明的方法,我們把視覺圖形分成 9 塊,用不同的方式去計算,這樣把效率提高大概 50% 左右。結果就相當於以前可能一秒鐘計算貼圖 90 格,現在可以做到 140 格左右,這樣你就可以看到更高清晰度。

 

焦點算圖

中國創業公司七鑫易維目前正與 Nvidia 合作,在 MRS 技術的基礎之上,使用眼球追蹤技術進一步開發出焦點算圖技術(也叫注視點算圖),從而進一步縮小高解析度算圖畫面的區域。

據七鑫易維 CEO 黃通兵介紹,焦點算圖透過近紅外感測器對人的眼球進行追蹤,判斷人眼的注視點,只對注視點區域進行高解析度計算,而且這個區域會隨著注視點的變化而變化。

雷鋒網配圖

上圖是雷鋒網記者在試用注視點算圖技術時電腦螢幕顯示的畫面,可以看到記者的視線焦點停留在小屋上時,畫面中只有小屋是清晰的,而周圍一大片區域則是模糊的。但是當你戴著頭盔看時,幾乎分辨不出和沒有使用這項技術的畫面的區別。

官方表示,這個方案可以在保證使用者體驗的情況下,將渲染圖元降低到 MRS 方案的 10% 左右,最終適用於 VR 裝置的 PC 比率可以提升至 30%。

眼球追蹤會對整個畫面算圖帶來延遲,黃通兵表示他們解決了這個問題,他表示目前追蹤技術最高可以做到 380Hz 的更新率,如果以通常提供的 220Hz 計算,會給算圖帶來 5ms 的延時。但是,由於使用焦點算圖,GPU 的負擔減輕,使得其算圖延時可以降低至 5ms,最終使得整體延時仍然低於 20ms。

這項技術也仍有一些問題需要解決,包括針對戴眼鏡的用戶,眼鏡會影響眼球追蹤的效果;還有 HTC Vive 這類產品使用的菲涅耳透鏡,其同心圓也會干擾到訊號。

國際上亦有廠商在開發類似的技術,包括 Tobii、SMI、FOVE 和 Eyefluence,但是這個領域還沒有形成標準。

目前七鑫易維除了跟 Nvidia 合作外,也在跟高通、HTC、Oculus 以及中國 VR 頭顯廠商合作研究這項技術,具體的產品面世時間仍有待確定,但據悉高通的一體機方案會重點推這個技術,中國的大朋和 3Glasses 也很積極。

(本文由 雷鋒網 授權轉載;首圖來源:達志影像) 

關鍵字: , ,

發表迴響