「即時渲染」主要應用於遊戲領域，能將圖形數據即時轉化為極具真實感的 3D 畫面，是決定遊戲體驗的關鍵因素之一。
對即時渲染而言，最大的挑戰是渲染速度。通常來講，渲染全螢幕的遊戲場景圖像，至少要在 1/24 秒以內，才不至於有「翻 PPT」的感覺。
近日，NVIDIA 發表最新研究成果，將即時渲染速度提升 2~3 個等級。
（Source：NVIDIA）
渲染品質也更能處理複雜樣式、比例的圖形數據，甚至即時同步環境光照可能形成的陰影。
Facebook 與 MIT 研究團隊 2019 年推出的 DeepSDF，是現有相關研究的最佳 3D 重建模型。與之相比，無論渲染速度還是品質，NVIDIA 最新研究更勝一籌。
By popular demand, here are some motivations and insights that enable significant speedups for Neural LOD: pic.twitter.com/fCkZoM3iVE
— Towaki Takikawa / 瀧川永遠希 (@yongyuanxi) January 27, 2021
▲ 橙色代表 DeepSDF 渲染效果。
這項最新研究是名為《Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Surfaces》（神經幾何細節水準：隱式 3D 形狀的即時渲染）的論文，NVIDIA 聯合多倫多大學、麥吉爾大學研究人員共同發表的研究成果，目前提交至預印論文庫 arXiv。
研究人員表示，透過引入高效神經網路表示方法，首次做到基於 SDF 的 3D 高傳真即時渲染，同時達到最先進的幾何重建。更重要的是，與其他研究相比，渲染速度提升 2~3 個等級。
SVO 編碼，渲染速度翻倍
SDF，即符號距離函數 Signed Distance Function，是電腦圖形學有效表示方法。
現有研究中，通常是採用一個較大、具有固定尺寸的多層感知器（MLP）編碼 SDF ，以近似代表具隱式曲面的複雜圖形。然而，使用大型網路即時渲染導致昂貴的演算成本，因需要讓每個像素透過網路向前傳遞。
基於此，研究團隊提出改用稀疏體素八元樹（SVO）編碼幾何形狀的方法，可自適應縮放不同離散細節層次 LOD（Level of Detail），並重建高度細節的幾何結構。
如下圖不同尺寸的幾何體之間平滑插值，並佔用合理記憶體即時渲染。
（Source：NVIDIA，下同）
研究人員介紹，與現有研究一樣，他們同樣使用小型 MLP 達成球體跟蹤。並受到經典曲面提取機制的啟發，使用儲存距離值的正交和空間數據結構對歐幾里德空間進行精細離散化，以使簡單的線性基函數可以重建幾何體。
在這些工作中，解析度或樹深度決定 LOD（不同 LOD 可與 SDF 插值混合）。研究人員使用稀疏體素八元樹（SVO）離散空間，並儲存學習的特徵向量，而不是符號距離值。
這樣做的好處是，允許向量通過淺層 MLP 解碼成標量距離，繼承經典方法（如 LOD）優點同時，進一步縮短樹深度。
在此基礎上，研究人員還開發針對體系結構的光線遍曆演算法（Rray Traversal Algorithm），達成比 DeepSDF 快 100 倍的渲染速度。另外，雖然無法與神經體積繪製方法直接比較，但類似的實驗環境，幀速也比 NeRF 快 500 倍，比 NSVF 快 50 倍。
實驗測試，渲染質量更精細
品質方面，研究人員將之與 DeepSDF、FFN、SIREN 及 Neural Implicits（NI）四種演算法比較，過度擬合 3D 幾何形狀方面均達現有研究的最佳性能。
以下為不同演算法在 ShapeNet、Thingi10K 和 TurboSquid 三個資料庫進行 3D 重建的比較結果。
可看到從 LOD3 開始，此方法表現出更好性能。第三個 LOD 中，不僅儲存參數最小，且推理參數在所有解析度都固定為 4,737 個浮點值，與 FFN 相比減少 99%，與 Neural Implicits 相比減少 37%。
更重要的是，低儲存和推理參數的情況下，此方法表現出更佳重建質量。如下圖：
與 NI、FFN 相比，此方法更精準渲染出圖像細節，且速度比 FFN 快 50 倍。
渲染品質方面，研究人員還用 Shadertoy 兩個特殊案例測試：Oldcar，包含高度非度量的有符號距離場；Mandelbulb 是只能用隱式曲面表示的遞歸分形結構。
這兩種 SDF 都是由數學表達式定義，從中提取並採樣距離值，測試結果如下：
相比之下，只有此方法的架構才能準確捕捉複雜範例的高頻細節。可以看出，FFN 和 SIREN 呈現的效果非常不理想，原因可能是它們都只能擬合平滑距離場，無法處理不連續性和遞歸結構，以至於渲染時很難突顯幾何細節。
總之，透過引入隱式 3D 圖形的表示形式 LOD，此方法可達到最先進的幾何重建品質，同時允許占用更少記憶體下的即時渲染。不過研究人員也坦言，在大場景、或非常薄、無體積的的物體並不適用，這將是未來的研究方向。
但從當下來看，此方法代表基於神經隱函數幾何學的重大進步，因是第一個基於 SDF 做到即時渲染和呈現的表示形式，未來有望應用到場景重建、機器人路徑規劃、互動式內容創建等多種現實場景。
相關作者
論文作者之一是多倫多大學電腦博士 Towaki Takikawa。他曾在 NVIDIA 超大規模圖形處理研究（Hyperscale Graphics Research）小組工作。主要研究方向為電腦視覺和電腦圖形學，對探索機器學習驅動 3D 幾何處理演算法非常感興趣。另外在機器人相關項目的軟硬體方面也有一定經驗。
另外參與本次研究的還有 Joey Litalien、Kangxue Yin、Karsten Kreis1、Charles Loop、Derek Nowrouzezahrai、Alec Jacobson、Morgan McGuire、Sanja Fidler 等 8 位學者。
Kangxue Yin 是華人學者，曾在中國科學院深圳先進技術研究院（SIAT）工作 3 年，之後考入西門菲莎大學（Simon Fraser University）大學並取得博士學位。現在是 NVIDIA 研究科學家，致力於電腦圖形學和電腦視覺研究。
科技新報粉絲團
加入好友
訂閱免費電子報
