NVIDIA 發展 2D 圖像轉 3D 模型技術,預計重建經典霹靂遊俠霹靂車

作者 | 發布日期 2021 年 04 月 19 日 11:20 | 分類 GPU , 晶片 , 軟體、系統 Telegram share ! follow us in feedly


為解決使用者把2D圖像轉換成3D的需求,繪圖晶片大廠輝達 (NVIDIA) 旗下的 NVIDIA Research 正在開發一款全新的深度學習引擎,可以使用基本的 2D 影像來建立 3D 物件模型,並且能夠在 NVIDIA Omniverse 中將影集 《霹靂遊俠》 裡那輛人工智慧 (AI) 霹靂車 KITT 這類極為經典的車輛化為現實。

輝達表示,由位在多倫多的 NVIDIA AI Research Lab 開發的 GANverse3D 應用程式,能將平面影像打造成逼真的 3D 模型,並且可以在虛擬環境中進行視覺化的呈現和控制。這項功能可以幫助建築師、創作者、遊戲開發者和設計師輕鬆地在他們的模型中加入新的物件,無需 3D 建模方面的專業知識,也不用花費大筆預算進行渲染。

而為了產生訓練用的資料集,研究人員利用生成對抗網路 (GAN) 來合成從多個視角描繪同一物件的影像,就像攝影師圍繞一輛停放的車子走動,並從不同的角度進行拍攝。這些多視角影像被插入一個用於製作反影像的渲染框架中,這便是從 2D 影像推論出 3D 網格模型的過程。使用多視角影像進行訓練後,GANverse3D 只需要一張 2D 影像便能預測出一個 3D 網格模型。

另外,此模型可以搭配 3D 神經網路渲染器,讓開發人員可以控制自訂物件和背景交換。如果將 GANverse3D 當作 NVIDIA Omniverse 平台的擴充項目進行匯入,並且在 NVIDIA RTX GPU 上運行,便能透過 GANverse3D 把任何 2D 影像重新打造成 3D 物件,例如將 1980 年代熱門電影影集《霹靂遊俠》中,那輛深受觀眾喜愛、協助主角打擊犯罪的經典汽車 KITT。

輝達強調,研究人員為了重建霹靂車 KITT,將汽車影像丟進訓練好的模型,讓 GANverse3D 預測出相應的 3D 紋理網格,還有車輪和頭燈等各種車輛零件。他們接著使用 NVIDIA Omniverse Kit 和 NVIDIA PhysX 工具,將預測出的紋理變成高品質的材料,讓霹靂車 KITT 的外觀和感受更加真實,並將其置於動態的駕駛序列中。

輝達進一步強調,不是每個創作者都有足夠的時間和資源為他們繪製的每個物體建立 3D 模型,因為渲染一台展示間裡的汽車或街道上的建築物,所需捕捉的多視角影像成本可能會令人望之卻步。這正是經過訓練的 GANverse3D 應用程式可以派上用場的地方,將一輛汽車、一棟建築物,甚至一匹馬的標準影像,變成可以在 Omniverse 中進行自訂及製作動畫的 3D 物件。

所以包括遊戲、建築與設計領域的創作者,使用像 NVIDIA Omniverse 模擬與協作平台這樣的虛擬環境來測試新的想法,並且在打造最終產品前,能以視覺化的方式呈現原型。開發人員透過 Omniverse Connectors,便能在 Omniverse 中使用他們喜愛的 3D 應用程式,以即時光線追蹤技術來模擬複雜的虛擬世界。而輝達也預計將在接下來 5 月的國際學習表徵會議 (International Conference on Learning Representations; ICLR) 與 6 月的國際電腦視覺與模式識別會議 (Conference on Computer Vision and Pattern Recognition; CVPR) 的兩場會議上發表 GANverse3D 背後的研究成果。

(首圖來源:輝達提供)

關鍵字: , , , , , ,