李飛飛世界模型大更新！即時產生 3D 世界，只要一顆 GPU

當 OpenAI 還在到處買顯卡算力支撐 Sora 2 影片模型，李飛飛實驗室 World Labs 只用一張顯卡就能撐起一個世界。

World Labs 發表 RTFM（Real-Time Frame Model），全新即時世界生成模型。和 9 月中圖生世界 Marble 不同，RTFM 不僅一張照片就產生自由漫步探索的 3D 世界，甚至單顆 H100 GPU 就能即時運算。

RTFM 研究預覽版已公布，並有 Demo 版可試用。

Demo 名叫 FRAMEBOY，結合網頁設計，讓人想起年代久遠的任天堂 Game Boy 掌機。如此逼真光影、反射和陰影的世界，且即時運算，某種程度也算是種遊戲。

不只產生，更能即時互動

RTFM 核心就是即時產生可互動影片，從一張靜態圖開始，渲染成可自由探索的 3D 場景。與許多世界模型不同，RTFM 能學習並渲染複雜真實的視覺效果，無論光滑大理石地板倒影、物體受陽光照射的陰影，還是透過玻璃看到的景象，RTFM 都能準確產生。

RTFM 不是靠傳統圖形學程式設計，而是讓模型點到點學習海量影像，不斷進化而成。支撐模型的，是三項核心原則。

第一是效率（Efficiency），要把未來拉到眼前，世界模型需要的算力是最大阻礙。

無論 Sora 還是 Google 未上線的 Genie 3，都代表巨大的算力挑戰。有研究提到，要即時產生 4K 60fps 互動影片串流，AI 模型每秒需處理 tokens 約等於一本哈利波特小說文字量。如果互動超過一小時，保持內容連續性，需處理的上下文更超過 100M token。對現在 AI 基礎設施而言，既不現實，也難以負擔。

李飛飛團隊目標是「現在硬體，執行明日的模型，並最高傳真度預覽」。

極致最佳化架構、模型蒸餾和推理過程，以及重新設計系統後，RTFM 成功僅以單顆 H100 GPU，就能做到互動式幀率推理，即時產生世界。

第二可擴充性（Scalability），從影像模型直接到世界模型。

傳統 3D 引擎以三角網格、高斯點雲、體素渲染等，依賴複雜計算機圖形學知識。每個物體都要建模、上材質、打光、做陰影。這和騰訊混元 3D 世界類似，主打 3D 全方位產生。

▲ 傳統 3D（左）和 RTFM（右）差別。

World Lab 選擇的路又和混元不同，RTFM 不構建任何 3D 模型，使用類似 Sora 的「自回歸擴散 Transformer」，直接從影像幀序列學習世界規律。舉例，模型不再需要知道「這是一面牆」或「那是一盞燈」，只要從成千上萬支影片學習，學會什麼是「空間感」，學會從輸入 2D 圖像序列，預測下個新視角畫面。

和產生 3D 路線不同，RTFM 更能利用不斷增長的數據和算力，達成無限擴展。

第三持久性（Persistence），讓世界模型像 nano banana 保持一致。

大部分影像模型有個天生缺陷，就是沒有記憶，即便 Sora 一次能產生 25 秒影片，但結束後這世界就結束了，不能持續互動，若要記住所有場景，計算負擔勢必累積到非常大量。

RTFM 試圖解決產生世界無法持續的問題，故引入「spatial memory」（空間記憶）機制，為每幀畫面賦予 3D 空間中精確「姿態」（位置和方向）。產生新畫面時，模型會採「上下文雜耍」（context juggling），只調用新畫面附近幀當參考，而不是全域內容，故 RTFM 能讓人反覆進入這個世界，離開再回來，又不會增加計算負擔。