野心滿滿的 Genesis：一句話為機器人產生一個世界

卡內基美隆大學、史丹佛大學、麻省理工電腦科學與人工智慧實驗室、輝達和清華大學核心貢獻者推出全新物理模擬平台 Genesis，專為通用機器人、具身人工智慧和物理 AI 應用設計。

Genesis計畫開發兩年，結合生成式AI的創造力和真實世界的物理準確性。能創造虛擬環境並訓練幫助機器理解物理世界、與物理世界互動，不僅逼真且速度和效率都很高。

Genesis具多種功能：

通用物理引擎：從零開始建構的通用物理引擎，模擬廣泛材料和物理現象。
機器人模擬平台：輕量級、超快速、符合Python化且使用者友善的機器人模擬平台。

計畫貢獻者CMU機器人研究所博士生Zhou Xian表示，Genesis物理引擎採純Python開發，速度卻比廣泛機器人模擬和強化學習框架如Isaac Gym和MJX快10~80倍，且沒有犧牲精確度。只要26秒便可用一塊RTX4090訓練出可遷移至現實世界的機器人運動策略。

用單一RTX 4090，Genesis能不到2毫秒內為萬台高級Franka臂等機器手臂求解IK。這種速度和效率前所未有，為大規模機器人模擬、工業自動化和複雜研究計畫開創新可能性。

照片級真實感渲染系統：強大快速的逼真渲染系統。
生成式資料引擎：能將使用者提示的自然語言描述轉為多種資料格式。

核心在Genesis將多種先進物理求解器整合成統一框架，達成無與倫比的模擬能力。強大基礎輔以生成式代理框架，旨在自動化資料產生，推動機器人研究及更廣泛領域的邊界。

Genesis的主要特點

統一物理模擬：基於通用物理引擎，Genesis整合尖端求解器，以卓越精確度和保真度模擬廣泛物理場景。
生成式框架：生成式代理框架為模組化系統，整合多種模組以處理不同資料。模組由一個高級代理路由，無縫整合進行中研究和之後進展。

Genesis計畫引入生成式代理，完全自動處理教導機器人真實環境運作的每個步驟。首先，自動設計模擬真實世界空間的虛擬環境，如廚房、客廳和其他日常環境。然後提出要執行的任務，如打開微波爐、拾取物品或導航。

開源可訪問性：實體引擎和模擬平台已開源，研究員和開發者能自由探索、實驗並創新。功能將逐步推出，擴大存取範圍。
照片級真實感渲染：Genesis將超快速渲染與視覺震撼效果結合，使模擬更沉浸式逼真。

Genesis也支援角色動作產生，如做出會玩雜技的猴子，還能產生各種機器人控制策略，如整理書本的機器手臂、同步翻轉的無人機等。

Genesis團隊正在開源底層實體引擎和模擬平台，生成框架存取權限不久後會逐步推出。但有網友表示：用完全不存在的generate函數來示範有畫大餅嫌疑，「就算這部分不開源，也希望團隊能放出實機示範影片」。

又一個世界模擬器？想解決具身智慧的資料瓶頸

Genesis團隊目標是建立通用引擎，利用上層生成框架自動創建物理世界，並有多種資料模式，如環境、攝影機運動、機器人任務提案、獎勵函數、機器人策略、角色動作、完全互動3D場景、開放世界關節資產等，旨在達成機器人、實體AI及其他應用完全自動化產生。

顯然，它不是世界模擬器或Sora。Genesis是實體引擎和生成式AI的混合體，主要功用是為通用機器人學習搭建統一模擬平台，降低物理模擬門檻，虛擬重現現實世界，減少人類數據生成投資，達成機器人領域自動化和自給自足的資料生態系統。

機器人數據收集一直是棘手問題，其一是手動操作機器人採集數據，因在真實世界與機器人互動，能確切知道機器人的位置、如何與世界互動，以及任務如何成功或失敗。但現實世界資料採集成本高、效率低、難擴展，且有各種限制（資料模態不完整、難收集封閉資料等）。Genesis解決方式是用物理模擬和生成式AI，自動產生大量多樣化數據，無需依靠昂貴各種真實資料庫，降低取得資料的門檻。

許多模擬環境在物理特性和渲染效果與現實世界有差距，導致機器人難於現實世界應用，形成「Sim2Real Gap」。Genesis解決方式是提供能模擬各種材料和物理現象的通用物理引擎，並採用真實感渲染系統，盡可能使模擬環境逼近真實世界，支援基於物理原理的觸覺感測器模擬，類似輝達Isaac Sim或Isaac Gym等專案模擬技術，加速機器人發展。

從demo看，Genesis支援自然語言描述產生對應場景，用生成式AI產生感測器資料和策略，渲染物理屬性的模擬也很到位，對解決具身資料稀缺，有非常重要的意義。

地瓜機器人雲端平台副總裁秦玉森表示，以阿波羅登月計畫為例，即便有當年所有資料，今天也難完全復刻這項壯舉，不僅許多原始電子元件停產，更重要的是，僅靠更強算力和更多數據也不能解決根本問題。雖然現代智慧手機的算力遠遠超過當年，但載人登月這種複雜工程，人類依然面臨重重挑戰。

因為化簡繁易，化繁為簡難，缺少數學和工程化簡，模擬只是徒增計算量。模擬夠真，需要算力和各種資源，對機器人來說，那為何不直接在現實世界搭建環境呢？

他認為Genesis引擎價值在讓模擬工程「工程架構」相對優雅，化繁為簡呼叫引擎需要理解的各種物理屬性，變成以自然語言搭建。Genesis本質證明某條路可行，但距離創造實際價值，還需要許多下游產業配合。

「輝達Issac SIM應是2018年發表，至今六年了，業界有人使用，但易用度還是有點問題。」

We’re excited to announce the official release of our Genesis Simulator! https://t.co/DGo6hmzUDR

Since 2018, I decided to shift my research focus from vision to embodied AI, driven by a fascination with creating general-purpose agents capable of interacting with the physical… https://t.co/DcdOjILE6u

— Chuang Gan (@gan_chuang) December 18, 2024