李飛飛團隊攜手 NVIDIA GEAR 推出 Real-to-Sim 自動模擬系統 SimFoundry
為何重要
這項技術填補了現有 Real-to-Sim 方案在場景構建、資料生成與策略訓練評估各環節割裂的短板，大幅降低了具身智慧訓練的資本門檻與實驗成本。對於追求商業化落地的大廠與新創公司而言，這提供了利用低成本模擬資料提升機器人泛化能力的關鍵工具。
為解決具身智慧訓練過於仰賴昂貴真實世界資料及模型在真機部署難的痛點，李飛飛團隊聯手 NVIDIA GEAR、佐治亞理工等機構發布可自動將真實場景轉換為高保真模擬環境的 SimFoundry 系統。
- 系統透過 Extraction、Generation 與 Augmentation 三階段 Pipeline，自動將 RGB 視訊解析重建為具物理互動能力的數位孿生，並利用 FoundationPose 等模型生成可訓練的數位表親（Digital Cousins）。
- 研究實驗顯示，在七類典型操作任務上，SimFoundry 的策略評分與真實機器人高度一致（Pearson 相關係數達 0.911，MMRV 僅 0.018）；引入 Digital Cousins 可使真實機器人任務成功率分別提升 17%、21% 與 40%。
- 該系統展現了強大的零樣本部署能力，僅透過自動生成的模擬資料訓練的策略，即可直接部署於真實機器人並在多步操作等任務上取得接近滿分的成功率。