ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

遞迴程式碼世界模型:透過遞迴場景程式構建複雜世界

研究 1 個來源 · 12 天前
為何重要

此方法解決了從影像推導可執行 3D 世界的關鍵難題,即如何處理大尺度幾何與小尺度細節的權衡。透過「程式邏輯」來描述空間結構,RCWM 為整合進遊戲引擎、機器人模擬以及下一代 CACAI(影像驅動的程式寫作)工具提供了更穩健的底層生成原則。

為瞭解決現有 code world models 僅將世界表示為程式碼但難以構建複雜結構的問題,研究提出 RCWM(Recursive Code World Models) 框架。RCWM 將 Recursive Scene Program (RSP) 與能遞迴執行的建構求解器結合,讓模型能從單張參考影像重建出可執行的複雜 3D 世界。

  • RCWM 採取「全域性-區域性-全域性」的遞迴邏輯:先建立整體,遞迴重建未解細節,最後回頭總體以精煉場景的組合關係與邊界。
  • 特有的 RSP 將可執行世界以組合式程式碼表示,並利用視覺語言編碼代理單元 (vision-language coding agent) 比對參考圖與渲染結果,導向程式進行精煉、遞迴下降與回傳。
  • 實測顯示 RCWM 在重建需要複雜幾何關係的場景時,效能超越先前基於程式碼的影像到場景重建技術。
RCWMRecursive World Models3D ReconstructionCode GenerationComputer VisionComputer Graphics

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00