ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

VideoCoCo: 透過雙引擎代理系統實現物理一致性影片生成之 Code-as-CoT

研究 1 個來源 · 6 天前
為何重要

此技術突破將影片生成從黑盒步驟轉為可檢視、可控制的程式碼執行流程,徹底解決了影響真實感與物理法則一致性的關鍵痛點。對未來具可解釋性的 Agent 式影片生成開發者工具具有啟發意義,且為遊戲與動畫製作流程提供了全新的技術路徑。

現有文生影片模型雖視覺品質提升,但在物理一致性與時間動態推斷上仍不足。研究提出 VideoCoCo 架構,以可執行的 Blender 程式碼作為思維鏈中間表示來明確指定場景演化。

  • 設計了雙引擎代理系統:編碼代理合成程式碼、模擬引擎生成決定性草稿、生成式引擎透過草稿條件編輯轉換為照片級真實感影片。
  • 建立了 VideoCoCo-3K 資料集,專為銜接模擬草稿與視覺真實感之間的差異所設計。
  • 效能顯著提升:在 PhyGenBench 數值從 0.475 攀升至 0.558,VBench-2.0 從 52.18 提升至 77.88。
VideoCoCoCode-as-CoTBlenderVideo GenerationAgent Framework

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00