VideoCoCo: 透過雙引擎代理系統實現物理一致性影片生成之 Code-as-CoT
為何重要
此技術突破將影片生成從黑盒步驟轉為可檢視、可控制的程式碼執行流程,徹底解決了影響真實感與物理法則一致性的關鍵痛點。對未來具可解釋性的 Agent 式影片生成開發者工具具有啟發意義,且為遊戲與動畫製作流程提供了全新的技術路徑。
現有文生影片模型雖視覺品質提升,但在物理一致性與時間動態推斷上仍不足。研究提出 VideoCoCo 架構,以可執行的 Blender 程式碼作為思維鏈中間表示來明確指定場景演化。
- 設計了雙引擎代理系統:編碼代理合成程式碼、模擬引擎生成決定性草稿、生成式引擎透過草稿條件編輯轉換為照片級真實感影片。
- 建立了 VideoCoCo-3K 資料集,專為銜接模擬草稿與視覺真實感之間的差異所設計。
- 效能顯著提升:在 PhyGenBench 數值從 0.475 攀升至 0.558,VBench-2.0 從 52.18 提升至 77.88。