串流多代理自回歸擴散模型 WorldWeaver (W^2)：具備世界狀態登錄檔
為何重要
突破多代理影片生成中「共享狀態記憶」的技術障礙，現有的自回歸擴散模型僅依賴歷史視覺作為上下文，容易導致場景不一致。該架構將世界狀態與視覺生成分離，為更具物理邏輯的模擬環境與機器人訓練提供可行的實作路徑。
為瞭解決多代理互動世界中難以維持共享狀態的問題，研究團隊提出 WorldWeaver (W^2)，一種串流多代理影片擴散模型，並引入跨代理「世界狀態登錄檔」來處理共享資訊。
- 引入「世界狀態登錄檔」作為可學習的 tokens，在每次生成區塊後動態更新，以追蹤代理狀態與共享世界資訊。
- 使用 Mixture-of-Transformers (MoT) 架構，區分世界狀態建模與視覺畫面建模的權重。
- 訓練流程包含代理狀態、鳥瞰圖與場景文字等多重監督訊號。
- 實驗在兩代理 Minecraft 影片生成中驗證，顯著提升了邏輯一致性與生成品質。