ActionSplice: 讓世界模型生成互動不必重算
為何重要
ActionSplice 解決了 Video World Models 進行高頻互動時的效能瓶頸,讓智慧體能夠單步修正行為而無需長時間的回溯或等待下一個分塊,這對於未來機器人模擬訓練、遊戲 AI 即時反應以及數位人互動至關重要。該技術展示了在不更新核心模型引數的前提下,透過輕量級後處理最佳化互動系統的可能性,並大幅縮短了即時決策系統的延遲。
ActionSplice 針對分塊自回歸世界模型在生成過程中無法即時因應使用者指令變更的痛點,提出反事實狀態傳送(CST)機制來修正中斷的狀態表徵,無需重新評估已完成的計算。該技術提供兩種修正變體,在保持世界模型和取樣器凍結的情況下,大幅降低迴溯與延遲成本。
- CST*{R} 與 CST*{T} 分別對應全塊重新放射與僅更新尾部時間段的解法,均源自反事實狀態傳送架構。
- 在 minWM-Wan Action2V 與 HY-WM1.5 資料集上,CST*{R} 將回溯相關 LPIPS 測量值分別減少了 61.5% 與 75.9%。
- CST*{T} 讓畫素就緒速度變為原本單純等待的 2.73 倍與 1.69 倍,字尾 LPIPS 測量值降低了 56.1% 與 77.5%。
- 在 HY-WorldPlay 協定測試中,CST_{R} 拿下 PSNR 25.66 dB、SSIM 0.6902、LPIPS 0.1337 的表現。