超越形態的動畫:從抽象動畫表示啟動跨類別動畫轉移
為何重要
該研究突破了傳統動畫轉移對物件形態匹配的依賴,對於需要處理多變形狀的生成式影片應用(如虛擬模特、遊戲角色)具有技術參考價值。不過目前定位仍為學術研究,但未來能否整合至 Video Diffusion 等領域的基礎模型中,值得關注。
Video motion transfer(視訊動畫轉移)旨在利用參考影片中的動態來讓目標物件產生動作,但現有方法賴以為基礎的結構對應關係,在兩物體形態或關節機制大相逕庭時便難以發揮作用。
- 提出一個兩階段框架:初階學習多粒度抽象動畫檢視以啟動跨類別視訊對,並在第二階段內化監督為直接由參考影片條件化的生成模型,省去推理時的明確動畫提取步驟。
- 發表 OpenVMT-Dataset 與 OpenVMT-Bench 基準,用於跨 Same、Near 與 Far category gap 的影像或文字條件動畫轉移訓練與評估。
- 計畫在論文接受後開源資料集,實驗結果顯示在動畫保真度與目標保留上達到 State-of-the-art 水準。