ID-V2V:保留存面部特徵的影像重風格化技術
為何重要
此研究斷開了生成式視訊編輯中「風格變更」與「身份流失」的必然聯結,提供了一種全新的技術路徑(將面部辨識視為光影控制問題)。這對開發者來說是建模視訊細節的新工具,對產業而言,若此技術能進一步商業化,將極大提升虛擬模特、電商及專業影片後製的效率與完成度,輔助生成式視覺的商業落地。
面對視覺敘事中「在不改變辨識度與表演細節的前提下進行風格重構」的難題,研究團隊提出 ID-V2V 這套框架,運用視訊重新打光技術來維持面部特徵,同時將關鍵幀的場景與風格變化傳遞至來源影片。
- 該模型創新性地將面部辨識問題轉化為 video relighting 問題,並整合 relit facial regions 與 facial normal maps 等控制訊號,確保相貌與表演一致性。
- ID-V2V 透過單一影片建構訓練配對,解決了現實場景中稀有配對資料的問題,並支援單一及多元人像場景。
- 實驗結果顯示,該模型在保留面部相似度與細微面部表演上顯著優於現有方法。
- 原始碼已於 GitHub 上開放,連結:https://github.com/Eyeline-Labs/ID-V2V。