ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

ID-V2V:保留存面部特徵的影像重風格化技術

研究 1 個來源 · 9 天前
為何重要

此研究斷開了生成式視訊編輯中「風格變更」與「身份流失」的必然聯結,提供了一種全新的技術路徑(將面部辨識視為光影控制問題)。這對開發者來說是建模視訊細節的新工具,對產業而言,若此技術能進一步商業化,將極大提升虛擬模特、電商及專業影片後製的效率與完成度,輔助生成式視覺的商業落地。

面對視覺敘事中「在不改變辨識度與表演細節的前提下進行風格重構」的難題,研究團隊提出 ID-V2V 這套框架,運用視訊重新打光技術來維持面部特徵,同時將關鍵幀的場景與風格變化傳遞至來源影片。

  • 該模型創新性地將面部辨識問題轉化為 video relighting 問題,並整合 relit facial regionsfacial normal maps 等控制訊號,確保相貌與表演一致性。
  • ID-V2V 透過單一影片建構訓練配對,解決了現實場景中稀有配對資料的問題,並支援單一及多元人像場景。
  • 實驗結果顯示,該模型在保留面部相似度與細微面部表演上顯著優於現有方法。
  • 原始碼已於 GitHub 上開放,連結:https://github.com/Eyeline-Labs/ID-V2V。
ID-V2VVideo GenerationFace EditingVideo RelightingComputer VisionHugging Face

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00