ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

FreeFlow:一種免偏見的階層式 Transformer,用於光流估計

研究 1 個來源 · 12 天前
為何重要

這項研究重構了光流任務的標準做法,證明利用通用且無特定任務誤導層的 Transformer 架構,較傳統的複雜混合架構在準確度上無懼且更具可擴充套件性。對開發者而言,這簡化了光流模型的設計與最佳化流程,有利於推動該技術在影片編碼、自動駕駛以及 3D 重構領域的落地應用。

傳統光流方法常依賴特定的先驗偏差(如 Correlation volumes 與 feature warping)提升準確度,卻犧牲了模型表達能力並增加計算成本。本研究提出 FreeFlow,透過單一前饋編碼器–解碼器的階層式 Transformer 架構達成高效能。

  • 在 Sintel 基準上,清淨版與 Final 版本的端點誤差(EPE)分別達到 0.68 與 1.48。
  • KITTI-2015 基準測試的平均 Fl-all 分數為 3.23。
  • 在 Spring 基準上達到 3.192 的 1px 端點誤差(目前最佳表現,SOTA)。
  • 推論時保留記憶體效率,支援 1080p 解析度。
FreeFlowTransformerOptical FlowSOTAComputer Vision

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00