FreeFlow:一種免偏見的階層式 Transformer,用於光流估計
為何重要
這項研究重構了光流任務的標準做法,證明利用通用且無特定任務誤導層的 Transformer 架構,較傳統的複雜混合架構在準確度上無懼且更具可擴充套件性。對開發者而言,這簡化了光流模型的設計與最佳化流程,有利於推動該技術在影片編碼、自動駕駛以及 3D 重構領域的落地應用。
傳統光流方法常依賴特定的先驗偏差(如 Correlation volumes 與 feature warping)提升準確度,卻犧牲了模型表達能力並增加計算成本。本研究提出 FreeFlow,透過單一前饋編碼器–解碼器的階層式 Transformer 架構達成高效能。
- 在 Sintel 基準上,清淨版與 Final 版本的端點誤差(EPE)分別達到 0.68 與 1.48。
- KITTI-2015 基準測試的平均 Fl-all 分數為 3.23。
- 在 Spring 基準上達到 3.192 的 1px 端點誤差(目前最佳表現,SOTA)。
- 推論時保留記憶體效率,支援 1080p 解析度。