Spectral Alignment 架構降低 Diffusion 模型的迭代曝光偏差
為何重要
SPA 解決了 Diffusion 模型推論階段品質不穩定的核心痛點，提供了一個架構中立且計算代價極低（僅 3–4%）的最佳化方案。不僅對研究人員改善模型物理謬誤具參考價值，也反映了 AI 工程師對於已有強模型進行微小增效的重視。
Diffusion 模型的迭代推論過程常因訓練資料與推論分佈不一致，導致暴露偏差（exposure bias）與品質下降。研究團隊提出 Spectral Alignment (SPA) 方法，透過校正中間預測的功率譜來消除此係統性誤差。
- 問題洞察：發現訓練與推論間存在系統性的頻率依賴差異（SNR 誤差），且誤差方向隨模型型別與時間步變化，因此固定矯正規則不具擴充性。
- 技術運作：SPA 分為兩階段。第一階段是離線擬合引數譜模型；第二階段是在推論時，透過高效的 FFT 基礎梯度計算進行引導。
- 效能與互補：引入極低的計算開銷（3%–4%），且能與 Classifier-Free Guidance（CFG）等其他技術互補，不衝突。
- 模型適用性：在 Pixel-space（DDPM, ADM）、Latent diffusion（SD2.0, SDXL）以及 Flow-matching（SD3.5, FLUX）等多元架構下均展現穩定改善。