壓縮短文字生成中的品質崩潰點：階段性瓶頸定位
為何重要
這項研究證明瞭在極端壓縮比（如 64-to-16）的場景下，編解碼器的還原能力往往是瓶頸，而非潛在空間的還原難度。這對於最佳化壓縮語言模型（如適用於邊緣運算或即時生成的模型）具體化了調優路徑：開發者應重點調整 Codebook 與 VQ-VAE 結構，而非僅強化 Decoder。
研究團隊提出了一套可重用的階段性診斷方法，用於區分壓縮短文字生成器中，資訊是否在編解碼器階段被丟失，或是潛在空間生成器輸出弱碼所致，以避免算力浪費在不同元件的最佳化上。
- 研究基於縮放比 64-to-16 的 TinyStories 案例進行，採用階段性驗證協議，僅靠編解碼器還原便將外部困惑度（perplexity）中位數提升 80.4%，p95 更是大幅增加 294.1%。
- 在外部 GPT-2 評分器評測下，碼空間的 MDLM 模型顯著優於 Token 空間擴散模型，分別降低了平均、中位數與 p95 困惑度 32.9%、30.9% 與 36.6%。
- 發現幾何正規化雖然能改善潛在變數代理指標，但在可用的執行週期中並未提升最終解碼文本的表現。