重新審視確測編碼中的有損驗證：機制、權衡與失敗模式
為何重要
對於致力於降低推論成本與提升 LLM 生成品質的工程團隊，此文提供了一個關鍵的診斷框架。它揭示了許多自訂 SD 自動化策略中潛在的陷阱，並提供了一套標準化的原則來評估與避開「有損驗證」在截斷與協作模式下可能導致的效能衰退，有助於提升模型部署的可靠性。
Speculative Decoding (SD) 透過輕量級草稿模型加速大模型推論，而有損驗證雖引入效率最佳化，卻潛藏改變目標分佈的風險。本文透過原則性分析釐清這些方法的運作機制。
- 進一步將各種有損驗證方法歸納整理為「基於截斷的驗證」與「協作驗證」兩大類，證明多種看似獨立的方法僅有表面差異。
- 在基於截斷的方法中，檢測出一個基本缺陷：由於分佈失真，其表現可能顯著劣於真正的截斷取樣基準。
- 在協作驗證中，確立關鍵原則為控制草稿機率相對於目標機率的「過衝」，以避免低品質輸出。
- 提供評估框架與程式碼實作 (Fast-HSD)，供開發者驗證各種方法的效能與穩定性。