如何保證無損模擬解碼？Numerical Precision 在 Orthrus 中的作用
為何重要
這項研究揭示了先進架構在商業落地上的一個關鍵技術門檻：混合自回歸-擴散模型雖能加速推理，但其輸出的一致性高度依賴 Numerical Precision（數值精度）。對開發者而言，這警示在追求效能最佳化時，不能單看 Benchmark 表現，必須獨立評估 Trajectory Matching 質量。若無法在既有的低精度硬體上保證 "Exact Trajectory Matching"，該技術在產業應用的可靠性將受質疑。
- Orthrus 採用混合自回歸-擴散架構，聲稱利用共識機制達成與自回歸模型一致的輸出序列，但其「無損」定義在不同數值精度下有所差異。
- 研究團隊在 BF16 精度下測試，發現作者的檢查點精確軌跡匹配率僅 45%，獨立訓練模型更低至 43%（12 個領域的 1,190 個提示）。
- 若改用 FP32 精度，軌跡精確匹配率可達 100%，且這取決於參考模型的「回應條件困惑度」，而非總是導致下游 lm-eval-harness 基準測試表現退化。