FLEET：從 Logits 熵到強化文本生成的軌跡
為何重要
這項研究成果針對 LLM 推理中「速度」與「準確度」的權衡提出了具體可行的工程解方，特別值得關注其在邊緣運算或低資源環境下的實際效益。對開發者而言，FLEET 提供了一種即插即用的方式，在不增加 Token 成本的前提下顯著提升複雜程式碼生成的可靠度。這也印證了將輕量化記憶機制加入生成迴圈的潛力，可能改變未來企業級應用的理想架構。
傳統大型語言模型 依賴溫度取樣來提升輸出品質，但因缺乏記憶機制，隨著樣本增加容易重複答案。研究團隊提出 FLEET，將生成過程視為狀態熵超過門檻的軌跡，從而生成分數來調整 Logits。
- FLEET 的核心機制是根據「熵超過預設閾值」的狀態來推斷 Token 效用，並整合於生成過程中的記憶機制。
- 在相同算力預算下，該方法在 LiveCodeBench 編碼測試的 Pass@32 準確度從 59.9% 顯著提升至 66.2%。
- 與需大量樣本的重複取樣法相比，FLEET 能以 3 倍速度達到同等準確度。
- 該技術在貪婪解碼配置下具確定性，且只需對現有 LLM 管線做極小的調整（單次校準批次）。