Lightning Weave：透過能力組合提升推理模型的準確率與效率邊界
為何重要
該技術提供了一條繞過傳統「同年份王者」模型選擇困難的新路徑，致力於在不增加引數量的前提下節省算力。 對於資源有限的邊緣部署或高效能需求場景，這證明瞭透過高階後訓練框架組閤中小型模型，是獲得接近大型模型效能且低延遲的有效解決方案。 該研究重點隸屬於「post-training」細分領域，可能有潛力催生相關的訓練工具業績。
研究團隊提出 Lightning Weave 後訓練框架，解決了提升推理準確率與效率時通常難以兼顧的問題，透過能力組合將獨立微調後的模型優勢整合至單一學生模型中。
- 該技術利用「對齊 log-ratio shifts」結合「Tilted-Target DOPD」，將獨立訓練的專家能力提取並穩定地組合至學生模型。
- 在 Qwen3.5-4B 模型上，HMMT 2025 難題準確率從 59.2% 提升至 64.0%，同時反應 token 數減少 10.7%。
- LiveCodeBench v5 程式碼評估顯示準確率由 41.7% 升至 54.2%，並減少了 9.6% 的 response token。