透過預測推論將 LLM 排名評估提升至統計可靠層級
為何重要
提供了一種學術上可驗證且營運成本可控的評估框架，讓開發者能準確辨識最佳模型或系統變體，實現質化與量化評估的突破。
研究團隊推出名為 PRECISE 的框架，利用預測推論技術將 LLM 排名評估提升至統計可靠層級。該方法透過結合小規模人工標註與大規模 LLM 評分，能消除 LLM 評估者的偏誤，並將層級指標（如 Precision@K）的計算複雜度從 O(2^|C|) 降低至 O(2^K)。實測在 ESCI benchmark 上使 Precision@4 估計標準誤差降低了 21%，且生產環境的 A/B 測試亦確認了其有效性。