AI 評估中的預測驅動平滑化與驗證機制
為何重要
這項研究解決了 AI 開發者剖析效能評估中的「樣本誤差」難題，特別是在智慧體或 RAG 應用需要驗證長尾場景表現時。透過統計學方法將預測驅動推斷（PPI）與平滑化模型結合，有助於在低標記成本下獲得更穩健的置信區間。對於測試與監控服務廠商而言，此技術提供了新型的高效驗證邏輯。
AI 系統評估須針對不同領域（如基準任務型別或部署 Agent 的對話型別）進行拆分，由於全面測試成本高昂，目前仰賴標記樣本進行推斷。針對標記數量不足導致的估計不精確問題，研究者提出了整合的評估流程，結合預測驅動平滑（PP-S）與跨報告分類法借用強度的擴充套件（PP-TS），並匯出一種新的設計基準交叉驗證分數來選擇最佳估計器。
- 提案了預測驅動平滑（PP-S），這是一種對每個領域預測驅動估計進行擬合的貝葉斯模型，並具有跨報告分類法借用強度的擴充套件 (PP-TS)。
- 新導出的設計基準交叉驗證分數可運用於在直接估計器與平滑估計器之間進行選擇，該方法在相同的取樣預算下，選擇效果等同於使用獨立驗證樣本。
- 在經過策劃的基準測試中，提出的估算器在點與區間估計上皆優於直接估計器，且具備近乎名義的區間覆蓋率。