AI 基準測試飽和現象的系統性研究：無法有效區分模型的長期危機
為何重要
這項研究徹底改寫了大型模型競爭的觀察方式。過去業者可能誤將排名下滑歸咎於模型設計或資料量不足，現實可能是基準測試本身的設計已失效。為了避免「好酒也怕巷子深」，未來模型評估的重點將從單純的資料量比拼，轉向更具耐久性的設計選擇與策展策略。對開發者而言，這意味著需更嚴謹地審視測試指標的有效性。
AI 基準測試長期以來被視為衡量模型進步與部署決策的標竿，但研究顯示多數基準正因「飽和」（saturate）現象而失去長期價值，導致難以區分模型。這項系統性分析檢視了 60 個語言模型基準測試，發現抗飽和能力取決於設計與人為策展，而非僅靠公共資料規模。
- 規模與方法：分析涵蓋 60 個語言模型基準測試，使用 14 種屬性來評估其飽和程度。
- 飽和率趨勢：近半數基準測試已出現飽和，且隨著基準測試的年齡增加，飽和速率反而更高。
- 關鍵因素：抵抗飽和的能力與測試資料集的公開性或大小無關，主要取決於專家策展的程度。