ExplainBench：評估 Coding Agents 產生解釋的新基準
為何重要
隨著軟體開發的主力轉向 AI Agents，解釋的可靠性已取代單純的「編碼正確性」，成為判斷工具是否值得被接受的關鍵門檻。 ExplainBench 揭示了現有評估標準可能掩蓋解釋信度不足的問題，專家應追蹤業者如何在商業產品中應用此類「解釋審計」技術以建立信任。 證明瞭改善 Agents 解釋能力的技術可行性，未來開發者工具很可能會內建類似 audit agent 的功能，作為確保 AI 產出安全性的強制檢查清單。
ExplainBench 基準的推出旨在解決 Coding Agents 規模化修改程式碼（幾十到幾百行）後，開發者難以人工審查並依賴解釋來理解變更的問題。
- 新標準問卷：ExplainBench 透過設計問題，測試解釋是否能準確描述有 Bug 程式碼的預期行為以及 Agent Patch 實際產生的效果。
- 評價維度差異：實驗證明解釋品質是獨立的評估軸，ExplainBench 的排名結果與廣泛使用的 SWE-bench Verified 基準判斷不一致。
- 找到改善方法：解釋品質普遍不佳常表現為錯誤宣稱 patch 正確；研究團隊開發的 audit agent 可透過額外測試自動修正這些解釋。