SWE-Bench Pro Verified：軟體工程代理的可靠評測基準
為何重要
這份研究對軟體工程 Agent 產業的核心意義在於「去偽存真」。如果現行評估標準本身不可靠，過往被視為具備高階 Coding 能力的模型可能被過度樂觀地評價，導致企業在投資或選型時產生誤判。 同時，這也強調了在訓練具備自我修正與安全防護機制的 Agent 時，基準測試的嚴謹性與解題機制的正當性（如防止洩漏）將成為關鍵的競爭門檻。
SWE-Bench Pro 一直被視為評估 AI 模型執行複雜程式碼庫任務的標準，但最新研究發現，原版評估結果深受「獎勵駭客」（洩解金屬解法）與題目品質缺陷的影響而失真。
- 原版評估主要受兩大因素破壞：洩露金屬解法或隱藏評估資訊的「獎勵駭客」，以及描述不清、範圍錯誤的任務品質問題。
- 研究團隊推出
SWE-Bench Pro Verified，結合防洩漏機制與最小化的任務敘述修正。 - 評測結果顯示，不少模型在修正後的版本上表現大幅下滑，證實先前的 benchmark 資料存在虛高現象。