ICAE-Bench: 評估 Coding Agents 的互動式專案建構能力
為何重要
傳統 Benchmarks 盲目套用於靜態、單一指令的測試已無效力，ICAE-Bench 引入的互動式評估才能真正衡量 Coding Agents 在真實開發情境下與人類協作的可靠性。 將推動 Agent 開發焦點從純粹的程式碼生成，轉向具備多輪對話澄清、即時環境適配與整體專案驗證能力的系統。 對產業而言，這標誌著「vibe-coding」正從技術噱頭走向需要嚴謹工程評估的生產力工具階段。
Coding agents 正演進至透過「vibe-coding」工作流處理複雜任務，需要具備從模糊意圖轉化為可運作軟體的規劃、除錯與儲存庫建構能力，傳統基準已難以反映此變化。
- 任務基底來自真實可執行的開源儲存庫，而非隨機的模糊需求，以確保任務的具體性。
- 透過 User Agent Data 限制互動範圍，Agent 須在互動中推導隱性限制條件，避免虛構需求或洩漏實作細節。
- 評估模式結合標準化黑盒測試，並從功能性、語意及結構保真度、設計品質等多維度進行診斷。