程式碼代理 Harness 設計的實證研究
為何重要
這項研究將 Coding Agents 的評估從單一的黑箱模型測試，轉向通過模組化方式精準理解各元件對效能與成本的影響，對工具供應商而言，突顯了情境管理在資源受限環境下的關鍵性，並指出最佳化 Harness 行動空間可為強模型帶來顯著的降本機會。
自主編碼代理的效能高度仰賴 Harness（編排框架）的設計，該研究將框架拆解為規劃、行動空間與情境管理三個元件進行實證分析。
- 研究在 SWE-Bench Verified 與 Terminal-Bench 2.1 許可權上，針對 4 個模型分析了 176 種不同設定。
- 當上下文視窗預算收緊時，情境管理的效益顯著提升，其核心在於防止上下文溢位造成的失敗。
- 規劃（Planning）對強模型主要作為降低成本的手段，對弱模型則主要維持準確度，整體準確率差異不大。
- 具具備 Bash 能力的模型在使用 Bash-only 介面時表現更佳且成本更低，顯示預先定義工具的價值取決於模型能力。