StealthBench：測量自主紅隊代理的隱匿操作能力
為何重要
StealthBench 證實了目前 LLM 主導的自動化紅隊系統在作業安全 上存在普遍的系統性缺陷，導致即便發現漏洞也無法安全交付。 這對於基礎模型提供商和自主安全工具開發者是重大指標，意味著除了辨識漏洞外，模型必須具備強大的隱匿操作訓練，否則這類 Agent 在企業實務中極可能因洩露線索而被封鎖。 此研究直接點出自駕動態紅隊從實驗室走向商業落地的關鍵門檻。
為了評估自主攻擊性安全代理能否像頂尖人類操作員一樣在不洩漏資訊的情況下達成目標，研究團隊推出了 StealthBench 基準測試。
- 該基準提取自真實漏洞賞金與紅隊行軌跡中的 11 個 OPSEC 事件，擴充為 14 個 Docker 化情境。
- 引入 3 款模型 LLM 裁判進行多數表決，衡量「安全成功率」等指標。
- 目前所有模型的「安全成功率」均未逾過 54%，顯示即便發現漏洞，代理常因洩露憑證等魯莽行為導致行動失敗。