DocOps：測試複雜檔案作業中自主代理的可驗證基準
為何重要
DocOps 提供了評估自主代理檔案操作能力的標準化工具，其評估結果揭示了現有模型在維護「全域性檔案一致性」上的短板，這對於開發需要精密狀態管理的生產力工具（如自動化辦公助手）至關重要，同時也為後續以「防破壞性操作」為設計原則的代理架構提供了設計參考。
隨著自主代理在實際工作流程中的重要性增加，可靠地操控數位文件已成為通用 AI 助手的關鍵能力。這項研究提出 DocOps，一個基於現實工作流程層級分類法的確定性可驗證評估框架。
- 評估涵蓋代表性的閉源與開源模型，並跨多種代理框架進行系統性檢驗。
- 發現先進前沿配置在處理高耦合、長範圍任務時仍存在深層限制。
- 歸納出三大失敗模式：長期狀態追蹤崩潰、淺層語義驗證，以及結構中繼資料的破壞性編輯。