代理式背景管理:將代理記憶視為生命週期與架構問題
為何重要
此研究揭示了點石成金的解方:解決 Agent 商業化最大阻力(成本與檢索準確度)的關鍵在於工程架構的變革。對開發者而言,這是構建可擴充套件 Agent 系統的標準作業程式;對產業而言,將引發「Agent 中介軟體」和 Context Optimization 週邊科技的創新浪潮。
- 目前生產環境中的 AI 代理失敗,多數非因推理能力不足,而是源於無法有效管理推理上下文,導致歷史紀錄堆疊與 token 成本攀升。
- 提出新架構觀點「代理式背景管理(ACM)」,將情境管理視為生命週期問題,並定義五個基本原語:architecting、ingesting、scoping、anticipating 和 compacting & consolidation。
- 經濟分析指出,直覺的上下文堆疊會令 token 成本隨對話長度呈二次方成長,唯有透過「validated compaction」才能實現成本線性增長並保留準確度。
- 參考實作「Maximem Synap」做為多租戶服務,報告顯示其在 LongMemEval 取得 92% 分數,在 LoCoMo 取得 93.2% 分數。