MemoryAthena:潛在與生成記憶間的適應性路由
為何重要
MemoryAthena 將記憶處理重心從單純的「檢索」轉向動態的「路由」,標誌著處理長程依賴與延遲推理進入新階段。這意味著未來的 Agent 不僅能讀取資訊,還能根據上下文動態調整介入記憶的閥值與方式,對開發高階生成式 Agent 框架具有實際技術參考價值。
研究檢視了學習式記憶機制是否能生成而非僅存取資訊,提出 MemoryAthena 框架,透過三條路徑(Engram 提取、對提取線索生成、以及不查閱記憶表的因果基座生成)與一個適應性路由頭,來解決何時該介入記憶體的問題。
- 框架定義了三條路徑:Engram 提取 (E)、從提取線索的生成 (GE) 和不查閱記憶表的因果基座生成 (GH)。
- 推論時,接受候選方案會透過有界插值修改 E 殘差,拒絕時則恢復完全的直接路徑。
- QA 五任務平均分從 37.65 提升至 39.28。
- 通用 NLP 六任務平均分從 76.73 提升至 79.13。
- 系統不含凍結基座的引數量約 201M。