持續學習機制組合解決長期記憶遺忘挑戰
為何重要
在 RAG 目前解決長期上下文資訊遺忘的主流方案背景下，本研究透過機制組合展示了「模型原生」架構解決問題的巨大潛力，未來或許能降低企業部署時對外部向量庫及 DB 讀寫的依賴。對開發者而言，意味著長期維護的排程策略可能從重型的 RAG 架構轉向更輕量的持續學習微調；投資人需觀察此類技術能否從 benchmark 走向需要高度穩定性的金融或醫療等垂直領域的商業應用。
研究引入長期記憶設定，迫使模型在序列更新中學習 100 組問答任務且不保留範例。研究發現連續微調導致災難性遺忘，並透過組合補充遺忘來源來提升效果。
- 方法論：提出資料、函式與權重錨點配合 merged LoRA 的組合策略，並利用「task-level successive halving」搜尋設計空間，在三個 100 任務記憶資料集上進行測試。
- 關鍵成果：最佳組合方法將平均最終保留率從 naïve 序列微調的 1.2% 提升至 34.9%，提升幅度達 28 倍，並在多個資料集名列前茅。