持續學習正處於轉型期
為何重要
傳統持續學習 僅聚焦於模型引數的微調，這篇調查揭示了關鍵的架構性轉變：從封閉的引數空間走向開放的系統級整合。這意味著未來的能力擴充套件可能不再側重「擴大模型體積」，而是通過外部 Harness（如技能庫、記憶機制）與即時更新機制來達成。對於建構 Agent 或 RAG 系統的開發者而言，這種從推論階段延伸學習的思維，是突破單一巨模型滑落 瓶頸的重要方向。
- 文章探討持續學習 從傳統「以引數為中心」的機制，轉向「系統級適應」的新型範式。
- 定義了演化的三個分析軸：包含 How（離線策略、線上策略、梯度外最佳化）、When（預訓練、後訓練與推論階段）以及 Where（內部引數 vs. 外部 Harness 元件）。
- 引入外部 Harness 元件（如記憶庫 skill libraries、互動協議）來擴充套件模型能力的演化邊界，並將學習階段延伸至 Test-time training。
- 探討此範式的轉移背後，代表性方法的演變、挑戰以及對未來方向的啟示。