MemSFT：利用外部引數記憶體緩解對齊稅賦
為何重要
此研究解決了垂直領域模型落地的核心痛點，為開發者提供了一種在不大幅修改或付費訓練主模型權重的情況下，注入專業知識的實務路徑；對產業而言，這項技術提出的引數級解耦架構，代表未來甚至可以低成本地在現有通用模型上新增長期的行業專精能力。
大型語言模型在進行專業領域微調（SFT）時，常因「對齊稅」導致災難性遺忘，使得模型在領域任務表現提升的同時，通用能力大幅退化。研究提出的 MemSFT 是一種可插拔的引數記憶體解決方案，透過與主模型引數更新解耦，並在生成階段由學習路由器動態融合記憶體與背柵輸出，實現領域專業知識的精準呼叫。
- 記憶體經由訓練模擬非引數化檢索器的行為，在特定領域訓練後可跨不同規模的 LLM 重複使用。
- 實驗涵蓋生物學、地學和法學領域，模型規模從 Qwen3-8B 至 Qwen3-235B-A22B，結果顯示 MemSFT 較傳統全引數微大幅減輕了通用任務的表現衰退。