無限引數 LLM：從即時資料生成與調整權重
為何重要
該技術突破在於將「權重」這一本質性的模型引擎從靜態轉為動態，意味著模型可能具備類似生物的即時學習與自我演化能力。對於開發者而言，這提供了一種解決長期對話記憶瓶頸的新方向，讓個性化適配的維護成本更可控。就產業觀點，這是推動通用人工智慧從「預訓練型」走向「持續演化型」的重要學術路徑。
這項研究探討如何讓大型語言模型利用即時互動資料（而非僅限預訓練資料）來調整自身權重，提出名為 Infinite-Parameter LLM 的架構。<br>- 機制上改用緊湊的超網路動態生成低秩調制，而非儲存固定權重，並線上更新潛在碼。<br>- 系統維持固定的儲存規模（如帽型 MoE），卻能像擁有「無限」權重般持續適應新資料。<br>- 相較於將資訊塞入 prompt，將知識內化於模型權重中能降低算力攤銷、釋放上下文視窗並提升跨回合的持久記憶與泛化能力。