NCP-ArchPreview 技術報告：透過「下一概念預測」邁向潛空間語言模型
為何重要
此研究重新定義了模型預訓練的目標從純 Token 預測轉向潛空間概念預測，為提升模型效率提供了新的技術路徑。對開發者而言，這代表了一種可能降低訓練成本或提升推理質量的潛力，且實驗顯示其潛在空間可用於低成本領域適應及增強推理器（如 DFlash2 整合）的功能。
NCP-ArchPreview 為一種潛空間語言模型，由於挑戰傳統的下一 token 預測，並透過獨特的 Concept Module 學習跨多個 token 的離散概念。
- 模型針對 8.9B 引數進行擴充套件，並在 Dolma-3 資料集上訓練了 5.73T tokens。
- 消耗僅 51.3% 的訓練 tokens 即達成 OLMo-3-7B 的最終損失。
- 下游評測表現優於 OLMo-3-7B，Macro average 分數高出 2.45 個點，其中 GSM8K 分數提升 5.99 個點。