凍結權重 12B 模型在驗證工作上擊敗前沿模型:100% 準確率、0 Token、位元級精確
為何重要
本研究揭示了「資料顯著性高於引數規模」的可能性,挑戰了大型語言模型(LLM)透過不斷重訓練提升能力的慣性思維。若此係統架構能解決驗證這一痛點,對於 RAG(檢索增強生成)、邏輯除錯工具或高風險產業(如金融、醫療)的兩階段代理操作(Plan + Tool)將具備極高商業價值,迫使廠商重新思考成本結構。
- 研究提出「凍結權重模型 + 驗證記憶」架構:對於已解決並驗證的問題家族,新例項可達成零生成 token、位元級精確且確定性的回答。
- 執行效能資料:在包含 4,500 項的儲存庫中,精確位址查詢漢明距離演算法錯誤率為 0,而近似相似度檢索錯誤率為 94.3%;記憶選取需 1.4 µs,完整重用耗時 6-23 ms (36 mWh)。
- 記憶體與上下文延伸:系統在單一 46 GB GPU 上具備 600 萬 Token 的可移動視窗(flattened memory),超越 vLLM (30,399) 與 SGLang (32,000) 的限制。