ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

DeepSeek V4.1 Flash 展現龐大模型能高效運作的範本

模型 1 個來源 · 12 天前
為何重要

DeepSeek V4.1 Flash 的成功驗證了「條件記憶模組」作為實際部署用途的可行性,為業界在處理長上下文與高併發場景時提供了突破視訊記憶體瓶頸的新思路。對產業來說,這標誌著大型模型的效能臨界點不再僅受制於引數量的堆疊,而轉向資源密度更高效的架構創新,將影響未來雲端運算與晶片開發的評估重心。

DeepSeek 推出 V4.1 Flash 模型,展現龐大模型可透過架構革新實現節省記憶體的運作範本;該技術關鍵在於引入 N-gram 引數模組,讓繁重的式子權重能解除安裝至較便宜的系統記憶體中。

  • 模型擁有 7,630 億引數,尺寸超過先前發布的 V3 和 R1,記憶體需求卻因效能最佳化而降低。
  • 透過更新注意機制與因果編碼器-解碼器 (CED),將 KV 快取耗用減少至原 V4 版本的 13%–25%。
  • 利用 1,960 億 N-gram 引數實現「條件記憶模組」,將 FP8 精度的執行需求從通常的 763 GB 降至約 567 GB GPU 記憶體。
  • Alibaba 的 Qwen 3.8-Flash-Next 採用類似技術路徑,顯示此 N-gram 方法已成為業界共同趨勢。
DeepSeekV4.1 FlashN-gramKV cacheQwen 3.8-Flash-Next

來源 · 1 篇報導

首發 The Register theregister.com 15:15