DiffusionGemma 技術報告
為何重要
DiffusionGemma 在效能與能力之間建立了新的 Pareto frontier，證明瞭離散擴散是 LLM 生成的高效替代路徑，將改變對生成速度的預期並推動混合解碼架構的發展。
DiffusionGemma 是一個實驗性開放權重語言模型，透過離散擴散技術打破傳統自迴歸模型的串列解碼瓶頸，大幅提升文本生成效率。
- 模型由 Gemma 4 的 MoE 架構微調而來，擁有 3.8B 活躍引數與 25.2B 總引數。
- 採用兩階段訓練（監督式微調加強化學習與去噪），計算成本僅為原 AR 模型的 10% 以下。
- 在單一 NVIDIA H100 上可達約 1,500 tokens/秒的生成速度。