Ollama 發布 v0.30.6 版本
為何重要
QAT 模型大幅改善了大型模型在裝置端執行的資源效率,提供開發者在不依賴雲端運算的情況下更強大的本地推理能力。
Ollama 推出了 v0.30.6 版本,主要新增了經過「量化感知訓練」(QAT)最佳化的 Gemma 4 系列模型權重,以大幅降低記憶體需求並提升裝置端效能。此外,更新內容還包含與編輯器整合的 AI 程式設計 agent Oh My Pi 的整合,以及針對 Apple Silicon 平臺最佳化 MLX 嵌入層的量化技術。