Ollama 發布 v0.30.8,最佳化提示快取與 MLX 推理穩定性
為何重要
這些更新讓開發者在本地部署與執行語言模型時能享有更佳的效能與可靠性。
Ollama 發布 v0.30.8 更新,將提示快取與上下文位移解耦以提升 KV cache 重用率,並強化了 MLX 推理的穩定性與迴圈模型支援。
這些更新讓開發者在本地部署與執行語言模型時能享有更佳的效能與可靠性。
Ollama 發布 v0.30.8 更新,將提示快取與上下文位移解耦以提升 KV cache 重用率,並強化了 MLX 推理的穩定性與迴圈模型支援。