ExLlamaV2 0.2.9 發布,支援 Torch 2.7.0、Gemma3 與 Mistral 3.1
為何重要
此次更新優化了開發者在本機部署先進多模態模型的環境,強化了 Edge LLM 端的硬體相容性與效能。
版本 0.2.9 更新了對 Torch 2.7.0 的支援,並擴充了對 Gemma3 與 Mistral 3.1 的支援(包含文字與視覺功能),同時修復了 phi-4 mini 等模型所需的 partial_rotary_factor 功能。
此次更新優化了開發者在本機部署先進多模態模型的環境,強化了 Edge LLM 端的硬體相容性與效能。
版本 0.2.9 更新了對 Torch 2.7.0 的支援,並擴充了對 Gemma3 與 Mistral 3.1 的支援(包含文字與視覺功能),同時修復了 phi-4 mini 等模型所需的 partial_rotary_factor 功能。