Ollaya：本地部署開源決策模型的 Ollama 式方案
為何重要
Ollaya 解決了大模型 Agent 在進行結構化決策（如分類、打分）時的延遲與不穩定問題，提供了一個類似 Ollama 的本地化、零成本的替代方案。這對開發高隱私要求的企業 Agent 或自動化客服系統具有重要意義，能讓決策模型直接跑在端點，而非依賴雲端。若 TypeSafe 未來成為標準協定，該工具可能影響邊緣計算與 Agent 框架的生態。
Ollaya 提供了一個本地 HTTP API 伺服器，專為執行「Jev 風格」的非生成式決策模型打造，讓開發者能以毫秒級回應處理敏感資料。\n\n- 端到端效能：在 RTX 4090 上，端到端處理 5 個問題僅需約 10 毫秒。\n- API 相容性：支援 TypeSafe API 規範（/v1/systemone、/v1/models），官方 Python SDK 可直接聯機本地伺服器。\n- 模型生態：內建 Lay、Decider (Qwen3.5)、NLI 及 gliclass 等開源決策模型，未來計畫支援 GGUF 與 llama.cpp。\n- 部署與隱私：單一二進位檔案，支援 macOS/Windows/Linux 與 Docker，無 API 計費，權重來源於繫結 commit 的 Hugging Face 儲存庫。