NVIDIA 推出 Nemotron 3.5 Lightning 與 NeMo Switchyard 串聯開源與智慧體生態
為何重要
NVIDIA 強勢推動開源與本地部署，試圖在雲端 API 成本高昂下，為企業開發者提供「不失前沿智慧」的成本優勢解決方案。這驗證了邊緣運算與混合模型路由的商業化可行性，將加速企業端 AI 應用從大模型 API 向私有化、自管算力邁進。
NVIDIA 於八月擴大開源生態，推出適合本地部署的高效能通用 AI 智慧體模型與工具。重點包含 Nemotron 3.5 Lightning 與 NeMo Switchyard 的釋出，重點改寫了開源模型的效能與成本結構。
- Nemotron 3.5 Lightning 是一個開源 30B 專家混合（MoE）模型，相比同級別開源模型，代幣生成速度快 4 倍，完成時間快 30%。
- 此模型支援 vLLM、Ollama、llama.cpp 等平臺的 NVFP4 和 GGUF 格式，允許開發者在 RTX PC、DGX Spark 或 DGX Station 等多種硬體上本地執行。
- NeMo Switchyard 可自動路由智慧體工作流程至最佳合適模型；內部基準測試顯示，該方法將任務完成成本降至單一 Opus 4.8 模型的約三分之一。