Salesforce 與 Nvidia 推出推理模型 Koa:為企業市場提供開源架構方案
為何重要
這顯示企業 AI 佈局正從依賴前線模型實驗室轉向利用開放權重(Open-weight)模型自建主權 AI 方案。對 SaaS 與企業客製化開發者而言,Koa 以合成資料與高 token 效率證明瞭針對特定領域(如 CRM)而非通用能力的微調,能顯著降低 API 推理成本並解決資料外洩疑慮。
Salesforce 在 Dreamforce 大會推出首款推理模型 Koa,該模型基於 Nvidia 開源的 Nemotron 架構,專為銷售、行銷與客服領域微調。
- 模型不會使用實際客戶資料訓練,改用模擬客服與銷售情境的合成資料,並透過 Nvidia 的架構提升推論的 token 效率與資料主權。
- 它預計將取代透過 Agentforce 閘道轉發到 ChatGPT 或 Claude 等前線模型的流程,以更具成本效益的方式處理長鏈工作。
- Salesforce 的 EVP 指出,過去缺乏滿足美國主權 AI 需求的頂級開放權重基礎模型,而 Nemotron 為此提供了具備清晰資料溯源的解決方案。
- 除自家模型外,Salesforce 仍保留與 Anthropic 的 Claudeforce 產業合作,讓客戶能使用 Claude 作為介面但維持資料留存於其系統中。