科大訊飛發布星火 Token Factory，打造企業級 AI 模型智慧路由與治理新底座
為何重要
此舉標誌著國內 AI 產業正從初期的「模型能力競賽」轉向「應用運營基礎互打」，星火 Token Factory 直接解決了昇騰生態在私有化部署中常見的算力利用率低與運維複雜度高的痛點。對企業而言，這意謂著不必更換核心雲供或全面自研底層，即可透過中介軟體實現多源模型的高效混駁與統一治理，推動 AI 從單點試點走向規模化商業化營運。
- 面對企業在大規模應用 AI 時面臨的模型種類增多與成本攀升問題，科大訊飛於 7 月 19 日正式推出「星火 Token Factory」，定位為企業應用與大語言模型之間的統一底座。
- 平臺具備 L1 至 L3 智慧路由系統，綜合判斷任務複雜度、Prompt 長度等因素以匹配最適合的模型資源，平均決策延遲控制在 100 毫秒以內。
- 面向昇騰硬體進行了端到端的工程最佳化，在相同條件下，其推理效率較開源 vLLM-Ascend 框架提升約 5 倍，首次 Token 延遲降低 30%–40%。
- 內建三權分立安全體系、全域審計日誌與敏感資訊防護機制，並提供模型消耗統計與成本歸因分析能力，實現從接入到運營的視覺化閉環。