ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

成立九年,中科類腦將積累注入 Token 工廠

基建 1 個來源 · 1 小時前
為何重要

隨著模型 API 價格戰導致通用 Token 利潤鐘形曲線下行,產業競爭焦點正從「堆砌算力」轉向「系統級效率」與「場景化產出」,中科類腦的模式證明瞭電力成本最佳化、異構晶片協同以及跨域排程能力是擁有高邊際利潤的關鍵。對開發者而言,Token 工廠提供了類似於雲端計算即服務的進階層級,使企業能夠在電力與資源成本波動下維持服務質量,這將重塑未來 AI 企業的基礎設施建置策略。

為了應對大模型進入規模化推理階段後資源產出效率的挑戰,中科類腦推出「算電協同型 Token 工廠」,著重於將算力、電力行為與 Token 產出進行系統級統籌。

  • 核心架構採用「1+3」設計:由一個決策大腦連線算力、Token 和電力三個子系統,基於電力條件對算力、模型和任務進行全域性最佳化排程。
  • 專注異構排程與推理最佳化:系統透過「包工頭」式外掛管理不同架構的晶片(如 NVIDIA、昇騰),並將推理流程拆解,利用 KV Cache 遷移連線 Prefill 與 Decode 階段以提升效率。
  • 效能優勢現於跨域排程:在上海、蕪湖與烏魯木齊的跨地排程測試中,系統響應控制在 200 秒以內,跨域遷移成功率達 100%,能耗預測精度達 98%。
  • 平臺規模已達商業化水位:截至介紹時點,已接入逾 3000 個算力節點,總算力超過 5000P,並服務超 8 萬家企業及科研使用者。
中科類腦Token工廠異構排程算電協同AI基礎設施

來源 · 1 篇報導

首發 量子位 QbitAI qbitai.com 08:48