ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

OpenAI Jalapeño 晶片首度亮相,瞄準高效能推理市場

晶片 1 個來源 · 29 天前
為何重要

OpenAI 逐步建立全棧策略以應對算力成本,試圖從 Nvidia 的市場佔有率中奪回推理環節的話語權;若技術驗證通過,將直接重塑雲端 AI 的供應鏈邏輯與邊際成本結構。

在 Hot Chips 會議上,OpenAI 發布自研晶片 Jalapeño 的細節與首批基準測試結果,目標針對大規模推理場景進行最佳化。

  • 在 InferenceX 基準測試中,Jalapeño 的每使用者 tokens 數量與每千瓦特吞吐量皆優於現有狀況最優的推論處理器(對照系統包含 Nvidia Blackwell)。
  • 該晶片由 OpenAI 與 Broadcom 協作開發,並計劃將其打造為同時最佳化產品、模型、晶片與記憶體的全棧多世代平臺。
  • 技術設計上著重於縮短推理過程中 Prefill 與通訊階段的延遲,透過將模型狀態(含 KV cache)本地化來最佳化算力、記憶體與網路配置。
  • 預計 2026 年底先以「極小量」部署,並將於 2027 年展開更大量發布。
OpenAIJalapeñoBroadcomNvidia Blackwell推理最佳化

來源 · 1 篇報導

首發 TechCrunch — AI techcrunch.com 22:22