OpenAI Jalapeño 晶片首度亮相,瞄準高效能推理市場
為何重要
OpenAI 逐步建立全棧策略以應對算力成本,試圖從 Nvidia 的市場佔有率中奪回推理環節的話語權;若技術驗證通過,將直接重塑雲端 AI 的供應鏈邏輯與邊際成本結構。
在 Hot Chips 會議上,OpenAI 發布自研晶片 Jalapeño 的細節與首批基準測試結果,目標針對大規模推理場景進行最佳化。
- 在 InferenceX 基準測試中,Jalapeño 的每使用者 tokens 數量與每千瓦特吞吐量皆優於現有狀況最優的推論處理器(對照系統包含 Nvidia Blackwell)。
- 該晶片由 OpenAI 與 Broadcom 協作開發,並計劃將其打造為同時最佳化產品、模型、晶片與記憶體的全棧多世代平臺。
- 技術設計上著重於縮短推理過程中 Prefill 與通訊階段的延遲,透過將模型狀態(含 KV cache)本地化來最佳化算力、記憶體與網路配置。
- 預計 2026 年底先以「極小量」部署,並將於 2027 年展開更大量發布。