品玩8月26日讯，据 TechCrunch 报道，OpenAI在Hot Chips大会上披露自研推理芯片Jalapeño的首批基准测试结果。该芯片由OpenAI与Broadcom联合开发，在SemiAnalysis的InferenceX基准测试中，每用户处理token数及每千瓦吞吐量均超越当前业界最优推理处理器。
OpenAI硬件负责人Richard Ho表示，Jalapeño可在单位功耗下承载更多AI工作负载，同时保持低延迟响应。此次对比对象为Nvidia Blackwell系统，但Jalapeño计划于2026年底小批量部署，大规模部署预计在2027年。
Jalapeño采用全栈协同设计理念，将AI产品、模型、芯片与内存统一规划。其核心优化在于减少推理过程中预填充与通信阶段的延迟，通过将KV缓存等模型状态显式放置并保持本地化，按需激活计算、内存与网络资源，从而有效降低数据搬运与通信瓶颈。
打开网易新闻 查看精彩图片
热门跟贴