OpenAI近日推出“Ultrafast”模式预览版,旗舰模型GPT-5.6 Sol的输出速度最高可达每秒750 token,速度提升至原来的14倍。这一推理加速由Cerebras提供支持,双方今年早些时候达成一项100亿美元的合作。初期该服务仅通过OpenAI API面向GPT-5.6 Sol开放,并仅限于特定客户,OpenAI计划随着容量增长逐步扩大访问范围,有意向的企业可通过表单登记获取更新。

OpenAI表示,Ultrafast旨在结合小模型的速度与大推理模型的完整能力,实现“每秒完成更多有用工作”。以事件响应为例,工程师可在系统故障仍在发生时,让模型分析日志、代码变更和报告,实时定位原因并准备修复方案。OpenAI透露,公司内部已将该模式用于此类场景。

打开网易新闻 查看精彩图片

其他潜在场景还包括:金融领域,模型可在市场条件变化时评估信号并标记可疑交易;客户支持方面,复杂询问可实时解决,即使答案涉及多个步骤或系统;电商领域,可在犹豫的买家放弃购物车前回答产品问题、检查库存并提供个性化推荐。

研究也是OpenAI强调的方向。过去需要通宵运行的批处理实验,如今可转变为交互式工作会话,团队无需中断工作流,即可测试想法、查看结果、调整方法并启动下一轮运行。

OpenAI已通过API按推理速度分层收费。此次Ultrafast模式的推出,进一步将速度作为定价杠杆,但其具体定价策略尚未公布。