大模型竞争进入下半场：速度正在成为新的竞争力|大模型竞争|智能体|编程|调用|轨迹|速度

过去几年，大模型行业的竞争主要围绕参数规模、训练算力和 Benchmark 评测成绩展开。从 Scaling Law 推动模型规模不断扩大，到各大厂商持续刷新榜单分数，行业最关心的问题始终是：模型究竟能做到什么程度？

但今年以来，另一个过去不太显眼的指标，开始频繁出现在新模型和新服务的发布信息中，那就是输出速度。

9 月底，OpenAI 在发布 GPT-6.1 Sol 时预告了 Ultrafast 高速服务档位，并在 10 月 8 日正式将其引入 API，让开发者可以通过支付更高费用换取更快的生成速度。同一时期，智谱在 AI 编程工具 ZCode 中开启了 GLM-5.3 HighSpeed 灰度测试，推理平台 Fireworks 也开始为 DeepSeek V4.1 Flash 提供高速推理服务。

从美国到中国，越来越多的 AI 公司开始把“速度”作为一项独立的产品能力。

近日，有海外博主在社交平台上也分享了关于模型速度的统计图。这张图汇总了 2026 年发布、总参数量不少于 300B（3,000 亿）的开放权重模型及其不同部署方案。图表的横轴是模型总参数量，纵轴是每秒生成的 token 数量，一条红色折线将这些统计样本中的最高速度连成了“速度前沿”。

这条前沿线上有四个代表性节点：左上角是初创公司 NaiveAI 的 Naive-N0.5-Flash，速度约为每秒 2,000 tokens；往右依次是部署在 Fireworks 上的 DeepSeek V4.1 Flash，每秒约 1,500 tokens；小米官方的 MiMo-V2.5-Pro UltraSpeed，每秒约 1,000 tokens；以及运行在 NVIDIA Rubin NVL72 上的 Kimi K3，每秒约 850 tokens。

其中，Naive-N0.5-Flash 的表现十分亮眼。这款总参数量为 309B 的模型，在配套推理系统 NaiveRT 的支持下，实现了每秒约 2,000 tokens 的单路输出速度，处于图中统计样本的速度前沿，也是速度表现最突出的方案之一。

模型背后的 NaiveAI 是一家成立于今年的大模型初创，由清华大学电子工程系副教授代季峰创办。这支团队选择了一条颇有特点的研发路线：让 AI 参与 AI 的研发，通过自动化的代码开发、实验设计和系统优化，提高模型研发效率。除了 Naive-N0.5-Flash，团队还开发了配套的高速推理系统 NaiveRT。

仔细看这张图，还能发现一个有意思的现象：同一个模型，换一种部署方式，速度可能会相差十几倍。例如 Kimi K3 的官方服务速度约为每秒 50 tokens，但在 Rubin NVL72 上的速度则接近每秒 850 tokens。速度前沿上的几个点，大多也来自经过专门优化的部署方案。

这些数字背后，是大模型推理效率正在发生的变化。从每秒几十个 tokens 到上千个 tokens，模型的输出速度已经被推向新的水平。

不过，为什么到了今天，大模型开始如此重视速度？如此快的速度又是如何实现的？

从聊天到执行任务，AI 为什么越来越需要快？

在早期的聊天机器人场景中，用户提出一个问题，等待模型生成答案。几秒钟的等待虽然会影响体验，但在多数情况下仍然可以接受。

随着 AI 编程助手和智能体（Agent）逐渐普及，情况发生了变化。以 AI 编程为例，智能体接到修改程序的任务后，可能需要先浏览代码仓库、找到相关文件，再编写代码并调用终端运行测试。如果出现报错，它还要读取日志、分析原因并重新修改。整个过程可能涉及几十次乃至上百次模型调用，而且许多操作必须等上一步完成后，才能继续往下执行。

在这种环环相扣的工作流程中，单次生成速度的差异会不断累积。假设模型每次生成需要 10 秒，连续执行 50 次，仅生成过程就要花掉约 8 分钟；如果每次能缩短至 2 秒，这部分时间就能降到 2 分钟以内。

这也让行业开始更加关注单路解码速度（Single-stream Decoding Speed），也就是模型在处理单个请求时，每秒钟能够生成多少个 tokens。

过去，推理服务商更关注整体吞吐量，即一组 GPU 在单位时间内能够处理多少请求、总共生成多少 tokens。通过批处理技术，服务器可以同时为大量用户提供服务，以此提高硬件利用率。

但智能体的工作方式有些不同。它需要根据上一轮的结果决定下一步做什么，即使服务器能够同时处理更多请求，也不代表单个任务会完成得更快。对于这类连续执行的工作流，单次模型调用的速度开始变得格外重要。

类似的需求还出现在模型训练过程中。如今，不少模型会利用强化学习来提升数学推理、编程和工具使用能力。训练时，模型需要反复尝试解题、调用工具，并生成完整的推理或行动轨迹，这一过程被称为 Rollout。

复杂任务的轨迹可能包含数万甚至更多 tokens。一旦部分样本运行时间过长，就会拖慢整个训练批次的进度；在异步训练中，那些迟迟无法结束的任务，其生成结果还可能因为模型版本已经更新而无法继续使用。

NaiveAI 就曾在其技术报告中提到，在长达百万 tokens 的任务轨迹中，模型读入工具返回信息的速度可以达到每秒数千 tokens，但生成新内容的速度通常只有每秒几十到上百 tokens。

而新生成的内容虽然只占轨迹总量的 20% 到 40%，却消耗了模型大部分的运行时间。

按这个区间粗略估算，如果生成内容占 30%，读入速度为每秒 5,000 tokens，生成速度为每秒 100 tokens，那么生成环节会占掉约 95% 的耗时。如果将生成速度提高到每秒 2,000 tokens，在其他条件不变、暂不计工具执行开销的情况下，整条轨迹的耗时可缩短至原来的十分之一左右。

对于依赖大量 Rollout 的强化学习训练来说，这样的提速有机会让同样的算力在有限时间内完成更多实验，也能减少训练过程中等待复杂样本结束的时间。

此外，速度还会影响模型在一次任务中能够完成多少工作。用户愿意等待的时间通常是有限的，模型生成得越快，在同样的时间里就能尝试更多方案、多运行几轮测试，再从中择优选择结果。对编程智能体而言，面对复杂的软件工程问题，反复修改和验证本来就是工作流程的一部分。

由此来看，高速推理的价值已经不只是让聊天窗口里的文字出现得更快。应用端希望缩短用户的等待时间，研发端则希望提高模型训练和实验的周转效率。当 AI 开始承担越来越复杂的任务，速度也就有了新的意义。

一秒生成 2,000 tokens，背后发生了什么？

同样是大模型，为什么有的每秒只能生成几十个 tokens，有的却能达到上千个？

这背后既有模型架构的差异，也与推理系统的优化密切相关。

大模型在生成新 token 时，需要不断读取模型参数和历史缓存（KV Cache）。尤其在处理单个请求时，GPU 很难像处理大量并发任务那样分摊数据读取的成本，推理速度因此经常受到显存带宽的限制。要提高速度，一种直接的方法就是减少每次生成需要读取的数据量。

今年 9 月，DeepSeek 发布 V4.1 Flash，采用新的因果编码器与解码器架构。虽然模型总参数达到 552B，但在生成输出时仅激活约 16B 参数。同时，DeepSeek 还进一步压缩了 KV Cache。按照官方披露，与上一代 V4 Flash 相比，新模型的 GPU 高带宽内存需求降至约四分之一。

同样在 9 月，NaiveAI 发布了面向编程和 AI 研发的开放权重模型 Naive-N0.5-Flash。这款模型基于开源基础模型进行了继续训练和架构优化，采用混合专家（MoE）架构，总参数约为 309B，每次生成 token 时实际激活约 15.5B 参数。

在注意力机制上，NaiveAI 还将滑动窗口注意力（SWA）与 DeepSeek 稀疏注意力（DSA）相结合，主要按照五层 SWA、一层 DSA 的比例排列。前者处理邻近的上下文，后者从更长的历史信息中筛选相关内容，从而减少长序列计算的开销，并支持原生 100 万 tokens 上下文。

对比两款模型可以发现，尽管 DeepSeek V4.1 Flash 的总参数规模更大，但两者在生成时的激活参数量相当接近。这也说明，对于 MoE 模型而言，真正影响推理速度的因素，还包括每次参与计算的参数量、注意力结构以及缓存访问方式。

不过，模型本身的优化只解决了一部分问题。即使使用相同的模型和硬件，不同推理系统之间也可能存在明显的速度差距。

目前，高速推理中一项重要技术是推测解码（Speculative Decoding）。通常情况下，大模型需要逐个生成 token，而推测解码会先让较小的草稿模型生成多个候选 token，再交给主模型并行验证，争取一次确认多个 token，减少逐个生成所需的计算轮次。

今年 10 月，NVIDIA 工程师公布了针对 Kimi K3 的推理优化成果。团队借助 AI 编程智能体改进 GPU Kernel，并结合推测解码，在 16 张 GB300 GPU 的测试环境中，将模型单路输出速度提高到约每秒 842 tokens，比相同条件下未经优化的 vLLM 提高了 73%。

NaiveAI 的高速推理系统 NaiveRT 也采用了推测解码，但进一步将优化重点放在了底层执行效率上。

由于推测解码涉及草稿生成、验证和结果提交等多个步骤，GPU 需要频繁启动不同的计算任务。如果这些步骤之间存在较多调度和同步开销，实际提速效果就会受到影响。

为此，NaiveRT 通过 GPU Kernel 融合和程序化依赖启动（PDL）等技术，将原本分散的计算步骤整合起来，减少 CPU 介入，让 GPU 能够更连续地完成计算。

根据 NaiveAI 官方技术报告，在相同测试系统中，NaiveRT 完成一轮推测解码仅需 3.4 毫秒，而 SGLang 需要 12.3 毫秒，延迟降低约 72.4%。

这些优化最终体现在完整模型的生成速度上。按照官方测试，NaiveRT 在 8 张 GPU 上实现了最高每秒 2122 tokens 的单路解码速度。该结果取自关闭 thinking 模式后的最佳一秒窗口，不包含输入处理时间。

这也说明，要把输出速度提高到每秒上千个 tokens，既需要模型能够在一次计算中确认更多内容，也需要尽可能缩短每轮计算的耗时。NaiveAI 通过模型架构与推理系统的协同优化，将两方面结合了起来。

除了软件优化，硬件也是提高推理速度的重要方向。Cerebras 的晶圆级芯片采用大容量片上存储和高带宽数据通路，能够减少数据搬运带来的开销。今年 5 月，Cerebras 宣布部署 Kimi K2.6，独立评测机构 Artificial Analysis 测得其输出速度达到每秒 981 tokens。

从模型架构、推理系统到专用芯片，各家厂商正在沿着不同路径提高生成速度。大模型的竞争也因此逐渐延伸到整个推理技术栈，而模型最终能够跑多快，越来越取决于这些环节能否高效配合。

速度竞赛的下一步

而当模型的输出速度达到每秒上千个 tokens，速度竞争也开始进入新的阶段。

对于模型厂商来说，如何把更快的推理速度转化为实际的产品价值，同时控制任务执行成本，成为接下来需要解决的问题。

最近几个月，已经有大模型厂商开始尝试为速度单独定价。

OpenAI 的 GPT-6.1 Sol 在标准 API 中，每百万输出 tokens 收费 10 美元，Ultrafast 档位的价格达到标准档的 6 倍。Anthropic 在 9 月发布 Claude Opus 5.5 时，也提供了最高约 2.5 倍速度的 Fast 模式，输入和输出价格均为普通模式的两倍。小米 MiMo-V2.6-Pro-UltraSpeed 同样采用独立定价，主要面向实时交互和低延迟需求。

更快的速度通常伴随着更高的成本。这与推理系统的资源分配有关：为了让单个请求尽快完成，服务商可能需要分配更多算力、减少批处理规模，或者采用成本更高的硬件。同一组 GPU 能够同时服务的用户数量可能因此下降，额外成本最终也会反映在价格上。

即便如此，市场上还是出现了不少愿意为高速服务付费的开发者。今年 6 月，小米与 TileRT 合作开放 MiMo-V2.5-Pro-UltraSpeed 限时测试，官方称其输出速度超过每秒 1,000 tokens，体验价格约为普通模式的三倍，速度提高约十倍。据小米披露，发布后 12 小时内，超过 3,000 家企业及其开发者提交了试用申请。

对于需要频繁调用模型的应用来说，缩短等待时间显然具有吸引力。不过，当 AI 真正进入企业的工作流程，开发者们还有另一笔账要算。

10 月 26 日，咨询机构 Gartner 在一篇关于智能体经济性的分析中指出，在其研究的近 1,000 个案例中，能够带来稳健投资回报的智能体部署尚不足一成。到 2028 年，单个智能体工作流的推理成本可能增长五倍以上，复杂推理模型消耗的 tokens 通常是基础聊天机器人的 5 到 30 倍。

模型调用次数越多、任务越复杂，推理成本就越容易累积。因此，企业需要考虑的可能不只是某个模型每秒能生成多少 tokens，还包括完成一整项任务究竟需要花多少钱。

针对这个问题，一些厂商开始尝试让不同模型分工合作。

今年 8 月，NVIDIA 发布 Nemotron 3.5 Lightning，并推出模型路由工具 NeMo Switchyard，让复杂规划由能力更强的模型完成，简单的工具调用和信息处理则交给速度更快、成本更低的模型。

据 NVIDIA 披露，金融科技公司 Ramp 使用 Switchyard 后，在软件工程任务测试中实现运行时间缩短 33%、成本下降 58%；开发工具 Devin 的内部测试也显示，平均成本下降约 28%。

这提供了一种新的思路：未来的智能体系统，可能会根据任务难度、时延要求和成本预算动态选择模型，而不必让最昂贵的模型承担所有工作。

高速推理的另一项价值，也开始在模型研发领域显现。

前面提到，NVIDIA 工程师在优化 Kimi K3 时，已经借助 AI 编程智能体编写 GPU Kernel。NaiveAI 则将类似的方法用于 NaiveRT 的核心研发。

根据 NaiveAI 披露的信息，研究员与 AI 模型在六天内完成了 151 次有记录的优化试验，其中 63 次改动最终被采用。研究员负责设定性能目标和验证标准，AI 参与代码编写、性能分析和方案测试。

相比单纯让 AI 编写代码，这种研发方式的创新点在于，AI 开始参与一个不断试错、评估和改进的工程过程。研究者提出目标，模型尝试寻找实现路径，再通过实际运行结果决定下一步该怎么做。

团队还让模型参与开发了世界模型 AutoWM。研究人员设定目标和评测标准后，AI 参与方案设计、模型训练和实验调整。最终，AutoWM 在 WorldArena-1 Track 1 评测中取得 77.43 分，高于当时已公布的最高成绩 73.64 分。