英伟达的工程师把一段1.2万行的代码塞进推理链路，换来了一个相当扎眼的数字：423 tok/s/user。调研机构 SemiAnalysis 披露，在 GB300 NVL72 这套硬件上，2.8万亿参数量的 Kimi K3 模型跑出了这个每用户每秒 Token 的推理速度，对比同硬件此前的表现，提升 1.68 倍。

打开网易新闻 查看精彩图片

动手的是英伟达 CentML 工程师 Benjamin。他做的是一项上游 vLLM 优化，核心手段是大规模 Megakernel 融合——把原本分散的计算步骤收拢进一个内核里，减少来回调度的开销。这个 Megakernel 用 Cute DSL 编写，针对的是英伟达新推出的解码专用内核。

1.2万行代码这个体量，本身就说明了工程量。SemiAnalysis 的说法是，它代表着 AI 辅助生成高级计算内核的未来方向。换句话说，这类底层内核的编写方式，正在从纯手工转向人机协作。

对装机党和关注推理成本的人来说，这个数字的意义在于：同样的 GB300 NVL72，同样的模型权重，只靠软件侧的内核优化就能拿到 1.68 倍的吞吐提升。硬件没换，账单没变，速度变了。

英伟达的动作不止于此。除了 Kimi K3，它还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。上游框架层面的这类改动，最终会顺着 vLLM 的版本更新流到下游部署方手里。