7月13日，半导体研究机构SemiAnalysis在社交平台发布推文，高度评价英伟达在vLLM推理引擎上的性能优化成果，同时明确指出AMD在部分模型的vLLM支持上仍有较大追赶空间。

华尔街见闻提及，该机构两周前指出，英伟达"CUDA护城河正遭缓慢侵蚀"，公司最大的竞争压力是越来越多超大规模云厂商和AI模型公司开始采用自研ASIC，针对训练或推理等特定场景构建专用芯片体系。

两则判断将AI芯片竞争的焦点从"谁的硬件更强"拉回到一个更根本的问题：在推理时代的规模化部署中，软件生态的深度可能比单代GPU的硬件领先更具决定性。

对于每天运行数十亿次推理调用的AI企业而言，"部分模型支持良好"与"所有模型稳定优化"之间的鸿沟，在规模效应下会被急剧放大。

在硬件竞争日趋白热化、自研ASIC不断蚕食推理份额的背景下，英伟达在推理软件栈上的积累深度，正在成为比硬件参数更持久的竞争壁垒。

vLLM的差距是生态闭环

vLLM是当前大语言模型推理领域应用最广泛的开源引擎。

SemiAnalysis选取vLLM作为评判基准，本身即传递了一个判断，开源推理生态正在成为衡量AI芯片真实性能的关键战场。

以Kimi K2.5这一千亿参数级混合专家（MoE）模型为例，差距尤为突出。

英伟达GB200 NVL72通过机架级NVLink将72张GPU高速互联，支持宽专家并行（Wide EP）达8至16的规模。

这一架构使每张GPU承载的专家权重大幅减少，HBM带宽压力随之降低，All-to-All通信也得以在高速NVLink域内完成，而非经由较慢的InfiniBand网络。

最终每GPU吞吐量可达12,000 token/s以上。相比之下，AMD MI355X在同一测试中表现明显逊色，主要原因在于其难以实现同等规模的专家并行与机架级互联。

在软件层面，英伟达推出的Dynamo分布式推理框架将vLLM深度集成，专门针对MoE模型实现了预填充与解码分离（Disaggregated Serving）、高效KV缓存传输以及双批次重叠等优化。

这套框架在NVL72上能够充分发挥硬件潜力，而AMD方面目前仍主要依赖标准vLLM与DISAGG版本，针对超大MoE模型与宽并行场景的深度优化尚未跟上。

"部分模型"措辞背后的全覆盖鸿沟

SemiAnalysis将AMD的落后限定在"部分模型"上，这一措辞包含两层信息。

第一，AMD并非全面落后。在通用计算场景中，其MI系列GPU已具备一定竞争力，Meta近期签署的巨额采购订单也验证了这一点。

第二，"部分"这一限定恰恰凸显了当前差距的实质，全面性软件生态覆盖的缺失。

在AI推理场景中，企业客户追求的是稳定、可预期的部署体验。维护两套软件栈以覆盖不同模型的成本，往往是决策时的决定性因素。

AMD要完成从"部分领先"到"全面可用"的跨越，所需的软件工程投入可能比硬件迭代更为耗时。

这不仅是写更多驱动和适配层的问题，它意味着要在数以千计的模型架构、不断演进的开源框架、以及分散的开发者社区中建立广泛的兼容性和信任。

推理时代，软件才是真正的护城河

当AI产业重心从训练向推理迁移，软硬件的战略价值正在发生结构性重估。

训练任务集中、可控，硬件性能差距可凭资本投入弥补；推理则是分布式、持续性的，微秒级延迟差异在每天数十亿次调用中被成倍放大，直接转化为成本结构的分化。

英伟达的软件生态壁垒由三个层面叠加构成：

  • 覆盖约400万开发者的CUDA工具链及其二十年积累；
  • 对所有主流机器学习框架的优先适配；
  • 以及cuDNN、TensorRT、NCCL等优化库形成的深度绑定。

三者叠加产生的迁移成本，远超任何单一硬件参数的差距。这一判断与SemiAnalysis两周前的分析形成呼应。

彼时，该机构指出Anthropic已形成由谷歌TPU、亚马逊Trainium和英伟达GPU共同构成的多平台算力架构，大量Claude模型训练运行于TPU，Claude Code推理则越来越多部署于Trainium，英伟达GPU的份额正遭自研ASIC缓慢侵蚀。

然而此次对vLLM性能的正面评价表明，英伟达在推理软件栈深度优化上的领先幅度，并未随硬件竞争格局的演变而同步收窄。