智能体推理（Agentic Inferencing）正在成为AI算力竞争的新战场。SemiAnalysis旗下AgentX团队发布的最新推理基准InferenceXv3，直接把矛头指向一个核心问题：CUDA生态壁垒在智能体推理场景下，还能否继续充当英伟达的护城河？

这份基准测试的规格相当硬核：300万美元成本构建的开源数据集、100万+的上下文长度、多轮对话（Multiturn）测试、子智能体（Sub Agents）场景下95%以上的KVCache命中率。测试对象覆盖了英伟达GB300 NVL72、AMD MI355以及英伟达B200等主流推理硬件。

打开网易新闻 查看精彩图片

为什么智能体推理会动摇CUDA的根基？

传统大模型推理是"一次问答"，而智能体推理是"多轮任务执行"。智能体需要反复调用工具、读取上下文、与子智能体协作，这意味着推理过程不再是简单的矩阵计算，而是大量内存访问、上下文切换和KV Cache管理。CUDA在纯计算密度上的优势依然明显，但在这种"内存密集型+高并发调度"的新工作负载下，硬件架构的适配性比软件生态的丰富度更关键。

InferenceXv3基准的设计思路，正是要量化这种差异。通过100万+上下文长度的多轮测试，它试图回答：当推理任务从"算得快"变成"记得住、切换快、协同顺"时，不同硬件平台的真实表现差距有多大？

95%的KVCache命中率意味着什么？

KVCache命中率是智能体推理的核心效率指标。子智能体场景下，多个代理共享上下文、频繁读写缓存，95%以上的命中率意味着缓存管理策略已经接近最优，内存带宽的瓶颈被大幅缓解。这个数字本身，就是衡量推理引擎优化水平的关键标尺。

值得注意的是，这份300万美元的数据集被完全开源。这意味着任何团队都可以用同一套测试集，在自家硬件上跑出可对比的分数。当评测标准公开透明，硬件厂商之间的"护城河"叙事就需要用真实数据来支撑了。

CUDA的护城河到底守不守得住？

从基准测试的设定来看，答案并不绝对。CUDA在开发者生态、库的丰富度和成熟工具链上依然有巨大优势，这是AMD的ROCm短期内难以撼动的。但在智能体推理这个新兴场景，硬件架构的适配效率正在成为新的变量。如果AMD的MI355能在高上下文、多子智能体的工作负载下交出接近甚至超越英伟达GB300的成绩，那"CUDA护城河"的叙事就需要重新书写了。

AgentX这次把测试标准公开化，本质上是在推动一场"去滤镜"的硬件评测。300万美元的开源数据集，加上100万+上下文和95%+命中率这些硬指标，让市场第一次有了可以横向对比智能体推理能力的公共尺子。接下来，就看各家硬件厂商如何接招了。