快科技5月11日消息，SemiAnalysis旗下InferenceX性能测试平台发布的最新测试数据显示，自DeepSeek V4大模型发布以来，AMD ROCm软件栈在约14天内实现了75倍的推理吞吐提升。
该测试覆盖了FP4和FP8精度下的8K/1K上下文典型应用场景，测试周期截至5月8日。
打开网易新闻 查看精彩图片
在相同交互性水平下，token处理能力同步增长，有效降低了大模型推理延迟，显著改善了终端用户的使用体验。
此次性能飞跃完全来自ROCm软件栈的深度优化，未涉及硬件层面的改动，展现出AMD在AI软件领域的快速迭代能力。
性能提升主要源于两大核心优化：融合mHC操作与RoPE哈达玛变换，降低CPU开销并提高HBM内存利用率。
此外，索引器、键值缓存压缩器等核心计算内核均采用TileLang和Triton语言编写，大幅加快了开发迭代速度。
目前ROCm距离单节点聚合英伟达B200的性能水平仍有5倍差距，距离PD解耦版本B200则还有1.5倍提升空间。
相关信息显示，AMD有望在未来几周内完成剩余的性能优化目标，进一步缩小与NVIDIA CUDA的技术差距。
这是DeepSeek V4发布后，AMD ROCm团队在未提前获得模型权重的情况下启动适配，仅用约两周便交出上述成绩单。
打开网易新闻 查看精彩图片
热门跟贴