芯伟的产品与工程执行副总裁陈·戈德伯格在“扩展代理时代”虚拟活动中,详细拆解了AI代理从概念验证转向生产系统时,基础设施面临的根本性重构。

“当你的产品是一个AI代理时,你生成的每一个令牌都有成本和业务影响。”戈德伯格开门见山,直接点出这场变革的核心:不再只是拼算力峰值,而是比每瓦特推理吞吐量、比每百万令牌的成本。她给出的数字极具冲击力——Vera Rubin相比上一代Blackwell,每瓦特推理吞吐量提升10倍,每百万令牌成本降至十分之一。“这不只是规格表上的改进,而是一次技术飞跃。”

打开网易新闻 查看精彩图片

这场由theCUBE主办的虚拟活动集结了芯伟、英伟达和戴尔科技的负责人,共同探讨Vera Rubin如何从端到端系统工程、持续运营到整机架验证,全方位改变AI基础设施的评估标准。以下提炼出两个关键变革信号。

第一个洞察:AI代理让基础设施变成了端到端的系统工程难题。戈德伯格观察到,模型与喂养它们的系统之间耦合更紧。AI工作负载变得愈交互、愈有状态,性能的高低取决于数据、计算和推理反馈在系统中流转的可靠程度。“模型和基础设施之间的关系,不再只是GPU的事,”她说,“我们还要确保数据能及时到达。我们关心延迟,更关心可靠性,因为这些系统正在变成关键任务级。”这一变化正在模糊训练和推理的界限,迫使AI云平台从管理一堆孤立的资源,转向全栈协调。

为此,芯伟提出了一套名为“任务控制”的大脑系统,破天荒地将计算、网络和存储视为整体来管理,而不是各自为政。戈德伯格解释说:“与其单独考虑计算、网络和存储,我们实际上是把这些系统整合到一起,作为一个整体来运营。”这种整机架级别的协同,正在成为可靠生产基础设施的底座。

第二个洞察:持续运营正在成为代理工作负载的基础设施常态。从生成式AI到推理系统,再到如今的AI代理,运营假设彻底改变。基础设施不再只是响应单一模型请求,而是必须像一个持续协调的环境一样运作。这意味着,在规模上持续运行代理工作负载的经济性,将成为下一阶段竞争的分水岭。