企业AI的账单,正在撞上一堵预算墙。随着智能体类工作负载成倍增加,云端的token费用消耗速度远超预期,一些客户开始重新盘算:推理到底该跑在哪里。
这种成本压力正在改写企业AI的部署策略。原本被推上云端的推理任务,如今让本地基础设施和开放权重模型重新回到了讨论桌上——不是作为备选,而是作为账算得过来的选项。
打开网易新闻 查看精彩图片
钱花得比计划快
问题出在用量上。智能体工作负载的特点是调用密集、循环频繁,一次任务可能触发几十次模型调用,token消耗随之滚雪球。云端的按量计费模式在这种场景下,把预算消耗的速度推到了计划之外。
当token账单开始挤占其他项目的额度,企业不得不重新审视一个老问题:哪些推理必须留在云上,哪些可以搬走。
本地与开放权重回到牌桌
成本压力之下,本地部署和开放权重模型被重新纳入考量。这两条路径的共同点是,把推理的边际成本从按次付费变成一次性投入,用量越大,账面上的差距越明显。
戴尔和英特尔正在权衡的,正是这笔账的两端:一边是云端的弹性与便利,一边是本地基础设施的前期投入与长期可控。企业AI的可扩展性,最终要落到成本能不能撑住规模这件事上。
部署策略的分岔口
这轮成本压力带来的变化是具体的:企业不再默认把所有推理放在云端,而是开始按工作负载的性质做切分。高频、重复、对延迟敏感的推理,留在本地更划算;需要弹性扩展、偶发峰值的任务,云端仍有优势。
开放权重模型的角色也在变化。当模型本身可以自由部署,推理的选址就不再被单一供应商绑定,成本结构随之有了重新设计的空间。
企业AI的规模化,正在从"能不能做"变成"划不划算做"。
热门跟贴