用户看到的AI价格通常以每百万个词元计算，背后的成本却不是简单拿显卡价格除以输出字数。一次推理会经过注意力、前馈网络、内存读写、缓存保存、批处理和调度，输入阶段与输出阶段甚至像两种不同机器。
只有把这些环节拆开，才能理解为何长上下文昂贵、输出词元比输入词元贵，也能判断自建服务是否真比接口便宜。Transformer先把每个词元变成向量，再生成查询、键和值三组投影。
序列中的词元互相计算相关性，形成长度为n的方阵，因此注意力的一部分计算量随n的平方增长。FlashAttention通过把小块放入更快的片上存储，减少慢速显存往返，能明显提速和节省内存，但没有改变平方级数学运算。
上下文从四千扩到三万二千，相关性矩阵的压力不会只增加八倍。文章以模型维度d和层数L推导，一层注意力与前馈网络的近似计算量为24nd²加4n²d。
对十亿参数级示例，短上下文时线性项占主导；到三万二千词元，平方项可能占总成本七成以上。前馈网络也不便宜，很多讨论只盯住注意力，忽略每层后面的多层感知机。
混合专家模型只激活部分参数，可以减少每个词元执行的计算，却仍要存放和调度大量专家权重。输入预填充阶段，所有词元已知，可以组成巨大的矩阵乘法，成千上万GPU核心同时工作，计算单元容易吃满。
生成阶段必须逐词元进行，下一个词依赖上一个词，运算从矩阵乘矩阵退化为矩阵乘向量。此时瓶颈通常不是峰值算力，而是每一步都要从显存搬运权重和缓存。
昂贵芯片的计算核心可能大部分时间都在等待数据到达。这也解释了首词延迟与生成速度为何需要不同优化。
首词延迟更多受预填充计算影响，可以靠更强算力、缩短提示或改进架构降低；每秒输出词元数则更受内存带宽、权重大小和批处理效率限制。单纯把理论浮点算力翻倍，未必让文字出现得更快。
Groq、Cerebras等推理硬件路线强调片上存储或特殊数据流，本质上都在解决搬运速度跟不上计算速度的问题。KV缓存是另一笔不断增长的账。
生成第501个词元时，如果没有缓存，前500个词元的键和值需要重复计算；缓存把它们保存下来，使重复计算变成读取。代价是每名用户都要占据独立空间，而且上下文每增加一个词元，缓存就继续变大。
示例中的十亿参数模型在INT8缓存下，每个词元约增加16KB，三万二千上下文约占512MB，十二万八千上下文约占2GB。并发量因此与上下文长度直接对冲。
文章按80GB显存H100和量化后的70亿参数模型估算，扣除权重及运行开销后，四千上下文大约可容纳278个会话，三万二千时降到约34个，十二万八千时只剩约8个。
具体数字会随模型、量化、批处理和软件实现改变，但方向很稳定：长会话不一定让单个请求慢很多，却会挤走同一块GPU上的其他用户，平台最终为失去的并发收费。自行部署不能只看理论GPU租金。
高利用率下，纯计算成本可能远低于接口报价，可真实系统还要支付推理优化工程、监控、安全过滤、峰值冗余、多地域容灾和运维团队。业务量不稳定时，昂贵显卡常处于空闲，利用率从三成降到一成，单位成本就会成倍上升。
接口价格包含的不只是模型运算，也包含随时可用和故障兜底。端侧推理则改写了边际成本。
模型一旦下载安装到手机，新增一次请求不再产生云端显卡租金，也没有共享并发上限。对翻译、摘要和常驻助手等高频功能，使用越多越有优势。
不过手机通常只能运行较小模型，内存限制上下文，电池消耗、芯片碎片化、升级分发和隐私安全都要纳入成本。端侧并非全面取代云端，而是把简单高频任务移到本地，把复杂推理留给数据中心。
AI经济学的真正杠杆因而有三个：减少无关上下文，降低每词元KV缓存和权重搬运量，提高硬件利用率。更长窗口并不意味着检索增强已经过时，把海量无关文本塞进提示仍会支付平方计算与并发损失。
企业选型时应分别测量首词时间、输出速度、平均上下文、峰谷流量和团队运维费用。每个词元的价格标签只是结算终点，决定账单的，是数据在芯片里怎样移动以及一块显存能同时服务多少人。
热门跟贴