模型厂商现在一个接一个地推出更大的上下文窗口：100k tokens、200k tokens，有些甚至突破了百万。营销话术很简单——把所有内容一股脑儿粘贴进去，模型自己会判断什么重要。这个想法听起来确实诱人。但对于任何要在生产环境中跑起来的系统来说，这恰恰是一个错误的默认设置。
这里有一个关键差距。在教程或演示环境里，“长上下文”意味着粘贴一篇文档，然后问一个问题，整个过程就这么一次。没有人会计时，没有人会为第十次调用的开销买单，也没有人注意到模型到底忽略了什么。但在生产环境中，同一个请求每天要执行上千次，而整个系统必须每次都做到快速、便宜、准确。模型能够接收100k tokens这个技术指标，跟“把这么多内容塞进每一次请求是否明智”完全是两回事。一旦这种天真的做法撞上真实的流量，下面四种故障模式就会一一浮现。
第一种故障模式出现在延迟上。想象一个客服支持工具，它在处理每一条新消息时都把客户过去40张工单的完整历史喂给模型，理由很直白——“万一有用呢”。做Demo的时候，这只是单次调用，响应几乎感觉是瞬间的。但到了生产环境，每一次回复现在需要10到12秒，而不是原本的2秒，因为模型在被允许写出第一个字之前，必须先处理好几万个tokens。用户感受到的不是“更丰富的上下文”。他们感受到的是一个慢吞吞的机器人，而慢吞吞的机器人会在对话中途就被用户放弃。延迟带来的后果不是理论上的，它会直接反映在用户流失和对话完成率上。当响应时间从2秒膨胀到10秒以上，用户的行为模式会发生根本性改变。他们不会再等，不会再看，而是直接关掉窗口、切换到其他工具，或者在评价里留下差评。一个在Demo里看起来“考虑周全”的设计，在真实用户面前就这样变成了糟糕的体验。这是因为延迟跟用户耐心之间存在着一条陡峭的衰减曲线，每多一秒等待，留存率就跌落一截，而塞满上下文正是那个推高延迟的罪魁祸首。
第二种故障模式与成本有关。Token费用在规模化场景下会以一种在小规模试点中很难察觉、但在大规模运行时极其残酷的方式叠加。设想一个团队按照每席位向客户收费，但在后台却是按token消耗向模型厂商付费。那么只要每一次请求都携带同样臃肿的有效载荷，不管那段历史信息实际上是否相关，销售成本就会跟着上下文大小一起膨胀，而不是跟着实际使用量增长。一开始做定价模型的时候，这些数字看起来都没问题，因为那会儿只有几十个客户、几百次调用。可当客户基数慢慢变大，单位经济模型就会悄悄破裂——而这个破裂的时间点，往往是在定价方案已经被推销出去、合同已经签好之后才显现。更麻烦的是，这种成本增长不是线性的。随着客户使用频次增加、历史数据累积、上下文窗口被越撑越满，每次调用的token数量会不断攀升，而团队很可能直到月底对账单的时候才发现问题。到那个时候，利润空间已经被侵蚀得所剩无几。这本质上是一个定价与成本结构错配的问题：收入是按人头的固定费率，成本却是按上下文大小的浮动费率，两边的走向完全背离。规模越大，裂缝越深。
即便那些tokens在技术层面“待在上下文窗口里”，第三种故障模式依然会冒出来——注意力并不是均匀分布的。已经有足够的证据表明，模型在处理上下文开头和结尾的信息时表现明显更好，而对埋在中间的信息则更容易忽略。可以想象这样一个场景：一个合规助手被喂进了一份100页的政策文件，而某个具体问题对应的答案恰好位于第47页。模型可以在字面意义上“读过”每一个token，却仍然会漏掉那个答案。因为“被放在上下文里”跟“被真正注意到”完全不是同一回事。上下文窗口的容量是一个数字，但注意力的分布是另一条曲线，而这条曲线会在中间位置明显下探。当文档越来越长，关键信息被埋没
热门跟贴