智东西10月21日报道，刚刚，ChatGPT和Codex负责人Tibo宣布OpenAI模型的API服务将提供12小时缓存保留服务选项，Codex和Work登录用户缓存将会永久保留。
这次更新也是Tibo的28天计划中一项重磅升级，在好多天的重置以及小改进之后，Tibo终于憋了个大招出来。
在发布更新之前，Tibo还发文表示看到了一些用户的额度消耗速度异常情况，并对大约40000个账户进行信用点返还。
从文档中来看，API一侧的缓存保留选项对GPT-5.6及以上版本模型生效，OpenAI提供默认30分钟以及12小时的缓存保留可选项，Codex和Work的永久缓存尚未发布公告。
不过，12小时缓存也不是单纯延长保留时间。根据OpenAI的API文档，选择12小时缓存后，缓存写入价格将从未缓存输入Token价格的1.25倍升至2.5倍，而缓存读取价格不变。
至于Codex和Work面向登录用户提供的“永久缓存”，目前还需要进一步确认其具体实现。
永久保留缓存究竟指缓存状态的保留策略、缓存命中后的计费安排，还是面向用户的某种权益，需要结合官方对这项更新的具体说明判断。
不过，从机理上推测，Codex和Work的永久缓存大概率不是真的缓存保留，可能是重新计算缓存时不计费，为用户永久保留缓存并不现实。
OpenAI官方API文档明确指出，12 小时缓存设置规定的是缓存读取计费资格所对应的最短生命周期，并不保证每次请求都能复用已存储的KV张量，也不保证降低延迟。
换言之，缓存有效期、实际缓存命中率和请求延迟是三个不同的概念，12小时的限制仅为是否按缓存命中计费的标准。
从API一侧推断，相比于永久保留缓存，这次更新的永久保留更像是缓存“补贴”，用于降低用户的额度消耗。
不过OpenAI这次关于缓存的更新时间也非常微妙，就在昨天，DeepSeek刚开源了推理框架，其中就包括设计目标高达3天的缓存保留，相比于OpenAI此前默认的30分钟高出太多。
热门跟贴