打开网易新闻 查看精彩图片

OpenAI给Chat SDK加了并发控制,但方式很产品经理——不是直接开闸,而是给你四个选项自己选。默认策略叫「drop」,新消息来了直接扔,简单粗暴得像食堂阿姨的手。

另外三个选项各有脾气。「queue」会把消息排成队,最多塞20条,满了还能选踢掉最老的;「debounce」会等你停嘴了再处理,适合话痨用户;「concurrent」彻底放飞,所有消息一起冲。官方文档里没说的是:选错策略,你的bot要么变成复读机,要么直接装死。

这个功能的背景有点尴尬。之前开发者要么自己写队列,要么眼睁睁看着消息撞车。一位工程师在GitHub吐槽:「我的bot同时收到三条消息,回复了第一条,剩下两条直接消失,用户以为我冷暴力。」

代码层面,配置藏在Chat类的初始化参数里,strategy字段决定生死。queueEntryTtlMs设成60秒,意思是消息在队列里发霉超过一分钟也会被清理——OpenAI显然见过太多僵尸对话。

目前文档已更新,但示例代码还停留在「hello world」级别。有开发者测试后发现,「drop-oldest」在高压场景下会吃掉关键消息,「跟默认的drop也没差多少」。