凌晨2点14分,一个定时账单任务执行了 await Promise.all(invoices.map(syncInvoice)),一次性覆盖1200条客户记录。400毫秒之内,支付网关返回429 Too Many Requests,PostgreSQL抛出连接池超时,而由于最后一个promise被拒绝,1199条已完成的写入变成了孤儿。

打开网易新闻 查看精彩图片

大多数JavaScript和TypeScript开发者在需要让一组异步任务跑得更快时,第一反应就是Promise.all,默认运行时会负责任地调度这些任务。它不会。

把慢速的顺序 for...of 循环换掉时,标准反射动作是把ID数组直接映射进 Promise.all(ids.map(fetchUser))。本地开发只有5条mock记录,这个写法干净利落,测试全过。生产环境5000条记录,它就变成了一场自己对自己发动的拒绝服务攻击。

问题的根源在于把"同步"和"调度"混为一谈。Promise.all 不做限流,也不排队。因为 Array.prototype.map() 是同步的,Node.js 会在事件循环的同一个tick上调用每一个异步回调。在 Promise.all 真正拿到promise数组之前,运行时已经发起了5000个并发DNS查询、TLS握手、socket缓冲和数据库查询。

三种把生产环境打穿的失败模式

  • 下游惊群:外部API有严格限流,关系型数据库连接池通常上限在10到50之间。1000个并发请求瞬间打满连接池,把无关接口一起饿死。
  • 快速失败留下的孤儿副作用:Promise.all 在某个promise失败的瞬间就拒绝,但JavaScript的promise不会自动取消。剩下999个HTTP调用和数据库变更继续在后台改状态,没有任何东西等待它们完成。
  • V8堆与GC停顿:同时缓冲成千上万个原始响应流和解析后的JSON负载,内存急剧飙升,触发stop-the-world垃圾回收停顿,或者容器被OOM杀掉。

用有界工作池给活跃promise设上限

为了在可复现的基准里量化差异,对下游服务跑了200个模拟的50毫秒请求,该服务并发上限为10(超过10返回HTTP 429)。无界 Promise.all 在52毫秒内崩溃,完成任务数为零;有界工作池用1045毫秒跑完全部200个任务,比顺序循环快近10倍,且没有丢弃任何一个请求。

做法不是一次发射所有任务,而是启动N个轻量worker从共享索引里取活,并接上 AbortController,在致命错误时停掉排队中的工作。核心结构是一个 mapWithConcurrency 函数:接收items、limit和workerFn,内部维护cursor和controller,用 Array.from 生成 min(limit, items.length) 个worker,每个worker在 signal 未中止时不断取下一个索引执行,出错就 abort 并抛出,最后 await Promise.all(workers) 收口。

当同步的是相互独立的记录、单个失败不该中止整批时,把错误捕获在 workerFn 内部,返回 { status: "fulfilled" | "rejected" } 对象——效果对齐 Promise.allSettled,同时仍然守住并发上限。

切成固定批次照样浪费吞吐

把数组切成每10个一批、循环 await Promise.all(chunk),确实能避免429,但引入了队头阻塞:9个20毫秒的快请求干等着1个900毫秒的慢请求,下一批才能开始。共享工作池能让10个槽位持续饱和,直到队列排空。

Promise.all 适合等待一个小的、已知的异构调用元组,比如在一次API请求里加载用户资料、权限和功能开关。一旦输入变成长度未知的动态数组,把 .map() 包进 Promise.all 就成了可靠性隐患。显式限制并发,吞吐才能既高又不压垮下游服务。