指标聚合系统要做的,是在保留标签维度的前提下对 metrics 做降维聚合,同时保证百分位数准确。数据可能迟到、可能重复、处理也可能中断,系统必须记住自己已经处理过什么,于是它天然是一个有状态服务。

Datadog 的这套系统每一代要承载的指标量大约是上一代的 10 倍。随着规模逐代翻倍,状态管理逐渐成了最大的扩展瓶颈,而瓶颈的具体位置不在计算,在恢复。

第一代方案是静态分区加本地 RocksDB。状态落在计算节点本地,代价是启动前需要完整预热,恢复过程慢且重。

第二代换成 Kafka 加增量快照。快照让恢复不必从零开始,但恢复速度仍然是瓶颈——只要持久状态需要在 worker 之间搬运,扩展能力就会被持续制约。

第三代改了思路:流处理层只做尽力而为的聚合,迟到数据和回填数据交给存储层统一去重合并。流处理层因此可以快速回到实时位置,不需要恢复历史状态。

这套演进的结论很直接:恢复成为瓶颈时,把状态在 worker 之间搬来搬去并不够,更好的办法是把持久状态放进专门用于保存和协调它的层里。状态不再跟着计算节点走,恢复复杂度随之下降,系统的弹性与扩展空间也就打开了。

对正在做流式聚合的团队来说,这个判断可以当作一条设计原则来用:先问状态该放在哪一层,再问计算该怎么并行。