队列里堆着6个请求,扩缩容器却把副本从3个砍回2个。这不是配置写错,是它把"扩容成功"看成了"负载消失"。
一位开发者把自建LLM平台OzAI的扩缩容链路搬进本地Kubernetes集群,用kind跑起来,压测了三轮。第二轮,他在自己的设计里逮到一个bug;第三轮把它修掉。整套实验没碰GPU,因为真正会在生产里出问题的,是扩缩容逻辑本身。
为什么不用CPU和GPU利用率做信号
他的判断很直接:对LLM推理服务来说,CPU和GPU利用率都是糟糕的扩缩容信号。一块跑着vLLM的GPU,服务2个用户和服务20个用户,利用率都显示很高。用户真正感受到的是等待。所以要按服务端队列里排队的请求数来扩缩容。
本地实验里,每个Pod分到2个CPU、2个并行槽位,副本数最少1个、最多3个。压测采用阶梯负载:1个用户跑60秒,8个用户跑240秒,再回到1个用户跑180秒。每2秒采样一次副本数和队列长度。
第一轮:不扩缩容的基线
1个用户时,首字延迟(TTFT)0.05秒,生成速度22个token每秒。8个用户压上来,2个请求被处理,6个在排队,首字延迟中位数飙到35秒。没有一个请求失败,全都只是慢。平台一边返回200 OK,一边让用户等半分钟才看到第一个字。
第二轮:按等待请求数扩缩容,然后它缩容了
队列涨到6个等待请求,扩缩容器在负载开始约17秒后要了第2个副本,约32秒后要了第3个。首字延迟中位数从35秒降到12秒,完成请求数从48涨到83。
但副本时间线出了问题:
- t=77秒,期望2个、就绪1个、等待6个——8个用户在t=60秒到达
- t=92秒,期望3个、就绪2个
- t=197秒,期望2个、就绪2个、等待4个——8个用户还在,它缩容了
- t=241秒,期望3个、就绪2个、等待6个——又加回来
- t=362秒,期望2个——负载结束
扩缩容器在全速负载中途撤掉一个副本,用2个副本跑了约44秒,然后把副本加回来。
它为什么缩容:指标在测量自己的修复
扩缩容器的目标副本数大致等于指标值除以阈值再向上取整。代入数字:1个Pod、8个用户时,2个在处理、6个在等待,6除以2等于3,扩容,正确。3个Pod、8个用户时,6个在处理、2个在等待,2除以2等于1,缩容。
加副本会把请求从等待挪进处理,等待数自然下降。对一个只统计等待请求的指标来说,修复和负载消失长得一模一样。60秒的稳定窗口一过,扩缩容器就撤掉一个Pod,队列重新变长,Pod又被加回来。
生产环境的图表里藏着同一个缺陷,只是10分钟的缩容窗口把它盖住了——下跌得持续10分钟才会触发动作。缺陷还在,而在GPU节点上,每一次来回都可能意味着再启动一个节点。
修法:按在途请求数扩缩容
扩缩容器要回答的问题是"这么多请求需要几个副本",而不是"有没有人在等"。指标应该改成系统里的全部请求,处理中加等待中,阈值设成一个Pod的容量。
换成在途指标后,8个用户就是8个在途请求,8除以2等于4,被上限截到3。扩容不会改变这个数字,所以它不会自己撤销自己。第三轮压测里,第2个副本约11秒到位、第3个约25秒到位,整个负载期间稳定在3个副本,负载结束约100秒后回到1个。
扩缩容没解决的事
三轮压测里,首字延迟的p95都停在约36秒,扩不扩容都一样。两个原因,换成vLLM同样成立。
一是已排队的请求不会搬到新Pod。8个用户到达时,Service已经把8个请求全发给那一个Pod:2个在跑,6个在进程里排队。新Pod只接新请求,那6个照旧在老Pod上等,像扩缩容没发生过。生产环境里新副本启动要几分钟而不是2秒,高峰开头那批请求等得更久。扩缩容保护的是下一批请求,不是当前这批。
二是最大副本数就是容量上限,它会直接体现在延迟上。8个用户需要4个各带2槽位的Pod,上限是3,于是永远有2个请求在等,这就是扩容之后p95仍停在24秒的原因。
一个没预料到的结果
1个用户时,Pod每秒产出23.5个token。2个槽位同时忙起来,总共25.4个token每秒,每个用户拿到11个而不是22个。在这套CPU环境里,第二个槽位基本只是把同一份速度分给两个人。
GPU上的vLLM不是这样:解码阶段GPU大部分时间在读模型权重,把更多请求塞进同一次权重读取几乎免费。这正是GPU上要用vLLM的理由,也意味着笔记本上的吞吐数字不能外推成GPU估算,所以他没有做这个换算。扩缩容逻辑可以搬到EKS,吞吐数字不行。
本地实验看不到的部分
冷启动:本地新副本2秒就绪。生产环境要启动GPU实例、节点加入、拉取数GB的vLLM镜像、从S3流式加载16GB的Qwen3 8B权重、GPU预热,是分钟级而不是秒级。他没测,所以不给数字。
缩容到零:0个副本时vLLM不导出任何指标,队列触发器永远不会触发。
还有他自己图表里一个不起作用的设置:扩缩容组件在应用时警告,冷却周期只在最小副本数为0或设置了空闲副本数时才有意义。他的图表设了900秒冷却、最小副本1个,这个设置被忽略,缩容速度实际由HPA的行为配置决定。这个警告只有把清单应用到真实集群才会出现,terraform validate永远看不到。
成本是一道公式,不是一次基准测试
一块NVIDIA L4实例(g6.xlarge,1块GPU,24GB)在us-east-1按需价是每小时0.8048美元。每百万输出token的成本等于小时价除以(每秒token数乘3600)再乘100万。关键词是平均值:GPU大部分时间闲着,峰值吞吐没有意义。最小副本设为1,一块L4全天候跑按需价约每月588美元,哪怕没人发请求。
对小团队来说,真正的成本问题通常不是"vLLM有多快",而是"GPU一天忙几个小时"。这也是缩容到零和竞价实例比最后10%的每秒token数更重要的原因。
四条结论:按每个副本的在途请求数扩缩容,别只看等待数;扩缩容救不了已经排队的请求;最大副本数是一个延迟决策;扩缩容逻辑在本地测,一个下午、零成本,就能在一个已经通过terraform validate和CI的设计里找出两个问题。
热门跟贴