网站出故障时,报错的位置往往不是问题开始的地方。结算页超时,可能是因为支付服务变慢,而支付服务变慢,又可能是因为某条网络链路在丢包。工程师要在指标、追踪和日志里一层层挖,才能找到真正坏掉的那一个点:根因。
有人想验证免费AI模型能不能干这活,以及它们到底依据什么证据下判断。为此他搭了一个叫 Rootline 的开放基准测试,运行成本为 0 美元。
怎么测
测试对象是 OpenTelemetry Demo,一个在稳定负载下运行的真实微服务网店。测试者用 14 种方式故意把它弄坏:支付报错、内存泄漏、锁竞争、发货变慢、网络延迟、丢包、连接重置等。此外还保留了什么都没坏的正常运行,作为对照组。
每次故障,都冻结故障前后 10 分钟的指标、追踪和日志。同一份冻结证据交给三个免费模型:gpt-oss-120b(跑在 Groq 免费额度上)、Qwen3 8B 和 Gemma 3 4B(跑在免费 Kaggle GPU 上)。每一条证据都有编号,每个回答都必须引用它所依赖的证据编号。
评分看四项:服务对不对、故障类型对不对、层级对不对(网络还是应用)、引用的证据是否真实存在。合计 42 次故障 × 4 类证据 × 3 个模型 = 504 次评分运行。
硬件那一环
测试者还想知道,模拟出来的网络故障能不能公平替代真实故障。于是两块 Arduino UNO Q 板被接进这套系统:一块通过 Wi-Fi 承载真实支付流量,另一块可以灌满 Wi-Fi 信道。整夜无人值守,控制器切断无线电 30 秒、挤占信道、调低发射功率,然后拍下快照。
结果偏负面
三个模型平均都声称自己有 84% 到 95% 的把握。如果信了这个置信度数字,就会被带偏。
在完全健康的运行里,每一个模型、每一个回答,都仍然声称有东西坏了。没有一次回答是“没问题”。
Gemma 在全部 42 次故障上都回答“应用问题”,所以它在应用类故障上的好成绩算不上能力,更像习惯。
在网络链路损坏的场景里,表现最好的模型通常点名发起调用的服务(结算),而不是链路另一端的服务(支付),而后者才是测试者事先定下的正确答案。如果把两端都算对,它的得分会从 9.5% 升到 16.7%。一条评分规则就能大幅改写结论。
把指标、追踪和日志一起喂给模型,并没有比只给日志或只给指标更好。在固定提示长度下,覆盖面越宽,深度就越浅。
有些故障几乎不留痕迹。测试者做了一个检查,衡量每种故障是否真的出现在它自己的数据里。真实的 Wi-Fi 中断表现得很清楚;而某些模拟故障,比如在一条保持长连接的链路上做连接重置,几乎看不出来。证据里没有的东西,没有模型能诊断出来。
这是一次试点:42 次故障意味着误差范围很宽,测试者事先提出的两个假设都没有达到显著性。它只是一个起点,不是对AI运维的最终判决。
全部开放
网站可以回放每一次故障,报告、数据集(快照、标签、全部 504 个回答)和代码都已公开,并附有 DOI。克隆仓库后运行 make data && make reproduce,每一张表和每一张图都能从已发布的运行记录重建。
v0.2 的计划包括:加强那些不留痕迹的故障版本、增加健康运行样本、要求模型同时给出症状和原因,以及测试隐藏服务名会不会改变它们的回答。
热门跟贴