2023年，某金融科技公司的QA团队用GPT-4写自动化测试脚本，头两周省了40%工时。第三周开始，同一套脚本在无代码变更的情况下，通过率从97%跌到61%。团队排查了三天，最后发现是模型更新导致输出格式变了两个字符。
这不是bug，是LLM（大语言模型）的工作方式。
AI测试工具的市场热度还在涨。Gartner预测到2027年，80%的企业会在软件工程里用AI辅助。但生产环境里的真实故事，和Demo演示的差距，比产品经理画的饼和实际排期的差距还大。
为什么越"聪明"的模型，测得越不准
LLM的核心设计是概率生成，不是确定性执行。你问它同一个问题两次，答案可能措辞不同、结构不同，甚至结论相反。这在聊天场景是"人性化"，在回归测试场景是灾难。
测试的本质要求是：相同输入，必须产生相同输出。一个按钮点击后跳转页面A，昨天测是这样，今天测也得是这样。但LLM生成的定位器（locator）可能这次用ID，下次用XPath，再下次觉得"更优雅"直接上CSS选择器——结果页面改版后全崩。
更隐蔽的问题是幻觉。模型会"脑补"不存在的逻辑。某电商团队的测试脚本里，LLM给登录流程加了个"记住设备"的勾选框操作，实际产品根本没这功能。脚本跑了两个月，直到一次灰度发布才暴露——那两个月的数据全是假的。
这些不是边缘案例。斯坦福2024年的研究显示，主流LLM在代码生成任务上的确定性一致率只有73%，意味着每四个测试用例就有一个可能行为变异。
小模型的反击：快、稳、但有点笨
当大模型在测试圈翻车，另一批技术路线正在低调渗透。参数规模在1B到7B之间的专用模型，开始出现在CI/CD流水线里。
这类模型的设计哲学完全不同。它们被限制在特定上下文里运行，输出空间被压缩到可枚举的范围。执行预定义测试步骤、比对预期输出、生成结构化报告——这些任务不需要"创造力"，需要可重复性。
实测数据很直白。某DevOps平台对比了GPT-4和自家7B参数模型在执行标准测试套件的表现：小模型速度快4倍，内存占用少87%，连续30天运行的结果零漂移。代价是遇到未覆盖场景时直接报错，不会像大模型那样"试着猜猜看"。
这就像用瑞士军刀和螺丝刀的区别。军刀功能多，但拧螺丝时刀头会晃；螺丝刀只会拧螺丝，但每一下都卡在槽里。
但纯小模型方案有个硬 ceiling（天花板）。它理解不了"测一下用户能不能顺利下单"这种意图，只能执行"点击商品页→加购物车→进结算→填地址→提交"这种明确步骤。业务逻辑一变，脚本就得重写。
混合架构：让模型各干各的活
2024年开始，头部测试工具厂商的路线图上出现了一个高频词：Hybrid Agentic AI（混合智能体AI）。不是造一个新模型，而是把不同模型串成流水线。
架构通常分三层。最上层是意图理解层，用大模型解析自然语言需求，拆解成可执行的任务图。中间是规划层，决定哪些步骤走确定性执行、哪些需要灵活处理。最下层是执行层，小模型或传统脚本负责具体动作，大模型只在遇到异常或模糊状态时介入。
某云厂商的测试平台公开了内部数据：混合架构下，测试用例的维护成本比纯LLM方案低62%，比纯脚本方案低41%。关键指标是"意图漂移率"——需求变更后无需人工修改脚本的比例，从17%提到了58%。
这个比例的意义在于：测试终于开始理解业务，而不是死记硬背步骤。
但混合架构的真正难点不在技术，在组织。需要有人定义"什么情况下调用什么模型"，需要设计模型间的通信协议，需要建立失败时的回退机制。这相当于在测试团队里新增一个"AI系统架构师"角色，而大多数公司还在招"会写Prompt的测试工程师"。
从工具到生态：测试正在变成多智能体协作
混合架构的下一步是Agent（智能体）化。不是单个模型做决策，而是多个专用Agent分工协作。
一个典型的测试场景现在可能涉及：需求解析Agent读PRD文档提取测试点，用例生成Agent写步骤，执行Agent调浏览器或API，验证Agent比对结果，诊断Agent分析失败原因。每个Agent背后可以是不同模型，甚至不同厂商的模型。
某开源测试框架的维护者描述了一个细节：他们的诊断Agent专门用了一个经过微调的小模型，训练数据全是历史缺陷报告。结果是在定位根因时，比通用大模型快2.3倍，准确率还高19个百分点。"因为它只见过bug，没见过莎士比亚。"
这种专业化分工正在改变测试团队的KPI。以前考核"写了多少条用例、跑了多少次回归"，现在开始看"意图覆盖率"——多少业务场景能被AI自动理解并生成测试策略，以及"自愈率"——环境变化后脚本自动修复的比例。
一家SaaS公司的QA负责人分享了一组内部数据：引入多Agent系统6个月后，他们把每周的回归执行时间从14小时压到3小时，同时把漏测率从4.2%降到0.7%。但团队规模没变，人的工作从"写脚本"转向了"设计Agent协作规则"和"审核边界案例"。
这个转变的代价是学习曲线。团队成员需要理解概率模型和确定性系统的边界，需要学会用"置信度阈值"代替"通过/失败"的二元判断，需要在AI给出可疑结果时有勇气喊停。
2024年Q3，某头部测试工具厂商的用户调研显示，采用混合Agentic架构的团队中，73%表示"前三个月效率反而下降"，但12个月后89%认为"回不去了"。
那个让GPT-4测试脚本崩溃的金融科技团队，现在的方案是：用7B模型执行标准流程，GPT-4只负责处理弹窗文案变化这类需要语义理解的异常，中间加一个规则引擎做仲裁。上次模型更新时，他们的流水线只抖动了12分钟。
测试领域的AI应用，正在从"用一个很贵的锤子砸所有钉子"转向"给每个钉子配合适的工具，再雇一个调度员"。这个调度员本身也是AI——但它是被严格约束过的那种。
热门跟贴