来源：CIO时代网
某团队花了三个月打造一个 Agent。Demo 演示时，几乎所有人都觉得惊艳，理解自然语言、自动调用工具、完成复杂任务，一气呵成。
真正上线后，仅仅一周，用户几乎流失殆尽。
不是模型不够聪明，不是 Prompt 写得不好，是他们从一开始就回答错问题，这个任务，真的需要 Agent 吗？
在 AI Engineer Summit 上，Anthropic Claude Agents 工程师 Barry Zhang 分享团队内部评估 Agent 项目的四个问题。这不是开发技巧，而是一套决定项目生死的判断框架。前三问决定项目值不值得做，第四问决定项目敢不敢上线。
第一问：模糊度够不够——Agent 不是自动化
规则极其明确、输入输出完全结构化的任务，传统编程或自动化脚本更高效。Agent 真正擅长的，是用户表达含糊、信息分散、任务多变的问题。Agent 的价值来自不确定性，而不是自动化。
跳过这一问，死于伪需求。McDonald's 联合 IBM 做的 AI 语音点餐，Demo 里听懂标准口音，进了真实餐厅，却被口音、嘈杂环境、方言混杂打懵——重复加鸡块，给不该要的订单加番茄酱。2024 年 7 月，项目终止。模糊度评估错了，Agent 就做错了对象。
第二问：价值够不够大——预算不为炫技买单
开发 Agent 要可观的研发、计算和数据成本。一个每天帮员工省一分钟的 Agent，很难覆盖模型调用成本。但能自动完成合同审核、报销流程、每天省数小时人工的，商业价值就立得住。让企业持续投入的，从来不是 Demo，是现金流。
跳过这一问，死于成本黑洞。Walmart 的"Code Puppy"给员工不限量 token，2026 年 6 月需求爆表被迫设上限，股价跌近 2%。账没算清，注定烧钱买寂寞。
第三问：瓶颈在哪——别急着换模型
前两问过了，还要精准定位技术路径上的最大障碍。Anthropic 的经验——大多数 Agent 项目的瓶颈，不在模型。一个客服 Agent 回答质量很好，工具调用却只有 70% 成功率，用户感受到的不是模型聪不聪明，是系统经常执行失败。
跳过这一问，死于换错了药。Stanford 分析 847 起事故：34% 幻觉级联、22% 工具误用、18% 越界行动，几乎没有一起根因是"模型不够大"。Agent 读数据时，一千次里三次拿到残缺记录。它不报错，反而像猜考试答案一样，把缺的字段"脑补"出来，后面的步骤把脑补当事实。团队第一反应永远是换更大的模型，但真正的瓶颈在工具链、在没人愿意做的集成工作。判断力的第一课：先找对病，再抓药。
第四问：代价有多大——被约束才是真正的能力
这是最容易被跳过也最要命的一问。Agent 最大的不同，不是会聊天，是会行动。一次错误不是错误答案，是直接执行错误操作——发错邮件、删除文件、调错数据库。医疗诊断、法律咨询、金融交易，一次错误后果严重，需要多层防护。Prompt 已经不是最重要的问题，Permission 才是。
跳过这一问，死于一次没有回滚按钮的错误。2026 年 2 月，一个自动化 Agent 执行了 terraform destroy，两百万条学生记录连同所有备份，几秒钟清零。那些记录里，可能有某个学生攒了四年的论文。系统不会道歉，它只会安静地执行。
代价这一问，是唯一无法靠换模型绕过去的一问。判断代价，靠的就是判断力。
我为什么最在意第四问
Agent 自动向客户发出报价邮件，金额少写一个零。邮件发出后，没有任何人审核，没有任何机制拦截。几十秒钟，一个原本利润正常的订单，瞬间变成一笔亏损生意。
模型总会犯错。我想的是——整个系统默认它不会。没有审核；没有拦截；没有回滚按钮。我们把一个会犯错的系统，当成不会犯错的。这不是 AI 的问题，是设计系统的人的问题。系统设计时，要给 AI 犯错留下空间，设计触发审核的条件、知道如何补救、如何回滚任务。任何拥有行动能力的系统，必须首先拥有被约束的能力。
四问聊完，前三问决定你能不能赢，第四问决定你敢不敢上场。
太多团队把注意力放在模型能力和 Prompt 技巧上，低估了 Agent 可以自主行动带来的风险。Agent安全边界会成为产品设计的核心，而不是上线后的补丁。
真正的竞争
真正拉开差距的，不再是模型，而是判断力。知道什么时候该用 Agent，什么时候不该用。知道什么值得做，什么即使做了也没有价值。设计Agent时知道什么能做，什么必须被约束。AI 产品设计正在从 Capability First 走向 Permission First。会提问的团队，比会写代码的团队更稀缺。会判断该不该做的团队，比会设计功能的团队走得更远。
到这里，你可能会问：把四问都问对，就安全了吗？还没有。
四问是动手前的外部判断。但判断力的尽头，不只是人会问——是 AI 会承认。就像《内省适配器》说的：我们建安检站验身份、定协议管行为、写合同分责任，却忘了问 AI 一句——你愿不愿意说真话。最安全的 AI，不是被管得最严，是能主动报告异常。力量不在于控制，在于承认。
一个敢说"我不知道"的 Agent，才把判断力写进了自己。
那个上线一周就失去用户的团队，缺的不是更好的模型；缺的不是更聪明的 Prompt；缺的是一张纸。一张写着四个问题的纸。在开始之前——先问，先想，先判断。
信息来源：McDonald's IBM 语音点餐（AP News，2024）；Walmart Code Puppy（Bloomberg，2026）；Stanford HAI 847 起 Agent 事故分析；Claude Code terraform destroy 事故（DataTalks.Club，2026）；Anthropic、剑桥大学 Ashwood AI 中心内省适配器论文（arXiv，2026）。AI Engineer Summit 上 Barry Zhang 演讲内容及公开技术分享。
热门跟贴