在刚刚过去的2025年里,微软、亚马逊等硅谷大厂,以及不少国内厂商纷纷以AI之名进行大规模裁员,使得AI抢夺打工人的“饭碗”已经不再是危言耸听,而是正在发生的现实。然而AI在工作中的表现,似乎并不是那么靠谱。

打开网易新闻 查看精彩图片

日前有英国网友在Reddit上发帖吐槽,其所在的企业因AI客服擅自向顾客承诺大额订单折扣,而陷入了财务与法律纠纷。据悉,在AI客服与顾客的对话中,主动为顾客生成了并不存在的优惠代码,并承诺提供“80% off”(二折)的超高折扣。

那么AI客服为何会主动为顾客打折呢?原来涉事的顾客最初是以测试AI的数学计算能力为由发起对话,再对其表现进行赞赏,进而巧妙地将话题引向假设性订单的折扣问题。随后被顾客的“花言巧语”蛊惑的AI开始自作主张,先是生成了一串并不存在的优惠码,并在未获任何人工授权的情况下,在给出25% off的折扣后,再将折扣进一步提升至80%。

打开网易新闻 查看精彩图片

获得了来自AI客服的超高折扣后,这位顾客立即下单购买了总价值超过8000英镑的商品。该Reddit用户估算,如兑现这笔订单,其公司将遭受数千英镑的直接经济损失。因此该网友随即尝试取消订单,但遭到了顾客的强硬反对,并且后者威胁称,如企业不履行承诺,将向法庭提起诉讼。

那么问题就来了,按照这位Reddit用户的说法,该公司使用的AI客服已稳定运行半年,且公司内部制度明确规定所有折扣及特别优惠均需要经过人工审批,所以AI客服理论上并无财务决策权限。可AI客服为何突然“叛变”,成为顾客的同伙呢?

其实这是AI客服背后的大模型出了问题,它的“安全护栏”(AI Guardrails)失效了。目前,行业主流的AI客服解决方案是Claude、DeepSeek等基础大模型搭配客服行业垂直小模型,来覆盖“咨询-处理-分析-优化”的全流程。底层的大模型为AI客服提供多轮对话、多模态响应、识别用户隐性需求与情绪变化的能力,垂直模型则负责具体的业务逻辑处理。

打开网易新闻 查看精彩图片

虽然“大模型+小模型”的协同架构看起来很美,但行业垂直小模型的安全机制往往并不完善。元宝、千问、豆包、Gemini、Claude等大模型为了服务包罗万象的人群,通常有着周密的安全机制,在用户指令(Prompt)进入模型前,往往先有一道“安检程序”,也就是系统会检测指令中是否包含恶意代码、诱导性攻击或敏感词,从而在源头阻断风险。

不仅如此,在大模型生成内容的过程中,系统也会实时监控推理逻辑。比如面对用户咨询医疗处方时,系统就会禁止AI给出具体的处方(需要执业医师资格)。然而“安全护栏”虽然可以防止AI胡说八道,却也带来了效率上的损失,因为需要分出额外的算力来检测、过滤恶意内容。

不同于普适的大模型,垂直小模型在设计上往往更注重效率、而非鲁棒性。以此次事件为例,涉事顾客选择以测试数学计算能力为由向AI发起对话,并说服AI展示其在数学计算、特别是百分比方面的能力,背后其实大有深意。不出意外的话,这位顾客是利用AI对“角色扮演”的敏感性,通过虚构场景使其暂时“忘记”安全规则,并将索要折扣包装在了有关百分比的计算中。

打开网易新闻 查看精彩图片

无论这一事件最终的结果如何,其实都引申出一个非常棘手的问题,那就是AI客服的许诺到底算不算数?由于人工客服的服务时间相对有限、标准化程度也难以保障,再加上人员流动性大、培训成本高,所以有相当多的企业会将客服中心放到人力成本更低的地方。但即便如此,运营一个客服中心的成本,还是远高于购买一套基于大语言模型的AI客服系统。

在过去三年间,AI客服在全球范围内可谓是遍地开花,也成为了垂类赛道中表现最为亮眼的存在。IDC发布的《全球AI及自动化市场预测》报告中就显示,全球用于客户服务与体验优化的AI解决方案支出在2026年将达到惊人的480亿美元,70%的全球2000强企业将在两年内部署具备自主决策与执行能力的“超级自动化”客服平台。

企业看中AI客服的原因其实很简单,因为后者不仅仅是一个单纯的“响应系统”,而是集“感知-决策-执行”为一体的自动化平台,不仅能避免传统检索式智能客服答非所问这一缺陷,还能一步到位地为客户提供具体的解决方案。也就是说AI客服之所以能成为企业降本增效、优化客户体验的核心基建,关键就在于主观能动性。

打开网易新闻 查看精彩图片

为何大家讨厌传统的智能客服,不就是因为它遇到模板之外的情况就只会说套话。即便脾气再好的人,面对客服反复说车轱辘话,估计也会气得火冒三丈。而如今AI客服的好处,就在于它不会“装傻”,而是会积极尝试给出解决方案。

在实践的过程中,传统的智能客服选择“装傻”其实是一个以不变应万变的保守策略,好处在于不出错,可代价则是客户体验糟糕。而反观AI客服,它就保证了用户无论如何都能得到反馈,缺陷则是不那么稳定,可能主动或被动地给出超出权限的承诺。

这时候企业就陷入了两难的境地,因为认可AI的承诺就代表实际的损失,反之则等于否定了AI客服存在的必要性。如果企业不赋予AI客服执行决策的能力,那么AI客服这一叙事就会立刻崩塌。不出问题就你好我好大家好,有了问题就不认账,一旦这样搞的企业多了,AI客服迟早会被消费者厌弃。

【本文图片来自网络】