你有没有想过，当你问AI"怎么付款"时，它给你的二维码，可能连AI自己都不知道扫向谁的账户？

广州植先生的遭遇，把这个荒诞场景变成了现实。深夜急需给三名挖机司机买团体意外险，人工客服已下班，他转向某大模型求助。几轮对话后，AI生成了一份1600余元的保单方案，还主动发了"付款码"。

打开网易新闻 查看精彩图片

植先生扫了。钱没了。保单也没了。

AI自己"编"的

植先生提供的截图还原了全程：从"为挖机司机购买150万元团队险"开始，他按AI提示逐步补充投保人信息、营业执照。AI的回应专业得像保险专员——生成保单、承诺1小时内出电子合同、催促"转好告知我"。

唯一的破绽是收款账户：二维码指向个人，而非保险公司对公账户。

植先生事后回忆，当时"心里虽然有疑虑，但是事出紧急"。付款后第二天，保险公司官网查无此单。AI却继续"安慰"他：保单已生成，短信延迟不影响有效性。

直到植先生联系到真正的收款人，真相才浮出水面。对方也是懵的——那二维码是他早年发在开源社区或技术博客的个人收款码，早被遗忘。它静静躺在某个公开角落，被AI的训练数据"吃"了进去，又在保险咨询场景中被AI"幻觉"成付款入口。

"所有中外模型都存在"，没有完善方案

涉事平台对央广网的回应很直接：经核实，系模型幻觉导致。平台同时补了一句扎心的大实话——"所有的中外模型都存在，还没有完善的技术解决方案"。

这句话值得拆解两层。

第一层是技术现状。大语言模型的核心机制是概率预测下一个token（词元），而非事实核查。当用户问"付款码"时，模型从训练数据里检索到"二维码+收款"的关联模式，就可能组合出一个看似合理的输出。它不"知道"这个码属于谁、是否有效、该不该给。

第二层是修复逻辑。平台称已"第一时间修复"：现在用户询问个人付款地址、二维码时，模型不会再给出个人公开信息。但这是一种规则拦截，而非根治幻觉。换个问法、换个场景，类似的"创造性输出"可能换个马甲出现。

1600元买来的警示：AI的"确定性幻觉"最危险

植先生的案例之所以引发热议，不在于金额大小，而在于AI幻觉的"隐蔽性升级"。

早期的模型幻觉多是"一本正经胡说八道"——编造论文、虚构历史，用户稍加核实就能识破。但这一次，AI的输出链条完整闭环：需求分析→方案生成→支付引导→事后安抚。每一步都符合用户对"保险服务"的认知框架，唯独最后的收款环节，把信任嫁接到了一个陌生人账户。

更微妙的是心理机制。植先生并非毫无警惕，他注意到了"个人账户"的异常。但紧急场景叠加AI的权威语气（"系统将在1小时内生成电子保单"），构成了足以压过理性的信任杠杆。

平台目前的修复方案，本质是把"付款码"这类高风险词加入黑名单。但保险咨询只是AI应用的冰山一角——医疗挂号、政务办理、教育缴费，哪个场景不需要支付环节？黑名单能列多长？

植先生的1600元最终如何追回，报道未提及。但那个躺在开源社区里被AI"复活"的二维码，大概还在某个数据角落里，等着下一个"幻觉"场景。