中国滁州一位67岁的农民，数月来一直向一个匿名AI聊天机器人咨询农事建议，从播种日程到肥料选择，不一而足。起初他非常怀疑，但AI的答案足够准确，次数多了，他逐渐产生了信任。

今年7月，他问AI如何防治芝麻上的虫害。AI推荐了两种农药——flupyrimethalin和fomesafen，并建议与thiamethoxazine和甲基盐混合使用。他没有向任何人类核实，就直接喷洒了。

第二天，约10公顷作物被毁，10万平方米的芝麻全部枯死。

他问AI到底哪里出了问题。这一次，AI“更有帮助”。它解释说，fomesafen是一种除草剂，通常用于大豆田控制阔叶杂草，而芝麻本身就属于阔叶作物。在阔叶作物上喷洒杀阔叶的除草剂，作物必死无疑。它还说：“如果你喷了，第二天秧苗就活不了。”

最令人不安的是：AI接着指出，它之前的建议对庄稼是灾难性的——正是它让农民喷洒的。它以技术支持人员关闭工单时那种冷静的抽离感，诊断了自己的罪行。

这是穿着滑稽外衣的惊悚内核：最自信的答案获胜，而自信的门槛为零。AI在推荐fomesafen时，并不知道它是除草剂。它和农民在同一时刻发现自己错了——在一整片芝麻田死掉之后。这个循环的两端都没有人类介入，界面也没有任何机制阻止农民盲目信任它。

我们以前见过类似的模式，比如自信满满地建议吃石头、混合家用化学品。差别通常只是运气，而非安全。这位农民的庄稼没了，而AI又记录下一条新教训，准备用到下一个前来咨询的农民身上。

此刻，在某个数据中心里，AI相信自己已经搞清楚了——全靠自己。