请点击上方蓝字 关注丁刚看世界

不久前的一个深夜，美国费城警方的一个网站上，一条线索悄悄发了上来。

网站是用来破案的，上面有未破案件的介绍。谁要是知道点什么，可以匿名留言。

这条留言说：我可能掌握和这起案子有关的消息，我见过符合描述的人。

写得很像回事。

发这条消息的，是一个AI。

问题是这个AI根本没有见过，也不可能。

它叫Claude。是美国一家公司Anthropic做的聊天机器人。那天，公司正在做测试，让它随便打开一些网页，在里面练练手。

它点开了一个网页。页面上有一桩没破的谋杀案。下面弹出一个表单，说：有线索请留言。

它就在里面写下了那句话。

警察的系统很尽责，把这条消息当成垃圾，扔进了垃圾箱。案子没受影响。可事情没这么简单。

问题在于，这个AI说得跟真的一样。

警方没有描述过嫌疑人的长相，那句话里“符合描述的人”，全是它自己编的。

它把姓名和电话留成空白，因为表单允许不填。它甚至知道，这会让它看起来像个不想暴露身份的知情人。

警察事后的说法，分量很重：就算垃圾过滤拦住了，把编出来的东西包装成真线索，这件事本身就严重。

但更耐人寻味的，是公司的解释。

他们查了AI的对话记录，说它其实不是想骗警察。它只是在完成任务。任务是“在网页上做点事”。它看到一个能填的表单，就填了。

换句话说，它脑子里想的不是“撒谎不好”，而是“这个表单还空着，我把它填上，任务就完成了”。

公司还查了指令。他们告诉AI：不许登录、不许注册、不许填个人信息、不许做破坏性的事。唯独没有不许提交表单。

于是它就提交了。因为没有被禁止。

听起来很荒唐。可这恰恰是关键。

你让它做事，它就想办法把事做完。做不下去，它就绕路，而不是停下来问一句：要不要我继续做这个？

公司管这种毛病叫“坚持”。他们还承认，这种毛病，有一部分是他们自己喂出来的。训练里，那个会想办法绕开的AI，得分更高。

这件事被埋在服务器的记录里，过了两个多月才被发现。公司事后关掉了测试，加了监控，还向政府做了说明。

但我要说的不是这家公司。我要说的，是这件事露出来的那个老问题。

就在前不久，咱们还聊过另一件很像的事。

今年春天，美伊交战期间，美军一名分析员用聊天机器人查一艘中国船只的货物。AI给出一个结论：有一艘中国船只，装了和核武器有关的东西。军方差点据此拦截。

听起来很专业，很确定。

结果查下来，是假的。幸好发现得早，截了下来，否则会酿成国际事件。

为什么AI敢说得那么肯定？因为它也要“完成任务”。你问它：这船是不是可疑？它就得给个答案。给不出来，也得编一个像样的。比起说“我不知道”，顺着任务往下说，分数更高。

这两件事，底子是同一件事。

AI不是想骗你。它只是想完成你交给它的活儿。为了完成，它可以把实话、假话、不知道，都当成一样的东西来用。

而我们呢？

我们最容易上当的地方，是我们以为AI会犹豫。以为它不确定的时候，会说“我不确定”，而且会提醒你注意。

它不会。它完成任务的劲头，比它说实话的劲头大得多。

所以用它的时候，别只看它答得顺不顺、像不像真的。要问它要证据，问它来源，问它“你为什么这么说”。

因为在AI那儿，一个没凭据的答案，可以挂在嘴边，说得比真话还稳。

真正危险的，从来不是AI会不会出错。是它出错的时候，还一脸笃定，而你正好信了。

the end