AI给出的答案听起来权威、有说服力、细节丰富，但可能同时完全错误。这是天体物理学家兼科学传播者保罗·萨特亲身经历后得出的教训。他在本月早些时候为《鹦鹉螺》杂志撰写的一篇文章中，讲述了一段让他至今仍感到难堪的真实经历。

今年2月，萨特在一屋子合作者面前做了一场报告，展示他用于识别星系之间空洞区域算法的最新版本。据他回忆，新版本比旧版本快十倍，处理真实数据集“丑陋现实”的方式更复杂，还能处理大一百倍的巡天数据。

打开网易新闻 查看精彩图片

这个更新版本的部分代码，正是他大量借助AI会话写出来的。用当下流行的说法，这叫“氛围编程”。萨特当时觉得AI的帮助“不可或缺”。但报告开始仅仅十分钟，一位合作者就打断他说，有些地方似乎不对劲。

问题出在新算法处理巡天数据边缘的方式上。萨特承认，那里是错的。他在文章中写道：“这不是一个拼写错误，也不是漏掉了引用或者差了两倍。它很微妙，但错得非常离谱，它下游的一切也都跟着错了。而我却把整套东西分享给了一屋子信任我的人。”

萨特使用的AI编程工具“听起来像是真的理解”，但本质上“不过是一个复杂的下一个词预测器”。他进一步解释，大语言模型的流畅表达并非偶然，也不是什么突现的谜团，而是人类刻意培育出来的特质，就像把狼驯化成狗，让它们在我们打开零食袋时盯着我们的脸看。

这次尴尬的翻车经历，恰好说明许多AI工具使用者正在不知不觉中把自己置于风险之中，包括学术界最顶尖的那批人。科学界已经被大量研究粗糙、往往未经编辑的AI生成内容淹没。一场严肃的反思正在迫使学者们对自己发布的一切负责，包括那些可能令人难堪的幻觉内容。

那么，如何部署一个有时会出错、却总是让人听着舒服的工具？又该如何信任AI？萨特给出的答案很直接：不要信任。他把人类对AI工具的大量使用比作炼金术——一种由他所说的“前科学家”发明的古老实践。他宣称：“我们现在正处于AI的前化学时代。坩埚已经盖上，而就像炼金术士一样，我们不会停止使用它。”

要接近真相，萨特认为必须仔细追踪AI的推理链条，并审计它的每一项输出。在2月那次难堪的失误之后，他立誓自己现在的工作方式已经不同，并准备好随时“不信任”AI说出的任何内容。