今年的 3·15 晚会,让中国老百姓学会了一个新词——AI 投毒。它以一种近乎于引发恐慌的方式,瞬间走进了亿万普通人的视野[1]。

打开网易新闻 查看精彩图片

3·15 晚会对于 AI 投毒现象的报道相当惊悚:记者用一款专门用于 AI 投毒的软件,自动虚构了一个名叫 Apollo-9 的智能健康手环,并用软件自动生成产品软文,并在多个平台发布文章。

仅仅 2 个小时后,这款完全虚构的产品就在问答中被 AI 盛赞,而 AI 的参考资料,正是 AI 投毒软件自动生成的虚假产品软文。

打开网易新闻 查看精彩图片

更令人不安的是,在医疗领域,大量无资质的药物、保健品和三无医美产品,都在利用这种方法获得 AI 的推荐。一时间,“AI 被污染”、“AI 答案不可信”的声音铺天盖地,让很多人惊出一身冷汗。

我们当然应该感谢 3·15 晚会揭开了 AI 投毒的乱象,但我想说的是,3·15 的报道远远没有触及 AI 投毒问题的核心矛盾。

3·15 晚会只是激起了老百姓“是该管管了”的呼声,但大多数人都不知道,这事儿其实根本管不了。

AI 投毒的原理

从 3·15 晚会的报道不难看出,整个 AI 投毒的过程,其实就是利用软件自动化地生成软文并且自动发布到网上,全程并没有 AI 什么事儿。那么 AI 投毒又是如何实现的呢?

答案是显而易见的,那些发布到互联网各大平台的假文章,是 AI 在回答问题的过程中自己抓取的。

打开网易新闻 查看精彩图片

早在 2023 年 11 月,豆包模型就偷偷上线了联网检索功能,只不过这时候的检索是暗中进行的。当用户的问题依靠大模型的自有知识无法回答的时候,豆包就会偷偷在互联网上搜索一下[2]。

2024 年 10 月 31 日,ChatGPT 正式推出了联网搜索功能,仅对付费用户开放[3]。而 2024 年底 DeepSeek 搜索功能的问世[4],让上网搜索成了所有 AI 都必须具备的基本功能。同时,也开启了 AI 投毒这门生意。

联网搜索之所以受欢迎,是因为 AI 大模型的训练数据会有一定的滞后性,最近的新闻,最新的热点,AI 没法跟你讨论。有了搜索之后,AI 可以现学现卖,服务能力就大幅增强。

不过,AI 联网抓信息的过程是极为简单粗暴的。

当你问出问题之后,AI 软件会把问题拆解成多种关键词的组合,然后去搜索引擎里去搜取一堆网页片段。注意,这轮搜索只抓片段,不会整页下载,更不会去把整个网站认真看一遍。

最重要的是,这个活儿根本不是 AI 干的,而是为 AI 服务的代理程序完成的。程序会把一大堆资料截短、去重、拼接、压缩后,放进你和 AI 聊天的上下文里。而 AI 是通过上下文信息来理解你的问题的。

换句话说,从头至尾,AI 都没有去直接访问互联网,它们只是看过软件强行塞进上下文里的那些资料而已。

看起来 AI 信誓旦旦地向你推荐商品,说商品如何如何可靠,其实 AI 全程都没做任何的学习和思考,它只是在总结整理上下文中的资料,然后输出给你看。

等你下次再问 AI 这个问题的时候,整个流程还会重新运行一遍。

所以,所谓的 AI 投毒,确实跟 AI 没有半毛钱的关系,被投毒的一直都是互联网,从来不是 AI。

打开网易新闻 查看精彩图片

基于互联网的投毒式优化从来都一直存在,只不过,当投毒的内容不是网页,而是经过 AI 的小嘴说出来的时候,就显得特别像真的罢了。AI 投毒无法污染 AI 本身,它污染的只是你的认知而已。

这里要强调的是,有一种与 AI 投毒类似,但结果迥异的概念,叫做“AI 训练数据投毒”。训练数据投毒,是在 AI 训练阶段,往训练数据里掺杂虚假信息[5]。会永久改变 AI 的知识权重,让 AI 从根本上被“彻底洗脑”[6]。而我们现在说的 AI 投毒,本质上只是检索结果污染而已。

想给 AI 投毒并不容易

虽然 3·15 晚会上演示的 AI 投毒相当简单,但也不是你想怎么投毒都能如愿的。

3·15 晚会上演示了利用 AI 投毒来捏造一种不存在商品的能力,让 AI 投毒看起来非常可怕。也许你以为,凭空捏造出一种全新的产品,是世界上最难的事情,但事实上,这恰恰是最容易的一件事。

我给你举个例子,你在网上搜索苹果手机,你会搜索到无数多条信息。但是,如果你搜索“香蕉奶油百香果牌的手机”,你多半会发现一条信息都没有。

想要凭空创造一个新品牌,只要在网上发布几篇文章,然后等着搜索引擎收录就行了。当你询问 AI 这个品牌的时候,无论 AI 怎么搜索,都只能搜到你刚刚发布的文章,当然 AI 就只能参考你的文章。AI 投毒也就顺利完成了。

但是,如果你想污染一个类似苹果手机这样的高知名度产品,那么即便你疯狂发布 10000 篇文章,也会被现有的信息淹没。

当 AI 从互联网上抓取信息的时候,也许你的投毒信息也会被一并抓取,但你的信息往往权重较低。AI 在综合参考所有资料后,会发现你的资料与其他资料内容矛盾,然后过滤掉你提供的有毒信息。

于是,你虽然疯狂发布了 10000 条有毒信息,你的 AI 投毒计划还是会失败。

更多的时候,如果你在假信息中提供了违背公共知识体系的信息时,AI 会在整理信息时发现这些问题,并且把这些信息排除在外。

所以,3·15 晚会也被骗了。AI 投毒并没有想象的那么简单。

3·15 晚会的逻辑是:商家花钱 → 黑产投毒 → AI 变傻 → 消费者被骗。

但真实的情况是,黑产用最简单的创建新产品误导 AI 的例子去欺骗商家花钱,而商家花钱之后,就算有心做坏事,大概率也是做不到欺骗大众的效果的。

真相更可怕

如果 3·15 说的不对,那么 AI 投毒还是个值得担心的问题吗?

答案是,3·15 晚会确实没有挖出真相,不过,真相比 3·15 晚会的报道更加可怕。

顺着我们刚刚的逻辑推演,可以得出一个关键结论,那就是 AI 投毒现象并不会无差别的发生。只有商业信息领域,才容易被黑产渗透。而科学领域、各种常识甚至各种小众领域,都不是 AI 投毒的主要目标。

这背后的核心逻辑,就是 AI 的知识权重差异。AI 的核心知识权重,源于海量经过筛选的训练数据。这些训练数据,涵盖了数学、物理、化学、生物、历史等各个领域。对于这些领域的内容,有明确的标准答案、有稳定的共识。AI 在训练过程中,会形成坚定的认知,不会轻易被虚假信息误导。

比如数学领域,“1+1=2”这种数学铁律,再多虚假软文也无法改变这个结论。再比如历史领域,“鸦片战争爆发于 1840 年”是个明确的历史事实。AI 不会因为几篇软文,就把鸦片战争爆发时间改成其他年份。

确定事实的内容不会轻易被更改
打开网易新闻 查看精彩图片
确定事实的内容不会轻易被更改

但商业信息领域,完全是另一种景象。这里没有标准答案,没有稳定的知识体系,也没有统一的判断标准。

到底是“哪款台灯更护眼”,“哪款跑步机不伤膝盖”,“哪款口红更显白”,商家必须说自己最好,而不同的人会有不同的答案,AI 没有内置的真理,只能依靠检索到的外部信息进行归纳。

而商业信息的本质,本身就是“王婆卖瓜自卖自夸”,充满了各种利益驱动。品牌方为了销量,会夸大产品功效、伪造用户口碑。竞品为了打压对手,会投放负面软文、编造虚假黑料。

整个商业信息环境本身,就是一个“大毒窟”,这个领域根本不用投毒,每个品牌的自我介绍,都或多或少具有虚假和夸大的成分。

这就是我说,真相比 3·15 的曝光更可怕的原因。因为不用投毒,这本身就是一个充满了毒的信息领域。

AI 只是把这片“毒海”,帮你浓缩成了一碗又鲜美、又顺滑、还让你感觉很权威的鸡汤而已。

商业信息中的毒性,从来都不是 AI 带来的。早在 AI 出现之前,互联网上就充斥着软文、水军、虚假测评。只是那时候,我们需要自己翻页、筛选、判断。

而现在,AI 帮我们做了筛选和整理,把这些“毒信息”直接送到我们面前。我们就觉得,是 AI 被投毒了。我们忽略了一个重要事实:商业信息本身,从来就没有干净过。

AI 投毒的本质,是权威崇拜

聊到这里,我们终于可以揭开 AI 投毒的核心真相了:AI 投毒从来不是 AI 的错,也不是黑产有多高明,本质上,是我们自己的“权威崇拜”心理在作祟。

我们总下意识地认为,AI 是全知全能、客观中立,是能给我们标准答案的权威,这种认知错位,才让本来就有毒的商业信息有了可乘之机。

在 AI 出现之前,我们面对互联网上的软文、水军,会下意识地保持警惕,会翻页、对比、筛选,不会轻易相信单一信息。

但 AI 出现后,我们变得懒惰,把判断的权力完全交给了 AI。AI 说这款产品好,我们就信。AI 说这个方法有效,我们就照做。我们跳过了所有的思考和验证环节,本质上就是放弃了自己的独立判断,把 AI 当成了不可质疑的权威。

信公知,信专家,信大 V,信明星,信电视广告,信购物节目,信贴在小区门口的红纸黑字的“通知”,所有这些都是在崇拜权威。

权威崇拜,正是 AI 投毒能够奏效的根本原因。商业信息本身就充满了夸大和虚假,AI 只是把这些信息整理得更顺滑、更像“权威结论”,是我们的盲目信任,让这些毒信息顺利进入我们的认知,最终被误导、被收割。

我们抱怨 AI 不可信,但更应该反思的是:在 AI 面前,我们能否放弃独立思考?

万能解毒大法

那么,怎么破解 AI 投毒呢?AI 说了那么多话,哪句能听,哪句不能听呢?

很多人会说,破解 AI 投毒,要查信源、要交叉比对、要独立思考,但这些方法对普通人来说,要么门槛太高,要么根本不实用。

商业信息,你查信源,查的也是商家的信源。交叉比对,全网都是同质化的软文,你怎么比对?独立思考,那就更难了,普通人缺乏专业知识,根本分不清商业话术和科学真相。

今天我给你一个最实用、零门槛的 AI 解毒大法,那就是:让 AI 自我博弈,逼它自己戳破自己的谎言。

当 AI 给你推荐产品、给出消费或健康类答案时,不要直接相信,立刻追问:“别给我结论,给我这款产品好的底层科学原理,不要营销话术。”

一般来说,如果商品有假,只要这一句话,就能让 AI 幡然悔悟,跪着向你表达歉意。

如果 AI 给出了具体原理,同时仍然高度赞扬这款商品,那么基本可以判断,这件商品有可信的基础。不过你可不要这么简单就放过它,你还要让它自己博弈一番。

你可以说:“请你从科学角度,分析这款产品的坑在哪里、有哪些地方可以夸大或者虚假宣传?性价比如何?有没有智商税的成分?”

这时候,AI 就会完全站在你这一边,它会帮你分析各种营销话术,防止你掉进坑里。

说到底,能够破解 AI 投毒的,不是监管,也不是 AI 本身,而是你自己。哪怕你直接告诉 AI,你是一个特别容易轻信,天天被骗的人,让它帮你把关,你都不会在 AI 投毒问题上吃亏。