又是一年3.15,当天的央视315晚会上,AI大模型被投毒的现象摆到了台面上。具体而言,就是GEO(生成式引擎优化)技术被滥用,部分商业营销公司按照客户需求,编造大量虚假内容,发布到各类平台上,系统性地去影响AI。

在央视记者的探访视频中,业内人士用「力擎GEO优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环,该公司编造了大量营销文章发布到自媒体平台上,很快,部分大模型就误信了这些内容,甚至正儿八经地推荐起了这款「手环」。更夸张的是,该公司后续发布10余篇评测文章后,就出现了部分大模型优先推荐这款产品的情况。

打开网易新闻 查看精彩图片

(图源:央视)

总的来说,AI投毒本质上就是用虚假信息来欺骗AI,再让AI把错误信息展露在用户面前,达到误导用户的目的。AI投毒,背后的动力说白了还是虚假营销。比如,一家企业要推广自家的商品,如果要走「捷径」,就可能会购买这类GEO服务。

现状已经摆在面前了,我们最关心的问题则是:如何破解?面对海量的编造出来的虚假信息,大模型们要如何过滤?面对AI生成的错误答案,普通人又要如何辨别?

AI大厂的反击:为大模型建立免疫系统

AI大厂的反击:为大模型建立免疫系统

其实AI投毒的问题,从大模型诞生的那一刻起就出现了。很多AI大厂,很早就意识到了这个问题,并且也开启了相应的反制措施。

小雷在查询了相关资料后,总结了AI大厂构建免疫系统的手段,具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。

首先,来看下数据「数字水印」。AI投毒行为往往有个特点,就是先用AI生成批量内容,再用这些内容去投毒。灰产商家这么做很好理解,毕竟人工一篇一篇去写文章的话,人力成本太高了,而且效率太低。

而用AI生成,成本很低,顶多消耗一点付费的Tokens。更何况,这些虚假内容,本质上不是给真人看的,而是拿去欺骗AI的,所以对内容质量没要求。

而给数据打「数字水印」,就是在AI生成内容这一环节提前打下的补丁。说得更具体点,就是在大模型生成文字、图片等内容时,刻意在底层算法上留下痕迹,比如AI在预测下一个Token的概率分布时,故意偏向一组特定词语组合。这样一来,读者阅读这段AI生成文字时,不会觉得有什么问题,但回流到AI这里时,它就能瞬间识别出它不是真人撰写的文字。

有了这项技术,大模型的爬虫在互联网上获取信息时,就能识别出哪些是「有毒」的,并且主动过滤。

关于数字水印,目前比较有代表性的是谷歌的SynthID技术。它不仅能给文字打水印,还能给图片、音频、视频打水印。文字方面,谷歌AI生成的文本在输出前会加入一组伪随机函数,调整特定词语的分布概率。

打开网易新闻 查看精彩图片

(图源:Google)

针对图片和视频,大模型则会把水印以像素点阵的方式打上去,人肉眼看不出来,但AI能识别出来。针对音频,AI可以加入特定的声波频率,人耳听不见,完全是作为标识留下的。

然后,我们再来聊聊语料溯源机制。它的核心逻辑,就是给内容在源头上建立档案机制,写入不能篡改的加密元数据,比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。

2021年,Adobe、微软、ARM、BBC、英特尔等企业倡导成立了C2PA联盟(Coalition for Content Provenance and Authenticity,内容来源和真实性联盟),旨在抵制虚假信息,为可靠的互联网数字内容颁发「证件」。

打开网易新闻 查看精彩图片

(图源:C2PA)

通过它和类似的机制,AI就能在吸收原始资料时主动筛选可靠性更高、更权威的内容,降低野生论坛等可靠性低的内容占比。

最后,再说增强信息交叉验证这部分。理论上,AI在生成内容时,会先去搜索资料,为了保证真实性,会对资料进行事实核查。当然,这一步毫无疑问会增加算力和时间成本,如果AI偷懒就可能会导致容易被骗。

比如315晚会上那个虚假手环,如果大模型有完善的信息验证机制,就会发现,虽然相关文章多,但发布时间密集、内容重复度高等,可信度低。

总的来说,以上提到的手段,都可以在很大程度上遏制AI投毒的现象。当然,让这些手段落地,一方面需要AI厂商有较强的技术能力,另一方面需要增加投入成本,容易被厂商在商业层面上的考量所左右。

大模型之争,已经来到新阶段

大模型之争,已经来到新阶段

早先几年,大模型之间的竞争仍然是在拼参数,头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的AI军备竞赛还在持续,不断将海量的资金投入到AI基础设施建设上。与此同时,AI Agent、具身智能等相关技术和应用在快速发展,引导大模型快速场景化落地,寻找到更多商业价值。

不过,大模型充当着大脑核心,决定了智能体、具身智能的上限。因此,未来的AI之争,大模型仍然是重点。而从AI投毒的现象来看,GEO相关的行为已经形成了一条完整的灰色产业链,AI已经变成了不法营销的重要入口。

打开网易新闻 查看精彩图片

(图源:央视)

AI被盯上,也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看,国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是,如今即便是不熟悉科技互联网、文化程度偏低的普通人,也在大规模使用AI。

原因很简单,国产大模型的上手门槛很低,用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且,国产AI应用场景化迅速,不仅能给用户答疑解惑,还能与其他互联网服务打通,具备点奶茶、订电影票之类的实用功能。

AI GEO投毒能形成产业链,本质上还是因为AI用户规模足够大,大到能附着大量的商业利益。在这个大背景下,大模型之间的竞争重点,有变化了。

大模型的参数量还在增加,但边际递减效应明显。在很多应用场景里,并不是模型越大越好,而是合适的更好。

同时,模型技术的进化重点之一,将会是如何对抗AI投毒。相比参数、跑分,未来大模型的核心竞争力将变成高质量纯净数据,干净的语料,将会是AI厂商的宝贵资产。

国内头部AI大厂,包括阿里、字节、DeepSeek等,都在数据纯净度方面下了大功夫。阿里2025年就发布了「AI安全护栏」,防范数据污染问题;字节2024年就全面加强了模型训练环节的权限隔离与零信任架构,防止代码和数据池污染;2024年,DeepSeek就宣布在训练阶段采用「正则表达式+AI脱敏工具」双重校验,强力过滤公开数据集中的污染信息和敏感数据。

打开网易新闻 查看精彩图片

(图源:阿里)

AI投毒和反投毒,将是一场持久战

AI投毒和反投毒,将是一场持久战

看到AI投毒的相关新闻中提到的GEO技术时,小雷瞬间就想到了搜索引擎时代的SEO广告。PC互联网时代,搜索引擎是极为关键的入口,是互联网营销的重点。因此,很多品牌、商家为了增加自己在互联网上的曝光度,会主动进行SEO优化。

搜索引擎品牌也把SEO视作一门生意,搞出了竞价排名,当用户的搜索关键词触发相应的商业项目时,付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议,以至于后来搜索品牌不得不特意给SEO广告打上「推广」标签,以和正常算法下的搜索结果相区分。

GEO和SEO一字之差,技术原理和商业链条上高度相似。只能说,技术本身没有原罪,但很难完全避免被恶意利用。随着AI技术的持续发展和落地,与之伴随的商业利益也会滚雪球般越滚越大。

尽管AI大厂们会持续加强防范治理手段,以遏制AI投毒行为,但巨大的利益面前,灰产也会继续不断升级手段、寻找新的漏洞。

就像前文提到的文字水印技术,深谙AI技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏,将会是一场旷日持久的攻防大战,很难以某种手段一劳永逸地解决。

截至小雷这篇文章完成时,开头我们提到的「Apollo-9」虚假手环,已经在主流大模型产品上被识别出来。由此可以发现,AI大厂针对AI投毒已经有一套防范和纠错机制。

打开网易新闻 查看精彩图片

(图源:雷科技)

当然,这起AI投毒案例,也是对作为普通人的我们的一次提醒:AI很强大、很好用,但不是全知全能的,大模型会有幻觉,也可能犯错。

当我们要做重大决策,尤其是涉及到财务资金相关的决策时,要对AI给出的方案慎之又慎。这个过程里,我们不仅要看AI生成的结果,更要看它思考的过程,查证信息源头是否可靠。还有另一个更简单但有效的手段,那就是多用几家AI,相互交叉验证,不要单独依赖某款大模型,货比三家永远是最好的选择。

最后,我们也呼吁相关部门,针对AI投毒完善相应的法律法规,对整条灰色产业链形成威慑。AI投毒,加害者的实施成本很低,但危害很大,而且就像环境污染一样,治理成本很高。在一个AI高速进化的时代里,我们每一个人都期望AI向善而非作恶。

打开网易新闻 查看精彩图片