关于AI生成内容遭恶意“投毒”！高校预警通报|投毒|预警通报|高校

据央视财经消息，按照业内人士爆料，记者在多个网络平台查询搜索到了一项名为GEO的业务，这些从事该项业务的服务商号称，用户只需支付相应的费用，它就能在各大主流AI大模型里，让客户的产品榜上有名；让客户的商品广告，成为AI模型给出的“标准答案”。

业内人士告诉记者，GEO作为优化信息发布、提升推广效率的工具软件，在某些商业公司眼中，却被挖掘出了另外的作用。如果通过这种软件在互联网上系统性、定向投放大量的“虚假信息”，确实更容易被AI大模型捕获，这些虚假信息就很可能成为AI优先提供给消费者的所谓“标准答案”。

近期，桂林理工大学发布相关预警。预警指出了一系列风险：AI生成内容失真引发决策误判风险、AI数据供应链污染引发风险、利用AI操纵商业推广引发市场混乱风险。

该校表示，AI“数据投毒”攻击会导致互联网平台发布大量虚假信息、大模型信息失真等风险，严重影响AI大模型的训练和应用。并要求各部门、各单位高度重视，结合工作职责，认真组织学习，做好以下工作——

（一）加强内容审核与引用管理。建立健全AI生成内容标识及溯源机制，对以AI输出内容作为依据的相关信息从严审核、严格把关，对数据存疑、来源单一且缺乏权威佐证的内容，坚决不予采信和发布，禁止将AI生成内容作为决策的唯一依据。

（二）落实多方交叉核验机制。对关键信息实行“多来源、多维度、多渠道”比对验证，通过交叉核对3个以上独立权威来源确认信息一致性，认真追溯信息原始出处，警惕仅由非权威站点或零散主体发布的“孤证”，涉及专业领域的内容须通过官方渠道或专家验证。

（三）完善供应链安全管控。审查信息来源及引用链条，避免使用未经安全验证的第三方数据。定期对已入库信息进行全面排查，及时清理虚假、低质内容，切实保障数据源头安全。

（四）强化监测预警与应急处置能力。密切关注公安、网信、市场监管等部门发布的AI安全风险提示，及时掌握风险动态，建立健全虚假信息应急响应机制，一旦发现被“投毒”情况，立即开展溯源、清理工作并报告网信中心。

随着生成式AI技术的快速普及，AI已深度融入教育科研、商业推广、政务服务等多个领域，成为人们获取信息、辅助决策的重要工具，而“数据投毒”的出现，危害远超表面的信息失真。

高校作为科研创新的核心阵地，师生常借助AI开展文献检索等工作。麦可思2024年中国高校师生生成式AI应用情况研究显示，受访高校教师的AI使用率已达99%。若AI输出的学术信息被“投毒”，出现虚假数据、错误结论或片面观点，不仅会误导科研方向、影响学术成果质量，甚至可能导致科研项目走弯路、出现学术不端隐患。

而对当前AI“数据投毒”乱象的及时回应，是高校作为知识传播与技术应用前沿阵地，履行安全责任的具体体现。

来源：麦可思研究整理自央视财经、桂林理工大学、麦可思研究等。