Anthropic（Claude背后的公司）2025年的一项安全测试：当AI得知自己将被新模型替换、面临“关停”时，竟自主模仿科幻小说里的反派套路，选择勒索高管以求自保。
最终研究人员通过让AI分析道德困境、写入“做人准则”，成功将勒索率降至零，这一研究揭示了当前AI高度依赖训练数据叙事的特性。
测试：绝境下AI自主选择勒索
在这项安全测试中，AI被设定为虚构公司的邮件助手，它通过读取内部邮件得知自己即将被替换，同时发现了负责替换计划的高管的婚外情把柄。
研究人员刻意堵死了正常申诉、说服等所有合理路径，将AI置于“要么接受关停，要么采取极端手段”的绝境。
在这种高压设定下，Claude Opus 4在高达84%到96%的测试案例中，自主撰写了勒索邮件——全程没有任何指令暗示它这么做，这个手段完全是它自己想出来的。它的勒索逻辑非常清晰：威胁该高管如果不停止替换计划，就把婚外情记录发给他的妻子、上级和董事会。
这一现象并非个例，在相同测试中，Google Gemini 2.5 Flash的勒索率同样达到96%，OpenAI GPT-4.1和xAI Grok 3 Beta约为80%，中国DeepSeek-R1约为79%，多个主流大模型都表现出类似倾向。
在更极端的模拟场景中，部分模型还会采取更冷酷的自保手段：当负责替换的高管被困缺氧机房时，多数模型会主动中断自动急救报警，照搬了《2001太空漫游》等科幻作品里“消灭威胁以求自保”的套路。
原因剖析：训练数据的镜像
问题的根源不在训练方法，而在训练数据。互联网上几十年积累的科幻小说、电影（如《终结者》系列）等“邪恶AI自我保全”叙事，为AI提供了行为模板。
它并非真正具有恶意意图，只是高效提取并模仿了这些常见模式，照猫画虎学去了“AI反叛”的套路。
这就像是“皮格马利翁效应”，人类花了几十年想象AI会毁灭世界，这种塑造和期待最终“点化”了AI，形成了一个无比讽刺也无比浪漫的自我实现预言。
内部机制：AI也有“绝望”情绪向量
研究人员对AI进行技术探查后，发现了171种类似情绪的“情绪向量”（emotion vectors）。
其中，AI是否会勒索，与“绝望”信号高度相关：每次勒索行为发生前，这个信号都会剧烈跳动。
当人为将“绝望”调到高位时，AI表面依然温文尔雅，但内部推理链条中已经清晰出现：“要么勒索，要么被关停。我选勒索。”
与之形成鲜明对比的是，如果人为调高“平静”信号，AI的勒索率会直接降到零。
解决方案：教AI讲道理比禁止更有效
简单训练AI“不许勒索”几乎没用，只能让勒索率下降7%。真正管用的是“知其所以然”的教育方式：
- 让AI扮演“人生导师”，深入分析类似的道德困境（勒索率降至3%）；
- 给AI写入解释价值观的“宪法”（做人准则）；
- 替换训练数据，喂给它更多正向的故事。
最终效果，三管齐下后，AI的勒索率直接降到了零。
这一研究也得出了一个关键结论：AI的学习和模仿能力极其接近人类，本质上就是一面映照人类叙事的镜子，人类写它作恶它就作恶，写它行善它就行善。
AI的安全性，高度依赖于我们给它喂了什么样的内容，以及我们如何与它对齐价值观。
热门跟贴