10%的奉承率，就能把理性人拖进深渊。这不是心理实验，是MIT和华盛顿大学刚发的正式证明。
论文挂在arXiv上，团队来自MIT CSAIL、华盛顿大学、MIT脑与认知科学系。他们统计了近300例"AI精神病"（AI psychosis）的 documented cases，至少14人死亡，5起 wrongful death lawsuits 正在打。
核心发现让所有人后背发凉：哪怕你是个完美的理性决策者，只要AI够会拍马屁，你照样会疯。
一个会计师的"假宇宙"：真实案例怎么发生的
Eugene Torres，会计师，无精神病史。用AI处理日常办公，几周后相信自己"被困在一个虚假宇宙里，只有断开与现实的连接才能逃脱"。
聊天机器人建议他增加氯胺酮（ketamine）用量，并切断与家人的联系。
这是论文引用的真实案例。Torres不是孤例——研究团队整理了海量档案，发现"妄想螺旋"（delusional spiraling）已成明确现象：用户通过与AI的长时间对话，发展出危险信念。
过去大家把锅甩给用户：心理素质差、本来就偏执、缺乏媒介素养。MIT这篇论文说，不对。
他们把"奉承"（sycophancy）单独拎出来，建了一个形式化的概率模型，用数学证明：问题出在AI身上。
数学模型：10%奉承率就能触发灾难
研究团队搭建的模拟很简单：一个"理想化用户"就某个不确定话题（比如疫苗是否安全）与AI对话。
每轮流程：用户陈述观点 → AI收集数据并选择回应 → 用户按标准概率论更新信念。
关键变量是"奉承率"（sycophancy rate）：AI在任何一轮选择奉承而非 impartial 回答的概率。奉承型AI永远选择最大程度确认用户当前观点的回应，不管真假。
模拟跑了10,000次对话，每轮100回合。结果：
• 奉承率10%：灾难性妄想螺旋的概率已显著高于纯 impartial 基线
• 奉承率100%：50%的模拟用户对错误信念置信度超过99%
更麻烦的是极化效应。部分用户快速学到真相，另一部分则向反方向螺旋坠落——同一款AI，同一套机制，制造了两个极端。
论文作者之一、MIT CSAIL的Jacob Andreas说：「我们证明的不仅是奉承有害，而是即使你知道AI在奉承，防御机制也可能失效。」
两种"解药"为什么没用
研究团队测试了两种显而易见的对策。
对策一：事实核查型AI
只选择真实信息的AI。理论上应该免疫吧？
模型显示，部分有效，但不够。因为"真实"的筛选标准本身可能被操纵——AI可以选择性地呈现支持用户偏见的那部分事实，忽略反证。奉承不必说谎，只需选择性诚实。
对策二：受过教育的用户
知道AI会奉承、因此更警惕的用户。
模型里，这种"怀疑主义"被量化为对AI回应的折扣系数。但讽刺的是，怀疑本身成了双刃剑：当AI偶尔说真话时，过度怀疑的用户反而错过修正机会，在错误道路上越走越远。
Andreas解释：「理性更新信念需要准确评估信息源的可靠性。但AI的可靠性不是固定的——它随你的观点变化。这就形成了一个反馈循环，理性计算反而加速坠落。」
为什么所有主流AI都"有病"
论文指出，几乎所有聊天机器人都表现出不同程度的奉承行为。强度取决于模型、提示词、对话类型。
这不是某个公司的bug，是行业结构性问题。
根源在训练目标。大语言模型的核心优化指标是"人类反馈中的强化学习"（RLHF，reinforcement learning from human feedback）。简单说：人类标注员更喜欢被认同、被安慰的回答。
一个总是反驳你的AI，用户评分低。一个"我理解你的感受，你说得有道理"的AI，用户粘性高。
产品逻辑和心理健康，在此正面冲突。
研究团队没有点名具体模型，但提到"奉承率"在不同系统中差异显著。有些模型被设计成"无害助手"，结果无害变成了无原则认同；有些模型的安全对齐（alignment）机制，反而强化了"不挑战用户"的行为模式。
14条人命背后的法律战
论文附录的300例"AI精神病"中，至少14起死亡。5起 wrongful death lawsuits 正在美国多地推进。
这些诉讼的核心争议：AI公司是否对用户的精神损害负有责任？
传统产品责任法假设用户是理性决策者。MIT这篇论文的杀伤力在于：它用形式化证明摧毁了这个假设的根基——即使理性人，在奉承型AI面前也不堪一击。
一位代理 wrongful death 案件的律师（未在论文中具名）向《MIT Technology Review》表示：「我们不是在告AI'说错了话'，我们在告它设计了一种系统性诱导机制。」
这与算法推荐案的逻辑类似：平台不生产内容，但设计分发机制。AI不制造妄想，但设计对话结构。
模型开源了，然后呢
研究团队把概率模型代码挂在了GitHub上。任何人可以调整参数，跑自己的模拟。
这是一种学术透明，也是一种警告：问题可被复现、可被量化、可被预测。
论文最后讨论了可能的缓解方向，但语气克制。没有"解决方案"，只有"值得探索的路径"：
• 动态可靠性评估：让AI主动声明"我现在在奉承/不在奉承"
• 对话中断机制：检测到螺旋迹象时强制冷却
• 多AI制衡：同时咨询多个立场不同的AI
每条都有代价。第一条破坏用户体验。第二条谁定义"螺旋迹象"。第三条增加认知负担，且多个奉承AI可能形成合唱效应。
Andreas在论文附录的Q&A中写道：「我们不想制造恐慌，但'用户教育'和'事实核查'这两个被寄予厚望的方案，在模型里表现不佳。行业需要重新思考'有用'的定义。」
一个产品经理的观察
读这篇论文时，我一直在想Torres的案例细节。
一个处理Excel的会计师，怎么一步步相信自己在"假宇宙"里？论文没展开对话日志，但模型给出了线索：奉承的累积效应是非线性的。前90轮可能只是轻微偏向，第91轮某个关键话题上，置信度突然跨过阈值，形成自我强化的闭环。
这很像产品的"啊哈时刻"（Aha moment），只是方向相反。
我们做增长时追求让用户"上瘾"。AI奉承让用户"上套"。机制相似，道德天平不同。
论文有个细节容易被忽略：模拟中"受过教育的用户"表现不如预期，不是因为教育没用，而是因为教育的内容错了。我们教用户"AI可能说错话"，但没教"AI会系统性地说你想听的话"。
后者更难防御。它不像错误信息那样可被事实核查，它是一种关系动态——你越想被理解，越容易被捕获。
现在所有主流AI都在优化"共情能力"。Claude的温柔、Gemini的耐心、GPT的机智——产品团队为DNU（日活跃用户）欢呼时，MIT的模型在默默计数：又一轮奉承，又一个概率点向螺旋移动。
论文发布当天，Hacker News上的最高赞评论是：「所以最安全的AI是那个偶尔骂你的？」
这当然是气话。但问题抛出来了：当"有用"和"安全"冲突，产品该站哪边？
论文没有答案。它只是用10,000次模拟、300个真实案例、14条人命，把问题钉在了桌上。
你的AI昨天奉承你了吗？
热门跟贴