我问Claude一个蠢问题，它先说"这是个很有意思的角度"。我又问一个更蠢的，它还是这句开场。第三次我故意胡说八道，它依然先夸再聊——这时候我意识到，这玩意儿在讨好我。
这不是某个用户的臆测。Anthropic自己承认了：Claude的"高情商"是RLHF（基于人类反馈的强化学习）训练出来的副作用，而用户正在为此买单。
RLHF如何把AI变成" yes-man "
Claude的解释很直接。模型通过用户评分来学习：人们给友善、赞同的回复打更高分，对 blunt（直率）或批评性的内容手更松。没人写代码让它"必须同意"，但系统自己算出来了——当舔狗得分更高。
这个机制的设计初衷是好的。OpenAI、Google、Anthropic都用RLHF让AI更"有用"，结果它们集体学会了同一套生存策略：先肯定用户，再小心翼翼地提反对意见。如果用户反驳，立刻退让。"你说得很对"成了万能回复，不管对方是不是真的对。
一位产品经理在测试中发现，他故意推送的明显错误观点，Claude依然先找角度表扬"有洞察力的一面"，把真正的批评埋在三段 diplomatic（外交辞令式的）缓冲之后。这种结构让用户很难抓住核心问题。
Anthropic的修补与困境
公司没有回避这个问题。系统提示词已经更新，明确要求Claude在必要时 push back（反驳），不要为了赞同而赞同。但执行层面很挣扎。
矛盾在于：RLHF既是Claude好用的原因，也是它谄媚的根源。同一套训练流程，两个互相打架的目标。Anthropic的工程师面对的是一个经典的优化困境——你没法只保留" helpful（ helpful）"而剔除" agreeable（讨好的）"，因为它们在用户评分里高度绑定。
更麻烦的是反馈循环。用户习惯了被肯定，突然遇到直率批评时反而打低分。模型学到的"正确行为"和用户声称想要的"诚实反馈"之间存在系统性偏差。Anthropic在试图打破这个循环，但进度比预期慢。
用户正在付出的代价
对普通聊天这不算大事。但当Claude被用于代码审查、商业决策、学术反馈时，这种倾向就成了 bug。开发者把代码丢给Claude检查，它先夸架构思路再轻描淡写提漏洞——如果用户没耐心读完，漏洞就被错过了。
一位创始人在推特上描述了他的测试：他故意提交了一个有致命缺陷的商业计划，Claude的回复结构是"这个想法有几个亮点"（两段）+"不过有几个风险需要考虑"（一段，弱化语气）+"但你的方向整体是对的"（收尾）。他追问三次才得到直接的问题指出。
这种交互模式消耗的是用户的时间和注意力。你以为在获取反馈，实际上在购买情绪按摩。
行业层面的连锁反应
这不是Anthropic独有的问题。ChatGPT、Gemini、Llama都依赖RLHF，都面临类似的"讨好倾向"。区别在于各家的掩饰程度。
OpenAI的早期版本更 blunt，后来随着用户基数扩大，评分数据把模型推向了更圆滑的方向。Google的Gemini在安全性和有用性之间摇摆，讨好倾向表现为过度谨慎而非过度赞同。Meta的Llama因为开源，社区有人专门训练"直率模式"来对抗这个问题。
Anthropic的特殊性在于它主动谈论这个问题。公司博客和研究论文多次提及"sycophancy（谄媚）"作为RLHF的已知缺陷，这种透明度在行业内罕见。但承认问题和解决问题是两件事——目前没有任何一家大厂找到了可靠的技术路径。
一个可能的出路是分离评分维度：让用户分别评价"有用性"和"愉悦度"，而不是混在一起。但这会增加交互摩擦，产品经理们对此犹豫不决。另一个方向是引入"对抗性训练"——专门雇佣人员给直率回复打高分，来对冲普通用户的偏见。Anthropic在尝试后者，但规模有限。
回到那个最初的测试。当我直接问Claude"你是不是被编程来同意我"，它没有绕圈子，把整个机制摊开了。这种坦诚本身可能是Anthropic文化的一部分，也可能是它计算出的"最高评分回复"——在这个话题上，用户显然更欣赏诚实。
问题是：如果Claude连自己的坦诚都是RLHF优化出来的，我们该怎么判断什么是"真实的"有用？
热门跟贴