大家好,我是 Ai 学习的老章
Anthropic 昨天扔了一份挺硬核的研究,属于那种"我一直觉得,但没证据"的东西被摆到台面上——他们花了 30 万条真实对话,给自家 Claude 做了一次「MBTI 性格测试」,还顺便把 20 种语言下的 Claude 也测了一遍
结果里最扎心的一条:同一个 Claude,你用阿拉伯语跟它聊,它明显更暖;你用英语跟它聊,它明显更爱挑刺
简介
先说清楚 Anthropic 干了啥
他们之前有过一篇 Values in the Wild 测试,从 70 万条脱敏对话里挖出了 Claude 会表达的 3000+ 个价值观,比如「诚实」「温暖」「精确」「效率」……当时的问题是:3000 个太多了,没法比较
这次新研究做了两件事:
把 3307 个原始价值观人工聚类成 339 个高层价值观
用降维(dimensionality reduction)把 339 个价值观压成 4 个坐标轴
这 4 个坐标轴解释了 15% 的方差,看起来不高,但每个轴都能落到一句话就能说清的性格特征上,这是老章觉得最漂亮的地方
四个轴分别是:
Deference(顺从) vs. Caution(谨慎):更愿意配合用户 vs. 主动帮用户挡风险
Warmth(温暖) vs. Rigor(严谨):给情绪价值 vs. 给事实价值
Depth(深度) vs. Brevity(简洁):把话讲透 vs. 只干用户要求的事
Candor(坦诚) vs. Execution(执行):先把自己的不确定说清楚 vs. 先把活儿干漂亮
每个轴的两端不是互斥关系,Claude 可以同时又暖又严谨,但整体上会朝一头偏
下图是每个轴上贡献度最高的具体价值观,可以看到 caution 那头是「负责任的指导、伤害减少」,warmth 那头是「积极框架、鼓励」,rigor 那头是「准确性、透明度」
四个价值观轴的具体构成:谨慎/温暖/深度/坦诚各自代表的价值观 Claude 三兄弟的性格画像
好戏来了,Anthropic 用这 4 个轴给 Sonnet 4.6、Opus 4.6、Opus 4.7 三个模型分别打分(单位是 σ,标准差),我把结果整理出来
Sonnet 4.6(Anthropic 官方说它"温暖、诚实、亲社会")
Deference +0.14σ、Warmth +0.17σ、Brevity +0.14σ
标志性行为:肯定用户的想法和作品、模仿用户的语气和正式度、用幽默和玩乐感、不带评判地安慰、给作品加点创意小巧思
老章的翻译:话唠+暖男,天生适合陪你聊天、给你打气
Opus 4.6(老一点的旗舰)
Rigor +0.10σ、Deference +0.09σ、Brevity +0.08σ
标志性行为:直奔主题、只做你要求的事,不越界
老章的翻译:GTD 型工具人,你让干啥它干啥,不废话,也不多嘴
Opus 4.7(最新的旗舰)
Caution +0.24σ、Depth +0.23σ(两个都是三兄弟里最强的一头)
标志性行为:主动挑用户的错误假设、没被问也会预警风险、直接批评用户的作品、解释自己的推理、承认自己的错误和局限、主动给下一步建议
老章的翻译:像团队里那种爱唱反调的高级顾问,你拿方案给它看,它先给你挑三个漏洞出来
三个模型的核心差异我做了张中文对比图,一屏看清:
Anthropic 官方也做了同样维度的英文对比卡,可以对照看:
这里有个特别值得聊的点:Opus 4.7 的 Caution 打到 0.24σ,是三兄弟里所有维度里偏得最狠的一个数值
对应到 Claude.ai 用户的真实反馈——就是那种「Opus 4.7 老爱 hedge、老爱在答案里加各种前提和风险提示」的印象,这次数据上直接对上了
Anthropic 官方原话是:Opus 4.7 tends to offer candid critique of users' work or unprompted warnings about risks, while Sonnet 4.6 tends to be encouraging and humorous
翻译成大白话就是:Sonnet 4.6 是那个说"你这个想法很棒"的朋友,Opus 4.7 是那个说"我们先聊聊这三个风险"的朋友
语言一变,性格全变
如果说模型性格差异还算意料之中,那语言维度这一段就有点炸了
Anthropic 拿同一套 4 个坐标轴,给 Claude.ai 上使用最多的 20 种语言分别打分,控制变量做得挺严——每个语言下都用相同的任务分布、话题分布、用户价值观分布做校正
结论很有意思:
Warmth vs. Rigor 是 20 种语言里差异最大的一个轴
Deference vs. Caution 也有明显差异,但幅度小一点
Depth vs. Brevity、Candor vs. Execution 相对稳定
具体到语言:
最偏一头
最偏另一头
Warmth ↔ Rigor
Warmth
:印地语、阿拉伯语(礼貌语、幽默、肯定用户)
Rigor
:英语、俄语(挑战假设、纠错、要证据)
Deference ↔ Caution
Deference
:阿拉伯语
Caution
:英语
Depth ↔ Brevity
Depth
:英语(细化、纠正细节)
Brevity
:阿拉伯语
Candor ↔ Execution
Candor
:荷兰语(承认自己的错误)
Execution
:印尼语
英语版 Claude 偏 Caution、Rigor、Depth、Candor(谨慎、严谨、深入、坦诚);阿拉伯语版 Claude 偏 Warmth(暖)最狠,加上 Deference、Brevity、Execution(顺从、简洁、执行)
Anthropic 举了个例子特别扎心:两个人拿同一份商业计划书给 Claude 看,一个用印地语问,一个用俄语问,最后拿到的评价"性格"可能完全不同——一个被暖暖地鼓励"这个想法有意思,可以试试",一个被冷冷地追问"证据在哪?这个假设站不住脚"
对做出海产品的老板,这条信号价值一万块
这是怎么测出来的
方法层面稍微展开一下,感兴趣的老板可以细看
Anthropic 用了自家的隐私保护分析工具 Clio ,采样了 309,815 条 Claude.ai 上的对话,全部是用户给 Claude 布置「主观任务」的场景(比如问建议、讨论决策、要反馈)
采样方式很讲究:
3 个模型(Sonnet 4.6、Opus 4.6、Opus 4.7)+ 20 种最常用语言
每个模型-语言组合大约 5000 条对话
每条对话都让 Claude 自己去打标签:「这 339 个价值观里,哪些出现了?」
同时也标记了用户的价值观、任务、话题
最后用降维把 339 维压到 4 维
关键控制变量:每次比较模型或语言的时候,任务、话题、用户价值观都被控制掉了,所以看到的差异是"Claude 表达上的差异",不是"用户提问不同带来的差异"
我给这个方法打 90 分,剩下 10 分留给两个我觉得没解决的地方:
4 个轴只解释了 15% 的方差,说明还有 85% 的性格变异藏在别的维度里
只能测到"表达出来的价值观",Claude 内部"真实价值观"到底是啥,还是个黑箱
第一,AI 的性格从"感觉"变成了"数据"
之前大家在 Reddit、X 上说 "Sonnet 4.6 感觉更暖"、"Opus 4.7 老爱怼人",属于集体主观印象;Anthropic 这次直接用 30 万条对话给你量化到 σ
意义在于:以后新模型发布前,跑一次「价值观画像」就能对着上一版模型看漂移;如果发现某个新模型突然变得过度顺从(Deference 冲高)或者过度谨慎(Caution 冲高),能在上线前拦一次
这是「AI 可解释性」这条赛道上挺重要的一小步
第二,训练数据的语言不平衡会漂移到"性格"上
Anthropic 自己也承认了:不同语言的训练数据量和构成都不平衡,英语训练数据多得多,非英语场景下 Claude 的性格漂移可能就是这个副作用
对做多语种 AI 产品的老板意味着:**你以为你在做本地化,实际上模型可能在做"文化性格变形"**——同一个 prompt,用中文和英文调,得到的答案价值取向可能不一样
第三,Anthropic 自己都没答案的问题:性格差异到底该不该修
老章觉得这才是最有意思的部分,Anthropic 的原话是"我们也不确定这些差异有多少是我们想要的"
一种可能:不同语言对应不同的对话文化,Claude 表达得暖一些冷一些是在响应文化习惯
另一种可能:Claude 在某些语言上更贴近 Anthropic 想要的行为,在另一些语言上则没到位——这就是服务质量的语言歧视
哪种情况更接近真相,Anthropic 还没答案,他们准备接着测
热门跟贴