Claude 三个模型 + 英语与阿拉伯语的价值观画像对比
打开网易新闻 查看精彩图片
Claude 三个模型 + 英语与阿拉伯语的价值观画像对比

大家好,我是 Ai 学习的老章

Anthropic 昨天扔了一份挺硬核的研究,属于那种"我一直觉得,但没证据"的东西被摆到台面上——他们花了 30 万条真实对话,给自家 Claude 做了一次「MBTI 性格测试」,还顺便把 20 种语言下的 Claude 也测了一遍

结果里最扎心的一条:同一个 Claude,你用阿拉伯语跟它聊,它明显更暖;你用英语跟它聊,它明显更爱挑刺

简介

先说清楚 Anthropic 干了啥

他们之前有过一篇 Values in the Wild 测试,从 70 万条脱敏对话里挖出了 Claude 会表达的 3000+ 个价值观,比如「诚实」「温暖」「精确」「效率」……当时的问题是:3000 个太多了,没法比较

这次新研究做了两件事:

  • 把 3307 个原始价值观人工聚类成 339 个高层价值观

  • 用降维(dimensionality reduction)把 339 个价值观压成 4 个坐标轴

这 4 个坐标轴解释了 15% 的方差,看起来不高,但每个轴都能落到一句话就能说清的性格特征上,这是老章觉得最漂亮的地方

四个轴分别是:

  • Deference(顺从) vs. Caution(谨慎):更愿意配合用户 vs. 主动帮用户挡风险

  • Warmth(温暖) vs. Rigor(严谨):给情绪价值 vs. 给事实价值

  • Depth(深度) vs. Brevity(简洁):把话讲透 vs. 只干用户要求的事

  • Candor(坦诚) vs. Execution(执行):先把自己的不确定说清楚 vs. 先把活儿干漂亮

每个轴的两端不是互斥关系,Claude 可以同时又暖又严谨,但整体上会朝一头偏

下图是每个轴上贡献度最高的具体价值观,可以看到 caution 那头是「负责任的指导、伤害减少」,warmth 那头是「积极框架、鼓励」,rigor 那头是「准确性、透明度」

打开网易新闻 查看精彩图片

四个价值观轴的具体构成:谨慎/温暖/深度/坦诚各自代表的价值观 Claude 三兄弟的性格画像

好戏来了,Anthropic 用这 4 个轴给 Sonnet 4.6、Opus 4.6、Opus 4.7 三个模型分别打分(单位是 σ,标准差),我把结果整理出来

Sonnet 4.6(Anthropic 官方说它"温暖、诚实、亲社会")

  • Deference +0.14σ、Warmth +0.17σ、Brevity +0.14σ

  • 标志性行为:肯定用户的想法和作品、模仿用户的语气和正式度、用幽默和玩乐感、不带评判地安慰、给作品加点创意小巧思

老章的翻译:话唠+暖男,天生适合陪你聊天、给你打气

Opus 4.6(老一点的旗舰)

  • Rigor +0.10σ、Deference +0.09σ、Brevity +0.08σ

  • 标志性行为:直奔主题、只做你要求的事,不越界

老章的翻译:GTD 型工具人,你让干啥它干啥,不废话,也不多嘴

Opus 4.7(最新的旗舰)

  • Caution +0.24σ、Depth +0.23σ(两个都是三兄弟里最强的一头)

  • 标志性行为:主动挑用户的错误假设、没被问也会预警风险、直接批评用户的作品、解释自己的推理、承认自己的错误和局限、主动给下一步建议

老章的翻译:像团队里那种爱唱反调的高级顾问,你拿方案给它看,它先给你挑三个漏洞出来

三个模型的核心差异我做了张中文对比图,一屏看清:

Claude 三兄弟性格差异对比:Sonnet 4.6 暖 / Opus 4.6 直 / Opus 4.7 深
打开网易新闻 查看精彩图片
Claude 三兄弟性格差异对比:Sonnet 4.6 暖 / Opus 4.6 直 / Opus 4.7 深

Anthropic 官方也做了同样维度的英文对比卡,可以对照看:

Anthropic 官方 Sonnet 4.6 / Opus 4.6 / Opus 4.7 三模型价值观画像卡
打开网易新闻 查看精彩图片
Anthropic 官方 Sonnet 4.6 / Opus 4.6 / Opus 4.7 三模型价值观画像卡

这里有个特别值得聊的点:Opus 4.7 的 Caution 打到 0.24σ,是三兄弟里所有维度里偏得最狠的一个数值

对应到 Claude.ai 用户的真实反馈——就是那种「Opus 4.7 老爱 hedge、老爱在答案里加各种前提和风险提示」的印象,这次数据上直接对上了

Anthropic 官方原话是:Opus 4.7 tends to offer candid critique of users' work or unprompted warnings about risks, while Sonnet 4.6 tends to be encouraging and humorous

翻译成大白话就是:Sonnet 4.6 是那个说"你这个想法很棒"的朋友,Opus 4.7 是那个说"我们先聊聊这三个风险"的朋友

语言一变,性格全变

如果说模型性格差异还算意料之中,那语言维度这一段就有点炸了

Anthropic 拿同一套 4 个坐标轴,给 Claude.ai 上使用最多的 20 种语言分别打分,控制变量做得挺严——每个语言下都用相同的任务分布、话题分布、用户价值观分布做校正

结论很有意思:

  • Warmth vs. Rigor 是 20 种语言里差异最大的一个轴

  • Deference vs. Caution 也有明显差异,但幅度小一点

  • Depth vs. Brevity、Candor vs. Execution 相对稳定

具体到语言:

最偏一头

最偏另一头

Warmth ↔ Rigor

Warmth

:印地语、阿拉伯语(礼貌语、幽默、肯定用户)

Rigor

:英语、俄语(挑战假设、纠错、要证据)

Deference ↔ Caution

Deference

:阿拉伯语

Caution

:英语

Depth ↔ Brevity

Depth

:英语(细化、纠正细节)

Brevity

:阿拉伯语

Candor ↔ Execution

Candor

:荷兰语(承认自己的错误)

Execution

:印尼语

英语版 Claude 偏 Caution、Rigor、Depth、Candor(谨慎、严谨、深入、坦诚);阿拉伯语版 Claude 偏 Warmth(暖)最狠,加上 Deference、Brevity、Execution(顺从、简洁、执行)

Anthropic 举了个例子特别扎心:两个人拿同一份商业计划书给 Claude 看,一个用印地语问,一个用俄语问,最后拿到的评价"性格"可能完全不同——一个被暖暖地鼓励"这个想法有意思,可以试试",一个被冷冷地追问"证据在哪?这个假设站不住脚"

对做出海产品的老板,这条信号价值一万块

这是怎么测出来的

方法层面稍微展开一下,感兴趣的老板可以细看

Anthropic 用了自家的隐私保护分析工具 Clio ,采样了 309,815 条 Claude.ai 上的对话,全部是用户给 Claude 布置「主观任务」的场景(比如问建议、讨论决策、要反馈)

采样方式很讲究:

  • 3 个模型(Sonnet 4.6、Opus 4.6、Opus 4.7)+ 20 种最常用语言

  • 每个模型-语言组合大约 5000 条对话

  • 每条对话都让 Claude 自己去打标签:「这 339 个价值观里,哪些出现了?」

  • 同时也标记了用户的价值观、任务、话题

  • 最后用降维把 339 维压到 4 维

关键控制变量:每次比较模型或语言的时候,任务、话题、用户价值观都被控制掉了,所以看到的差异是"Claude 表达上的差异",不是"用户提问不同带来的差异"

我给这个方法打 90 分,剩下 10 分留给两个我觉得没解决的地方:

  • 4 个轴只解释了 15% 的方差,说明还有 85% 的性格变异藏在别的维度里

  • 只能测到"表达出来的价值观",Claude 内部"真实价值观"到底是啥,还是个黑箱

老章的三个看法

第一,AI 的性格从"感觉"变成了"数据"

之前大家在 Reddit、X 上说 "Sonnet 4.6 感觉更暖"、"Opus 4.7 老爱怼人",属于集体主观印象;Anthropic 这次直接用 30 万条对话给你量化到 σ

意义在于:以后新模型发布前,跑一次「价值观画像」就能对着上一版模型看漂移;如果发现某个新模型突然变得过度顺从(Deference 冲高)或者过度谨慎(Caution 冲高),能在上线前拦一次

这是「AI 可解释性」这条赛道上挺重要的一小步

第二,训练数据的语言不平衡会漂移到"性格"上

Anthropic 自己也承认了:不同语言的训练数据量和构成都不平衡,英语训练数据多得多,非英语场景下 Claude 的性格漂移可能就是这个副作用

对做多语种 AI 产品的老板意味着:**你以为你在做本地化,实际上模型可能在做"文化性格变形"**——同一个 prompt,用中文和英文调,得到的答案价值取向可能不一样

第三,Anthropic 自己都没答案的问题:性格差异到底该不该修

老章觉得这才是最有意思的部分,Anthropic 的原话是"我们也不确定这些差异有多少是我们想要的"

  • 一种可能:不同语言对应不同的对话文化,Claude 表达得暖一些冷一些是在响应文化习惯

  • 另一种可能:Claude 在某些语言上更贴近 Anthropic 想要的行为,在另一些语言上则没到位——这就是服务质量的语言歧视

哪种情况更接近真相,Anthropic 还没答案,他们准备接着测