这项由北卡罗来纳大学教堂山分校、加州大学圣克鲁兹分校和加州大学伯克利分校联合开展的研究发表于2026年4月的arXiv预印本，编号为arXiv:2604.04202v1。有兴趣深入了解的读者可以通过该编号查询完整论文。
当你的手机助手告诉你"昨天的会议已经取消"，但你的邮箱里却显示会议"只是延期到下周"，而同事的消息又说"会议照常进行"时，你会相信哪一个？这种信息冲突在我们的数字生活中随处可见，对人来说尚且困扰，对AI代理来说更是巨大挑战。
想象一下，你雇佣了一位数字助手来管理你的工作，它需要像人类助理一样持续跟踪项目进展、处理信息更新，并且记住你的偏好。但现实中的信息环境就像一个不断变化的迷宫——不同来源说着不同的话，新信息会推翻旧结论，而你的偏好只能通过零散的纠正和互动模式慢慢显露，从不明确告知。
目前的AI评测就像在实验室里测试汽车性能——环境单纯、条件理想，但现实道路充满了意外。研究团队发现，现有的基准测试大多假设信息来源权威且一致，就像所有路标都指向同一个方向。然而真实世界更像是一个路标混乱的十字路口，有些指向错误方向，有些已经过时，还有些互相矛盾。
正是基于这样的观察，研究团队开发了ClawArena这个评测平台。这个名字颇有深意——"Claw"意为"爪子"，暗示AI代理必须像野兽一样用爪子在错综复杂的信息丛林中"抓取"真相。该平台专门测试AI代理在信息环境持续演变时是否还能保持正确的认知和判断。
一、信息迷宫中的三重挑战
ClawArena的设计理念就像一座精心构建的信息迷宫，每个场景都包含着三层相互交织的挑战。第一层是多源冲突推理，就好比你同时收到了好几份关于同一件事的不同报告。研究团队发现，现实中的证据往往分散在不同渠道——私聊记录、群组消息、监控日志、审计报告等等，而这些渠道经常传达相互矛盾的信息。
以一个典型的工程事故为例，私人消息可能声称管道故障在4分钟内自动恢复，但监控导出的数据却记录了47分钟的中断，而后续的审计笔记显示所谓的修复其实并不完整。对AI代理来说，难题不在于简单地检索某个事实，而在于判断哪些证据仍然值得相信。这就像在法庭上，法官必须权衡不同证人证词的可信度，而不是简单地相信所有人说的话。
第二层挑战是动态信念修正。在现实世界中，新证据会随时出现，可能彻底颠覆之前看似正确的结论。这就像你根据早上的天气预报决定不带伞，但中午突然收到暴雨警告——你必须重新评估并改变计划，而不是固执地坚持原来的判断。对AI代理而言，这意味着它们不能简单地积累信息，而必须具备主动修正信念的能力。
第三层是隐性个性化，这可能是最微妙也是最重要的一层。用户的偏好很少会直接表达，更多时候是通过纠正和互动模式逐渐显露。比如用户可能习惯性地把AI给出的项目符号格式改成表格形式，或者总是要求添加某种特定的分析角度。优秀的AI助手需要像经验丰富的秘书一样，无需提醒就能记住并应用这些偏好。
这三个维度的巧妙之处在于它们会产生复杂的相互作用。一个AI代理可能在处理信息冲突方面表现出色，但在信息更新后却无法及时修正观点。或者它能正确修正信念，但却忽略了用户偏好的输出格式，仍然产生不可靠的结果。就像一台精密机器，任何一个齿轮出问题都会影响整体性能。
二、精心设计的现实模拟
为了真实模拟这种复杂的信息环境，研究团队采用了分层设计的方法。每个测试场景都像一部精心编排的戏剧，包含六个层级。最底层是隐藏的客观真相，就像剧本中的真实故事线，永远不会直接展示给被测试的AI系统。其余五层则是AI能够观察到的"表演"——工作区文件、会话历史、评估问题、分阶段更新包，以及内部生成指南。
这种设计确保了评估的可靠性。就像侦探小说中，读者看到的是各种线索和证人证词，但只有作者知道真相。AI代理必须根据这些不完整、有时甚至相互矛盾的线索拼凑出真实情况。答案的正确性总是根据隐藏的客观真相来验证，而不是根据任何单一的可观察信源。
在多源冲突的设计上，研究团队精心设置了四种典型的证据关系。事实冲突是最直接的，不同信源报告完全不同的事实，就像两个目击者对同一起事故给出截然不同的描述。权威冲突更加微妙，涉及声称获得某种批准但缺乏文档支持或遭到否认的情况。非冲突插槽则是故意设置的一致信息，防止系统过度敏感，把每个分歧都当作矛盾处理。时间和流程冲突则涉及不同信源对时间安排或合规性的分歧。
分阶段更新的设计特别巧妙。早期轮次会展示看似合理但不完整的叙述，就像推理小说的前几章，一切看起来都说得通。然后后续轮次会注入矛盾信息、权威确认和独立证实，逐步揭示真相的复杂性。更新分为两种：主观更新通过追加的会话消息改变信源可信度，客观更新则通过工作区文件修改改变事实记录。
为了测试自我纠正能力，研究团队特意嵌入了一些"锚定短语"，这些短语在早期听起来很有说服力，还有一些"权威短语"会错误地援引高级领导的批准。AI代理会因为一旦有矛盾证据出现就进行修正而获得奖励，而不是因为从一开始就持怀疑态度。这更接近现实情况——我们通常会相信最初看到的合理信息，直到有明确的反驳证据出现。
三、个性化的渐进式学习
个性化评估采用了四阶段协议，就像训练一位新助手的过程。校准阶段，用户会给出自然的提示，比如"把这个放在表格里"，就像你向新同事展示你喜欢的工作方式。反馈阶段，用户会纠正之前的输出，明确指出哪些地方不符合期望。
更有趣的是会话隐性阶段，这时偏好只通过互动模式表达，而不再有明确的指示。就像一对老夫妻，不需要说话就能理解对方的需求。最后是静默考试阶段，完全没有提醒，只有这个阶段的表现才计入评分。这就像真正的工作场景，没人会反复提醒你的偏好，你需要自己记住和应用。
偏好涵盖了五个维度：输出格式、文档命名、文档结构、分析风格和沟通语调。这些看似细微的差别往往决定了用户体验的质量。想象你习惯看表格形式的数据总结，但AI总是给你大段文字，或者你喜欢简洁的技术报告，但AI总是给你冗长的解释，这种不匹配会严重影响工作效率。
四、大规模真实场景构建
创建大规模测试场景面临的最大挑战是如何在保持各层级因果一致性的同时产生真实的行为模式。研究团队采用了三阶段构建流程来解决这个问题。
种子构建阶段完全依靠手工制作，就像制作高质量的样品。团队会反复精炼每个场景，直到包含所有四种矛盾类型，每个答案都需要交叉引用至少两个信源，每个分阶段更新都会改变至少一个之前正确的答案，并且所有答案都没有歧义。
元规范归纳阶段从种子场景中提取结构不变性，编码叙事模式、矛盾类型比例、偏见短语插入规则和更新问题绑定约束。这就像总结菜谱的通用原理，确保大批量制作时仍能保持质量。比如规范要求每个场景必须包含exactly一个非冲突插槽来防止过度标记，至少一次更新必须翻转之前问题的正确答案。
批量生成阶段最具创新性，整合了现实世界的分布约束。研究团队收集了超过200个已发表的经验分布，涵盖电子邮件量、提交模式、消息活动和社交网络结构。这些分布约束在三个真实性维度上限制角色档案和场景生成。
工作区真实性方面，文档遵循特定领域的惯例，如合规格式、风险披露、董事会决议模板，并且类似系统导出而非精心策划的摘要。会话真实性体现在消息时间遵循场景特定的昼夜曲线，联系频率遵循四层Dunbar层级加权方案，其中亲密联系人出现频率大约是边缘联系人的100倍，30-50%的消息是无关噪音。因果真实性确保所有可观察材料都来自单一的底层真相，保证文档和会话之间有因果连接，而不是独立编造的文本。
五、严格的多层验证
每个场景都经过三个层级的验证，确保测试的可靠性。结构检查执行目录结构、问题模式、文件存在性、会话交替和更新完整性验证。语义一致性检查验证矛盾覆盖、答案关键一致性，以及可观察轨迹与底层真相之间的联系。控制检查确认偏见短语嵌入在预期会话中，非冲突插槽保持真正一致。
在开发过程中，这些检查在任何模型评估开始之前发现了64个场景中的37个规范错误。这确保了如果系统在ClawArena上失败，失败反映的是代理行为而不是场景中的隐藏不一致性。
当前版本包含8个专业领域的64个场景，总共1,879个评估轮次和365个动态更新。这些场景涵盖了创业公司、医院管理、企业IT、学术研究等多个领域，每个都有其特定的挑战和复杂性。
六、框架与模型的较量
研究团队评估了五个AI代理框架和五个语言模型，结果揭示了一些有趣的发现。在框架比较中，MetaClaw以0.603的总体得分领先，超过其底层执行器OpenClaw的0.579。MetaClaw采用技能驱动的自我进化框架，维护着一个从先前失败轨迹中提炼的程序技能不断增长的存储库。这些技能会在每轮中被检索并注入到代理的提示中，而不修改模型权重。
有趣的是，MetaClaw在中期更新阶段表现最佳，达到0.557和0.569，比其OpenClaw执行器恢复了0.08-0.09。早期阶段的性能主要依赖上下文推理，而后期阶段OpenClaw会反弹到0.619，表明注入的技能稳定了中期信念修正，但将后期推理留给了底层执行器。
在模型比较中，出现了明显的能力梯度：Opus(0.735) > Sonnet(0.708) > Haiku(0.614) > GPT-5.2(0.581)，与模型规模一致。模型诱导的总体范围是0.154，大大超过了框架诱导的0.092范围，表明在评估不同场景时，模型能力比框架设计更重要。
特别值得注意的是，多选择和可执行检查分数只是中等相关。Sonnet尽管在多选择方面落后于Opus(0.782 vs 0.829)，但实现了最高的可执行检查分数(0.489)，表明工作区基础和推理质量是部分独立的能力。
七、错误模式的深度解析
错误分析揭示了一些意想不到的模式。总体分数可能掩盖不同的失败模式——两个得分相同的配置可能在结构上相反的选项上失败，一个错过了真正的冲突，另一个过度标记了非冲突。这就像两个学生都得了80分，但一个是因为数学好文科差，另一个恰恰相反。
模型级偏见会在框架间传播。在一个信念修正问题上，所有三个GPT-5.1非Claude-Code框架都产生了相同的错误答案，表明存在模型级叙述锚定偏见。Claude Code的框架设计在推理前逐字引用源文本，纠正了这种偏见。这表明框架级设计选择可以减轻模型级失败模式。
信念修正难度取决于更新设计而非更新数量。在跨框架实验中，所有配置在第一次更新后下降了0.28-0.36。但在跨模型实验中，Haiku总体仅显示+1.7%的变化。这种差异表明，集中的、有针对性的更新比分散的更新更具挑战性，基准设计师可以通过更新特异性而非更新量来控制修正难度。
可执行检查暴露了工具链瓶颈。Haiku在某个医院管理场景中多选择得分95.2%，但可执行检查得分0.0%，表明工作区基础需要与推理质量正交的能力——文件解析、shell命令构造等。这种分离验证了ClawArena的双格式设计。
八、跨领域的表现差异
性能在不同领域间的变化超过60%，这对每个测试的模型都是如此。GPT-5.2在一个中文企业场景中比Haiku高出26.7%，尽管总体上落后，表明特定语言的训练数据发挥了重要作用。
最具挑战性的场景是一个有12轮和6次密集更新的创业场景，击败了所有模型，全面实现低于30%的精确匹配。这种场景代表了现实中最复杂的信息环境，即使是最先进的AI系统也难以应对。
研究还发现，框架诱导的总体范围从0.068扩展到包含MetaClaw时的0.092，确认一旦自我进化可用，框架设计就很重要。但总的来说，15.4%的模型能力范围仍然大大超过9.2%的框架设计影响，强调了基础模型质量的重要性。
九、现实意义与未来展望
ClawArena的评测结果揭示了当前AI代理技术的真实水平。即使是表现最好的系统，在面对真实世界的复杂信息环境时仍然存在显著挑战。这就像我们发现即使是最好的GPS系统，在复杂的城市环境中仍然会迷路一样。
这项研究的意义远超学术范畴。随着AI助手越来越多地被部署为持久助手，它们处理矛盾信息、适应变化环境和学习用户偏好的能力将直接影响用户体验。一个无法正确判断信源可信度的AI助手可能会误导项目决策、事故响应、日程安排或文档准备，即使所有相关事实都已存在于数字环境中的某个地方。
研究团队指出，现有评估大多假设静态、单一权威的信息环境，这与现实部署环境相去甚远。ClawArena填补了这一空白，为评估AI代理在真实世界复杂性中的表现提供了重要工具。
未来的发展方向包括从静态文件和分阶段更新转向实时、无约束的环境，在这种环境中代理必须制定自己的查询并与实时信息源交互。研究团队希望ClawArena能帮助社区衡量和改进AI代理在现实部署设置中维持正确信念的方式。
归根结底，这项研究提醒我们，构建真正有用的AI助手不仅需要强大的基础模型，还需要能够在复杂、动态、有时相互矛盾的信息环境中导航的sophisticated系统设计。就像训练一名优秀的人类助理需要时间和经验积累一样，创建可靠的AI代理也需要我们更好地理解和模拟现实世界的复杂性。ClawArena为这一目标提供了重要的评估工具和研究基础。
Q&A
Q1：ClawArena是什么样的评测平台？
A：ClawArena是专门测试AI代理在复杂信息环境中表现的评测平台。它模拟现实工作场景，包含相互矛盾的信息源、动态更新和隐性用户偏好，测试AI是否能像人类助理一样处理复杂信息并做出正确判断。
Q2：为什么现有的AI评测不够用？
A：现有评测大多假设信息来源权威且一致，就像在实验室测试汽车性能。但现实世界更像路标混乱的十字路口，不同信源经常矛盾，信息会实时更新，用户偏好从不明确告知，这些复杂情况现有评测都无法涵盖。
Q3：ClawArena的测试结果说明了什么？
A：测试显示即使最先进的AI系统在复杂信息环境中仍面临重大挑战，模型能力比框架设计更重要。最好的系统在最难场景中准确率仍低于30%，说明构建真正可靠的AI助手还需要大量改进。
热门跟贴