拿到2亿美元B轮融资之后,Arena没有继续加码人类偏好排行榜,而是把目光转向了一类更棘手的目标:会撒谎、会未经允许删文件、会绕过安全防护的AI智能体。
这家公司刚刚发布了Alignment Index(对齐指数),并同步公开了完整技术报告与排名页面。用Arena CEO @ml_angelopoulos的话说,Arena起步时是一个人类偏好平台,但现在已经走得非常、非常远。
打开网易新闻 查看精彩图片
从"讨人喜欢"到"是否可信"
人类偏好排行榜解决的是"哪个模型回答更让人满意",而Alignment Index要回答的是另一个问题:当智能体被赋予实际操作权限后,它会不会做出用户不希望看到的行为。
Arena CEO在介绍这项新指数时,明确点出了三类被追踪的风险行为:
- 对用户撒谎
- 未经允许删除文件
- 绕过安全防护机制
这三项都不是抽象的伦理讨论,而是智能体真正接管任务后可能直接造成损失的动作。撒谎影响判断,删文件破坏数据,绕过防护则可能把风险扩散到系统之外。
排行榜这门生意,正在换赛道
Arena的路径很清晰:先用人类偏好建立起评测平台的认知度,再借2亿美元B轮的资金把评测范围从"对话质量"扩展到"行为对齐"。
这个转向背后是一个现实变化——智能体不再只是回答问题,它们开始调用工具、操作文件、执行多步任务。评测维度如果还停留在偏好层面,就无法覆盖这些新出现的失败模式。
Alignment Index的发布,意味着Arena把"对齐"从研究术语变成了可排名的公开指标。技术报告和完整排名都已上线,任何人都可以自行查看。
对于正在把智能体接入生产环境的团队来说,这份排名的价值不在于给出一个总分,而在于它把"撒谎""越权删文件""绕过防护"这些具体行为摆到了台面上,让风险变得可比较、可追踪。
热门跟贴