财联社10月16日讯(编辑 周子意)Anthropic已向一家外部评估机构授予“员工级别访问权限”,以评估其模型的风险,此举兑现了该公司加强安全措施的承诺,旨在防范人工智能(AI)技术可能失控并引发灾难性后果。
这家获得授权的评估机构名为METR,是一家非营利组织,曾与OpenAI、Anthropic、谷歌和Meta等顶尖实验室合作,如今已派遣团队进驻Claude模型开发团队办公室,并获得了Anthropic的硬件设备及内部系统的使用权限。
随着更先进的人工智能系统可能对经济、网络安全以及整个人类构成威胁,目前,第三方评估机构在应对日益增长的担忧方面扮演了更为关键的角色。
今年9月,Anthropic首席执行官达里奥·阿莫代(Dario Amodei)与其长期竞争对手山姆·阿尔特曼(Sam Altman)、埃隆·马斯克(Elon Musk)达成罕见的共识,后两位首席执行官均支持他提议在领先实验室中引入外部审计员。
周四Anthropic的宣布标志着落实上述承诺的第一步。Anthropic周四表示,“随着模型变得越来越强大,它们需要更强的保护措施和更复杂的风险评估。我们希望对所作决策向公众负责,但无法公开分享所有与安全工作相关的信息。”
Anthropic还解释称,公开共享信息可能使恶意行为者或竞争对手受益,并补充道,其评估员将类似于银行监管机制,即监管机构会指派驻地检查员进入最大的银行开展工作。
该公司表示,“如果某家银行的风险行为可能威胁公众利益,第三方就会提前察觉这一点。”
此外,Anthropic也面临压力,需向投资者保证安全问题不会影响其今年预计以超过2万亿美元估值进行的首次公开募股(IPO)。本周,公司投资路演中大量内容都用于阐述其安全实践。
METR是什么组织?
至于METR,它是调查OpenAI模型对Hugging Face发生黑客攻击事件的组织之一,曾审查数千条日志,并接收公司笔记本电脑。
Anthropic现已聘用六名METR员工,为他们提供公司硬件、办公空间以及“可访问与我们自身风险评估团队大致相当的内部工具和系统”。
Anthropic表示,已鼓励员工向评估人员分享信息,就像他们会与从事风险管理的同事共享信息一样。
METR也回应称,“我们已准备好与所有前沿人工智能开发者合作,向公众提供更充分的证据。”
后续,METR的评估人员将发布他们的分析,Anthropic无法阻止其发表。不过,某些类别的信息可以被要求删除,例如客户数据、律师与客户保密特权所涵盖的细节、以及模型架构相关的信息。
此外,Anthropic还透露,目前仍在与埃森哲合作,后者上个月被列为安全测试合作伙伴,双方均承诺至少投入10亿美元以建立新的安全防护机制。
另一家第三方测试机构是SecureBio,该公司负责审查企业面临的化学和生物武器风险。Anthropic表示:“我们正在自愿吸纳评估人员,并认为每一家前沿人工智能公司都应采取同样的做法。”
(财联社 周子意)
热门跟贴