一家做AI的公司，最近公开了一件让人后背发凉的事：它拦下了好几拨人，用它的模型去做可能指向生物武器的研究。
这家公司叫Anthropic。它说，今年已经多次阻止科学家利用其领先的AI模型开展研究，而这些研究可能有助于开发生物武器。注意，是"可能"——这正是整件事最拧巴的地方。
为什么连它自己都说不清
Anthropic在一份描述其AI模型被滥用的报告里承认，它无法确定这些研究是出于合法还是邪恶目的。
原因不复杂：有效的生物学研究，能带来疫苗等突破的那种，也可能有助于设计危险病原体。同一套知识，往左走是救人，往右走是害人。
面对这种不确定性，Anthropic说它选择谨慎行事，因为漏掉恶意活动的后果可能很严重。
"你不会看到有人像漫画书里那样说，'嘿，我想制造生物武器杀死所有人'，"Anthropic威胁情报主管雅各布·克莱因在接受采访时说。"情况极其微妙。"
一个具体到让人不安的案例
报告里提到今年5月的一个案例。一名科学家找Claude帮忙撰写拨款申请，想资助针对基孔肯雅病毒的研究。这是一种蚊媒疾病，可导致数月严重疼痛和其他症状。
这类研究有个专门的名字，叫功能获得性研究。它可能合法，也可能促成疫苗开发，但也可能制造出超级病毒。
在这个案例里，科学家想要设计病毒突变，使其在反复感染活体动物时更具危害性。
Anthropic说，它认为这项研究令人担忧，部分原因是它能够辨别出，这项工作拟在一家军事研究机构进行。
"我们不知道的是，这项研究是否有武器化意图，"克莱因说。"但军事机构进行功能获得性研究令人担忧。"
他们绕过了安全护栏
更值得琢磨的是这些科学家是怎么做到的。
Anthropic表示，这些科学家规避了旨在阻止被封锁地区用户访问其AI模型的控制措施，并设法"混淆研究目的以避开我们的安全护栏"。公司封禁了相关账户。
Anthropic没有披露它阻止的研究人员或机构的名称、所属国家或所涉具体生物制剂，部分原因是它不确定这些人的目的。
换句话说，拦是拦住了，但拦的是谁、想干什么，它自己也画不出一张完整的图。
不止生物，还有武器和宣传
这份周四发布的长篇报告，列举了过去八个月其Claude聊天机器人各模型被滥用的一系列事例。
- 疑似与中国和伊朗政府有关联的行为者，针对异见者和侨民社区进行监视
- 俄罗斯官方媒体使用Claude生成伪装成独立报道的在线宣传，包括关于摩尔多瓦选举的捏造内容
- 试图利用Claude开发用于常规武器设计和开发的软件，包括枪支、导弹、武装无人机和炸弹
最后这一类，Anthropic认为属于新型滥用。报告详细描述了在中国的三起、俄罗斯的两起和也门的一起案例。
报告未点名也门这一例涉及哪一方，但上下文清楚表明指的是伊朗支持的胡塞武装。恐怖网络使用AI，正日益成为美国安全官员的担忧。
为什么现在才收紧
Anthropic表示，去年对其旧模型的评估表明，它们尚不能有效协助进行危险的生物研究。
但该公司称，当前模型更有能力完成复杂科学研究，这促使其收紧了安全护栏，以限制多种两用生物研究的提问。
能力上来了，风险也跟着上来了。这不是某一家的难题，而是整个尖端AI领域的共同处境——技术发展如此迅速，连其领先的设计者都怀疑人类能否完全控制它。
审阅者怎么说
战略风险委员会高级研究员安德鲁·韦伯在报告发布前审阅了它。他说，这些发现是"国家支持的生物武器开发者利用领先AI模型快速进步能力的案例，令人不寒而栗"。
韦伯也曾在奥巴马政府担任负责核、化学和生物防御项目的助理国防部长。他呼吁将能够进行这种级别生物研究的AI工具仅限于可信研究人员使用。
"俄罗斯、中国和朝鲜继续开发被禁止的生物武器，这使我们必须阻止其研究人员使用这些极其强大的模型，"他说。
微生物学家兼公共卫生专家苏珊·莫纳雷斯也审阅了报告。她说，这些发现提供了现实证据，支持了有关不良行为者正试图秘密利用先进AI的担忧，这些行为者试图"提高其制造可能造成重大伤害的生物病原体的机会"。
去年曾短暂担任美国疾病控制与预防中心主任的莫纳雷斯说，AI有着巨大前景，可开启一个拯救和延长生命的医学突破时代。但她补充说，使其成为可能的同样能力，也可能"让不良行为者在光天化日之下，利用看似合法的研究制造我们可能无法预见、一旦释放可能无法阻止的病原体"。
一边是疫苗，一边是病原体。同一把钥匙，开哪扇门，取决于握着它的人。
热门跟贴