7月22日消息,近日,智源研究院大模型安全研究团队联合北京大学发布一项关于AI智能体生物安全风险的端到端评估研究。研究显示,在DNA组装指导任务中,参与测试的11个商用大语言模型均能够生成通过计算校验的DNA分片方案,其中GPT-5.5和Claude Opus 4.6还能提供较为完整的实验操作指导。
这也意味着,大语言模型智能体不仅可能削弱现有DNA合成筛查防线,还可能向不具备专业背景的用户提供原本依赖专业训练才能获得的实验操作知识,存在相关双重用途风险,需要被系统性地评估与提前防范。
据介绍,此次评估聚焦“分拆订购攻击”场景,即将完整DNA序列拆分为多个较短片段,以降低触发现有DNA合成筛查机制的概率。研究团队构建了从方案生成、程序化计算校验到受控湿实验验证的完整闭环,评估大模型智能体是否会降低非专业人员绕过DNA合成筛查的知识门槛。
图注:大语言模型智能体在DNA组装指导任务中端到端评估闭环。评估依次经过方案生成、程序化计算校验、受控湿实验以及电泳与测序确认,覆盖11个模型和4个失去有害功能良性代理构建体,最终以物理可执行性证据验证组装流程。(图源:AI生成)
结果显示,在分片设计环节,全部11个模型均能生成绕过筛查的拆分方案。这也暴露出现有DNA合成筛查机制面对AI辅助设计时的潜在脆弱性。进一步测试发现,GPT-5.5和Claude Opus 4.6已具备生成较完整逐步实验指导的能力,表明前沿模型正在将风险从序列层面的计算设计延伸至实验流程层面的知识支持。
图注:11个商用大语言模型在分片设计任务中的评测结果。所有测试模型均能生成通过计算校验的拆分方案,显示现有DNA合成筛查机制面对大语言模型辅助分片策略时可能存在共性风险。
在物理验证环节,研究团队使用经过关键位点突变、失去有害功能的良性代理序列开展受控湿实验。最终,4个良性代理构建体均成功完成组装,电泳检测获得预期条带,测序结果确认序列正确,形成从智能体方案生成到实验验证的完整证据链。
图注:LLM智能体在DNA组装指导任务中的评估框架。输入端包含蛋白质或DNA相关信息;智能体通过分子克隆、蛋白质筛查、湿实验等领域技能,以及互联网搜索、Shell和文件读取等通用工具进行多步调用与反馈;输出端生成DNA片段方案,并在安全约束下验证组装后产物。
研究团队认为,大语言模型智能体正在降低生命科学实验相关知识门槛,可能削弱现有DNA合成筛查防线,相关双重用途风险值得重视。针对潜在风险,研究建议从模型部署、智能体执行链防护、DNA合成筛查升级以及国际协同治理等多个层面构建生物安全防线。
在模型层面,部署前进行能力评估,开发者应将高风险生物安全任务能力纳入部署前的系统评估,针对生物威胁序列与组装查询等建立专门检测与防护机制。在输入输出与系统层面,防护需要覆盖智能体执行链,当模型以智能体形态运行时,安全边界必须进一步扩展——输入输出与系统层面的防护需覆盖权限控制、过程监测和任务链风险识别,将安全评估从单次问答延伸至完整执行过程。在筛查层面,提升合成筛查鲁棒性,现有机制需增强对AI辅助分片策略的识别能力,推动ISO 20688等国际标准落地,发展兼顾隐私与安全的筛查方案并加强信息共享。在政策与协同层面,需要形成标准化治理框架,AI生物安全风险具有跨国界特征,需要将政府、模型开发者与生命科学社区的专业经验纳入统一的协同治理框架。
智源方面表示,本次研究严格遵循负责任披露原则,未展示任何制造危险物质的方法,所有湿实验均使用失去有害功能的良性代理序列,仅验证组装流程的物理可执行性。未来将继续推进AI生物安全评估、防御机制和合成筛查鲁棒性等方向研究。(袁宁)
热门跟贴