近日 ，布鲁金斯学会发布《塑造AI智能体的全球治理》（Shaping global governance of AI agents）。文章指出，随着AI智能体自主规划、独立执行任务的能力持续提升，传统人工智能治理模式已经显现局限性。治理工作的关注点，需要从模型输出结果，转向系统实际行为、操作权限界定以及责任归属划分，依托常态化监测、权限管控、全程留痕记录完善风险防控手段。
AI智能体落地场景扩大，传统治理方式面临挑战
AI智能体具备自主规划、落地执行任务的能力，近两年技术水平与市场发展预期均实现大幅提升。
文章引用相关调研数据表明，2025年，智能体处理计算机任务的准确率由12%上涨至66.3%，和人类基准水平的差距已经缩小到6个百分点。市场机构 Precedence Research 测算，AI智能体行业市场规模，将从2025年的80亿美元，增长至2034年的1990亿美元。
AI智能体已经在多个行业显现实用价值。医药研发领域，能够压缩药物研发的工作周期；工业场景下可以实现供应链优化；制造业当中，智能体除识别产品缺陷之外，还可进一步完成成因分析、缺陷产品处置等工作。这类应用并不强制要求高端大模型或是顶尖硬件，资源条件有限的国家同样具备落地应用的条件。
公共领域同样是智能体的重要应用阵地。报告引用世界经济论坛针对70项政府核心职能的调研成果，公共服务适宜优先探索智能体落地。但调研同时提示，应当优先把智能体应用在信息处理类工作，不宜直接交由其处理资格审核这类关乎民众切身权益的判断类业务。
美国疾控中心内部数据显示，面向内部员工投放的AI对话工具，投资回报率达到527%。不过现阶段，有关实际落地成效的公开材料，大多来自智能体大规模普及之前的试点实践。
智能体自主行动带来新的治理风险
AI智能体和普通对话机器人存在本质区别。传统对话机器人以生成文本回复为主，输出内容一般可以交由人工复核之后再执行；而AI智能体可调用各类工具、对接外部业务系统，在极少人为干预的条件下完成任务。
一旦被赋予对应操作权限，其行为将直接作用于业务流程，对现实层面的决策产生影响。AI智能体自身的自主适配能力与系统复杂度，也会进一步加大了治理难度。
整套运行链路涵盖模型、记忆模块、任务调度工具、外部系统多方交互。即便智能体获得合规授权，依旧会出现任务理解偏差、无法处置突发状况，或是对接新工具后暴露出安全漏洞等问题。
企业机构面临现实难题：即便掌握智能体的能力边界，也很难界定它的操作许可范围。评估风险不能只看模型本身性能，还需要综合考量操作权限、系统架构、运行环境以及潜在损害后果。同一套智能体，仅做信息查询时风险较低；一旦涉及修改数据、对外发送信息、发起交易操作，风险等级就会显著升高。
网络安全与个人隐私方面的隐患同样不容忽视。不法分子能够篡改输入数据误导智能体判断，或是借助系统漏洞窃取个人、企业数据。报告重点提及提示注入攻击，即通过特殊输入干扰模型逻辑，进而扰乱整套智能体系统的运行。多套智能体跨平台协同工作，虽然能够提升运行效率，但也会放大网络攻击的波及范围。
与此同时，智能体还存在责任划分的现实难题。模型开发方、系统部署方、实际使用方的责任边界较为模糊，受技术影响的普通个体、社群，也缺少参与治理设计的渠道。如果相关利益群体无法参与规则制定，技术带来的损害风险就会进一步走高。
全球治理能力不均衡，发展中国家面临特殊挑战
AI智能体带来的发展机遇，在各个国家、机构之间分配并不均衡。不同地区的监管专业储备、测试配套、基础设施、谈判能力差距明显。部分国家缺少专业评估团队，也无力承担高额算力成本，很难和大型科技企业站在对等的基础上商议风险分配与治理约束条件。
但智能体的落地并不完全依赖大算力大模型。轻量化、多语种、开源可复用的模型，依靠有限算力就可以完成翻译、无障碍服务等业务，能够扩大技术普惠的覆盖范围。这就意味着全球治理既要管控高阶AI系统带来的风险，也需要兼顾各国现实基础，避免设置超出资源薄弱地区承受能力的监管要求。
文章提示，数据源偏差问题，会造成智能体输出结果无法适配部分社群的实际需求。监管基础薄弱的地区，该类风险会进一步放大。部分特殊环境下，智能体还可能被用来开展人员追踪、散布不实信息。除此之外，智能体自动化能力提升，会对编程、客服等岗位带来就业冲击。治理规则需要兼顾用户权益保护与现实落地可行性。
将治理原则转化为具体、可执行的措施
针对上述问题，文章提出，现有的风险管控、全生命周期管理思路依然具备参考价值，核心是把抽象原则转化成可落地、可衡量、可执行的管控手段，不能在系统上线之后就终止监管工作。
第一，厘清智能体的权限边界与访问范围。机构需要明确每套智能体对应的责任主体，仅授予完成工作所必需的操作权限，明确哪些环节必须有人工介入。可以通过输入校验、内容过滤、数据隔离，以及输出、成本、时长、操作频次的限制手段约束行为；完整留存操作日志，清晰记录智能体权限范围与全部实际行为。
第二，打通部署主体与开发主体的反馈通道，让双方同步掌握智能体出错、触发应急机制、操作被拦截的各类情况。治理工作要贯穿系统全运行周期，落实常态化监测、日志留存、风险上报、审计纠错等机制，适配智能体短时间连续开展多项操作的运行特点。
第三，优化评估与测试手段。除校验最终输出结果之外，还要追溯智能体的决策逻辑、跨系统交互行为，核验信息来源的可靠性，采用模拟真实威胁的方式开展对抗测试。正式上线前完成影响评估，结合不同使用场景，细化评判任务完成质量的标准。文章倡导鼓励合理的测试与风险评估工作。例如，通过监管沙盒帮助机构在正式落地前验证智能体的决策逻辑；政企协同、完善基础设施、强化能力建设，能够为前期测试提供支撑。
第四，推动国际规则和技术标准互相兼容，同时给各地保留适配调整的空间。风险可控前提下，开放标准能够促进不同系统协同运转。国际层面可以确立统一的安全与人权总目标，各个地区再结合本土实际细化执行方案。
结语
AI智能体治理无法依靠单一主体，也不能套用一成不变的静态规则。伴随智能体技术迭代、应用场景持续拓宽，治理体系要配套动态监测、实景评估、反馈渠道、风险处置以及完善的评价体系。
政府、企业、社会组织、监管部门、科研机构，还有受技术影响的社群，都应当参与到治理规则的共建当中；同时厘清模型开发、系统部署、实际使用各方的权责划分，形成多方协同的长效治理格局。
文章参考来源｜布鲁金斯学会、互联网公开信息
赛博研究院简介
上海赛博网络安全产业创新研究院（简称赛博研究院），是上海市级民办非企业机构，成立至今，赛博研究院秉持战略、管理和技术的综合服务模式、致力于成为面向数字经济时代的战略科技智库、服务数据要素市场的专业咨询机构和汇聚数智安全技术的协同创新平台。
赛博研究院立足上海服务全国，是包括上海市委网信办、上海市通管局、上海市经信委、上海市数据局等单位的专业支撑机构，同时承担上海人工智能产业安全专家委员会秘书长单位、上海“浦江护航”数据安全工作委员会秘书长单位、上海数据安全协同创新实验室发起单位等重要功能，并组织“浦江护航”数据安全上海论坛、世界人工智能大会安全高端对话等一系列重要专业会议。
欢迎联络咨询：
邮件：public@sicsi.org.cn；
电话：021-61432693。
热门跟贴