人类如何与AI智能体共处
编者按
新质策源导刊的第二期，我们聚焦AI智能体（AI Agent），不仅仅因为它当下的热度，更因为我们看到了它对未来的影响。我们深度访谈行业顶级专家、资深研究人员、国内外知名企业，尽力描绘当下AI时代的真实图景，展望未来的各种可能性，在不确定性中寻找确定性。
这个领域创新不断，犹如科幻即将照入现实。我们想知道的不只是近在咫尺的明天会怎样，更想知道今天我们做的一切，会对不远的未来产生什么样的影响，诚邀您和我们一起，探索新AI时代。敬请关注本期策划——“人类如何与AI智能体共处”。
——访中国信息通信研究院人工智能研究所副总工程师孙鑫
■中国经济时报记者张一鸣
伴随着AI智能体（AI Agent）的快速发展，人工智能时代正在加速到来，智能体正成为重塑人机关系、驱动产业升级的核心变量。中国经济时报记者日前独家专访了中国信息通信研究院人工智能研究所副总工程师孙鑫，她认为，AI智能体的发展有力推动了人工智能从“提供知识”向“交付结果”的逐步跃迁，治理的重心一定程度上需要更加关注“交互行为”风险的防控，其核心挑战在于，如何在承认智能体“一定程度自主性”的前提下，守住价值对齐和安全可控的红线、底线。
图片来源/新华社
AI智能体使AI具备执行闭环，完成了从“提供知识”向“交付结果”的跃迁
中国经济时报：当前公众对“AI智能体（AI Agent）”的认知存在差异，与传统生成式AI相比，其在自主决策与交互模式上有哪些本质区别？
孙鑫：AI智能体正在持续快速发展，从技术到功能再到模式都日新月异。从某种维度来说，当前的AI智能体可以认为是一种以大语言模型为核心认知引擎，具备自主拆解目标、感知环境状态、调用外部工具并在动态反馈中实现自我迭代的数字化主体。AI智能体的发展从某种程度上来说代表了人工智能从“概率拟合”向“逻辑实操”的能力跨越，即从Next-Token Prediction（预测下一个词）到Next-Action Planning（规划下一个行动）。
智能体的执行力来自其两个关键能力：主动交互能力和动态规划能力。在交互方面，传统生成式AI更多是“问答模式”，交互是单次、线性的指令触发；智能体处于“任务模式”，交互是长程的、终局驱动的（Outcome-based）。人类更多是提供“终局状态的目标描述”，智能体通过调用外部工具改变环境状态，并在环境回传的反馈中进行实时推理和纠偏。在规划方面，传统AI缺乏时序上的记忆连续性。智能体通过引入了“记忆”与“规划”模块，使其具备了将长程任务拆解为可执行的原子步骤，并利用长期记忆进行跨时序的状态感知和经验调用，使得AI具备执行闭环的能力，完成从“提供知识”向“交付结果”的跃迁。
治理重心应从“信息内容”风险防控转向“交互行为”风险的防控
中国经济时报：AI智能体技术创新速度非常快，对现有制度规则的挑战很大。在技术狂飙与安全可控的张力下，您认为应如何构建兼具创新包容性与风险防控能力的治理框架？
孙鑫：AI智能体风险是复杂多元的，其安全风险超出了大语言模型的范畴，既包括模型底座传导的风险，也包括环境交互风险以及行为自主性带来的“代理失控”涟漪效应。治理的重心一定程度上从“信息内容”风险转向“交互行为”风险的防控。治理的核心挑战在于：如何在承认智能体“一定程度自主性”的前提下，守住价值对齐和安全可控的红线、底线。
探索智能体安全治理体系需要兼顾前瞻性、动态性与协同性，可以考虑从以下几个方面加强相关研究和实践。一是分级分层与场景约束，针对高风险领域考虑“白盒化”治理方案，确保关键节点“人类在回路中”（Human-in-the-loop），而在风险可控的领域实施包容审慎的“沙盒监管”。二是完善“行为归因”识别机制，构建智能体关键环节的风险识别和响应标准，探索针对智能体“代理行为”权责溯源机制，制定行为透明度、可解释性、数据安全等方面的技术指引，推动法律规范与技术标准协同落地。三是增强智能体动态防护能力，强化底层合规，推动运行时安全护栏（Safety Guardrails）等技术在产业实践中的同步应用，研发具备预测能力与适配机制的安全工具，防范潜在的系统性风险与误用场景，保障智能体在复杂环境下的可信运行。治理目标不应是“防盗门”，而应是智能体大规模商用的“安全气囊”，通过建立确定性的规则体系，为产业的长期繁荣锚定安全预期。
总 监 制丨王列军车海刚
监 制丨陈 波 王 彧 杨玉洋
主 编丨毛晶慧 编 辑丨蒋 帅
热门跟贴