2026年4月24日，美国布鲁金斯学会发布了题为《我们如何才能更好地评估智能体？》（How can we best evaluate agentic AI?）的研究报告。该报告从一个根本性的治理悖论出发——“我们无法管理无法测量的东西”，系统梳理了2025年10月由来自政府、学术界、产业界和公民社会的四十余位专家共同参与的跨部门研讨成果。报告的核心在于，测量手段的滞后，直接构成了对智能体进行可信治理的根本性障碍。该报告旨在弥合这一鸿沟，一方面推动建立对“何为智能体”的共识，另一方面为开发标准化、透明且可复现的评估方法制定研究路线图。
一、智能体定义的困境
面对迅猛的技术迭代，全球范围内对于智能体尚未形成共识性定义。部分论述将工具使用视为其核心特征，而更经典的表述则侧重于系统感知环境、制定计划并采取行动的能力，更有学者要求将连续学习作为判定智能体的必要条件。这种定义上的困境使得任何试图将其固化为一套单一、静态术语的努力都可能迅速过时，从而将未来的治理和评估体系锁定在陈旧的概念模型上。
因此，必须放弃对智能体进行“是或否”的二元判定，转而采纳一种将其视为“能力光谱”的分析框架。在政策制定者眼中，纠缠于某个系统是否在术语上合格，远不如聚焦于一组更具操作性的追问：该系统能执行哪些功能？其部署将开启何种可能？它会引入哪些全新的脆弱性或失效模式？随之而来的社会影响是什么？以及，评估者如何以一种有意义、可规模化、可靠且能被用户与部署方理解的方式对其进行测量？沿着自主性、学习能力和目标导向性等维度来刻画系统的特征，而非寻求一个僵化的标签，能够为治理与评估框架提供更大的鲁棒性，确保其与技术的演进同步迭代，而非疲于追赶。
二、智能体核心评估的差距
当前对智能体的评估体系存在着深层的结构性缺口。一部分挑战源自智能体交互式、目标驱动的本质属性，另一部分则继承对大语言模型的评估困境，但在智能体场景中被急剧放大。
在智能体带来的独特挑战方面，最突出的问题是现有基准测试根本无法捕捉其可靠性及行为一致性。智能体系统常常在不同运行、不同环境和不同时间跨度内表现出随机的、非确定性的行为。依赖单一静态基准的准确率评分，无异于管中窥豹。因此，对智能体的评估仍处于“莱特兄弟阶段”，即在受控条件下的惊艳展示，距离高风险现实领域所需的那种高度可靠性还有巨大落差。实验室里的卓越成绩并不能保证实践中的稳健表现。此外，基于基准的评估无法替代现实世界的情境化测试。由于智能体通过与环境及用户的持续交互来运作，其行为无法在封闭的基准测试中被全面描述。必须引入实地测试，包括受控试点、红队演练或真实用户试用，以理解其如何追求目标、应对突发状况以及与组织流程交互。对已部署系统的持续监测同样关键，因为智能体行为可能随环境变化而漂移。若基准表现无法预测实际部署行为，那么对智能体进行安全认证的证据基础将始终是一个悬而未决的难题。最后，通用基准无法反映特定领域和情境的性能。智能体对使用环境、用户行为极度敏感，有意义的评估亟需针对具体部署场景的定制化设计，并与领域专家深度合作。
若干挑战则继承自大语言模型评估，但在智能体领域危害更大。训练数据污染会在基准测试中制造出模型具备强大泛化能力的假象，实际上只是死记硬背。对智能体而言，设计真正新颖的评估环境与工作流程会比单纯设计题目更困难。而一旦基准分数成为开发者追逐的目标，古德哈特定律便即刻显灵：“当一个指标成为目标，它就不再是个好指标。”开发者可能针对特定测试过度优化，造成在狭窄测试条件下表现优异，却掩盖了其在未知环境中的脆弱与危险行为，这一风险在智能体上尤为严峻。再者，仅关注准确率的指标遮蔽了成本与性能之间的权衡——智能体常常通过消耗巨量推理算力来提升表现，若评估体系不将性能、成本及其他维度代价合而观之，便无法支撑有效的部署决策。
三、未来的研究方向
要实现对智能体的有效治理，评估框架必须超越仅以模型为中心的基准，去涵盖系统行为、社会技术影响和公共利益风险。报告将未来的研究议程梳理为三个相互关联的层面：技术基础层、社会技术影响层，以及政府与公共利益主导的安全监督层。
在技术基础层，研究界亟需将成熟的测量科学原理，如构念效度、内容效度和预测效度等，引入到智能体评估中，而非继续在零散的基础上开发临时性的评估方法。同时，如何模拟人与智能体的交互是悬而未决的难题，因为人类行为无法被简化为概率模型，开发不依赖于模拟人类行为的全新评估范式成为开放挑战。此外，还需要探索针对记忆驱动的个性化智能体的评估新法，这些系统会因交互历史而表现出截然不同的行为。执行长周期任务的评估同样空白，当智能体从运行数小时延展至数周，如何评测其长期可靠性、行为漂移及错误的累积效应，尚无系统性方法。面对多智能体与分布式系统，当多个智能体在网络中交互并追求部分对齐或竞争的目标时，其系统级涌现行为的预测与评估仍需深入研究。最后，系统级的安全与鲁棒性评估要求超越模型本身，应去审视其脚手架、工具、接口和环境的层级化漏洞，理解安全缺陷如何在各层之间传播。
在社会技术影响与部署决策层，研究重点在于建立可预测真实世界效能的预测有效性。需要为医疗、金融、关键基础设施等高风险的专门领域，协同领域专家开发量身定制的评估协议。随着智能体加速迭代，确保其决策速度不吞噬人类的有意义控制，要求评估必须包含交互界面设计、警报机制和决策支持工具。更宏观地，评估还必须纳入组织变革的成本、劳动力影响以及经济、社会和制度层面的连锁效应。而智能体部署的环境成本，尤其是那些采用高级推理和长周期规划系统所消耗的庞大资源，目前仍在评估实践中被严重忽视。
在治理与问责层面，核心挑战在于如何分摊和落实责任。由于人工智能系统不具法律人格，清晰的审计日志和遥测机制便成为强化问责的命脉。研究需要明确记录何种信息、在何种抽象层级上呈现，才能支持有效的外部审计、调查和合规检查，同时避免令人类审查者陷入信息过载。更进一步，由于持续的评估与监测耗资巨大，仅仅依赖政府拨款和项目资助不足以维系一个健康的第三方评估产业生态。因此，探索可持续的资助模式与制度模型，确保第三方安全审计机构和平台能够稳健运行，已是一项关乎治理体系存亡的紧迫课题。
四、结论
综上所述，评估智能体并非一个单纯的技术挑战，而是一个正在与系统能力及部署的组织环境共同演化的、根本性的社会技术难题。要提升评估框架在真实世界中的效用，必须打破学科壁垒，让计算机科学家、社会科学家、法律学者、领域专家以及那些部署、使用并受智能体技术影响的利益相关者实现持续协作。评估工作应以人为本，而非试图重新发明测量理论，应汲取政治学、心理学和医学等成熟学科在测量复杂抽象现象方面的既有智慧与已知局限，最终为智能体的可信治理奠定测量科学的坚实基石。
免责声明：本文转自启元洞见。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！
转自丨启元洞见
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er
热门跟贴