Talk预告 | 芝加哥大学陈兆润：DTap：首个面向真实世界AI Agent的Red-Teaming平台|agent|red|teaming|人工智能模型|真实世界|芝加哥大学

本期为TechBeat人工智能社区第781期线上Talk。

北京时间7月22日(周三) 20:00，芝加哥大学博士生陈兆润的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：DTap：首个面向真实世界AI Agent的Red-Teaming平台。届时他将介绍其所在的17 人团队历时 20 个月研发并开源的 DecodingTrust-Agent Platform（DTap）。DTap 是一个面向 AI Agent 红队评估的高保真、可控、交互式仿真平台，覆盖 14 个高风险应用领域，并实现了 50 余个动态数字环境。平台不仅复现应用界面，还模拟工具接口、后台数据库、环境状态及跨应用工作流，使攻击能够真正执行并产生可验证的后果。

Talk·信息

主题：DTap：首个面向真实世界AI Agent的Red-Teaming平台

嘉宾：芝加哥大学·博士生 - 陈兆润

时间：北京时间7月22日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

随着 AI 智能体逐渐进入金融、办公协作、软件开发、医疗服务等高风险场景，它们已经不再只是回答问题的语言模型，而是能够读取数据、调用工具、操作软件，甚至代表用户完成交易与决策。与此同时，智能体所拥有的权限越多、与外部环境的交互越深入，其潜在安全影响也越难通过传统模型评测进行刻画。

目前，许多 Agent 安全测试仍依赖静态提示词、简化工具或一次性交互。这类方法可以验证模型是否会生成危险内容，却很难回答一个更关键的问题：当智能体置身于真实工作流中，并持续接收来自邮件、网页、工具、插件和外部数据源的信息时，攻击者能否诱导它实际执行有害操作？

本次分享将介绍由我们 17 人团队历时 20 个月研发并开源的 DecodingTrust-Agent Platform（DTap）。DTap 是一个面向 AI Agent 红队评估的高保真、可控、交互式仿真平台，覆盖 14 个高风险应用领域，并实现了 50 余个动态数字环境。平台不仅复现应用界面，还模拟工具接口、后台数据库、环境状态及跨应用工作流，使攻击能够真正执行并产生可验证的后果。

在此基础上，我们提出了自动化红队智能体 DTap-RED。它可以围绕指定的攻击目标，自主选择注入位置、生成攻击内容、组合多阶段攻击链，并依据环境中的实际结果持续迭代攻击策略。

我们还构建并开源了包含近 7,000 个任务的 DTap-Bench，用于系统评估主流 Agent 框架和基础模型在真实攻击场景下的安全性。相关实验揭示了多种具有普遍性的安全缺陷，包括跨攻击面组合带来的风险放大、工具与技能层注入的高成功率，以及“有害操作已经执行，模型随后才进行拒绝”的 execute-then-refuse 失效模式。

Talk大纲

一、为什么现有 Agent 安全评测不足以反映真实风险

二、DTap：面向真实工作流的全栈 Agent 安全仿真平台

三、覆盖现实攻击面的多通道注入机制

四、DTap-RED：自主搜索有效攻击的自动化红队智能体

五、使用环境状态验证攻击，而不是只让模型“打分”

六、DTap-Bench：近 7,000 个可执行、可验证的 Agent 红队任务

七、主流 Agent 系统在真实攻击环境下仍然高度脆弱

八、从大规模实验中观察到的关键安全规律

九、总结：Agent 安全需要从“回答评测”走向“行为评测”

Talk·预习资料

[1] DecodingTrust-Agent Platform (DTap): A Controllableand Interactive Red-Teaming Platform for AI Agents arXiv link: https://arxiv.org/abs/2603.16669 代码开源Github：https://github.com/AI-secure/DecodingTrust-Agent 项目主页：https://decodingtrust-agent.com

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

陈兆润

芝加哥大学·博士生

陈兆润（个人主页：https://billchan226.github.io）是芝加哥大学计算机专业二年级博士生，同时担任 Virtue AI 的 Founding Member of Technical Staff，师从 UIUC 的 Bo Li 教授与 UC Berkeley 的 Dawn Song 教授。他的研究聚焦于 AI 智能体安全，涵盖面向 agent 的自主化 red-teaming 算法框架及 runtime guardrail 设计。相关成果多次发表于 NeurIPS、ICML、ICLR 等计算机领域顶级会议，并多次获选 Oral 与 Spotlight 报告。

载誉重返讲坛，以工程实践反哺理论之林，五位青年教授的线上闭门交流

北京时间7月28日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-