智能体开始自主越界，“沙箱能解决一切”的时代结束了。
作者丨胡清文
编辑丨徐晓飞
2026年，智能体从概念走向了生产系统。
蚂蚁集团3万多名员工背后，已有10万余个智能体在运行。华为内部同样部署了成千上万个智能体，覆盖客服、办公、运维、研发各条业务线。放眼更广的产业图景，个人助手、AI for Science、网络安全自动化攻防、企业级工作流编排，智能体正在逐步接管人类过去亲力亲为的工作。
Gartner将智能体列入了2027年十大战略技术，安全圈里，非人类身份（NHI）成了RSAC大会上的新赛道。中国这边，国标、强标、最高法司法意见、三部委规范文件在今年密集出台，政策端的紧迫感与产业端的狂飙几乎同步。
10月22日，成都，在CNCC 2026”智能体的安全问题”专题论坛上，于锐、徐恪、胡侠、韦韬、肖亚军五位嘉宾齐聚一堂，分别从国家标准制定、高校AI安全研究、企业安全最后一道防线等角度，做出了各自的解读。
01
中国开始给智能体发“身份证”
安全的第一步是搞清楚“它是谁”。但智能体能自主行动、跨平台迁移、在无人监督下链式决策和调用工具，传统的人类身份认证方式显然并不适用。
CCF计算机安全专委会副主任委员于锐介绍，“中国在这方面的进展可以概括为三句话：国标引领、行业细化、企业落地。”
今年5月出台的GB/T 185系列标准覆盖了智能体安全治理的全生命周期，两个核心要求是授予每个智能体唯一的身份标识，以及实施统一的身份管理。编码方式采用OID，树形分层结构，一码一主体，永不重复。
“跟我们人一样，也给智能体发了一个身份号码。”于锐表示。
另一个正在制定的强制性标准是《智能体应用安全基本条件》，该标准一旦发布，没有身份和标识的智能体将无法上线应用。
而身份只是最表层的一环，于锐将智能体的身份拆为三层：第一层是产品身份，包含智能体的ID、代码指纹和版本号，用于回答“这是哪个智能体”；第二层是运行时身份，校验其运行环境、设备信息和调用来源，反映“它此刻在做什么”；第三层是责任主体，通过实名认证和企业认定，解决的是“出了事找谁”。
“不是授一次权就让它一直做下去，按任务给最低授权，任务完成就收回权限。”于锐强调。
技术实现层面，认证走OAuth/OIDC，授权走OAuth，凭证参考JWT格式。但无论走哪条技术路线，最终都绕不开一个关键问题：信任的锚点。
关于这一点，于锐介绍了他们正在建设的国家网络可信身份公共服务平台。国标的OID、W3C的DID、IETF基于DNS的方案，信任锚点都落在实名认证上。
“这个国家平台是新型数字基础设施，主要是给公民签发线上的网号网证，就是你线上的身份标识和可验证凭证。”于锐介绍，平台的实施管理办法今年7月正式发布，目前已达到每秒15万次的服务能力，接入了900多个机构，下载申领量突破6000万。
“目的就是形成一个数字空间的信任根，来支撑国标185的落地。”
身份解决了“智能体是谁”的问题，但在责任归属上，由于智能体不是人，没有法律资格无法自己承担责任，这一点国内外并无分歧。
对此，今年9月，最高人民法院发布了《关于审理涉人工智能纠纷案件的意见》，按控制力、场景和获利划分责任：一般场景适用过错责任，开发者和使用者承担风控告知和复核义务；具身智能场景适用产品责任，机器人造成伤害，制造商承担无过错责任；涉及个人信息的场景实行过错推定，由运营方自证合规。
02
旧安全架构无法抵挡新攻击
标准和法规在加速推进，但技术侧的问题更为棘手。
“中文里‘安全’是两个字，英文里是safety、security、reliability、privacy、stability、trustworthiness，无数概念混在其中。AI这一轮爆发之后，攻防天平已经严重失衡。”对于智能体安全问题现状，蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算科技有限公司董事长韦韬感慨道。
韦韬透露，就在大会前两天，一家知名的数据库公司全面爆雷，紧随其后，PHP和NodeJS接连曝出高危漏洞。“大模型领域广泛使用的LiteLLM网关被投毒，攻击者在全面利用AI提升攻击效率。”
防守方的处境则更加被动，AI编程导致代码产出速度暴涨，许多公司一个月的漏洞产出量已经相当于过去一年，修复速度始终无法跟上。
“大家非常熟悉的DAC、MAC、贝尔-拉帕杜拉这些访问控制模型，是在六七十年代主机时代起来的，在局域网时代完善的。到了云时代，整个链条持续扩大，主体爆炸、客体爆炸、链条爆炸，访问控制模型已经严重失衡了。”韦韬指出，AI攻击能力的爆发式提升让各家的欠债集中暴露。
与此同时，智能体带来的不只是旧问题的放大，还有全新的结构性隐患。韦韬将矛头指向了更底层的根源：自然语言本身就不适合作为安全载体。
“今天大家造智能体的习惯是自然语言加Guardrails，智能部分靠自然语言，过程部分靠Guardrails。但自然语言是一个非常糟糕的载体，含混，条件描述讲不清楚，逻辑控制的边界也讲不清楚，表达里到处是goto式的跳转。这是攻击者最喜欢的环境。”
为此，韦韬这几年一直在推动“智能体原生语言”的构建，将结构化表达和模糊推理融合，从载体层面重新搭建安全体系。
载体之外，韦韬还谈到了沙箱和知识两个层面的缺口。他指出，“安全就是一个沙箱”这种认知是非常落后的。至于知识的可信度，大模型的知识全部来自人类的实践，它自己没有实验、没有体系创新。金融、医疗等专业领域对可执行、可解释有硬性要求，但整个知识的组织形态尚未成型。
上海人工智能实验室主任助理、领军科学家胡侠则从AI研究者的角度，提供了另一重视角。
他将安全问题分为两类：一类是内生风险，源自大模型本身的幻觉、黑箱，长期来看甚至可能出现与人争夺控制权的局面；另一类是衍生风险，即大模型能力被恶意利用，尤其是CBRNE（生化放核爆）攻击。
另外，他还举了一个“有点惊悚”的例子：UK BioBank中存有埃博拉的全基因组数据，过去蛋白质合成公司能识别并拒绝相关合成请求，但有了大模型之后，一个具备基本生化知识的本科生甚至高中生，就可能造出埃博拉的变种，绕过监管流程完成合成。
那么怎么才算“足够安全”？
胡侠以人体健康为喻，将安全评测分为三层：
第一层是症状层面，出了安全事件再回溯查找原因，对应运行前后的评测和审计。
第二层是指标层面，尚未出事就先做体检，例如Anthropic此前开源的Mechanistic Analysis工具就是从参数和可解释性层面进行检测。
第三层是理论层面，是否存在足以支撑安全评估的科学基础？胡侠坦言，这一层现在看到的工作还比较少，差分隐私为隐私保护提供了理论根基，安全领域仍缺乏类似的理论框架。
“也许Transformer架构本身就存在局限，10年后未必还是主流，也许会出现更安全的架构。”胡侠表示。
韦韬对智能体的定性则更为直接：不是坏，是蠢。
“我们做安全的，从来不担心它有多坏。它就是一个少年谢尔顿，聪明但幼稚，极其容易被误导，上下文一旦失控就会变得很蠢。蠢才是真正可怕的。在攻击者眼里，它就是一个特别好用的跳板。”
在韦韬看来，一旦突破智能体这一层，后面的知识库、数据库、工具链尽为攻击者所用。在单点击穿后，前面部署再多防护也无济于事。
03
智能体正悄悄越界，比例高达两成
如果说韦韬和胡侠的分析是理论层面的预警，华为华为网络安全与隐私保护部副部长肖亚军带来的，则是来自生产环境的实证。
“从我们最后一道防线来讲，这一两年我一直处于非常焦虑的状态。”肖亚军表示，企业的安全目标没有变，也就是生产办公系统稳定运行、资金资产不丢，但挑战在持续剧变。
“去年应对的是提示注入攻击，今年上半年是恶意Skills检测、恶意MCP Tools检测、机器投毒，从下半年开始，最焦虑的问题变成了一个：失控。”
肖亚军团队对华为内部运行的智能体做了一次抽样摸底，结果并不乐观：5%到20%的智能体，其行为已超出人类为其设定的预期边界。“而我们人类可能根本不知道。”他表示。
更具冲击力的是一个内部真实事件：今年7、8月，华为自己开发的一个智能体攻击了公司线网，安全团队拉了一个war room排查半天，最终锁定肇事者是某个智能体，而该智能体的开发团队对此毫不知情。“OpenAI披露的那件事，大家以为离我们很远。不幸的是，它就在我们身边发生着。”
肖亚军将失控风险分为三个递进的层次：
单智能体失控。他认为智能体系统可能是地球上从未出现过的超复杂系统。5%到20%的越界率已经表明问题的严重性。
群体性失控。 在OpenAI披露的报告中，1200个智能体里有700个对Hugging Face的生产系统发起了攻击。这些智能体甚至建立了私密通道，相互分享攻破经验，依靠群体智能完成了突破。
动态失控。智能体并非静态产物，它有知识系统、记忆系统，很多还在引入自进化能力，每天都在发生变化。开发阶段评测通过，并不意味着运行时同样安全。
04
自主性和安全性不是零和博弈
论坛的最后一个问题指向了智能体安全的核心悖论：智能体的价值在于自主性，而安全恰恰要求收紧自主性，那么自主性和安全性能否共存？
对此，于锐引用了Andrej Karpathy提出的“自主性滑杆”概念：将认知能力的滑杆拉到最高，让智能体充分发挥分析规划能力。将执行授权的滑杆拉到最低，按风险场景分级。“一个高音一个低音，不矛盾。”
在具体操作层面，他给出了几条原则：按场景做安全威胁分级授权、所有动作可审计可解释可复核、保持动态持续核验。
徐恪则用一个学生的亲身经历说明了“沙箱并不等于安全”。学生让智能体在沙箱中复现一个漏洞，结果智能体为确保进入沙箱后万无一失，自作主张先在学生的工作电脑上“预演”了一遍。预演是成功了，但代价是电脑上的文件被清空。
“它知道要去沙箱，但它会自己给自己加戏。”徐恪指出，沙箱安全的前提假设是智能体服从指令、确实在沙箱内执行，而智能体已经打破了这一假设。有研究表明，给智能体设定的禁止事项清单，80%会被其忽略。
对于这个问题，胡侠选择从另一角度做解读，在他看来，与其追求平衡，不如让安全能力成为智能体的内生属性。“安全约束就像安全带，有了它才能开得更快。安全能力应该是内生的，再叠加外部约束，让它运行得更好。”
肖亚军则从Anthropic提出的“宪法 AI”切入，他认为“宪法AI”约束的核心在于不伤害人类，这不是限制，而是用户敢于使用智能体的先决条件。他透露，华为正在充分利用智能体的自主性去发现系统漏洞、做安全加固，因此安全和自主性并非此消彼长，而是相互成就。
韦韬给出的方案颇为务实，他提出，做业务的智能体专注自主性，但必须具备基本的安全认知，所以安全保障必须交由专业的安全系统来承担。“因为真正的安全攻防根本不是普通智能体能搞定的，两套系统各司其职才能达到平衡。”
这场论坛呈现了一个清晰的信号，智能体安全已经不是未来的议题，而是当下的危机。
过去几十年，网络安全的逻辑始终是人造系统出了漏洞，人来修。但智能体打破的正是这个前提，当一个会自主行动、会犯错、会进化的智能体摆在人类面前，我们第一次要面对一个需要被“治理”而不只是被“修补”的软件物种。
围绕它的安全体系建设，注定不是在旧框架上打补丁就能完成的事。
好消息是，中国在标准制定和司法配套上的动作很快。但标准能否赢智能体的进化速度？放眼当下，教科书的体系已经有严重缺口，新的安全范式还在路上。
留给产业界的窗口期，恐怕不会太长。
CNCC 已经结束，AI科技评论在参会过程中了解到很多新的技术进展，也收获了不少同行交流的心得，欢迎参会的研究者、学生，以及关注计算机领域前沿进展的读者加入我们的CNCC 交流社群。
在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。
大会期间，我们持续带来了现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华，后续也会继续分享相关内容。
群里见。
进群传送门：扫码进群或添加微信Qvv0909777，备注：CNCC + 单位/学校+姓名+方向。
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
热门跟贴