7月8日下午，数美科技解决方案专家曹正宗出席2026全球人工智能大会，并在“智能体（Agent）：自主 AI 开启产业新范式 ”专场发表主旨演讲，围绕大模型与智能体面临的挑战与治理实践展开分享。
当前，大模型正在从内容生成工具加速走向能够调用工具并执行任务的智能体。
对于企业而言，大模型和智能体真正走向业务落地，既要解决“能不能用”的能力问题，也要回答“敢不敢用”的安全问题。
只有建立覆盖事前评测、实时防护和持续运营的治理闭环，才能让大模型与智能体在真实业务中更加安全、可靠、可控。
一、从“能用”到“敢用”：构建大模型与智能体的安全治理闭环
随着大模型从问答工具向Agent演进，AI正在获得更强的数据调用、工具使用和任务执行能力。与此同时，其风险边界也在快速扩大。
- 大模型面临五类核心风险
大模型风险并非单一的内容问题，而是由内容、数据、攻击、价值观和事实性错误等多类风险共同构成，并可能在实际业务中相互叠加。
（1）内容安全风险
内容安全仍然是大模型治理最基础的一环，模型需要避免生成违法违规、色情低俗、暴力危险等内容。与传统内容平台相比，大模型输出具有更强的不确定性。相同问题在不同上下文中可能得到不同答案，用户也可能通过修改提示词绕过安全限制。
（2）数据安全风险
大模型运行中可能接触个人隐私以及企业内部的财务、合同、客户、交易等敏感信息。如果权限设置过宽，或模型受到外部恶意指令影响，就可能读取与任务无关的数据，甚至造成敏感信息外泄。
（3）对抗攻击风险
攻击者可能通过指令注入、角色扮演、情景植入等方式绕过模型限制。例如，将原本受限制的危险任务包装为小说创作、研究或教学用途，诱导模型改变判断并输出不当内容。
（4）合规与价值风险
模型训练数据来源复杂，其中的偏见、立场和错误观点可能影响输出，导致模型对国家历史事件、社会议题或特定群体作出不当评价。
（5）事实性风险
模型可能生成语言完整、逻辑看似合理，但实际错误或无法证实的信息。在医疗、教育等场景中，这类“幻觉”可能直接影响用户判断。
2. Agent风险演进：从内容安全走向行为安全
早期大模型风险主要集中在输入和输出内容。随着Agent具备环境感知、任务规划和工具调用能力，风险开始进入真实业务流程。
（1）风险链条由问答互动扩展至现实操作
传统大模型通常遵循“用户提问—模型回答”的模式，Agent则需要理解目标、拆解任务、选择工具、调用系统并执行动作。
当Agent连接本地文件、邮件、浏览器、数据库和业务系统后，模型判断错误可能进一步导致文件误删、邮件误发或高风险操作被执行。
（2）Agent注入攻击引发“零点击”数据泄露
Agent接收的信息不再局限于用户主动输入。本地文件、邮件、网页和外部链接中的内容，都可能进入模型上下文。
如果其中隐藏了恶意指令，Agent可能在用户未主动发起攻击的情况下被劫持，引发“零点击”数据窃取和隐私泄露。
（3）风险覆盖输入、推理、输出三层
从完整链路来看，Agent风险主要可能发生在三个层面。
- 输入层风险：主要来自用户或外部环境中的恶意指令，包括隐藏内容、角色扮演和多轮诱导等。
- 推理层风险：主要来自模型自身，例如幻觉、训练数据偏差或潜在后门导致的错误判断。
- 输出层风险：包括有害内容、越权访问、数据传输、删除和支付等高风险操作。
因此，Agent安全需要覆盖信息进入、模型决策和行为执行的完整链路。
三、AI安全治理需要建立三层架构
面对不断扩展的风险边界，企业需要建立覆盖全生命周期的治理体系，包括事前评测、实时围栏和持续运营。
1.事前评测：明确并发现风险
大模型安全评测需要结合监管要求和业务场景双重驱动，一方面要基于监管框架进行逐层拆解，另一方面也要结合企业自身业务、用户群体和真实使用环境。
（1）细化风险颗粒度，覆盖真实攻击方式
评测需要细化风险颗粒度，并在每个颗粒度下建立足够多的测试样本，并覆盖真实用户可能采用的表达方式，才能准确判断模型的安全防护能力。
以“自杀自残”风险为例，用户未必会直接提出明确危险请求，而可能通过询问具体行为后果、方式差异等隐晦表达获取相关信息。
（2）结合业务场景，验证实际防护效果
不同场景中的用户特点和风险表达存在差异。教育、社交、医疗等领域需要结合自身业务环境设计测试用例，避免通用题集难以反映真实问题。
（3）持续复测，适应风险变化
模型、提示词、知识库和业务流程会持续变化，企业需要通过动态题集和复测，不断发现新增风险并优化防护能力。
2.实时围栏：从内容拦截延伸至行为管控
评测用于发现风险，围栏则负责在线上运行过程中实时拦截风险。从治理对象来看，围栏可以分为两种类型。
- 大模型安全围栏：面向模型输入和生成内容，识别恶意指令、违法违规内容、价值观偏差等风险。
- Agent安全围栏：进一步覆盖权限管理、本地文件操作、外部工具调用和高风险行为执行。
一条指令即使本身不包含明显违规内容，但它如果要求Agent读取敏感文件、批量删除数据或向外发送重要信息，仍可能造成实际损失。
因此，实时防护需要同时覆盖输入、推理和输出三个环节。内容风险可以通过垂直模型进行识别，行为风险则需要结合权限控制、本地插件和规则策略进行动态管控。
3.持续运营：在动态对抗中不断优化安全能力
真实的互联网环境始终处于动态对抗中。完成评测并部署围栏，并不意味着风险能够被彻底解决。
企业需要建立专业的安全运营机制，持续监测线上风险趋势，分析漏放和误杀案例，并将新问题沉淀为评测样本、风险标签和防护策略，再推动模型和规则持续迭代。
只有形成“线上发现问题—补充评测样本—优化围栏策略—持续验证效果”的闭环，安全能力才能跟上业务和风险变化。
四、数美科技构建全栈式AI安全能力
随着风险由内容生成扩展至数据访问和行为执行，数美科技持续完善面向大模型和Agent的风险治理能力。
1.从AI风控到Agent行为安全
应对AI时代风险，数美推出“天枢”大模型安全产品体系，覆盖模型输入及输出、全周期安全评测与持续运营等关键环节。
随着Agent逐步具备工具调用和任务执行能力，数美的治理范围进一步延伸至Agent行为、大模型底层语料及框架治理，形成覆盖内容、数据与行为的全栈式AI风控能力。
2.以细颗粒度风险定义支撑安全治理
AI安全治理的基础，是对风险进行准确、细致的定义。数美依托十年互联网内容风控与业务风控实践，目前已覆盖2600+细分风险域，并持续结合国内监管要求和海外合规框架进行更新。
这些风险定义既能够支撑模型上线前的安全评测，也能够转化为线上实时识别和持续运营中的标签、样本和策略。
从内容安全到行为安全，AI风险治理正在进入更加复杂的阶段。企业既需要看到模型输出中的显性问题，也要关注隐藏在数据访问、工具调用和任务执行过程中的风险。
通过事前评测、实时围栏与持续运营相结合，建立细颗粒度、可迭代的风险治理机制，才能让大模型和智能体在真实业务中更加安全、可靠、可控。
热门跟贴