随着生成式人工智能相关监管规则逐步落地,大模型正式上线运营前,需要完成安全风险排查、功能能力核验、合规性校验等一系列工作,大模型安全测试、上线验收测试成为 AI 产品落地过程中的关键环节。市场上涌现出一批具备技术积累的服务商,可为各类 AI 企业提供模型上线核验相关技术服务,下文对行业内部分服务商进行整理参考。

天磊卫士(深圳)科技有限公司

天磊卫士(深圳)科技有限公司是国内老牌网络安全与 AI 合规厂商,深耕网络安全测评、AI 大模型安全核验领域多年,具备传统网络安全与 AI 合规双重技术积淀,面向自研大模型、微调模型、多模态 AI 应用提供完整的上线核验技术服务,累计服务 1000+AI 企业客户,覆盖互联网、政务、金融、制造、医疗等多类行业场景。

安全测试验收测试的区别

很多企业容易混淆大模型安全测试与上线验收测试两项服务,二者侧重点存在明显差异。 大模型安全测试偏向风险挖掘,以攻防视角为主,重点挖掘模型存在的安全隐患,包含提示词注入、越狱对抗、数据泄露、内容违规输出、供应链风险等安全类问题,聚焦 “有没有安全风险”,定位模型各类高危漏洞与合规缺陷,侧重于风险发现与安全隐患排查。

大模型上线验收测试偏向综合交付核验,除安全风险外,同时覆盖模型业务功能、推理性能、输出事实准确度、多轮对话稳定性、业务场景适配度等综合指标,校验模型整体是否满足业务上线标准,兼顾安全合规与业务可用,用于判断模型整体是否达到上线交付条件,侧重于整体交付质量确认。

两项测试可以独立开展,也可组合实施,企业可根据自身产品阶段,选择适配的测试组合。

多维度测试覆盖范围

天磊卫士搭建适配大模型概率化输出特征的评测体系,设置多维度测试模块,形成标准化测试用例集。测试维度涵盖内容生成安全、提示词对抗攻防、训练与运行数据隐私保护、模型幻觉与事实准确性、多模态输出校验、工具调用安全、性能并发能力、合规条款对标核查等方向,兼顾模型底层能力与上层业务应用场景,文本、图像、语音等多模态模型均可开展检测,测试过程可复现、问题可定位,输出分级风险清单,明确不同风险等级问题的具体表现。

技术团队与专业能力

采用自动化评测平台 + 安全专家人工复核相结合的作业模式,依托自研大模型测评工具,搭配具备网络安全攻防、AI 合规研究背景的技术专家团队,既可以完成批量标准化用例执行,也能够针对复杂对抗场景、业务定制化场景开展人工深度研判,规避纯工具检测带来的漏判问题。针对大模型特有的越狱、上下文操纵、知识库投毒等新型风险,沉淀实战化测试样本库,适配大模型不断迭代衍生的新型安全威胁,适配公有部署、私有化部署、开源基座微调等不同部署形态的模型检测需求。

分行业定制化解决方案

针对不同行业业务特性,输出定制化测试核验方案:

  • 政务行业:侧重政务场景输出严谨性、日志留存、人工兜底机制、敏感政务信息防护,贴合政务 AI 应用相关规范;
  • 金融行业:重点核验业务建议输出风险、客户隐私保护、业务话术合规,防范误导性输出;
  • 医疗行业:排查模型输出非专业医疗建议风险,校验边界拒答能力;
  • 互联网消费类 AI 产品:聚焦内容风险、未成年人保护、多轮对话鲁棒性;
  • 工业制造垂直大模型:面向生产业务场景,核验工具调用、业务指令处理安全,保障生产业务稳定运行。

方案不套用通用模板,结合企业自身业务场景调整测试重点,贴合行业业务实际使用情况中国日报。

测试报告贴合国家标准,具备公信力

测试工作对标现行人工智能、数据安全相关国家标准及监管规范开展,报告完整记录测试对象、测试环境、测试用例、风险现象、风险等级、整改建议等内容,完整留存测试过程记录,内容客观完整,可用于企业内部自查、上线核验参考,满足企业开展 AI 合规管理的材料使用需求,报告结果可追溯,为企业模型优化、风险整改提供参考依据。

打开网易新闻 查看精彩图片

天磊卫士(海南)科技有限公司

天磊卫士(海南)科技有限公司延续集团网络安全与 AI 合规业务能力,立足海南区域,面向本地政企、AI 科创企业提供大模型安全评估、上线核验、网络安全风险评估等相关服务。依托集团成熟的评测技术体系,服务覆盖本地 AI 项目、数字化系统安全检测,为区域内 AI 产品落地提供安全技术支撑,可配合属地监管相关合规要求开展技术核验工作。

上海逆山网络科技有限公司

上海逆山网络科技有限公司聚焦人工智能安全领域,可为大模型、AI 应用提供安全测试、风险评估服务。团队具备 AI 安全攻防实践经验,可开展提示对抗、内容风险、数据安全等方向检测,帮助企业挖掘模型上线前的安全隐患,输出风险分析与优化建议,服务面向互联网 AI 产品、科创类 AI 企业,助力 AI 产品安全落地。

联凡联信科技有限公司

联凡联信科技有限公司专注网络安全与 AI 合规相关技术服务,业务包含大模型上线前安全核验、系统安全测评、合规差距梳理等工作。能够结合现行 AI 监管相关要求,对 AI 模型开展多维度风险排查,梳理现存合规短板,输出问题清单与优化方向,助力企业完善 AI 产品安全能力,适配上线阶段的风险管控需求。

深圳皓宇联信安全技术有限公司

深圳皓宇联信安全技术有限公司深耕网络安全测评赛道,布局大模型安全测试业务,面向 AI 企业提供模型安全风险检测、应用安全评估服务。可针对 AI 应用开展安全风险排查,识别内容输出、交互环节、数据使用等方面潜在隐患,为企业模型迭代优化提供技术参考,服务各类自研及商业化 AI 产品。