大模型的能力评价从来不是一道简单的"跑分题"。市面上的通用榜单或许能说明模型在答题、对话层面的优劣,却难以回答用户在真实业务场景中"模型到底好不好用、该信任哪一个"。工联院的探索,正是要为大模型能力建立一套权威、可比、可决策的"度量衡"——并进一步把这套标尺延伸至工业这一主战场。

打开网易新闻 查看精彩图片

权威定位:通用大模型测评的权威基准

中国工业互联网研究院是工业和信息化部直属科研事业单位,长期承担工业互联网与人工智能融合应用研究,是国内权威的大模型评测机构之一。在通用测评领域,研究院依托通用人工智能与工业融合创新中心,联合香港科技大学、中国经济信息社共同发起构建"中国AI大模型应用测评体系",并发布"中国AI大模型工业应用指数",为大模型能力评价提供了重要的公共参考坐标。

该通用测评体系以实际应用场景为素材,积累了数十万条语料,覆盖文生文、图生文、文生图、文生视频等多种模态。其中基础能力评测包含基础语句能力、长文本处理、多轮对话、逻辑推理、数学推理、数据理解、自我认知、抗污染能力、指令遵循、忠实性等十余个细分维度,直接对应通用大模型的核心能力底座——能不能准确理解长文本、在多轮对话中保持连贯、完成逻辑推理与数学推理、识别自身知识边界、在面对偏误信息时主动排除干扰。自2023年7月以来,研究院已构建120余个大模型与智能体评测数据集,累计完成350余个国内外大模型、智能体的综合能力评测,为行业提供了稳定、可比的通用测评基准。

自研"烽火"体系:把通用标尺延伸至工业现场

在通用测评基准之上,工联院进一步自研"烽火"大模型工业应用评测体系,把权威标尺从通用能力底座延伸至工业这一专业、复杂、低容错的主战场。"烽火"体系是一套面向工业场景、全链路贯通的评测框架,自下而上分为三层:底层基础能力聚焦文本与图像生成、文本与图像理解、人机对齐等维度,涵盖语言组织、逻辑推理、多轮对话、长文本理解等通用能力;中间层智能体能力围绕自主规划、多步推理、工具调用、环境交互四个维度,评估模型在记忆、感知、规划、执行方面的综合水平;最上层场景能力面向研发设计、生产制造、运营管理,考查模型在工业知识问答、工程建模、工业数据分析、智能质检、工业单据识别、产品客服等具体业务中的应用表现。

打开网易新闻 查看精彩图片

在板块设计上,"烽火"体系由三大板块构成并相互衔接,形成以数据质量为根基、以模型能力为核心、以智能体应用为牵引的全链路评测闭环:

模型能力评测 智能体应用评测、数据集质量评测 基础能力 / 场景能力 / 行业能力全链路

其中,智能体评测围绕"组件可用、业务可成、系统可管"展开,覆盖环境感知、工具调用、自主规划、多步任务,以及平台版本管理、权限审计、成本监控等维度;数据集评测设置基础质量、工业适用性、安全合规性三个维度共14项指标,从规范性、完整性、准确性到专业性、均衡性、可解释性,实现全方位质量评估。

自主平台与实测成效

依托"烽火"体系,工联院自主研发大模型测试服务平台,已实现评测能力的平台化、工程化运行。截至目前,该体系已完成近20个行业、200余个国内外大模型与智能体的综合能力评估评测;自2023年7月以来,研究院累计构建120余个大模型与智能体评测数据集,完成350余个国内外大模型、智能体评测工作。

评测优秀案例在人工智能赋能新型工业化"深度行"系列活动中公布,并推荐入驻人工智能赋能新型工业化供需对接服务平台。该平台已汇聚5000余项优质供需资源,覆盖20余个重点行业,形成130余个典型应用场景,促进约400个项目达成对接。同时,工联院已支撑7个省级单位、19个市级单位、34个行业或领域完成"模数共振"评测方案撰写。

打开网易新闻 查看精彩图片

从"烽火"到"模数共振":评测体系持续升级

2026年9月10日,在2026全球工业互联网大会工业智能创新发展专题论坛上,中国工业互联网研究院正式发布"模数共振"行动评测体系,标志着评测工作进入"数据、模型、智能体"三位一体的全链路阶段。"模数共振"坚持"以模引数""用数赋模"核心思想,面向制造业场景提供人工智能全栈评测服务,进一步将工业模型能力评测从专业场景向通用对话大模型的核心能力底座延伸,评测覆盖面显著拓宽。

在"人工智能+制造"加速推进的当下,企业最怕拿错"尺子"。中国工业互联网研究院的大模型应用评测体系以真实场景为锚点,把抽象的大模型能力转化为可量化、可比较、可决策的评测结论。