华中科技大学史铁林教授、胡中旭教授团队：面向认知赋能的人机协作：进展、挑战和展望丨JME论文推荐|人工智能|华中科技大学|史铁林|大模型|胡中旭

引用论文

寇逸群, 杨晔, 刘颉, 胡友民, 李林, 俞百川, 徐家和, 胡中旭, 史铁林. 面向认知赋能的人机协作：进展、挑战和展望[J]. 机械工程学报, 2025, 61(3): 1-22.

KOU Yiqun, YANG Ye, LIU Jie, HU Youmin, LI Lin, YU Baichuan, XU Jiahe, HU Zhongxu, SHI Tielin. Cognitive Empowerment for Human-robot Collaboration: Research Progress and Challenges[J]. Journal of Mechanical Engineering, 2025, 61(3): 1-22.

(戳链接，下载全文)

在工业4.0向工业5.0的发展过程中，以人为本逐渐成为智能制造领域关注的焦点之一。当前的人机协作不仅强调要聚焦于技术的进步与效率的提升，更强调将人类的高阶认知思维与机器的计算能力相结合，实现认知赋能。华中科技大学史铁林教授、胡中旭教授团队梳理人机协作中认知赋能在交互感知、任务规划与执行、技能学习等关键领域的现有研究，揭示了多模态信息整合、任务推理、动态决策与技能知识表征的挑战。进一步，提出通过应用知识图谱构建的相关技术来支持人与其机器认知对齐的方法，以及通过应用知识图谱推理的相关技术来支持复杂环境下人机协作的任务优化和动态决策。在分析现有人机协作认知赋能研究局限性的基础上，展望未来智能制造环境下的深度认知协同的发展方向。该团队的研究成果以题为《面向认知赋能的人机协作：进展、挑战和展望》发表在《机械工程学报》2025年第3期。

行业现状

在当前的工业制造环境中，传统的工业4.0模式主要关注技术性能和利润优化，但忽略了人类在制造系统中的关键作用。与此不同，工业5.0提出了以人为本的理念，强调人机协同工作，致力于通过人与机器人间的密切合作，提升制造过程中的智能化水平。在此背景下，人机协作系统逐渐引入了高度拟人的人形机器人与具身智能技术，旨在提高机器人的感知与动作协作能力，并解决如何在认知层面实现人机深度融合的问题。

为了最大化人机协作效能，核心在于双向认知对齐，即确保机器与人类在任务执行中的认知信息达到一致。通过多维度的认知能力，如感知、推理、决策和学习等系统，结合知识图谱等工具对交互感知、任务规划等领域的研究，可以有效促进人机协作的优化。此外，认知赋能不仅能增强机器的决策能力，还能反向提高人类在复杂作业中的认知能力与效率，推动智能制造的进一步发展，特别是在工业5.0时代。

图1 认知赋能的整体架构图

人机协作认知赋能的方法

交互感知

机器对人的感知：强调提升机器识别人的意图、情绪和疲劳的能力，利用多种感知渠道（如脑电信号、肌电信号、眼动和面部表情）进行数据采集和分析。这可以使机器更加精准地理解并回应人的需求，从而提高人机协作的效率和准确性。
人对机器的感知：讨论了由于认知负荷、时间压力和多通道信息不一致等因素，操作员在理解机器的意图时可能面临的挑战。通过视觉、听觉和触觉等反馈机制，帮助操作员更好地理解和预测机器的行为。
多模态数据融合：通过结合来自不同传感器的信号（如视觉、触觉、语音），可以增强机器和人类双方对意图和状态的感知，提升协作任务的效率和准确性。

图2 人类意图与状态感知

任务规划与执行

任务推理与动态决策：讨论了如何通过合理地分解任务、优化资源分配并建立任务依赖关系来进行有效的任务规划。动态决策调度则是通过实时获取任务执行过程中的信息，及时调整任务分配，确保高效的任务执行。
任务执行框架：介绍了通过使用AND/OR图和基于知识的任务规划模型等方法，确保任务能够高效、准确地执行。通过监测操作员与机器的执行效果，动态调整任务分配，提高协作效率。
洞察增强与决策支持：提出了利用增强现实（AR）和虚拟现实（VR）技术增强操作员的决策能力。这些技术通过实时呈现关键任务数据，帮助操作员更好地理解任务和环境变化，从而做出更精确的判断。

图3 认知赋能的任务规划与执行

技能学习

机器人技能获取：主要讨论了三种技能学习方法：技能编程、模仿学习和经验学习（如强化学习）。这些方法帮助机器人获得完成复杂任务的能力，并能够在动态环境中不断优化和适应。
人类技能提升：强调了利用仿真器、虚拟现实（VR）和增强现实（AR）等技术来提升操作员的技能。通过创造逼真的学习场景，这些技术不仅帮助操作员掌握技能，还能提高他们在高风险和复杂任务中的安全意识和效率。
技能知识体系的统一：讨论了如何将跨任务和跨情境的技能通过知识体系的方式进行整合，以实现技能的泛化和迁移，确保机器人和操作员能在不同的任务和环境中无缝协作。

图4 机器人技能学习方法

面向认知赋能的知识图谱构建与推理关键技术

支持双向认知对齐的知识图谱构建关键技术

本体建模与语义规范化技术：本体建模通过构建层次化的知识结构，确保机器与人类在概念层面上的认知对齐，提升了概念覆盖率。语义规范化技术则通过解决语义不一致问题，确保人机协作中的语义统一。
实体与关系抽取技术：实体抽取和关系抽取是构建知识图谱的基础技术，在大语言模型的辅助下可以更准确和迅速抽取到实体和关系，增强了图谱的准确性和时效性，确保机器能够理解并应用人类知识。
知识图谱嵌入技术：将知识图谱中的实体和关系转化为低维向量表示，通过深度学习模型优化推理过程，使得知识图谱在复杂任务中的应用更加高效且精准。
多模态知识表示与融合：多模态数据（如文本、图像、语音）被统一表示，确保了不同模态数据的一致性，并为跨模态推理提供了支持。这种技术有效提升了知识图谱在复杂认知任务中的应用能力。

图5 支持认知对齐的知识图谱关键技术的关系架构图

支持任务优化决策的知识图谱推理技术

基于规则推理技术：规则推理通过预定义规则，模拟人类的逻辑思维过程，用于优化任务决策。操作性规则推理适用于具体任务执行，逻辑规则推理则用于复杂关系的抽象推导，二者结合提升了系统的认知能力。
基于智能算法的推理技术：智能算法如深度学习、强化学习和迁移学习等，为知识图谱推理提供了自适应能力，增强了系统在动态环境中的决策和优化能力。这些算法支持多跳推理和实时调整，提高了推理的精度和效率。
动态知识图谱推理：针对动态变化的知识图谱，提出了如“Know-Evolve”的深度学习框架，能够有效处理时序关系和动态数据，增强了系统对复杂任务环境的适应性。

图6 支撑任务优化决策知识图谱推理技术框架图

现存问题与展望

现存问题

人机双向认知对齐的困难：目前的系统在人机之间的认知对齐上存在显著困难，尤其是在复杂的任务环境中。人类与机器在任务理解和执行上存在差异，尽管多模态信息有所辅助，但仍难以实现完全的认知对齐，导致误解和执行偏差。
多模态信息整合困难：多模态输入信号（如语言、图像、动作等）无法有效融合，系统难以从不同模态中提取关键信息并进行有效的整合，这限制了系统在情境理解、意图识别等方面的表现，降低了任务执行的效率和准确性。
任务规划与执行的复杂性：当前系统在任务分解、优先级设定和任务依赖关系处理上存在困难，特别是在处理多重任务依赖和复杂的环境变化时，现有系统的任务规划效率和执行连贯性无法满足需求。
动态决策的困难：面对动态变化的环境和不确定的任务需求，现有系统在实时决策和调整方面存在瓶颈，难以快速应对突发事件和环境变化，影响任务执行效率。
技能与知识的统一表征与泛化挑战：当前系统在技能和知识的表征及其跨任务、跨情境的泛化能力上存在挑战，知识图谱的动态建模和技能的迁移学习仍需进一步探索。
生成式人工智能在任务理解中的局限性：尽管生成式人工智能（GAI）在某些任务中表现出色，但其缺乏对具体任务上下文的深度理解，导致任务规划和执行中可能出现不匹配的问题，并且推理过程的透明性不足，影响了系统的有效性。

展望

提升人机双向认知对齐的精准度与时效性：未来的研究将通过动态知识图谱和实时更新机制，提升人机认知对齐的精准度，确保系统能够根据任务需求和环境变化调整语义表示，从而实现高效的协作。
增强多模态信息的深度融合与语义统一：通过深度学习、图神经网络和注意力机制，未来的系统将能够更好地融合多模态信息，提升情境理解和意图识别的准确性，增强系统的多模态处理能力。
构建智能化的任务规划和执行框架：利用强化学习、元学习和自适应规划等算法，结合知识图谱推理，构建智能化的任务规划与执行框架，实现任务优先级动态调整和资源优化，提高任务执行的灵活性和准确性。
提升动态决策的实时性与敏捷性：结合智能算法和知识图谱，优化推理算法，提高决策的实时性和准确性。通过边缘计算和分布式计算等技术，减少决策延迟，并提高系统对突发事件的响应速度。
构建精准的技能图以支持任务分配与决策：通过动态技能建模和跨任务技能迁移，结合知识图谱技术，构建可泛化的技能知识体系，使系统能够在不同任务和情境中高效地应用技能，提升人机协作的灵活性和效率。
融合知识图谱与大语言模型增强认知协同：将知识图谱与生成式人工智能模型深度融合，利用大语言模型的上下文感知和知识图谱的显式知识，提升系统的推理能力和任务理解精度，实现更高效的人机认知协同。

结论

本文从感知能力、推理能力、决策能力和学习能力四个关键认知能力出发，梳理了人机协作在交互感知、任务规划与执行和技能学习三个关键维度的认知赋能现有研究。然而，现有系统在认知对齐、多模态信息融合、任务规划与执行、动态决策以及技能知识表征等方面仍然面临诸多挑战。通过深入探讨这些关键技术的局限性，以及辨明知识图谱在人机认知赋能中的核心作用，本研究提出了基于知识图谱的解决建议，详细介绍了支持双向认知对齐的知识图谱构建关键技术和支持任务优化决策的知识图谱推理技术旨在提升人机协作认知系统的智能化水平。在未来，如何将人类的高阶认知思维与知识图谱技术合理结合，构建统一的语义框架和多模态融合体系，实现复杂任务环境下的智能化动态决策与认知对齐，将成为推动人机协作交互认知发展的关键方向。

团队研究方向

1.智能人机交互与协作

致力于构建具身智能驱动的下一代人机协同系统，通过赋予机器"身体感知-环境交互-自主进化"的类人智能特性，实现自然、高效、安全的协作。主要包括：多模态感知与意图理解—融合视觉、语音、触觉等多源信息，实现对人类动作、情感及协作意图的精准感知；自适应决策与协同控制—基于强化学习与知识图谱，开发动态任务分配与实时行为优化算法，提升复杂场景下的协作柔顺性；可信交互与安全验证—研究人机互信机制与风险量化方法，确保物理交互中的实时安全防护。相关成果已应用于核聚变堆遥操作维护、智能物流机器人等重大场景。

2.数字孪生驱动智能运维

致力于数字孪生与设备健康管理基本理论、方法与应用研究。在基础理论方面，重点突破基于不确定性量化的建模方法、多物理场耦合仿真和高保真数字孪生构建理论等；在技术方法方面，开展工程物联感知与多维数据融合技术、智能诊断与预测算法、基于大模型的动态调度决策方法，以及事理知识图谱驱动的诊断推理框架等研究；在工程应用方面，重点推进虚拟现实与数字孪生融合、产线工艺规划与质量管控系统、智能运维决策支持系统的集成应用与工程落地。通过建立"感知-建模-诊断-决策"的完整技术闭环，实现物理模型与数据驱动的有机融合。相关成果应用于能源装备智能运维和高端产线工艺优化等重大工程领域。

作者及团队介绍

寇逸群（第一作者）， 1998年生，工学学士，现为华中科技大学机械电子工程系博士研究生。主要研究方向为人机协作、认知建模等。

刘颉，华中科技大学副教授、博士生导师，兼任华中科技大学无锡研究院机电信息与智能技术研究所副所长。围绕清洁能源系统安全运行管理专业领域，长期从事领域知识图谱、数字孪生、工程物联感知、设备运维检修、虚拟人机交互等理论方法与工程技术研究，作为核心骨干先后承担“制造基础技术与关键部件”、“网络协同制造和智能工厂”、“城镇可持续发展关键技术与装备”等国家重点研发专项。入选华中科技大学优秀青年教师培养计划、斯坦福全球前 2%顶尖科学家榜单等，担任中国机械工程学会工业大数据与智能系统分会委员、中国振动工程学会转子动力学/动态信号分析/故障诊断专委会理事等。以第一/通讯作者在机械工程学报、IEEE TII/TIE/TMECH/TIM、MSSP 等机械工程、人工智能领域权威期刊发表论文 60 余篇，出版英文专著 1 部，授权专利软著 30 余项，获安徽省科技进步二等奖等省部级科技奖多项。

胡友民，华中科技大学机械学院教授、华中科技大学无锡研究院机电信息与智能技术研究所常务所长、美国佐治亚理工学院访问学者。长期从事数控装备、数字孪生、智能制造与控制、参数化驱动三维数字样机、机电设备状态监测、可靠性与安全性技术以及大型成套装备等的科研和教学。国家一流本科课程负责人、教育部卓越案例建设首席专家，主讲本科《机械工程控制基础》（国家精品课程）、《机电创新决策与方法》和研究生《不确定性系统分析》等课程。研究成果获得教育部科技进步二等奖等多项省部级奖。

胡中旭（通讯作者），华中科技大学机械学院教授，入选国家海外高层次（青年）人才、华中大“华中卓越学者”等人才计划，斯坦福全球前2％顶尖科学家。曾先后在上海华为、新加坡NTU、日本RIKEN等单位工作。围绕制造系统数字化与智能化，先后主持/承担国家科技重大专项、国家重点研发计划、新加坡国家机器人计划等多项科研项目/任务。出版英文专著1部，在IEEE汇刊等发表论文60余篇（ESI高被引10篇、热点2篇、Engineering高影响力1篇），授权专利7项（含国际专利1项），荣获河南省国防科技进步二等奖、Actuators 2023 Travel Award等奖项。

史铁林（团队带头人），华中科技大学机械学院教授，国家级领军人才，曾任机械学院党委书记。现任中国振动工程学会常务理事，中国振动工程学会动态信号分析专业委员会主任委员，中国振动工程学会故障诊断专业委员会副主任委员，中国微米纳米技术学会理事，《Frontiers of Mechanical Engineering》副主编、《机械工程学报》、《振动工程学报》、《中国机械工程》、《中国工程机械学报》、《振动与冲击》、《振动测试与诊断》等杂志编委。先后获国家教委科技进步二等奖（应用类），国家教委科技进步一等奖（理论类），机械工业部科技进步一等奖，国家科技进步三等奖，中国青年科技奖，全国优秀博士后、湖北省五四青年奖章、中国机械工程学会杰出青年科技奖、首批“新世纪百千万人才工程”国家级人选等荣誉称号等。主持完成或承担科研项目40多项，包括国家863项目、国家自然科学基金重大研究计划培育项目、国家自然科学基金面上项目、总装预研项目等。

作者：胡中旭

责任编辑：杜蔚杰

责任校对：张强

审核：张强

JME学院简介

JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。首任院长是中国机械工程学会监事会监事长、《机械工程学报》中英文两刊主编宋天虎。

欢迎各位老师扫码添加小助理-暖暖为好友，由小助理拉入JME学院官方群！

欢迎关注JME学院视频号~

寻觅合作伙伴

有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。

感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！

本文为《机械工程学报》编辑部原创内容，欢迎转载，请联系授权！