工业现场不需要“最聪明”的模型,够用、可靠、可验证才是硬道理。
作者丨董雨頔
编辑丨徐晓飞
在工业现场,模型识别出异常,只是第一步。
它还要把每一次传感器或相机观测对应到正确的设备、位置和任务状态,规划下一步行动,控制机器人完成操作,并验证动作是否真正满足了客户要求、规程和监管规则。
这正是工业物理AI与单纯感知系统之间的一道分界线:它不仅要感知环境、识别目标,还需要控制现实设备,并根据执行结果形成反馈。
在ACM MM 2026的一场国际工业物理AI研讨会(WIPAI 2026)上,江行智能基础模型CTO陈龙博士以《End-to-End Physical AI Closed-Loop Execution System for Industrial Applications》为题,详细介绍了面向工业应用的端到端物理AI闭环执行系统,并阐释了工业物理AI如何从“看得见”走向“动手做”。
在他看来,相较于开放环境,部署的工厂场景更稳定,任务也往往高度标准化。基础模型不必具备最强的通用智能,同样可以在工业现场可靠工作。在实际部署中更重要的,是在模型准确度与算力(服务器、GPU)成本之间做出合理取舍,而不是盲目追求超大模型。
在保留演讲原意的基础上,本文进行了编辑润色。
01
从“看见”到“做完”:
工业物理AI须打通执行闭环
今天的主题,是面向工业侧应用的物理AI系统。接下来,我将介绍多模态技术在工业现场的部署,并以可再生能源电站的自动巡检为主要案例,说明我们的技术栈、系统架构,以及模型如何把感知输入连接到实际动作。
我想探讨的核心问题是:模型如何帮助我们完成复杂工业任务,并提供足够的证据,支持后续的澄清、检查和验证。
▎工业现场面临多重难点
在实际工业场景中,工业资产会随时间变化。一套有效的物理AI系统,需要把来自传感器或相机的每一次观测,与正确的设备、位置和任务状态对应起来。
现场还存在大量已部署的既有设备,数据需要从可见光、红外、点云,以及设备本身的声学信号与振动中采集。
另一方面,我们面对的机器人各不相同,可能涉及不同的感知与控制接口。每个现场的数据又非常有限:紧急事件很少发生,本地标注非常稀缺。系统需要尽可能生成更多数据,才能适配真实工业现场。
这些难点最终都指向同一个目标:打通“观测—推理—行动—结果验证”的闭环。
▎工业物理AI要解决四个问题和挑战
具体而言,工业物理AI需要解决四个问题:
第一,如何自主完成多位置传感器的时空对齐与噪声处理,使系统能够关联理解设备及其与空间、时间环境的关系。
第二,如何进行现场与机器人本体适配。实验室训练的共享模型,需要能够用少量标签部署到新设备和多种机器人本体上,而不是每换一个现场就从头再来。
第三,如何实现长时程执行。面对复杂客户要求,以及网络、存储等条件限制,系统需要防止误差逐步累积。为此,我们已经交付并部署了许多长时程任务规划方案。
第四,如何做出可验证决策。机器人完成大量数据采集、训练和任务执行步骤后,系统仍要验证动作是否正确,能否满足客户要求与规范。
从这四个问题回到能力本身,我们提出了四大愿景。
第一是环境理解。比如当机器人在会议室里走动或穿行时,它需要理解物体及环境之间的空间关系,同时感知温度、天气或突发状况。
第二、第三是任务规划和执行。系统需要以自主方式规划并执行给定任务。
第四是持续演化。这也是工业侧面临的真正挑战:当大量智能系统部署完成后,模型仍需持续适应温度、布局、物体位置等一系列环境变化。
这四点背后,是开放世界自主性、多模态感知、长时程任务执行和迁移能力等共性挑战。它们与前面的四个问题相互对应,也构成了后续技术架构的设计前提。
02
“一脑多体”:
一套大脑,适配多个机器人本体
▎“一脑多体”的两层架构:核心在于 JX-Phi Brain
针对这些问题,江行智能给出的解决方案,是搭建一个“一脑多体”的整体架构。它可以进一步拆解为两层。
第一层是数据与基础设施层 JX-Phi World,包含AutoEdge和AutoWorld两个模块。
前者负责采集多模态数据并准备训练数据;后者作为工业场景推演与数据生成平台,生成基础模型所需的数据,用于降低长尾场景的数据成本并提升成功率。
第二层 JX-Phi Brain是整套架构的核心,负责协调多模态感知、环境理解和机器人自身数据。基于此,系统可以做出决策,并把客户要求转化为一组任务。
JX-Phi Harness负责把工业规程与行业经验转化为规则约束,划定模型的执行边界。
它主要包含两种机制:一是“一脑多体”机器人控制。跨视角技术利用客户现场已经部署的相机和传感器,通过不同角度的数据,帮助机器人理解自身位置和场景关系。二是工业流程约束。工业知识库把行业经验转化为系统规则,让模型的行动处在明确的工业边界之内。
▎不仅看懂环境,还能泛化与调整
在实际运作的第一阶段,我们需要先处理不同类型的数据。由于观测在分辨率、视角和采集时间上可能各不相同,所以要先进行空间解码,并加入去噪机制去除噪声,再利用对齐整合输入,使模型能够对这些数据进行联合推理。接着下一阶段,模型会把输入转换为多模态token和面向单个对象的物体级表征。
架构中还包含共享MoE与残差MoE模块。共享部分保留可复用能力,残差部分支持不同任务、设备和现场的适配。针对新设备训练的残差MoE可以插入共享MoE,从而更容易扩展到不同机器人。
为防止长时程任务中的误差累积,我们还使用了强化学习奖励函数和批判函数,在执行过程中纠正错误;世界模型评判器持续接收状态输入,评估当前状态与执行表现是否符合预期。
整体来看,JX-Phi Brain先通过基础模型完成多模态感知、融合和对象理解,再利用MoE和世界模型完成规划、执行和纠错。它的重点不只是“看懂环境”,还包括让机器人面对不同机身、不同环境和长时间任务时,仍能泛化,并根据反馈进行闭环调整。
因此,“一脑多体”并不是把一套模型简单复制到不同机器人上,而是构建一套能够跨本体、跨场景部署的工业物理AI系统:由一套大脑负责理解与决策,多个本体在同一套规则约束下完成动作。
03
落地不是比参数:
够用、可靠、可验证才是硬道理
当前,我们的产品主要包括三类:具身智能感知载荷、具身AI控制器以及具身作业机器人。
这条产品线覆盖工业场景下的三类需求:传感终端负责“看”,控制模块负责“连”,机器人负责“做”。一个物理AI大脑驱动完整的“感知—理解—决策—执行”闭环,服务于真实的工业运营需求。
这些产品可以部署在客户现场,采用云、边、端三层架构。我们通常把共享模型冻结,并将其作为基础模型。共享MoE保存集体经验,残差MoE采用增量设计,以便扩展到不同机器人类型,并进一步扩展基础模型能力。完整基础模型会运行在客户侧私有云中,而不是我们公司的云中。
模型参数规模的选择,并非越大越好,而是需要基于客户预算决定。实际部署中,我们通常不会盲目使用超大模型,而是通过知识蒸馏或教师—学生架构,尽可能压缩规模。
模型可以理解客户的规程和要求,从大量文件中提取要求与监管规则,再转化为系统规则。在过去八年里,我们已在1000多座工业场站实现规模化应用,建立工业知识库,并把行业经验转化为系统规则,覆盖知识库、模型调用、结果验证和标准作业程序等环节。
对工业物理AI而言,这些长期积累的现场知识与工程流程,和模型本身同样重要。它们决定了模型能否进入真实生产流程,也决定了系统能否被持续使用和管理。
04
智能运维AI的核心:
不只是感知和识别,还须控制现实设备
▎让AI理解真实运维场景,形成闭环工作流
随着新型电力系统发展,气体绝缘金属封闭开关设备(GIS)、其他开关设备及电缆隧道等关键区域设备密集、环境复杂,传统人工巡检容易出现盲区和响应延迟。
为应对复杂运维场景,江行智能把具身机器人、多模态感知、智能分析和任务调度深度结合,让AI进入现场,理解真实情况并作出响应。
在江行智能物理AI基础模型支持下,系统实时采集设备状态,检测异常,生成故障报告、巡检标记并归档结果,形成从现场数据采集到智能分析的闭环工作流。
系统面向一线作业,协调多设备任务、监控状态并管理巡检,将地面设备、无人机和固定摄像头组成综合巡检网络,打破数据孤岛,帮助团队更清晰、高效地维护复杂设施,显著提高整体巡检效率,并降低了人工成本和安全风险。
▎走进复杂工业现场,机器人化身“多能手”
在部分复杂环境中,传统人工巡检面临覆盖范围与响应效率的限制,而智能设备可以适应更多的复杂地形。在复杂室内外环境中,机器人能够可靠通过崎岖道路和狭窄封闭空间,自主到达巡检点,监测状态、发现潜在风险,减少人员进入高风险区域的次数。
以光伏电站为例,从日照强烈的室外区域到设备密集的控制室,机器人都能自主导航和操作:多模态视觉系统准确检测光伏组件故障并实时报警;地面机器人覆盖整个场站;无人机结合热成像与可见光快速定位风险;固定摄像头全天监控,并快速响应异常。
四足机器人可以与无人机和现场固定摄像头协同,组成空地一体化巡检系统。不同设备互补覆盖高处与地面、室内与室外位置,为关键设备和专业作业提供更全面的巡检管理。
机器人还可安装高清相机、红外热成像、局部放电检测、机械臂和灵巧手等模块。这些模块支持设备状态识别、潜在风险早期发现、在线监测和精密维护。
依靠平台兼容性及模块化、可扩展设计,机器人可以快速部署并灵活配置,一台机器人即可承担从现场感知、环境理解、辅助识别到实际执行等多种角色。
系统还可以完成异常处理闭环。当它发现并定位异常后,可以调度机器狗等另一台设备到现场核验风险,再发出警报,让工作人员复核。
随着环境和客户要求变化,系统还会收集新的异常数据和样本,并高效更新已部署模型。由此,异常处理不再止于一次报警,而是延伸到现场核验、人工复核和模型更新。
05
提问环节(Q&A)
演讲结束后,现场进行了提问交流环节,以下为记录:
▎Q1:你们是否会针对每个机器人和每位客户的真实任务,重新训练或修改模型?你们的模型与真实系统到底是什么关系?是不是每个任务分别训练模型后再组合起来?
A:在我们实际的工业部署中,客户所要求的任务通常边界清楚、判据明确。比如整个场地可能是无人区域,相比于开放环境导航中需考虑障碍物、人员和移动物体,工厂内环境更稳定,大多数物体是固定的,按钮、管道等位置也保持不变。
因此,在这个模型里,我们不需要额外的空间编码或去噪;某些场景下,数据本身就非常干净。比如,一个面板上有很多按钮,但按压顺序由工业规程明确规定,模型不需要自主判断先按哪个、后按哪个。所以,基础模型不必具有极强的通用智能,也能在工业现场可靠工作。
至于新场景,当新客户到来而我们尚未做好适配时,确实仍需要大量人工标注和任务专用token来训练模型。这是一个现实痛点。
▎Q2:能否再深入介绍一下JX-Phi World?这个模型是不是用来生成针对不同测试、不同传感器的长尾数据?
A:我们需要从真实客户现场收集数据训练模型。但即使部署并采集一个月,绝大多数数据仍是正常数据,爆炸、火灾等紧急事件可能一次也不会发生。因此,JX-Phi World中的AutoWorld用于生成紧急事件和长尾数据,供模型训练,使模型能够提前看到新的数据类型。
▎Q3:报告中提到准确率很高,这个准确率是怎么得到的?
A:这其实是学术和工业之间的差异。我提到准确率时,指的是我们在一些顶级会议上发表的学术论文;但在工业界,我们的准确率并没有那么高,因为需要在模型准确度与算力(服务器、GPU)成本之间取舍。
在和客户讨论的过程中,往往还面临另一个现实问题:一个巡检班组通常有一名值班人员和一名备班人员。当我们提出用两台机器狗替代部分工作时,客户通常不会同意完全取消人工。因此,现场常保留一名工作人员,与一台机器狗协同完成部分操作。
这意味着,在真实工业部署中,单项准确率并不是唯一重点。关键是把准确率、预算、网络和其他系统条件放在一起权衡。
▎Q4:你们做测试时是怎么做的?靠人工构造场景吗?这些场景是设计出来的吗?
A:是的。交付系统时需要满足大量标准。专家会在开放数据集或测试流程中人工注入错误和异常,检查模型及整体系统是否达到要求,类似机器人训练场或基准测试。
▎Q5:当前部署中最困难的任务是什么?
A:实际上,模型本身反而不是最难的部分,因为工程化环节有充足的软件工程师与质量保证(QA)人员兜底。真正的挑战还是权衡和取舍,比如我们需要和客户讨论为这些设备选择哪些供应商和硬件。
▎Q6:如果基础模型无法完成客户要求的细粒度、高度专用任务,该怎么办?
A:这类需求恰恰是我们在工业现场最常遇到的,也是系统设计的出发点。工业场景的难,通常不在于任务花样多,而在于要求明确、边界清晰、容错极低。所以我们不指望一个模型把所有情况都预先学会,而是让系统具备适配的能力。遇到超出边界的情况,系统会主动交给人来确认,而不是硬做。
06
论文分享:可靠执行,
才是工业物理AI真正的分水岭
在随后的论文分享环节,研究者们围绕工业物理AI从感知到执行的多个环节展开进一步探讨。这些研究并未停留在“让机器看懂世界”:有的让设备判断工艺状态,有的研究人机共存感知,有的则把大模型搬上云端,进而解决机械臂实时跟随的问题。
分享最后,现场公布了论文奖项。杰出论文奖授予:
1.《PhysMelt: Physics-Anchored Temporal Regime Discovery for Edge Monitoring of Laser Powder Bed Fusion》
2.《Imagine Before You Act:A Self-Evolving Industrial Agent with a Physics-Grounded World Model》
3.《Bridging VLA Policies and Industrial Robot Controllers via Non-Blocking Action Streaming》
▎最佳论文奖授予:《Towards Untethered Industrial Physical AI: Profiling Cloud–Edge VLA over O-RAN》
从现场论文的议题设置不难看出,工业物理AI的竞争焦点正在发生变化:问题不再只是“模型能否看懂”,而是“模型能否在物理约束、实时通信和工业规程之下,安全、稳定、可验证地行动”。
这意味着,工业AI正在从单点模型能力的比拼,走向模型、控制、通信与工程体系的系统竞争。
从江行智能“一脑多体”的系统架构,再到研究者们对物理约束、世界模型、动作流和云边协同的关注,我们可以看到同一条工业物理AI的主线——从“感知世界”走向“在约束中行动”。
对工业场景而言,需要的不只是一次惊艳的演示,而是能够在产线上长期稳定执行的能力:模型不仅要给出答案,还要完成动作;不仅要完成动作,还要验证动作是否符合客户要求与工业规程;不仅要在理想条件下运行,还要在网络、成本、设备和人员约束下保持可靠。
从这个角度看,工业物理AI的下一阶段,不仅仅是“让机器人更聪明”,而是让智能真正成为一种可部署、可管理、可验证的生产能力。
NeurIPS 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。
在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。
大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。
会场见,也在群里见。
进群传送门:扫码进群或添加微信szhsn610,备注:NeurIPS+单位/学校+姓名+方向。
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
热门跟贴