郑州|智能装备企业研发负责人:AI视觉识别动作,能不能让系统知道员工有没有按照SOP操作?
从看SOP到识别动作,AI视觉正在改变作业指导书的应用方式
传统ESOP有一个明显的局限:
员工可以在屏幕上看到正确的操作步骤,但是系统未必知道员工实际有没有按照要求执行。
例如:
员工应该先拿取A零件,再安装B零件。
员工应该完成某个检查步骤以后,才能继续下一道操作。
员工应该使用指定工具完成某个装配动作。
这些要求过去主要依靠班组长、质检人员和现场管理人员监督。
现在,随着工业摄像头、边缘计算和AI视觉算法的发展,企业可以开始研究AI动作识别。
一、AI动作识别到底识别什么?
AI视觉识别不是简单地拍摄员工,而是针对具体工艺任务建立识别模型。
例如:
动作识别:
识别拿取、放置、安装、拧紧、插接、检测等特定动作。
动作顺序识别:
判断操作是否按照规定的先后顺序执行。
操作区域识别:
判断员工是否在规定的操作区域完成相应动作。
操作完成识别:
根据可观察的视觉特征,辅助判断某个动作是否已经完成。
异常动作识别:
发现与预设标准明显不一致的行为,并提示进一步确认。
需要说明的是,单靠普通摄像头并不能可靠识别所有操作细节。对于扭矩、力度、内部连接质量等不可直接观察的内容,还需要结合传感器、工具数据或检测设备。
二、AI视觉与ESOP怎样结合?
例如一家电子产品装配工厂。
工人进入工位后,ESOP首先显示当前产品的操作步骤。
第一步:确认产品和物料。
第二步:取出指定零件。
第三步:按照要求完成装配。
第四步:进行过程检查。
第五步:完成工序确认。
工业摄像头采集相关操作画面。
AI视觉模型根据已经训练和验证的识别规则,对可观察动作进行判断。
如果发现疑似漏操作,系统可以提醒员工。
对于重要工序,可以要求员工暂停并由班组长确认。
这样,ESOP从单纯的作业指导工具,逐步向作业辅助监控发展。
三、系统需要哪些硬件?
典型配置包括:
工业摄像头或适合现场的网络摄像头;
AI边缘计算盒;
工位触摸一体机;
工业网络设备;
ESOP软件平台;
AI动作识别算法;
必要的照明及安装支架。
对于部分轻量化视觉场景,可以研究采用RK3588等边缘计算平台。
对于模型较大、摄像头较多或需要较高实时处理能力的场景,则应评估更高性能的边缘GPU或AI服务器。
具体选型应依据模型规模、摄像头分辨率、帧率、并发路数和现场环境进行测试。
四、AI视觉识别最大的难点是什么?
不是摄像头安装上去就能识别所有动作。
真正的难点包括:
第一,不同员工的操作习惯可能不同。
第二,同一个动作在不同角度下呈现的图像不同。
第三,员工的手部可能遮挡零件。
第四,光照、反光和现场背景会影响识别。
第五,动作完成与否有时不能只根据图像判断。
所以,企业应该先选一个动作明确、操作重复性高、容易定义识别标准的工位进行试点。
通过实际视频采集、样本标注、模型训练和现场验证,确定识别准确性和误报率。
AI ESOP的方向,是让作业指导与实际操作逐渐建立联系,但必须坚持辅助识别、人工确认和关键工艺验证相结合。
热门跟贴