广告 | 点击查看

摘要：堆垛机是化纤车间仓储系统的核心设备之一，针对堆垛机传统培训过程中的效率低、体验差以及学习积极性不足的问题，本文通过三维建模技术搭建了化纤车间堆垛机培训的仿真环境，结合HoloLens2开发了堆垛机混合现实培训系统。该系统包括装备结构、作业模拟、教学培训和培训考核四大功能模块，工人可以在系统中观察堆垛机的结构和装置、手动控制堆垛机取货作业、学习装备检修维护方法以及通过知识问答的方式量化评估培训效果。相比传统培训方式，本系统具有沉浸式学习的特点，并支持手势交互，有助于工人更加全面地了解堆垛机工作原理、掌握安全操作规程、熟悉故障排除方法，提高工作效率和安全性。

关键词：混合现实、HoloLens、堆垛机、Unity

作者：颜资卓1 王勇2 李岩2 白茗松1 田非凡1

1为北京机械工业自动化研究所

2为北自所（北京）科技发展股份有限公司

一

引言

堆垛机是一种高效的仓储物流自动化处理设备，被广泛应用于化纤车间立体仓库、铁路、机场和港口等物流场地，进行存储、搬运等操作[1]。如果工人操作不规范，可能会导致设备故障[2]，从而导致生产线停工，甚至引发工厂全面停产，并且不规范的操作也可能导致意外事故，对工人的安全构成威胁。目前，在化纤车间对工人进行集中式堆垛机培训中，存在培训效率低、培训体验差以及缺乏持续性学习等问题，导致工人对堆垛机的理解相对浅薄，一旦发生意外情况或突发故障，难以迅速采取有效的应对措施。

混合现实[3]的独特之处，在于保留虚拟现实[4]和增强现实[5]的优点的同时，最大程度克服了单一技术在应用中带来的弊端。混合现实技术使用户可以在真实空间中直观地体验立体虚拟元素，并以更加沉浸式的方式与真实环境中的虚拟对象进行交互，这使其在仓储物流[6]、军事[7]、医学[8]以及制造业[9]等领域被广泛应用。

本文针对化纤车间堆垛机培训以及传统培训方式中存在的问题，设计并开发了基于混合现实技术的堆垛机培训系统。该系统通过对厂房进行三维建模提供了一个虚拟的仿真培训环境，结合HoloLens2提供混合现实培训体验，以此提高工人学习的积极性和培训效率。

二

系统设计

化纤车间希望经过培训的工人能够安全、熟练地操作堆垛机，提高工作效率并减少事故风险。然而，目前培训依赖于短期的集中式培训，培训方式包括课堂口头讲解、视频教学以及书面资料等。因此，培训中存在互动性有限、缺乏手动操作以及内容脱离实际等问题，这导致培训效率低、体验差以及学习积极性不足。

针对化纤车间对工人堆垛机培训的需求与存在的不足，本文采用混合现实技术开发堆垛机培训系统，系统分为4大功能模块，涵盖安全操作规程、装备结构和原理、操作技巧、故障排除、维护保养以及考核评估等培训内容，具体如图1所示。

图1 系统功能架构图

1.装备结构模块。该模块包括结构介绍和手动装配两个子模块，通过介绍堆垛机的组件结构，使工人了解每个组件的作用。手动装配子模块中，系统通过近身菜单控制堆垛机模型放置提示的显示与隐藏、组件爆炸效果以及模型整体的复位，以帮助工人更好地通过手势抓取组件进行装配。

2.作业模拟模块。该模块是让工人学习在手动模式下控制堆垛机的取货作业，其中涉及堆垛机认址问题，通过采用近身菜单控制堆垛机的水平动作、垂直动作以及取货等操作，简化了操作流程，并禁止作业过程中堆垛机的不安全动作。

3.维修培训模块。该模块通过文字、图片、视频和动画等方式指导工人对堆垛机进行故障排查和装备维护。文字和图片用于解释故障并提供操作规程，而视频和动画能直观展示安全操作、正确的维护方式和维护过程中的安全注意事项。

4.培训考核模块。该模块旨在评估工人对堆垛机知识的掌握程度，通过答题的形式发现自己在装备结构、故障排查、安全事项、装备维护和操作规程等方面的不足，并及时纠正和学习相关知识。

三

系统实现

HoloLens2是微软推出的第二代混合现实头戴式显示器，凭借其强大的交互技术和硬件配置，为不同行业的培训难题提供了解决方案，具体如图2所示。MRTK [10]（混合现实开发工具包）是一套开源工具包，支持开发者通过设置手势事件、菜单、记录手部姿势、进度指示器演示、手部物理等配置文件，对混合现实应用进行设计与开发。

图2 微软HoloLens2混合现实设备

系统通过3D Max对化纤车间、双立柱堆垛机、货架等物体进行建模，在Unity中构建一个体现真实堆垛机作业环境、操作规程以及故障处理的仿真培训环境，并使用MRTK为工人开发基于HoloLens 2的混合现实堆垛机培训体验，如图3所示。

图3 Unity堆垛机培训环境

1.装备结构

通过装备结构模块，工人能够了解堆垛机的各种结构和装置，理解其在堆垛机运行过程中的作用和分布，从而降低培训成本，提高学员对堆垛机整体的认识水平，并增强学习体验。以水平激光测距仪为例，工人通过佩戴HoloLens2可以查看水平激光测距仪的文字说明，从而了解其在堆垛机操作中实现精确定位的功能，模块的文字说明面板会随着学员的移动而始终面向他们，具体如图4所示。系统通过给模型添加边界框，工人可以单手或双手放大、缩小以及旋转水平激光仪等操作，增加工人的交互体验，进而提高其在培训时的学习兴趣。

图4 水平激光测距仪介绍

同时，系统通过HoloLens2的手势识别技术来实现模型抓取操作，当工人抓取水平激光测距仪时，系统会介绍水平激光测距仪的主要组成元器件，如图5所示。

图5 水平激光测距仪抓取提示

此外，系统的手动装配功能在避免安全事故和不影响车间堆垛机正常运行的前提下，工人能通过手动抓取不同虚拟组件进行模型装配，使得工人更加全面地了解堆垛机的装备结构分布情况，具体如图6所示。

图6 堆垛机手动装配

系统使用MRTK提供的近身菜单分别控制中间堆垛机模型放置提示的显示与隐藏、组件爆炸效果以及模型整体的复位。手动装配子模块中，中间区域是带有组件装配放置提示的堆垛机模型，而两侧是散乱分布的堆垛机组件，当视线焦点落在组件上时，系统会弹出一个显示该组件名称的面板提示。工人通过手势抓取或手部射线将两侧散乱分布的组件移动到堆垛机模型上的相应组件放置提示附近时，系统会检测组件与组件放置提示之间的距离，从而实现组件自动吸附到放置提示上，简化了工人操作难度。

2.作业模拟

作业模拟模块是模拟真实化纤车间中手动控制堆垛机作业的操作流程。在堆垛机的手动模式下，工人通过点击控制柜上的前进和后退按钮来控制堆垛机的水平移动，堆垛机的移动并非简单的前进后退，而是涉及堆垛机的认址过程。因此，当工人点击控制柜停止按钮时，堆垛机并不会立即停止移动，而是会移动到下一个货位固定的水平认址位置。电气控制工程师会根据货架大小和货格尺寸设置好堆垛机水平方向的认址位置，载货台的垂直上升和下降也是同理，这种认址方式使堆垛机能够准确快速地根据上位机的指令找到正确的位置，实现高精度的取货操作，具体如图7所示。

图7 堆垛机控制柜

系统使用近身菜单来控制堆垛机的运动状态，菜单将跟随工人移动而始终围绕近身周围，以避免工人在混合现实环境中通过控制柜按钮进行取货操作时所面临的不便和缺乏直观性的问题。菜单包含9个按钮，分别用于控制堆垛机的水平前进、水平后退、垂直上升、垂直下降、停止、货叉左伸、货叉右伸、复位以及隐藏货架状态，菜单下方的滑动条用于调节堆垛机运动状态时的速度，向右滑动加速，向左滑动减速。系统在Unity中根据货架和货格的大小设置好堆垛机的水平和垂直方向的认址位置，当工人点击停止按钮时，系统会根据当前的运动状态执行不同的操作，如当前是水平前进状态，点击停止按钮后，堆垛机会自动减速并停在距离其最近的下一个水平认址位置上；而如果是水平后退状态，则相反，垂直方向上升和下降的处理方式也是同理。

在作业模拟模块中，工人中控制堆垛机取货作业时，若点击垂直上升按钮，系统会使堆垛机垂直上升到预定垂直认址位置，当点击货叉左伸时进行取货操作，具体如图8所示。当货叉伸出状态时，系统将会禁止堆垛机进行水平前进和后退的动作，以确保工人在系统中学习真实堆垛机的安全操作规程。

图8 按钮控制堆垛机取货

3.教学培训

教学培训模块通过文字、图片、视频以及动画等多种方式帮助工人学习与装备结构、操作规程、故障排查、安全事项以及装备维护相关的知识。文字和图片能够清晰地说明故障情况和位置，并提供相应的操作规程，帮助工人进行故障原因的排查和分析，工人可以通过手势交互垂直滚动条，从而滚动并查看隐藏的内容，如图9所示。

图9 故障排查教学培训

同时，视频和动画可以直观地展示堆垛机的安全操作、正确的装备检修维护方法，以及在维护过程中需要注意的安全事项。本文使用3D Max创建堆垛机各个部件的模型，然后导出并渲染它们，并在Adobe After Effects中进行动画处理和特效制作。最后，通过Adobe Premiere Pro进行剪辑、修色、添加字幕、调整音频、添加音效、配乐等操作，完成堆垛机装备维护保养的动画制作，动画视频如图10所示。

图10 装备维护视频动画

4.培训考核

培训考核模块结合系统装备结构模块、作业模拟模块以及教学培训模块中关于堆垛机装备结构、操作规程、故障排查、安全事项以及装备维护相关的知识，以答题的形式加深工人学习成果。系统通过建立一个包含堆垛机的不同类型和难度的知识题库，以确保考核的随机性和全面性。系统会将工人提交的答案与预先设定的标准答案进行对比，以判断答案的准确性，如图11所示。

图11 知识问答考核面板

同时，培训考核模块还可以调整工人的学习态度。答案的正确与否能直接反映掌握程度，使得工人及时发现自己的不足并返回装备结构模块、作业模拟模块以及教学培训模块进行重新学习，以此来激发学习积极性。

四

系统应用

在Unity中完成混合现实堆垛机培训系统的开发后，将其部署到HoloLens2上，工人通过佩戴Hololens2开始进入培训。工人可以根据系统逐步学习装备结构认识、手动操作模拟、堆垛机教学培训，直至最后的知识考核。

工人在现实环境中通过混合现实技术可以在三维模型旁观看堆垛机装备维护、安全教育以及故障处理动画，使得工人能够更直观地理解教学内容，从而提高学习效率和培训质量，如图12所示。此外，系统实现通过点击视频画面实现播放与暂停，并且当工人点击画面下方的按钮时，可以切换到不同的动画视频。

图12 装备维护视频实际应用图

工人在接受系统培训时遇到堆垛机取货作业题目时，可以重新回到作业模拟模块，重新学习堆垛机作业相关知识，如图13所示。这种学习方式有助于工人更深入地理解和掌握堆垛机操作技能，从而提高实际作业时的准确性和效率。

图13 培训考核实际应用图

五

结论

本文根据化纤车间对堆垛机培训的需求和现存问题，结合HoloLens2开发了混合现实堆垛机培训系统，可解决传统短期集中式培训中存在的效率低、体验差以及学习积极性不足等问题。系统对化纤车间堆垛机作业环境进行了三维建模，为系统提供仿真的培训环境，工人使用HoloLens2进行混合现实堆垛机培训，通过头部、手部以及视线与系统进行互动。系统分为四大功能模块，分别可帮助工人理解堆垛机装备结构的组成和工作原理、掌握手动模式下安全控制堆垛机的取货作业过程、提高故障排除和维修能力以及发现自身不足的知识并及时纠正，在培训考核中提升技能水平和工作质量。

此外，混合现实堆垛机培训系统在实际应用中具有明显优势。工人通过混合现实技术能够在真实环境中查看虚拟三维模型，从而直观地理解教学内容，并随时调整自身学习进度，更灵活地参与培训与掌握堆垛机操作技能。同时，HoloLens2的交互技术能帮助工人更好地理解和掌握培训内容，提高了系统的准确性和效率，也为现代工业培训带来了新的可能性。

参考文献:

[1] 孙岩.立体仓库堆垛机在造纸行业的应用[J].造纸技术与应用, 2023, 51 (03): 34-36.

[2] 李木泽,王强,张俊,等.双立柱堆垛机常见故障及维护保养分析[J].内燃机与配件,2021(11):178-179.

[3] 黄进,韩冬奇,陈毅能等.混合现实中的人机交互综述[J].计算机辅助设计与图形学学报,2016, 28 (06): 869-880.

[4] Bhardwaj A, Bhardwaj M, Gaur A. Virtual reality: An overview[J]. International Journal of Scientific and Technical Advancements,2016,2(4): 159-164.

[5] 魏巍,冯蓬勃,陈峥廷,等.增强现实辅助装配技术综述[J].包装工程,2021,42(14):108-118.

[6] 梁子寅,刘向东,卢宗慧,等.基于虚拟现实技术的堆垛机培训系统研究[J].制造业自动化, 2023,45 (09): 184-188.

[7] 王崴,李恒威,刘海平等.混合现实技术在军事中的应用综述[J].兵器装备工程学报, 2021,42 (09): 15-25.

[8] 罗伟,王燕一,侯霞等.混合现实技术常见应用场景[J].中华老年口腔医学杂志,2019,17 (01): 55-58. 2019.01.013.

[9] 吴波,陈春晓,徐劲力.基于HoloLens的汽车主减速器虚拟装配系统设计[J].现代制造工程,2019,(08):41-49.

[10] Ong S, Siddaraju V K, Ong S, et al. Introduction to the mixed reality toolkit[J]. Beginning Windows Mixed Reality Programming: For HoloLens and Mixed Reality Headsets, 2021: 85-110.

———— 物流技术与应用 ————

编辑、排版：罗丹

本文内容源自

欢迎文末分享、点赞、在看！转载请联系后台。

广告宣传