AI+3D视觉如何打造新一代协作机器人|ai|人工智能|人机交互|协作机器人|大模型|机器视觉

人工智能（AI）的持续进步正在革新几乎所有领域——包括机器人和机器人技术。

AI 应用是未来协作机器人技术的发展趋势，未来只有具备人工智能，自主学习判断的协作机器人才可以成为真正的协作机器人。机器人除了安全和人机交互外，必然需要深度学习，可以通过自主学习训练使得机器人更加具备智能化，也是人机交互的重点。

目前，AI+视觉+协作机器人的功能优势主要体现在两大方面：

1、视觉：智能识别（对复杂物体的识别、堆叠等情况的智能分割）、小样本训练（快速学习）等。

2、机器人：路径规划的智能化，AI视觉的路径规划会自主判断机械臂是否与周边环境产生干涉、碰撞，自动选取相应的抓取路径、位姿等，并通过视觉确定物体点位，做到辅助机器人做路径规划，针对变化的场景和来料不一致的情况规划灵活的路径。

那具体来说，什么是AI协作机器人？

AI协作机器人是结合智慧AI、视觉、协作机器人三大领域科技的机器人，实现脑、眼、手合一，让机器人能像人一样：看到-判断-执行任务。

传统协作机器人的功能更多地集中在“看到”和“执行任务”这两个步骤， “判断”更多的还是人（操作工）来进行，而与AI的集成使AI协作机器人具备了人的部分功能，从而更有效率地与人协作生产，提升制造质量。

01

协作机器人的眼睛：AI VISION

在工业场景中，装配线上的物体大小、质地、方向或重量各不相同，需要智能来区分这些差异并相应地做出反应。前文说到，AI协作机器人最大的特点就是能够像人一样进行看到-判断-执行任务，那么AI协作机器人是怎么“看到”的？跟传统的视觉系统有何区别？

1.1 传统机器视觉和AI 视觉对比

从原理和技术上来看，传统机器视觉主要依赖于规则化的算法和预定义的特征提取方法，如边缘检测、角点检测等，这些方法通常需要仰赖工程人员调用机器视觉演算法与规则设定。

AI视觉则利用深度学习模型，尤其是卷积神经网络（CNN），自动从大量数据中学习特征，减少人工干预即可提取复杂特征。

上图是达明机器人AI视觉实现运行的原理，目前达明机器人的AI视觉系统在目前的市场上发展相对成熟，并已经投入在实际的工业场景中。

通过对比图，我们能更清晰地看到AI视觉和传统机器视觉的差异。达明机器人的AI视觉技术在传统视觉之上增加了AI训练，通过有效的图样来让电脑自动学习出判断规则，进而通过全图像操作界面，简化神经网络训练，不但可以解决对于传统机器来说过于复杂的应用，还能提供人眼检测无法匹敌的一致性。

从原理和技术角度分析后，我们了解到，人类天生就能做到区分物体的差异，但机器人要做到这一点，需要接受大量的训练。

1.2 那在具体的应用中，AI视觉是如何接受训练，并能实现哪些功能呢？

达明AI的主要分为四个步骤：取样、标记、训练、上线。

1、取样：图像搜集

首先，取样步骤包括图像搜集，具体操作是将要辨识的物体拍照并上传到TM AI+训练服务器。

2、标记、训练：TM AI+ Training Server

其次，标记和训练这两个步骤几乎是同步，在标记和训练阶段，先设定AI视觉任务类型，可以是物件分类或物件侦测，然后对上传的物体照片进行标记，接下来设定AI模型的训练参数并开始训练，最后对训练结果的准确率进行评估。

3、上线：模型汇入与上线

当准确率到达一定标准后，最后一步就是上线，连接AI+ Training Server，从服务器下载模型，并进行AI视觉识别与推理。

目前达明机器人的AI Vision，已经实现了图像分类、物件侦测、图像分割、异常侦测、文字识别等五大功能。

例如，在图像分类中，达明AI可以从预定义的多个类别中为样本图像分配一种标签，如OK、NG，或者是各类型之瑕疵等。在物件侦测中，通过在物体周围绘制边界框并分配类别标签，定位并识别图像中一个或多个物体。

1.3 AI Vision如何改变协作机器人工作方式

到目前为止，协作机器人技术主要集中在单一功能上，例如协助工人完成诸如起重和包装产品等任务。如果没有机器人视觉，机器人就是盲目的机器，只能按照编程移动，执行那些可能耗费人类大量体力且具有挑战性的重复性工作。但随着工业4.0的到来，想要跟上第四次工业革命的需求和趋势，协作机器人就要不断进行革新和发展。而如今，人工智能的整合为协作机器人带来了众多优势，正推动着人工智能和协作机器人领域的发展。

AI+视觉带给了协作机器人无限可能，那么在真实的工业场景中，AI协作机器人能够为哪些行业用户提供帮助呢？

例如在整车汽车厂中，质量控制至关重要，一辆车在出厂之前会进行严格的车内部、车外部以及发动机检测，提高效率与准确性对于汽车整车厂来说至关重要。

达明曾为日本某家头部汽车厂商提供过一套完整的协作机器人汽车检测方案，并取得了不错的成果。

达明推出的汽车AI/AOI检测系统，旨在通过先进的人工智能和自动光学检测技术，提升质量控制的效率和准确性，主要面向国内外主要汽车厂。该系统的核心优势在于其采用的TM AI+技术。

技术的突破使得检测能够覆盖传统AOI无法识别的项目，例如在整车外观和相关的检测中，共涉及超过100项细节。具体来说，系统可以对车外部的56个项目、车内部的53个项目以及发动机室的25个项目进行全面检测，确保每一个细节都符合质量标准。

在操作界面上，系统提供图形化显示功能，用户可以实时查看项目的图纸以及各个工作点的合格与否。例如，当检测到左前外开段的颜色不符合标准时，系统会立即标记为“失败”，并记录相关数据。这种透明的反馈机制，不仅提高了检测效率，也减少了人误判的可能性。

另外，系统的历史结果备份功能保证了数据的可靠性，用户可以轻松访问以往的检测记录，从而有助于分析和改进生产流程。同时，针对人员权限的管理，系统对改判结果和操作变更进行了详细的信息记录，增强了生产过程的透明度。

可以看到，汽车AI/AOI检测系统不仅有效提升了汽车制造过程中的质量控制，降低了误判率，还通过友好的用户界面和强大的数据管理功能，为定制和精细化管理开辟这一系统的应用，促使我们在推动汽车制造业迈向更高质量标准的道路上又向前迈出了重要一步。

02

挑战与进步

AI Vision+3D视觉

目前主流的机器视觉方式分为2D视觉和3D视觉两大类。相较于2D视觉，3D视觉更接近人眼，其核心在于对3D几何数据的采集和利用，在传统的图像信息之外增加了额外的空间维度，可获取物体的深度信息，实现多维度定位识别。3D视觉可以测量与形状相关的特征，例如物体平直度，表面角度和体积，实现多层摆放或无序物体识别。

随着终端用户对定制化产品需求越来越高，生产线的部署更加柔性，来料、生产、质检等工序的自动化弹性更加显著，要求机械臂对物料的抓取更加精准和高效，加速了3D机器视觉在制造业的规模化应用。借助3D定位系统，通过对生产工件的3D扫描，获取建模数据后，就能给出机械臂最佳的路径，让机械臂精准抓取物料。目前，3D机器视觉技术结合人工智能正成为主流趋势，如融合深度学习技术，使得协作机器人执行更高精度、更复杂的工作，如识别不规则物品，对无序混料进行分拣，可适用于高质量检测、物流分拣、微型螺丝拧紧、电子产品精密装配等场景。

目前AI在3D视觉中的渗透率较低，但随着产品良率要求提升、不确定性场景的自动化改造升级、AI技术与3D结合方案逐渐成熟，3D视觉及AI在机器人中的应用在近两年将快速落地。

3D视觉在从场景中提取物体的三维信息方面表现出色，但在识别复杂物体的表面纹理、颜色和特征时存在一定的局限性。AI视觉则通过深度学习，能够有效地从复杂场景中分割出物体因此，在多个分割连续或交错重叠的目标场景中，单靠3D视觉的精度可能存在不足。通过将3D视觉与AI结合，可以将3D视觉大幅提升三维的定位精度，使机械臂视觉能够在正确的位置和方向上拾取和放置物体，同时人工智能视觉则为机械臂提供对物体的理解能力。