基于自动图像识别的工业智能坡口机器人研究

2021-12-09刘世鹏张华龙

信息记录材料 2021年11期

张硕，刘世鹏，张华龙

（河北经贸大学河北石家庄 050000）

1 引言

自动图像识别的工业智能坡口机器人使用双摄像机立体视觉系统采集待加工的零件图像，由图像识别算法进行识别，可应对复杂的环境光照条件，获得零件的类型和尺寸等信息，引导机器人进行坡口加工作业，可取得良好的加工效果，未来将广泛应用于工业先进制造等领域。

2 系统构成

2.1 硬件构成

坡口机器人硬件部分主要由ABB六轴机器人、工业相机、火焰切割枪、控制台、坡口切割/焊接工作台组成，各部分功能如下。

ABB六轴机器人：在机械臂顶端安装旋转机架，可同时安装工业相机和火焰切割枪，机械臂负责携带工业相机到指定位置进行拍照，还负责携带等离子切割枪到指定位置进行坡口加工。

工业相机：安装在机械臂顶端的旋转机架上，负责对待加工的工件进行拍照。

火焰切割枪：安装在机械臂顶端的旋转机架上，负责对工件进行坡口切割。

控制台：内置上位机总控软件和图像识别算法库，负责对工业相机采集的图像进行识别处理，并控制ABB机器人进行指定动作。

坡口切割/焊接工作台：用来放置待加工的板材零件。本系统无需指定零件的摆放位置，零件可以任意摆放，只要不超出工作台范围即可正常加工，见图1。

图1 硬件组成

2.2 软件构成

坡口机器人软件部分主要包括图像识别核心算法库和上位机总控软件，各部分功能如下。

图像识别核心算法库：对工业相机采集到的图像进行识别处理，包括零件定位、类型识别、轮廓提取、尺寸计算等功能。

上位机总控软件：对机器人作业的整体流程进行控制，以及与操作人员的人机交互。

3 作业流程

本项目中的坡口机器人能够记录加工过的零件类型，在同类型零件出现时，可以自动识别并套用相应的加工参数；能够识别从未加工过的零件类型，通过后台算法获得新零件的加工参数。机器人系统内置了两种作业模式：“工作模式”和“学习模式”。

工作模式：工业相机拍摄零件图像之后，图像识别程序通过比对库存模板，确认是否已加工并记录过的零件类型，若是则触发正常“工作模式”，通过图像对零件位置进行定位，并控制割炬进行加工。

学习模式：工业相机拍摄零件图像之后，图像识别程序通过比对库存模板，确认是否已加工并记录过的零件类型，若未加工过则触发“学习模式”，对未处理过的零件类型进行学习。机器人系统通过计算零件尺寸、保存图像模板、记录类型参数等步骤，对新零件的信息进行分析和记录。学习模式处理完成后，新零件信息入库，即可按照正常“工作模式”进行加工处理。

4 系统特点

根据产品特点，需要切割的板材厚度大部分在6～30 mm，采用火焰切割的方式，能够解决钢板厚度大、工件异性、弧形等坡口加工问题，既提高工件的切割质量和加工效率，还增加了产品的经济效益。本项目主要由一套ABB工业机器人及控制系统、一套计算机视觉系统、一套火焰切割枪、一套自动点火设备、两套坡口切割工作台、一套安全护栏以及一套电气控制系统构成[1]。

5 核心技术

5.1 工件图像目标区域提取

系统通过工业相机获取工件的灰度图和深度图。由于现场进行工件图像采集的环境比较嘈杂且存在灰尘，通过工业相机获取的图像含有部分噪声，将其进行去噪处理，增强其边缘信息等特征，并对工件深度图进行灰度化处理，提取工件图像的目标区域[2]。

5.1.1 灰度图预处理

空气中存在的粉尘、杂质以及采集系统周围的高频干扰，可能使得工业坡口机器人采集到的图像含有噪声，这时就会造成图像里面有用的信息比例下降，所以我们需要对工件的原始图像进行灰度去噪处理。经过处理后的工件图像，其边缘特征较模糊，因此需要对图像进一步处理。

5.1.2 图像平滑滤波

对工件图像进行平滑处理后，其效果更加清晰。通过降低噪声，去除其他对图像信息不利的因素，可有效防止工件图像模糊。根据相机收集到的灰度图像背景存在的碎屑、空气中的粉尘等问题，系统采用高斯滤波算法对工件图像进行平滑滤波处理。

5.1.3 工件图像增强处理

经过去噪的灰度图，其边缘信息可能较模糊，呈现亮暗的现象。此时需要将图像先进行灰度归一化处理，再进行直方图均衡化处理，使图像信息更加明显。通过实验获得的效果图见图2、图3。

图2 均衡化处理效果图

图3 均衡化处理直方图

5.2 工件边缘轮廓提取

工件边缘轮廓是描绘图像中物体外形的线条。对工件的目标区域进行边缘算子检测，可以获取其边缘轮廓信息。将双摄像机捕获的图像进行拼接，可获得较为完整的工件边缘图像。

5.2.1 轮廓提取流程

工件的轮廓信息在图像处理以及无限追踪中占据重要地位。工件轮廓提取我们采用灰度图像阈值分割技术，得到物体的二值图像，利用图像梯度算子进行工件轮廓建模分析，以获取工件的边缘信息，并通过灰度图与深度图的对比，获取最后轮廓。

5.2.2 边缘提取

合理使用边缘算子对工件轮廓图像进行提取。根据工件种类及作业场景不同，我们需要为不同的边缘轮廓匹配合适的边缘梯度算子，本项目主要采用Canny算子，不容易受噪声影响，且检测到边缘定位较为准确，图像轮廓较为完整。

5.2.3 最佳轮廓确定

工件图像经过深度处理后，可以进行平滑预处理获取工件目标轮廓信息，利用Canny边缘算子求出工件的法线，选择合适的工件模型，工件轮廓的边缘点即为梯度的极大值点。并进行工件内轮廓的扫描，收集图像的边缘点集信息，将取得的工件边缘信息进行绘制，便可确定工件的最佳轮廓。

5.3 视觉标定

自动图像识别的工业智能坡口机器人，通过相机采集工件图像后，需要将工件图像信息转化为视觉坐标轴信息，对工件的坡口加工部分进行视觉标定，降低由于深度相机的畸变参数过高导致系统误差，引起工件切割错误，影响产品质量。经过视觉标定，机器人可锁定工件位置并进行目标追踪，无需人为干预便可完成坡口加工作业。

5.3.1 基于张正友方法的相机标定

传统的相机标定方法或精度不高，或价格昂贵，采用张正友方法的相机标定策略进行图像特征区域的提取，获得对应深度相机的图像参数，既降低了项目开销又提高了标定精度，因此本项目采用此种方法进行相机标定。

5.3.2 机器人机械臂与相机关系标定

系统经过相机标定后，深度相机既可通过坐标系来控制机器人的机械臂运动，进行坡口加工作业。还能定位工件在坐标系中的位置，计算相应参数，变换坐标轴，将位置信息传递给机器人，控制机械臂完成相应作业。

5.4 工件轮廓拼接与匹配

为获取较为完整的工件轮廓图，系统采用双摄像机进行多角度图像采集，以获取不同角度的工件图，对这些工件图进行轮廓提取，利用图像拼接技术，可获得切割平台轮廓图。

5.4.1 拼接与匹配流程

利用上述方法，我们可获得多张具有重叠区域的图像，采用工件拼接技术获取完整的工件轮廓图，并利用CAD工件图进行图像识别，构建标准模型轮廓图，获取工件切割轨迹。

5.4.2 工件拼接与匹配

系统利用双摄像机进行视觉变换，在不同位置进行拍摄，并将工件的重叠区域进行拼接，获取完整的工件轮廓信息，并与CAD模板进行匹配。

6 可行性分析

工件的坡口加工采用传统方式，其加工质量差、效率低，人工成本较大。采用半自动方式，在某些流程中依然需要人工操作，其加工效率得不到保证。随着人工智能技术的不断发展，将计算机视觉应用于工件的坡口加工，通过设计高级图像识别算法，代替人工操作，可提高产品的质量和加工效率。本系统利用机器视觉应用，采用工业深度相机进行图像采集，使机器人拥有了“眼睛”，利用图像识别技术分析图像信息，使机器人拥有了“大脑”。智能坡口机器人具有零件自动定位功能、类型自动识别功能、参数自动适配功能、全自动坡口切割功能，可满足任意形状工件的坡口加工需求[3]。