基于OpenCV的遥操作工程机器人双目视觉定位技术

2021-01-07张瑞鹏尹燕芳

计算机测量与控制 2020年12期

张瑞鹏，尹燕芳

(山东科技大学电子信息工程学院，济南 250031)

0 引言

遥操作工程机器人随着工业化的不断发展进步而更加高端化，遥操作工程机器人可以在复杂或危险的工作环境下代替人力操作，不仅能够高质量地完成高难度工作任务，还能够保障人员的安全。为了进一步提升遥操作工程机器人的工作效率，国内外的科研人员对机器人的视觉定位系统进行研究设计，通过相应的摄像技术来获取图像信息。

文献[1]中提出的SIFI算法的定位技术主要是应用摄像机来锁定并获取二维图像，应用三维技术对二维图像进行三维处理，将二维场景深度扩展为三维景物，分别应用二维空间数据计算理论、计算数据的图形表达、相应的硬件设备试验过程，能够较简单地处理算法与数据之间的反复性关系。文献[2]中提出的SURF算法的定位技术，主要是通过摄像机采集图像的数据整理分析，用于后期的机器人视觉导航，机器人根据摄像机所获取的位置坐标点重新对二维图像进行方向路径规划，此技术的实现过程主要是将图像进行三维坐标提取，再根据三维坐标中的障碍物和机器人的路径规划走向确定视觉跟踪系统中的光学参数与动力学参数。

本文将基于OpenCV对遥操作工程机器人双目视觉定位技术进行研究与实现，尽可能地提升遥操作工程机器人的运行精准度与稳定性。

1 基于OpenCV的遥操作工程机器人双目视觉目标特征提取

本文应用的OpenCV技术能够为遥操作管理人员提供大量的视觉资源与图像处理相关算法，涵盖图像空间中的优化代码与实时图像函数，为遥操作工程机器人双目视觉目标特征提取提供稳定的函数基础与视觉库基础。双目视觉进行目标跟踪的过程中需要划分一个统一的特征分类标准，能够更好地应用与运动目标的跟踪与局部目标的特征识别[3-4]。

颜色特征是遥操作工程机器人双目视觉目标特征提取最为常用的视觉特征，颜色特征与运动的速度、形态等参数无关，颜色特征包含目标与实时场景中的图像精准数据，应用OpenCV技术首先需要建立一个适合工程机器人的颜色特征识别空间体系，空间体系中划分为RGB空间与HSV空间,RGB空间中主要存在光谱色彩参数，空间中所有的颜色特征均与红色、黄色、绿色建立关联通道，为目标的特征跟踪提供色彩通道。HSV空间中主要由亮度、色度以及饱和度组成，此空间中的特征数据主要反映色彩空间中的颜色本质与颜色特征参数，遥操作工程机器人需要随时对彩色图像分析时便依靠HSV空间中的本质特征进行效果比较，更加方便于目标颜色特征的提取[5-6]。HSV色彩空间的原理构成如图1所示。

图1 HSV色彩空间的原理构成图

OpenCV图像处理库中具有不同层次的数据处理函数，根据不同的数据特征和目标图像结构确定函数的运算模式，OpenCV技术中的特征提取主要运用目标小光源作为图像特征，根据目标周围的光源以及饱和度对小光源的影响程度进行固定形式的像素坐标区分，选取像素坐标中的圆形光点，再利用OpenCV图像处理库中的几何算法选取图像函数处理库中的工程机器人抓手路径特征，应用小光源作为特征的目标提取流程如图2所示。

图2 应用小光源作为特征的目标提取流程

在OpenCV的函数计算库中有一套标准的数据算法包，由几百个独立算法构成，算法的运算过程中需要遥操作工程机器人双目视觉提供目标的靶点，由于目标的运动速度不同、运动状态不同等因素，会造成工程机器人提供的靶点目标不同，为此本文将靶点作为OpenCV技术识别的特征之一[7-8]。对于靶点的特征识别有3种匹配方法，分别为基于视觉元素的匹配、基于颜色特征的匹配及基于目标形态的匹配，匹配过程中需要在遥操作工程机器人视觉传达系统中添加体征感知体系，再建立图像识别模板，使整体靶点特征能够完整地投入图像模板中，便于工程机器人管理人员的复杂特征识别，在一块圆形区域内识别出的靶点特征，需要立即在靶点周围建立坐标体系，应用函数坐标系进行特征解析与数据分析，经过函数运算的模板能够简单对该坐标范围内的靶点特征目标实现全面积识别定位，还能够根据特征中的部分数据进行数学形态识别，提升遥操作工程机器人双目识别精准度，实现了OpenCV技术的智能化处理[9-10]。

图像边缘一般是由像素的灰度值变化而产生，每种目标的图像边缘都是该目标的特征之一，图像边缘特征能够描述目标的结构特征，为实现三维双目视觉的定位提供良好的立体结构元素，本文基于OpenCV技术中图像颜色数据库中的颜色变化能够区分图像边缘中的边缘特征。

2 基于OpenCV的遥操作工程机器人双目视觉目标检测定位

遥操作工程机器人双目视觉目标检测定位能够应用于OpenCV图像库中，将相关条件与目标进行关联，在目标识别背景一定的情况下实现不同帧数的运动检测[11-12]。

基于OpenCV技术的目标检测最简单及常见的方法为光流法，此方法主要应用遥操作工程机器人对光流的表达形式因目标运动速度与幅度的变化而改变原理，在工程机器人的双目视觉目标定位过程中计算平面目标在帧数以及幅度方面的变化程度，应用光流法对运动目标检测能够突显方法的光亮流动性特点，三维物体在二维空间中的表达更能表现遥操作工程机器人双目视觉目标定位的信息测控能力，光流产生的目标亮度矢量因素信息可以根据目标与三维空间中的运动状态直接对目标光流因素进行信息提取与跟踪，梯度算法也属于光流法中的计算方式之一，在基于双目视觉能够提取目标运动频率以及精准帧数的前提下，分别计算图像中的稀疏光流密度与密集光流密度的检测运用值，稀疏光流的运算量远远小于密集光流运算量，因此梯度算法类的运算方法更适用于稀疏光流环境下[13-14]。

光流法进行目标跟踪与检测的过程中需要满足充足的视觉亮度与持续时间的空间平衡，保障图像检测过程中的降噪操作稳定，由于自然环境中存在着一些不可避免的噪声、光线变化、阴影偏移等情况，所以光流法在应用于较复杂环境下的目标检测工作中不能满足实际的图像处理需求[15]。

为了能够使本文的检测技术能更加全面化，本文基于OpenCV技术在遥操作工程机器人的双目视觉运行程序中添加背景减除法作为光流法的第二阶段检测方法。背景减除法能够精准地处理复杂环境中的运动目标，将目标的背景模型与图像的处理方式分割开来，提取背景与干扰因素的全部信息。首先确定机器人的检测背景图像，在检测识别的过程中将目标的每帧动作，再将动作帧数与背景图像进行融合寻找经过处理的差分图像，差分图像的二值化阈值处理运动目标的形态处理实现无干扰图像显示。背景图像的差分处理公式如下：

高等职业院校办学主要面向地方产业一线，以学生获得职业技能作为主要培养目标。国务院印发的《关于深化体制机制改革加快实施创新驱动发展战略的若干意见》，明确了技术创新市场导向机制、成果转化激励政策等，推进了高职院校科研工作的发展。高职院校依托校企合作办学，深化产教融合，推进科研成果转化为社会生产力，对地方产业起到积极的推动作用[1]。然而，我国高职院校科研成果的转化率很低，很多科研成果未得到推广。本文对于高职院校科研成果推广的现状、限制因素进行分析，并研究对应策略，提升高职院校科研成果转化率。

D(x,y)=F(x,y)-B(x,y)

(1)

式中，D、F、B、分别代表背景中运动目标图像、背景图像、预检测图像的位置坐标区域，在实际的背景减除法目标检测中需要精准识别B值以及位置，计算B值的表达公式如下所示：

(2)

式中，T代表背景图像的二值化阈值，将检测目标图像的灰度值假设为1，在获取图像明亮度前设目标的前景图像为目标检测区域，获取图像明亮度后设目标背景图像为目标检测区域。

为了补充运动目标检测过程中的帧数识别不精准问题，本文在OpenCV图像函数处理库中引用帧间差分法，将遥操作工程机器人识别的运动目标相邻帧数以图像序列的方式获取目标的初始轮廓，还可以应用三帧至五帧的差分来进行目标的帧数识别，帧间差分法在运动目标检测过程中的实现流程如图3所示。

图3 帧间差分法在运动目标检测过程中的实现流程

设2帧图像与1帧图像分别为K2、K1，经过数学形态分析与二值化阈值处理的图像为R，则帧数的差分法运算公式为：

B(x,y)=|K2(x,y)-K1(x,y)|

(3)

(4)

帧间差分法主要是针对图像的两帧数之间的简单运算，在运动目标检测的过程中不受场景的光学因素影响，所以能够显著提升基于OpenCV技术的实现精准度。

综上所述，通过对视频图像序列预处理，分别得到第一帧第二帧图像，通过OpenCV技术在遥操作工程机器人双目视觉运行程序中添加背景减除法，提取图像背景与干扰因素信息，融合检测识别过程中目标的每帧动作，通过二值化阈值处理运动目标形态，实现无干扰图像显示，通过帧间差分法检测运动目标，实现目标定位。

3 实验研究

遥操作工程机器人配置如表1所示。

本文通过基于OpenCV的遥操作工程机器人双目视觉定位技术与SIFI算法的定位技术、与SURF算法的定位技术进行特征匹配，匹配结果如图4所示。

根据图4可知，本文研究的基于OpenCV的遥操作工程机器人双目视觉定位技术的匹配精度较高，能够确保匹配效果。而传统方法在匹配过程中存在一定误差。本文研究的匹配方法能够适用于任何图像特征，通过创建模板和寻找模板来建立模型，通过模板匹配来提高匹配的精度。

表1 遥操作工程机器人配置表

图4 匹配结果实验图

根据图5可知，本文研究的基于OpenCV的遥操作工程机器人双目视觉定位技术匹配时间较低，在0.4～1.1 s之间波动，而SIFI算法的匹配时间在0.7～1.6 s之间波动，SURF算法的匹配时间在1.3～1.7 s之间波动，由此可见，基于OpenCV的遥操作工程机器人双目视觉定位技术匹配时间较低，效率较好。