基于模板匹配的法兰盘位姿估计研究

2024-03-25戴琨祁宇明董瑞佳

科技创新与应用 2024年8期

戴琨祁宇明董瑞佳

摘要：针对工业机器人自动分拣中当工件有较大的旋转角度时，普通的模板匹配法无法准确地得到抓取和放置工件正确位置的问题，提出一种基于内边界追踪粗定位和基于模板匹配精定位的两步视觉定位方法。针对谐波减速器输出法兰盘，采用八邻域内边界追踪法对工件旋转角度进行粗定位，通过霍夫圆检测技术得到工件的中心位置，并通过一种改进的模板匹配法得到工件精确的旋转角度。实验结果表明，位姿检测的平均误差不大于0.1°，该定位方法在合适条件下可以满足精度要求。

关键词：工业机器人；霍夫圆检测；内边界跟踪；模板匹配；位姿检测

中图分类号：TH166 文献标志码：A 文章编号：2095-2945（2024）08-0157-05

Abstract： In order to solve the problem that the common template matching method can not get the correct position of grasping and placing workpiece accurately when the workpiece has a large rotation angle in the automatic sorting of industrial robot， a two-step visual localization method based on inner boundary tracking and fine positioning based on template matching is proposed. Aiming at the output flange of harmonic reducer， the eight-neighborhood inner boundary tracking method is used to roughly locate the rotation angle of the workpiece， and the central position of the workpiece is obtained by Hough circle detection technique. The accurate rotation angle of the workpiece is obtained by an improved template matching method. The experimental results show that the average error of pose detection is less than 0.1， and the positioning method can meet the accuracy requirements under suitable conditions.

Keywords： industrial robot; Hough circle detection; inner boundary tracking; template matching; pose detection

工業机器人广泛应用于码垛、焊接装配等工作中，代替人类劳动，如果工作环境和操作对象都有精确的结构化模型时，机器人的生产效率很高，但精确的结构化需要付出昂贵的代价[1]。在使用机器视觉后，使机器人朝柔性化和智能化的方向发展，节省了成本，提高了生产效率[2]。随着机器视觉的发展，机器人分拣系统在多个行业取得了广泛的应用[3]。模板匹配当识别对象有较大旋转角度时便无法准确地对识别对象进行定位，有许多学者提出了解决该问题的方法，如Yang等[4]提出了一种鲁棒性较强的模板匹配法。张卫芬等[5]设计了一个基于机器视觉的物料分拣系统，使用了基于灰度值的模板匹配识别定位，该方法为了识别不同角度的分拣对象，当无法识别出对象后，将匹配的模板旋转15°去进行粗匹配，这样当识别对象旋转角度较大时，粗定位所需要的时间就会较长，而本文在此方法的基础上提出一种针对圆形工件基于内边界粗定位和基于模板匹配精定位的两步定位法，用于解决谐波减速器自动装配中对输出法兰盘的定位问题，并对粗定位的方法做了改进。通过对谐波减速器的输出法兰盘模型的定位实验，证明了该方法的有效性。

1 系统结构

该系统主要由工业机器人、工业相机、计算机组成。该系统的摄像头采用eye-to-hand的安装方式，工业摄像机安装在传送带的上方。并将补光灯与工业相机安装在一起，工业机器人的末端采用气动的机械手。图像的采集、处理及对工件的定位都在计算机中完成，并通过以太网将工件的位姿传到工业机器人的控制器中，然后工业机器人根据工件的位姿信息规划路径，完成对工件的抓取并放在正确的位置。该系统的结构图如图1所示。

2 单目视觉系统

由于相机的安装方式是采用eye-to-hand的安装方式，故只需要对相机进行标定。相机标定的作用是建立二维图像中的像素点与现实世界中的元素点的对应关系，相机标定的好坏决定了定位工件位姿的准确性，采用张正友棋盘格标定法对相机进行标定[6]，使用Harris角点检测法检测棋盘格的角点，根据检测出的角点求出相机的内外参数[7]。相机标定的相机模型为小孔成像模型，摄像机坐标系、图像坐标系、世界坐标系的转换关系如图2所示。

，（1）

式中：（u，v）为图像坐标系的坐标，（u0，v0）为图像像素坐标系的主点坐标，dx和dy是单位像素的物理尺寸，f为成像系统的焦距，（X，Y，Z）为世界坐标系坐标。拍摄的棋盘格照片如图3所示。

通过标定可得内参数矩阵

。（2）

3 目标识别与定位

3.1 图像处理步骤

采集的图像为谐波减速器输出法兰盘的模型图像，首先复制原图。将采集到的图像转换为灰度图像，然后进行高斯滤波，对高斯滤波后的图像做霍夫圆检测，得到工件中心位置的像素坐标。将复制出来的图片转换到HSV色彩空间，并进行颜色提取，然后根据霍夫圆检测得到的圆心像素坐标对图片进行截取，接着对截取的图片做闭操作，将图像上的黑色小块消除后对椭圆做边缘提取，根据边检像素求得椭圆的中心坐标点，结合霍夫圆检测得到的圆心坐标求出过这2点直线的斜率和倾角，对工件的旋转角度进行粗略的估计，将灰度图像旋转倾角附近的角度与水平子图进行匹配，比较求得的R值，R值最大的图像的旋转角度为工件的旋转角度。其流程图如图4所示。

3.2 图像预处理

1）先将原始图像转换为灰度图像。由于相机采集的图像中有噪声，会对目标的特征提取和识别造成影响，导致误差，因此先对图片进行平滑处理，去除图片中的噪声。常见的滤波方法有高斯滤波、中值滤波、均值滤波等。高斯滤波对图像中的随机高斯噪声有较好的抑制作用，中值滤波对椒盐噪声和个别毛刺噪声有比较好的去除作用。由于采集到的图片中没有出现较明显的椒盐噪声等，因此选择使用高斯滤波，高斯滤波如公式（3）所示

但在实际计算中使用掩膜来近似计算，如3×3的掩膜为

。（4）

分别使用3×3、5×5、7×7大小的掩膜对图片处理，结果如图5—图7所示。

可以明显观察到随着掩膜的增大，图像的边缘越来越模糊，图像的信息损失越来越多，为了更好地保留图像的边缘信息，又可以去除图像中的噪声，故选择3×3大小的掩膜对图像做平滑处理。

2）将原始图像转换到HSV色彩空间，然后对图像进行颜色提取，根据工件的颜色特征，设置H、S、V通道值的范围为[100：124]、[43：255]、[46：255]，结果如图8所示。

3.3 特征提取

根据工件的形状特点，选择使用Hough（霍夫）圆检测来对待检测图片做特征提取，Hough圆检测的期望方程为

（x1-a）2+（x2-b）2=r2。（5）

对灰度图做均值迁移滤波后进行Hough圆检测，最终得到工件边缘的轮廓和工件的圆心位置。Hough圓检测的结果如图9所示。

根据霍夫圆检测得到的圆心坐标（a，b）对转换到HSV色彩空间并提取完颜色的图片做剪裁，在其上截取图片的区域根据以下公式计算

x1=a-r×■x2=a+r×■ ，（6）

y1=b-r×■y2=b+r×■ ，（7）

式中：r为霍夫圆检测的图像中工件的半径；x1、x2为截取区域左端和右端的坐标；y1、y2为截取区域最上端和最下端的区域截取的图像如图10所示，其4个角周围有小块的黑色区域，在图10中用圆弧把这些都标注了出来。这些黑色的小块会对边缘提取造成影响，故对截取的图像做闭操作，结果如图11所示。

截取的图像中做完闭操作后只剩下2个黑色的椭圆，然后对椭圆进行边缘提取，边缘提取使用的方法是八邻域内边界追踪，八邻域的示意图如图12所示，中心黑色的方格代表中心像素，其周围的8个方格为其邻域像素。内边界跟踪的算法步骤如下。

1）对图像从左到右，从上到下依次扫描，找到要搜索区域像素中行数和列数最小的像素。

2）从步骤1）找到的点开始，以逆时针的方向搜索当前像素的邻域，当检测到与当前像素的灰度值相同的像素时，将搜索到的像素作为当前像素，并还按逆时针的方向搜索其邻域。

3）判断当前边界元素与第二个边界元素是否重合，且当前边界元素的前一个元素与第一个边界元素是否重合，如果重合，则结束边缘检测，否则重复步骤2）。

4）检测得到的像素便为椭圆的边界像素，由于内边界跟踪是从行列最小的区域元素开始，且只能追踪出一个区域的边界，故只能得到一个椭圆的边界元素，本文使用的方法只需要得到一个椭圆中心点的像素，故可以使用该算法。

边界追踪的结果如图13所示。

经过内边界追踪后得到其中一个椭圆的边界点的像素坐标，这些点的横纵坐标通过公式（8）计算，估计出椭圆中心的坐标为

，（8）

式中：（X，Y）为椭圆中心点的坐标，H为获取的椭圆边界像素的个数，（xi，yj）为每个椭圆边界像素点的坐标。然后根据求出来的椭圆中心点的像素和霍夫圆检测，根据式（9）计算出过工件圆心和椭圆中心点的直线的斜率为

k==。（9）

然后根据斜率求出该直线的倾角，从而估计出工件旋转的大致角度θ。由于要以子图为标准，用模板匹配的方法判断工件的旋转角度，故需要定义一个工件的零度位置，并用相机采集此时工件的图像，转换为灰度图像后截取一个包含2个椭圆的矩形区域，截取的子图如图14所示。

3.4 模板匹配

本文使用的模板匹配法是基于区域灰度值的模板匹配，该方法有较高的鲁棒性，但是该方法是将模板从左到右，从上到下与待检测图片重合部分每个像素一一对应，比较灰度值的差异，将重叠像素的灰度值比较，求出子图与原图重叠部分的相关度。本文采用的是归一的标准化差值平方和匹配法，其计算公式为

，（10）

式中：（x′，y′）为子图中像素的坐标位置，T为子图像素的灰度值，I为目标图像像素的灰度值，（x，y）为目标图像中的像素坐标。但是该方法有较为明显的缺陷，当工件发生旋转时模板、子图便不能准确地匹配出待检测图片中要匹配的位置，会给定位造成很大的误差，造成机械臂无法抓取到工件，从而使算法失效。因此对该算法进行改进，将工件的灰度图像旋转（θ-1，θ-0.9，θ-0.8，…，θ+0.9，θ+1）°，θ为3.3节中得到的直线倾角，然后将旋转得到的20张图像再与3.3节中水平位置子图进行匹配，每幅图像都会得到一个R值，将得到的20个R值进行比较，值最小的图像就是与水平子图匹配结果最好的图像，其角度就是工件的旋转角度。图15—图16为模板匹配的结果。

4 实验

分别将工件摆放到相对于规定的水平方向旋转0°、45°、90°、135°、145°和180°的位置，通过工业相机采集到工件在这6个角度的图像，对6张采集到的图像做处理后得到工件的旋转角度和中心位置，与工件的实际角度和位置进行比较，通过计时函数得到该方法定位所需要的平均时间为875 ms。实验结果见表1。

5 结论

本文提出的基于内边缘粗定位和基于模板匹配精定位的方法经过实验后，实验结果表明该方法对目标识别的速度较快，且稳定性较好，误差也较小，该方法可以用于自动安装或分拣的流水线上对识别对像进行定位，具有一定的参考价值。

参考文献：

[1] 李福东，季涛，徐德，等.基于双目视觉与工业机器人的大型工件自动上下料系统[J].机械设计与制造工程，2019，48（1）：43-46.

[2] 王诗宇，林浒，孙一兰，等.基于机器视觉的机器人分拣系统的设计与实现[J].组合机床与自动化加工技术，2017（3）：125-129，133.

[3] 王成军，严晨.机器视觉技术在分拣系统中的应用研究综述[J].制造技术与机床，2020（5）：32-37.

[4] YANG Y， CHEN Z， LI X， et al. Robust template matching with large angle localization[J].Neurocomputing，2020（398）：495-504.

[5] 张卫芬，汤文成.基于机器视觉的物料自动分拣系统研究[J].组合机床与自动化加工技术，2019（6）：34-37.

[6] MAO Y，ZENG L C，JIANG J， et al. Plane-constraint-based calibration method for a galvanometric laser scanner[J].Advances in Mechanical Engineering，2018，10（5）：1-11.

[7] 黄琬婷，胡小平.一种基于张氏标定法的单目相机改进标定算法[J].导航与控制，2019，18（1）：105-111.

钢球与机加工孔径配合密封是一种常见机械摩擦副密封方式，广泛应用于各种机械部件液体通道密封。钢球密封设计选用过盈配合方式，制造使用压装方式实现。密封原理依靠包络钢球外径少部分球体的金属产生塑性形变形成密封带，有效长度短，对压装工艺压力响应不灵敏，无法有限监控过程压装力。本文对铝合金孔与钢球密封配合失效问题解决方法做工艺研究，推导压装力计算、控制、优化的过程，说明钢球压装工艺压力设定方法。

1 钢球压装失效问题

1.1 钢球密封失效信息

某型CVT壳体年产约20万台，Φ4.5 mm润滑油道孔选用钢球密封。量产初期工厂及售后故障信息反馈油道密封失效漏油（表1），在不同里程、不同供货商中存在钢球密封不严、钢球脱落等问题产生漏油失效。

1.2 钢球密封工艺过程

钢球装配关联工艺过程为钢球孔粗精铰孔—孔清洗—钢球压装—油道孔密封测试（供货商处）—CVT总成密封测试—整车路跑试验。

1.3 产品设计信息

钢球过盈量设计为0.016～0.058 mm，装配关系如图1所示，钢球为标准钢球，材料为GCr15轴承钢，壳体材料为铝合金ADC12，钢球密封要求油道在0.3 MPa工作油压下可靠地密封。

（a）钢球实物安装示意

（b）钢球安装配合尺寸

2 钢球压装力影响因素及计算

钢球压装是金属与金属间的装配，影响压装力因素有配合过盈量、金属间摩擦力、金属材料弹性和压装结构包络面长度等，这些因素变动压装力随之变动。如图2所示，钢球压装包络结合长度Lf很短，可忽略上端孔径压入口形变尺寸影响，按钢球水平中心线对称方式测算Lf。

2.1 压装力计算模型

压装力计算模型如图3所示，包容件为压装内孔，被包容件为压装件，压装件受到压力F作用压入包容件，包容件发生形变产生F阻力，包括金属形变、过盈量、压装摩擦等因素引起的阻力。图3中Lf、di、df、da等為结构中影响压装力的几何参数。

压装力随压装行程变化，被包容件克服阻力F向前推进，压装行程终了时压装力最大。

2.2 压装力计算公式

根据图3压装模型，压力F与被包容件结合面承受的单位最大压力，结合面长度，结合面直径及结合面摩擦系数有关，压装力计算公式如下

F=Pfmax×π×df×Lf×u，（1）

式中：F为压装力（kN）；df为结合直径（mm）；Lf为结合长度（mm）；μ为结合面摩擦系数；Pfmax为结合面承受的最大单位压力（kN/mm2），影响因素有压装过盈量，配合件材料弹性模量，配合件作用直径，配合件材料的泊松系数。其计算公式如下

Pfmax=δmax/df（Ca/Ea+Ci/Ei），（2）

式中：δmax为最大过盈量（mm）；Ea为包容材料弹性模量（kN/mm2）；Ei为被包容材料弹性模量（kN/mm2）。

Ca为系数，计算公式为

Ca=[（da2+df2）/（da2-df2）]+v，（3）

Ci为系数，计算公式为

Ci=[（df2+di2）/（df2-di2）-v，（4）

式中：da为包容件外径（mm），如为壳体类零件则为壁厚+孔径，本例最大包装直径为24.84 mm；di为被包容件内径，实心轴为0（mm）；v为材料泊松系数。

2.3 压装力计算相关参数值选择方法

查机械设计手册，选择压装力计算的配合件相关参数值。根据包容件和被包容件的零件材料，压装工艺是否有润滑进行区分，总结选择推荐值见表2、表3。钢球压装通常不推荐使用润滑油，自带少量防锈油忽略。Φ4.5 mm钢球压装问题未使用润滑油，μ选择0.17，铝合金弹性模量E选择69 kN/mm2，泊松系数v范围0.32～0.36。

2.4 钢球压装力计算

2.4.1 钢球压装轴向配合长度Lf理论计算

钢球压装结构与图3模型差異为钢球压装外径最大为线而不是面，需根据过盈量计算轴向配合长度，参照图2，忽略孔径入口端变形影响，利用几何关系直接使用CAD软件作图，可以轻松求出Lf长度范围0.38～0.72 mm，见表4。

表3 材料弹性模量、泊松比选择推荐表

2.4.2 压装力理论计

通过在2.2步骤对钢球压装参数选择，3.1步骤配合长度Lf测算，应用公式（1）—公式（4）进行压装力校核，结果见表5。现有设计参数为最小压装力0.138 kN，最大压装力0.953 kN。

3 压装力监控分析

钢球压装设备为非标设备，使用压缩空气为压装动力，本例问题压装设备为气源压力0.5～0.6 MPa，压力监控范围设置为0.4～5 kN，当压力超过范围设备可实现报警功能。现行产品设计过盈量0.016～0.058 mm，理论压装力范围为0.138～0.953 kN，压装设备压力监控不能覆盖产品设计确定的工艺压装力范围，需找到影响根源并改进。

3.1 钢球外径尺寸尺寸分析

抽查钢球尺寸30件，球径变动量范围在SΦ4.499～SΦ5.001 mm，相对于设计公差±0.015 mm，钢球生产工艺成熟且稳定，评估可忽略钢球外径对压装力影响。

3.2 Φ4.5 mm钢球孔尺寸分析

抽查125件安装孔直径，统计过程能力，直方图如图4所示，Cpk值1.21，存在孔径超上下差风险。数据分析显示孔径超下限及上限风险均存在，超下限过盈量增加，钢球渗油及脱出无风险；超上限过盈量降低或无过盈，存在钢球脱出风险，出现表1中失效。

注：图中灰色虚线为用来参考的公差规格线。

如忽略标准钢球球径波动，在安装孔波动情况下，按3.2方法测算压装范围为0.373～0.608 kN，生产中实际压装力接近设备监控范围，但下限仍轻微超出监控下限。

造成孔径变化的因素有刀具刀刃磨损，刀刃夹屑，刀具主轴摆动等综合影响，孔径变化导致压装力变动在设备临界位置无法有效监控。

4 压装力问题的工艺解决方案

4.1 压装力优化方案评估及选择

为消除钢球密封不良问题，需提升钢球装配中压装力监控有效性。团队讨论分析，可减小铝合金加工孔径，增大过盈量，利用现有压装设备压装力监控系统，不增加成本，增加制造鲁棒性等条件下制定措施。

原孔径Φ4.5（-0.031/-0.043） mm公差带22 μm，约为IT8.5精度，在不过渡提高孔径公差精度等级情况下制定产品优化方案。通过查机械设计手册，选择以下2种公差方案Φ4.5（-0.05/-0.068） mm和Φ4.5（-0.043/-0.061）mm，按3.2步骤计算理论压装力，见表6。

两方案压装力比原方案均有所提高，加工精度一样，公差带不一样，方案二最小压装力不在设备监控范围，选用方案一进行优化。

如忽略钢球球径波动，仅安装孔波动情况下，按步骤3.2测算方案一钢球压装力范围为0.761～1.21 kN。压装力下限已抬升至设备监控范围内，距离下限有0.361 kN的距离，提高了监控可靠性。措施实施后设备压装力报警监控范围设置0.5～2.6 kN，提升设备有效性并筛选可疑件评估后再确定是否放行。

4.2 措施效果跟踪

方案一于2022年2月实施，优化钢球压装力工艺及监控，市场售后未再发现同类问题。通过大数据跟踪，措施效果，见表7。低于新设定压装力的缺陷能有效识别，售后市场无钢球渗漏油故障，钢球压装能有效拦截钢球压装异常件，措施有效。

5 结束语

通过Φ4.5 mm钢球失效问题压装工艺研究，不增加生产成本，对产品公差带位置微调达成现有工艺的监控优化，解决了问题，为后续同类结构工艺开发提供借鉴经验。

以下几点在本次问题中未开展，特地说明。

1）本文未对钢球设计合理过盈量选择过多进行研究，以未对及过盈量变化对压装配合中零件材料变形影响进行分析。

2）本文未对压装表面粗糙度对压装影响做研究，仅以统一标准摩擦系数数值进行计算。

3）本文未对压装设备变化对压装影响进行研究。

参考文献：

[1] 成大先.机械设计手册[M].5版.北京：化学工业出版社，2007.