轮廓匹配方法改进及其在转子中的应用

王 壮, 戚嘉辉, 赵一鸣, 胡燕海

轮廓匹配方法改进及其在转子中的应用

王 壮, 戚嘉辉, 赵一鸣, 胡燕海*

（宁波大学 机械工程与力学学院, 浙江 宁波 315211）

汽车发动机转子装配误差容易造成零件磨损和效率降低. 针对转子零件装配精度要求, 提出一种基于轮廓与特征点结合的轮廓匹配改进方法. 首先对转子图像进行滤波、二值化预处理; 其次提取轮廓并利用轮廓Hu矩方法进行轮廓粗匹配; 然后提取特征点, 并在以特征点为中心、半径为16像素的圆形区域内生成4个特征描述子作为匹配特征, 利用欧氏距离进行特征点匹配; 最后通过找到的匹配对计算仿射变换矩阵, 得到精匹配结果. 实验结果表明, 该方法在背景复杂、光照变化的条件下能够较精确地匹配轮廓, 保证匹配精度在1像素内, 且生成的特征描述子对数越多, 匹配结果越精确.

轮廓提取; 轮廓匹配; 特征描述子; 特征点匹配; 仿射变换

随着自动装配行业的发展, 装配精度要求越来越高, 视觉检测精度是装配精度的前提[1], 而轮廓匹配技术在视觉检测中被广泛应用, 其对提高轮廓匹配的精度具有重要意义.

对于轮廓匹配技术国内外学者已做了大量的研究. 童小彬等[2]提出了基于方向梯度直方图(Histogram of Oriented Gradient, HOG)特征描述的轮廓匹配算法, 该算法能够有效地匹配到目标轮廓, 且受噪声影响较小. 针对薄片零件外形缺陷问题, 尚小强等[3]提出了一种基于匹配方法的轮廓度检测算法, 对于薄片类产品有较高的检测精度. Korman等[4]提出了一种快速仿射模板匹配方法, 该方法不仅可以缩短匹配时间, 而且在不同的数据集中都得到了较好的匹配结果. 但这类研究对复杂背景环境下的复杂零件的检测精度尚有待提高. 杨白雪等[5]提出了一种尺度不变特征变换的图案匹配方法, 该方法能够对结构复杂的图案实现较好的匹配. Chen等[6]提出了一种基于视觉关键词的产品外观检测方法, 该方法对角度和光照具有较好的鲁棒性. 王琼等[7]融合轮廓信息的匹配算法, 解决了传统区域增长算法处理低纹理图像问题, 有效地提高了图像的特征种子点的提取效率. 该类研究利用了图像特征点匹配的方法, 能够较好地匹配对比度明显的图像, 但是对轮廓匹配效果尚有待提高.

本文改进了图像特征点匹配中特征描述子的描述方法, 将特征点的几何特征作为轮廓特征点的特征描述子进行轮廓匹配, 提高了轮廓的匹配效果. 该方法能够有效提取复杂背景环境下的复杂零件轮廓, 进而提高匹配精度.

1 总体方案

原图像噪声较多, 为减少噪声的影响, 对图像进行滤波和二值化预处理, 为区分图像内的各个零件, 对图像进行分割. 由于工况环境复杂, 为了缩短特征点的提取时间, 利用Hu矩方法计算各零件轮廓的相似度, 从而对目标轮廓进行粗匹配, 然后仅提取粗匹配轮廓的特征点. 复杂的背景影响Hu矩方法的匹配精度, 因此利用特征点信息对轮廓进行精匹配.

轮廓匹配方法的总体方案可分为5个部分: 图像处理、轮廓粗匹配、生成特征描述子、特征点匹配、仿射变换精匹配. 具体流程如图1所示.

图1 轮廓匹配流程

2 图像处理

工业现场环境光容易对图像产生影响, 因此需对获取的图像进行滤波和二值化预处理, 以去除噪声的影响, 增强提取边缘的特征, 进而进行图像分割.

现有的边缘提取方法[8]分为3类: 矩方法、拟合法和插值法. 矩方法计算简单, 且可以得到解析解, 但该方法对噪声较敏感, 容易受噪声影响导致精度降低. 拟合法对噪声有较高的鲁棒性, 但该方法计算复杂、耗时较长. 综合考虑, 本文采取插值法进行边缘提取[9-11], 利用基于形态学梯度的样条插值方法提取轮廓, 该方法既可以克服噪声对轮廓提取的影响, 又可以减少计算的复杂程度, 节省时间. 具体步骤为:

采用的形态学梯度滤波算子为:

式中:1和2为权系数;Grad(1)和Grad(2)分别为2个结构元素的形态学梯度.

(3)利用形态学处理方法, 对步骤(2)中得到的像素边缘进行细化, 得到最佳的边缘效果.

图2 图像轮廓提取

3 轮廓粗匹配

轮廓提取后需要对轮廓进行定位匹配, 主要方法有: HOG特征描述匹配法、Hu矩方法匹配法、形状上下文匹配等. 由于Hu矩具有尺度、旋转、平移不变性, 因此采用Hu矩方法进行匹配.

Hu矩是由7个不变矩组构成[12], 其在图像平移、旋转和比例变化时保持不变.

轮廓Hu矩方法在噪声较大、背景纹理凌乱的条件下匹配精度低. 因此, 需要对匹配后的轮廓进行精确匹配.

4 轮廓精匹配

4.1 特征点提取

曲率特征点提取过程为:

(1)计算轮廓各点处的曲率

图3 提取点集

4.2 生成特征描述子

4.3 特征点匹配

首先通过式(11)计算出待匹配2个轮廓所有特征点的相似度量值, 值越小表示相似度越高. 计算相似度量最小值与次小值之比, 比值若小于实验阈值, 说明2点特征过于接近, 为了避免误识别, 视为误匹配点. 若相似度量最小值与次小值比值大于给定的阈值, 则保留该匹配对, 相反, 如果小于给定的阈值, 则删除该匹配对. 以此类推, 直至全部特征点匹配完成.

针对匹配结果进行仿射变换, 本文采取奇异值分解[16]的方法计算匹配对的仿射变换矩阵, 并计算所有匹配对的欧氏距离.

5 实验与分析

为验证本文方法的有效性, 分别对2种不同变量下的发动机转子零件进行匹配检测. 2种变量依次是改变光照强度、增大背景复杂度. 将本文方法与Hu矩方法进行对比, 以匹配对欧氏距离平均值作为匹配结果的判断标准, 分别记录Hu矩方法与本文方法的平均欧氏距离. 实验所用的设备如图5所示.

图5 实验设备示意图

实验采用600万像素黑白相机, 8mm镜头. 为减少周围环境光影响采用背光作为光源, 视野范围368mm×243mm, 镜头距样品距离为310mm.

先进行图像预处理, 提取轮廓并利用Hu矩方法对轮廓进行粗匹配, 对分割后图像中的轮廓进行编号(图6).

图6 图像中各零件轮廓

分别进行2次实验: 实验1人为对每个零件进行平移操作, 实验2人为对每个零件进行旋转操作. 计算每个轮廓与样本轮廓的匹配系数见表1.

表1 匹配系数

由表1可以看出, 当匹配系数小于0.4时匹配到相同形状的轮廓, 认为粗匹配成功. 提取匹配后两轮廓的特征点, 并进行特征点匹配. 实验得出相似度量最小值与次小值之比大于0.3的匹配对最为准确. 因此, 将0.3作为匹配对相似度量阈值.

对2种转子零件进行检测实验, 分别在改变光照强度, 增大背景复杂度2种变量下检测Hu矩方法与本文方法处理后匹配对的平均欧氏距离. 图7与图8分别为2种零件的检测图像, 包括模板图像、Hu矩方法粗匹配图像、特征点检测图像以及特征描述子检测图像. 调整2种零件的放置角度, 记录60°与120°时的实验结果, 详见表2和表3.

图7 零件1检测图像

图8 零件2检测图像

表2 零件1不同变量下的实验结果

表3 零件2不同变量下的实验结果

汇总零件1与零件2各角度对应的检测误差, 将其结果显示在坐标系中, 如图9和图10所示.

图9 零件1检测误差对比汇总

图10 零件2检测误差对比汇总

从图9和图10可知, 在改变光照强度与增大背景复杂度情况下, 本文方法能保证精度在1个像素以内, 较Hu矩方法精度有明显提高. 由于Hu矩方法中相似度匹配系数的计算过程耗时长, 而本文方法则是在此过程基础上进行精匹配, 因此本文方法耗时要大于Hu矩方法的耗时, 但平均检测时间小于0.6s, 可以满足应用需要. 另外, 形状越简单, 需要匹配的特征点越少, 耗时也越少.

6 结论

(1)为了提高轮廓匹配精度, 提出了特征点匹配策略, 利用特征点周围轮廓信息生成特征描述子, 通过欧氏距离筛选匹配对, 最后对匹配对进行仿射变换. 实验结果表明, 该方法能够有效提高匹配精度.

(2)在实验中生成描述子的对数越多, 其匹配结果就越精确.

[1] 魏中雨, 黄海松, 姚立国. 基于机器视觉和深度神经网络的零件装配检测[J]. 组合机床与自动化加工技术, 2020(3):74-77; 82.

[2] 童小彬, 孟婥, 孙以泽, 等. 基于HOG特征描述的轮廓匹配算法[J]. 东华大学学报(自然科学版), 2020, 46(5):787-792.

[3] 尚小强, 陈从桂, 欧阳光. 基于机器视觉的轮廓度检测算法研究[J]. 机电工程技术, 2019, 48(1):21-23.

[4] Korman S, Reichman D, Tsur G, et al. Fast-match: Fast affine template matching[J]. International Journal of Computer Vision, 2017, 121(1):111-125.

[5] 杨白雪, 张晓丹. 尺度不变特征变换的图案匹配研究[J]. 国外电子测量技术, 2020, 39(2):53-58.

[6] Chen X N, Zhao J, Yang R F. Product appearance detection based on visual keywords matching[J]. Microprocessors and Microsystems, 2020, 76:103062.

[7] 王琼, 袁建英, 李柏林. 一种融合特征点与轮廓信息的匹配算法[J]. 计算机应用研究, 2014, 31(10):3145- 3147.

[8] 刘屿, 孙坤, 谢宏威, 等. 基于形状上下文特征和ICP的高精度轮廓视觉检测算法[J]. 华南理工大学学报(自然科学版), 2018, 46(1):131-138; 144.

[9] Pallotta L, Giunta G, Clemente C. Subpixel SAR image registration through parabolic interpolation of the 2-D cross correlation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(6):4132-4144.

[10] 党士许, 李磊, 张志鸿. 基于改进亚像素边缘提取的一种异性纤维检测方法[J]. 计算机与数字工程, 2016, 44(4):596-600; 682.

[11] Sun X, Shang K, Ming D L, et al. A biologically-inspired framework for contour detection using superpixel-based candidates and hierarchical visual cues[J]. Sensors, 2015, 15(10):26654-26674.

[12] 江波, 徐小力, 吴国新, 等. 轮廓Hu不变矩的工件图像匹配与识别[J]. 组合机床与自动化加工技术, 2020(9):104-107; 111.

[13] Sun H F, Yang J H, Fan R B, et al. Stepwise local stitching ultrasound image algorithms based on adaptive iterative threshold Harris corner features[J]. Medicine, 2020, 99(37):e22189.

[14] 朱思聪, 周德龙. 角点检测技术综述[J]. 计算机系统应用, 2020, 29(1):22-28.

[15] 李东, 万贤福, 汪军, 等. 基于轮廓曲率特征点的服装款式识别方法[J]. 东华大学学报(自然科学版), 2018, 44(1):87-92.

[16] Khurana M, Singh H. Data computation and secure encryption based on Gyrator transform using singular value decomposition and randomization[J]. Procedia Computer Science, 2018, 132:1636-1645.

Improvement of contour matching method and its application in rotors

WANG Zhuang, QI Jiahui, ZHAO Yiming, HU Yanhai*

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

Vehicle engine rotor assembly error is easy to cause parts friction and efficiency reduction. Aiming at the assembly precision requirements of rotor parts, a improvement of contour matching method based on the combination of contour and feature points was proposed. Firstly, the image is preprocessed by filtering and binarization. Secondly, contour matching was carried out by contour Hu moment method. Then the feature points were extracted, and four feature descriptors were generated in the circular region with the radius of 16 pixels and the feature points were matched by Euclidean distance. Finally, the affine transformation matrix is generated by finding the matching pair, and the precise matching result is obtained. The experimental results show that the proposed method can match the contour accurately under the condition of complex background and light change, and ensure the visual detection accuracy within one pixel. The more the number of feature descriptors generated, the more accurate the matching result.

contour extraction; contour matching; feature descriptor; feature point matching; affine transformation

2021−06−03.

宁波大学学报（理工版）网址: http://journallg.nbu.edu.cn/

国家自然科学基金（51705263）.

王壮（1997－）, 男, 山东潍坊人, 在读硕士研究生, 主要研究方向: 机电液产品开发. E-mail: 958563063@qq.com

通信作者:胡燕海（1966－）, 男, 浙江宁波人, 教授, 主要研究方向: 机电液产品开发、生产计划与控制等. E-mail: huyanhai@nbu.edu.cn

TH-39

A

1001-5132（2022）04-0034-06

（责任编辑 史小丽）