分水岭算法耦合感兴趣区域识别的智能机械手工件定位*

李培丰，乔良才

(1.中国矿业大学 信息与电气工程学院，江苏 徐州　221000；2.江苏省徐州技师学院 机械工程学院，江苏 徐州　221000；3 .徐州工程学院 信电工程学院，江苏 徐州　221002)



分水岭算法耦合感兴趣区域识别的智能机械手工件定位*

李培丰1,2，乔良才3

(1.中国矿业大学 信息与电气工程学院，江苏 徐州221000；2.江苏省徐州技师学院 机械工程学院，江苏 徐州221000；3 .徐州工程学院 信电工程学院，江苏 徐州221002)

摘要：为了解决基于图像处理技术的工件定位技术严重依赖机械定位与缺乏视觉功能而导致算法的自适应与定位精度不佳等不足，文章提出一种基于图像处理的智能机械手定位算法，并对其中的图像处理算法进行研究和实现。首先，根据经验值设定感兴趣区域，并实时计算像素灰度平均值，判断是否存在材料工件；然后将阈值控制嵌入分水岭算法中，避免过渡分割，凸显材料工件区域，计算出材料工件中心点坐标；并引入强度变化阈值和最小允许距离，基于Harris角点检测算法，刷选出最佳角点，定位材料工件的边角坐标，从而计算材料工件旋转角度。最后编程实现文中算法。实验测试表明：并与当前技术相比较，文中算法定位精度更高，可以应用于智能机械手的视觉定位系统。

关键词：机械手；分水岭；Harris角点；灰度平均值；图像处理

0引言

为了提高生产效率，很多工厂引入了机械臂，来代替人工作业，以提高了生产效率。然而，机械臂本身并不带有人眼功能，缺乏视觉功能，使其适应变化能力较差。因此，需要开发出带视觉功能的机械手，适应环境的变化。

目前，将图像处理、模式识别、计算机视觉运用于工业机械机器视觉的应用案例有很多，有目标定位类、颜色识别类、形态特征测量类等等[1-2]。机械手的视觉功能属于目标定位类。当前基于图像处理的视觉目标定位技术，主要有两种：基于灰度特征、基于形态特征。基于灰度特征进行定位，主要依赖于图像目标的灰度值大小，而灰度值受成像采集时外界光源的影响[3]。如果外界光源稳定，则成像灰度值稳定，使得该技术的定位效果也稳定；但是工业工程环境的光源往往是不稳定的。基于形态特征进行定位，也就是模板匹配，提取目标形态特征，与模板特征比较，距离最近的，即是定位目标[4]。但是模板匹配，受目标形态大小和旋转角度影响较大。在工业工程环境中，待定位目标往往不能保证没有角度上的旋转，因此基于形态特征的模板匹配方法也是不稳定的[5]。

为了解决上述不足，本文赋予机械手视觉功能。提出了基于图像处理的智能机械手工件定位算法。本文通过采用先粗定位、后细定位的形式完成机械手精确抓取工件。根据不同工件在软件里自动生成了ROI区域(Region of Interest，感兴趣区域)，缩小搜索范围，提高算法效率，即粗定位。再利用分水岭算法对弱边缘的良好分割效果，规避了不稳定光源的影响，提高定位精度与稳定性，即细定位，从而使得机械手能够准确判别材料的存在，并准确定位工件中心；并利用强度变化阈值和最小允许距离，联合Harris角点检测，使得机械手能够适应带有旋转角度的工件定位，增强其自适应性。

1本文算法设计

图1　本系统架构图

本文算法的目标是：①判断视野中是否有材料工件。②定位材料工件，计算中心点坐标。③检测材料工件两个顶点，计算材料工件旋转角度。得到这三个结果，以信号的形式传递给机械手，机械手就能准确定位。使得机械手就具备了视觉功能，能应对工程环境的变化。首先，算法从采集图像开始，先进行灰度化、ROI区域灰度值提取处理，计算出平均灰度值，以经验值为标准，评判视野中是否存在材料工件。然后，算法采用分水岭图像分割方法，分割出材料工件，在此基础上，再用阈值分割，进一步分割出材料工件，并标注出目标轮廓，计算材料工件中心坐标点。最后，基于Harris角点检测，并引入方向强度变化阈值和最小应允距离优化角点检测，计算出材料工件旋转角度。本文算法流程见图1。

1.1基于ROI与灰度均值的材料工件识别检测

首先材料工件位置可确定在视野中部，故无需对整个图像进行处理，只需划定ROI区域，保证目标在ROI区域内。将ROI区域定在1/4宽到3/4宽，1/4高到3/4高处。在本文中ROI区域为图像处理算法处理的区域；而图像中非ROI区域不做图像处理。ROI的划定依据就是来自后台数据库对应工件的标准值。该值在开发初期经过大量样本特征学习而确定，并经过大量盲测验证通过。不同工件对应不同的标准值，软件根据不同工件型号从后台数据库中自动调出对应的标准值。经过大量材料工件测试后，材料工件出现在图像中的大体范围，这个范围也就是ROI区域,。

以图2为例，由于所需定位材料工件是白色，背景是黑色，白色灰度值高于黑色灰度值。故如果存在材料工件，ROI区域整体灰度值偏高，而如果不存在材料工件，如图3所示，ROI区域整体灰度值偏低，以此依据来实现视野中材料工件有无的判断。本算法通过提取ROI区域，计算ROI区域灰度平均值。对于本文研究的工件，软件从后台数据库中自动调出对应的标准值，确定以经验值超过200，判定材料工件存在，低于50，判定材料工件不存在。区域灰度平均值为：

(1)

式中m×n矩阵中元素代表图像矩阵中灰度值，对该矩阵元素求和求平均值，即求得图像该区域灰度均值。

如图4、图5所示，分别为有材料工件和无材料工件的情况下，视野中ROI区域展示。

图2　有材料工件图像

图3　无材料工件图像

图4　有材料工件图像ROI

图5　无材料工件图像ROI

1.2基于分水岭算法的材料工件定位

分水岭算法对微弱边缘具有良好的分割效果，可以锐化出图像目标表面灰度、噪声变化，可以得到封闭连续边缘，它是把图像视为测地学上的拓扑地貌，每个点灰度值看作该点的海拔高度，局部极小灰度值为集水盆，集水盆的边界看作分水岭[6-7]。由于本文研究对象的边缘存在微弱特性，即与背景难以分辨，故采用分水岭分割算法。分水岭的计算过程是迭代标注的过程，首先对各个像素灰度值进行高低排列，然后由低到高进行注水淹没，每个极小值采用先进先出的方式进行标注，分水岭变换得到集水盆之间的边界，即图像目标与背景的边缘信息[8]。其以梯度图像为算法的输入，因为梯度图像更能凸显图像边缘差异。梯度图像的求解模型为：

grad(f(x,y))=

(2)

其中，grad(f(x,y))为梯度图像中坐标(x,y)处的梯度值，f(x,y)为灰度图像中坐标(x,y)处的灰度值。分水岭算法处理的输入为梯度图像。

为降低分水岭算法的过渡分割，本文加入自动阈值分割，该阈值根据最大类间理论，分别与图像灰度最高值与最低值进行方差计算，以方差达到极大值时的阈值为处理结果。该过程由编程实现，自动在软件后台运行生成结果，无需人工干预。对于本文特定的工件，确定阈值为219，从而消除灰度的微小变化产生的过渡分割，如式(3)所示：

G(x,y)=max(grad(x,y),yu)

(3)

式中yu为过分割控制阈值，G(x,y)为处理后的(x,y)坐标灰度值。

分割得到包含材料目标的区域后，计算其中心点坐标：

(4)

式中m,n为目标出现区域长、宽；(Dx,Dy)为中心点坐标,(i,j)为图像中某点。

以图6为待处理目标，通过分水岭算法分割后，结果见图7。依图可知，该技术有效将目标分割出来。为了进一步精确分割，在此基础上，进行阈值分割。因为此时经过了分水岭分割，图像中目标已经非常明显。经过阈值分割，阈值定为200，得二值化图，如图8所示。最后为了展示出分割的精确效果，将分割结果描红在目标轮廓上，如图9所示。

图6　原图

图7　分水岭分割效果图

图8　阈值分割图

图9　定位结果图

1.3基于Harris角点的材料工件旋转角度计算

角点是两条边缘的交点，与位于相同强度区域的点不同，与物体轮廓上的点也不同，物体轮廓上的点难以在其他图形的相同物体上精确定位[9]。本文测量材料工件旋转角度，采用在材料工件上抓取两点后连线计算角度，故采用基于检测角点的方法。

Harris角点检测，为了定义图像中的角点，计算特征点周围小窗口内方向性平均变化，如式(5)所示：

R=∑(I(x+u,y+v)-I(x,y))2

(5)

式中R为方向性平均变化值，(u,v)为偏移向量。这是检测某点各个方向的变化强烈。然后计算垂直方向的变化是否强烈，两个条件同时满足则判为角点。

一般Harris角点检测往往会检测出较多角点[10-11]，如图10所示。为此，本文利用强度变化阈值和最小允许距离这两个指标来筛选出最佳角点。强度变化阈值即评判角点等级，评判方向强度变化是否足够强烈。通过强度变化阈值来控制检测阈值，避免角点过检；而最小距离为两个角点之间的允许距离，若在一定距离内出现两个角点，则剔除方向强度变化较小的值。通过利用最小允许距离来控制两个角点的最小距离，从而控制角点的数量。引入这两个值后，Harris角点检测精准检测出本文角点目标如下图11所示。

图10　角点检测结果

图11　角点检测优化图

2实验与讨论

利用VS2010平台测试本文技术的定位性能。同时，为了体现本文方案的先进性，将当前定位性能较好的视觉定位技术视为对照组，分别为：文献[3]与文献[4]，其中，文献[3]是基于灰度特征的视觉定位技术，文献[4]是基于模板匹配的视觉定位方法。实验参数设置如下：灰度分割阈值统一设置为179。以图12为测试样本，利用本文技术与对照组方案对其完成定位，结果见图13～图17。

图12　原图

图13　阈值分割效果图

图14　基于阈值分割的定位效果图

图15　待处理图

图16　模板匹配效果图

图17　本文定位效果图

依图可知，本文算法的定位准确度最高，精准定位出材料工件轮廓、中心坐标点、两个角点，见图17。主要是因为本文采用了ROI提取、平均灰度值判断材料工件是否存在；并利用分水岭分割定位材料工件轮廓位置和中心点坐标；采用harris角点检测定位材料工件顶点、计算旋转角度，为机械手提供了良好稳定的视觉功能。而对照组文献[3]的视觉定位方案由于图像灰度依赖于环境光线，当光线过强或过弱，会出现过分割或欠分割，使其只分割出，部分目标见图13，导致其定位精度不高，见图14，有一部分目标没检测出。而对照组文献[5]视觉定位方案在图像目标出现旋转角度时往往没有很好的耦合性，在对图12进行水平翻转后得到图15，即使材料工件存在与原目标不同的旋转角度，利用基于模板匹配的视觉定位处理图15，结果见图16，没有对材料工件轮廓定位准确，明显存在偏移。可见基于模板匹配的视觉定位没有很好的耦合性，其定位效果没有考虑角度的变化。

为了对三组算法展开进一步对比，在光源不稳定的条件下进行测试其定位性能。挑选100个材料工件进行定位，每个分别用三组算法定位，最终统计结果如表2。依图可知，本文算法的定位准确度要显著优于2个对照组。原因是文献[3]主要依赖图像灰度值，易受成像采集时外界光源的影响，在外界光源稳定，其成像灰度值不稳定，导致其定位精度较低；而文献[4]一种模板匹配技术，受目标形态大小和旋转角度影响较大。

表1　定位精度对比测试

3结论

为了实现对机械手提供视觉功能，本文从检测目标有无、定位目标坐标和轮廓、检测目标角点和旋转角度三个方面展开研究，用图像处理的方法将这三个问题逐一解决。运用ROI与平均灰度值特征，实现材料工件有无检测；运用分水岭算法，实现材料工件定位；运用Harris角点检测，实现材料工件旋转角度的计算。实验测试表明：并与当相关前技术相比较，本文算法能够适应带有旋转角度的工件定位，降低了外界光源的影响，从而拥有更高的自适应性与定位精度。

[参考文献]

[1] 袁清珂, 张振亚, 吴晖辉. 基于机器视觉系统的自动检测系统设计与开发[J]. 组合机床与自动化加工技术，2014(11)：119-121.

[2] Zhaoyang Wang, Hien Kieu, Hieu Nguyen. Digital image correlation in experimental mechanics and image registration in computer vision: Similarities, differences and complements [J]. Optics and Lasers in Engineering, 2014, 38(65): 18-27.

[3] 李煊. 基于单目视觉的水下图像分割及目标定位技术研究 [D]. 哈尔滨：哈尔滨工程大学，2013.

[4] 周丽莎. 基于模板匹配的视觉定位技术研究与应用[D]. 大连：大连理工大学，2012.

[5] Hong Song, Qingjie Zhao, Yinghong Liu. Splitting touching cells based on concave-point and improved watershed algorithms[J]. Frontiers of Computer Science, 2014, 8 (1): 156-162.

[6] X XIAO, B BAI, N XU. Adaptive striping watershed segmentation method for processing microscopic images of overlapping irregular‐shaped and multicentre particles[J]. Journal of Microscopy, 2015, 258 (1): 1214-1223.

[7]Noori H, Saryazdi S. A bilateral image inpainting [J]. IJST Trans Electr Eng，2011, 25(E2)：95-108.

[8] Y Kuang, L Zhang, Z Yi. An Adaptive Rank-sparsity K-SVD Algorithm for Image Sequence Denoising [J]. Pattern Recognition Letters，2014, 33(17)：1021-1032.

[9] 王瑞.一种自适应Harris角点检测算法[J]. 火力与指挥控制, 2015,18(15)：42-47.

[10]JEhmann, TPappas, DNeuhoff. Structure Texture similarity metrics for image analysis and retrieval [J]. IEEE Transactions, 2013, 22(7): 2545-2258.

[11] Xu X Y, Xu S Z, Jin L H .Characteristic Analysis of Otsu Threshold and Its Applications. Pattern Recognition [J]. IEEE Transactions , 2011, 2(1):124-128.

(编辑赵蓉)

The Research and Application on the Intelligent Manipulator Location Based on Image Processing

LI Pei-feng1, 2，QIAO Liang-cai3

(1.College of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou Jiangsu 221000, China; 2.College of Mechanical Engineering，Xuzhou Technician College of Jiangsu Province, Xuzhou Jiangsu 221000, China)

Abstract：In order to solve the current workpiece positioning technique based on image processing techniques are heavily dependent on mechanical positioning and algorithm of adaptive resulted from the lack of visual function and poor positioning accuracy is insufficient, this paper puts forward a kind of intelligent robot localization algorithm based on image processing, and the image processing algorithm are studied and implemented. First of all, according to the standard value setting interest area, and real-time computing pixel grayscale average, to determine whether there is material artifacts; Then embedding threshold control in the watershed algorithm, avoid transition segment, highlight material artifacts area, calculate the material workpiece center coordinates; And introduce threshold intensity change, and the minimum allowed distance based on Harris corner detection algorithm, brush chooses the best Angle of point, positioning material workpiece coordinates at the edges, thus the material workpiece rotation Angle is calculated.This algorithm is realized by programming. Experiment and test show that compared with current technology, the algorithm is higher location accuracy, can be applied to intelligent robot vision positioning system.

Key words：manipulator; watershed; harris corner; grayscale average; image processing

中图分类号：TH164;TG659

文献标识码：A

作者简介：李培丰(1981—)，男，江苏建湖人，江苏省徐州技师学院讲师，硕士，研究方向为计算机应用、物联网与通信技术，(E-mail)lipeifeng1981zg@sina.com。

*基金项目：江苏省科技支撑计划项目(BE2011235); 江苏省自然科学基金 (Bg2012196); 江苏省科技成果转化专项资金资助项目(BA2010137)

收稿日期：2015-09-15;修回日期：2015-10-16

文章编号：1001-2265(2016)02-0118-04

DOI:10.13462/j.cnki.mmtamt.2016.02.034