采用图像定位与轮廓检测的喷墨宽度测量算法

兰伟, 何松柏

(1. 重庆城市职业学院 信息工程系， 重庆 402160；2. 电子科技大学 电子工程学院， 四川 成都 610000)

采用图像定位与轮廓检测的喷墨宽度测量算法

兰伟1,2, 何松柏2

(1. 重庆城市职业学院 信息工程系， 重庆 402160；2. 电子科技大学 电子工程学院， 四川 成都 610000)

提出基于图像定位与轮廓检测的喷墨宽度测量算法.首先，根据图像灰度熵特征与旋转定位函数，提出基于动态阈值熵函数分割与EmguCV的产品定位算子，得到产品中心点坐标与旋转角度;然后,传递给机器人Robert，引导Robert到产品边缘喷墨上方进行局部图像采集；最后，采用大律法分割法处理喷墨边缘图像，设计基于Canny边缘检测与轮廓检测的测量算子，从而完成喷墨宽度测量.实验数据显示：与当前目标宽度测量技术相比，文中算法具有更高的测量精度与稳定性.

喷墨宽度； 图像定位； 轮廓检测； 动态阈值熵函数； 边缘检测

随着国内制造业人力成本的不断上升和企业运营压力的增大，越来越多企业意识到用自动化的智能制造设备取代人力作业已经是市场立足的关键[1-2].在电子屏幕制造中，屏幕边缘需要喷一定宽度的墨，才能保证屏幕漏光测试通过,边缘喷墨的宽度直接影响屏幕质量.由于喷墨宽度测量精度要求高、数量大，且近距离接触工业墨对作业人员身体有一定的伤害，因此,采用智能视觉技术测量喷墨宽度非常必要[3-4].国内专门测量喷墨的成熟设备极少，但是在类似的制造工件或材料尺寸测量方面，国内研究人员已经将图像处理与计算机视觉技术引入到材料尺寸测量中，而喷墨也是一种特殊的材料.李旭[5]提出基于色差的机器视觉尺寸测量系统，利用目标与背景色差完成对材料目标的定位测量.但是，此技术依靠图像色差，容易受到外界环境光的影响，导致定位和测量的错误.罗月迎[6]提出基于几何参数的机器视觉测量方法，使用目标几何特征，完成材料目标定位.然而，这种技术依靠目标明显的几何特征，在喷墨这种没有特殊几何特征的情况下，往往不能精确测量目标尺寸，导致测量错误.为了提高测量算法的适应性，使其在背景复杂、目标特征不明显的背景下，仍然能够精确定位目标并正确测量喷墨尺寸，本文提出了基于图像定位与视觉引导的喷墨宽度测量算法.

图1 文中机制架构Fig.1 Structure of mechanisms

1 喷墨宽度测量架构

提出的基于图像定位与轮库查找的喷墨宽度测量过程，如图1所示.首先，将屏幕材料随滚轮运动到工业相机镜下进行整体图像采集.此时,采集到的图像是整个材料，如图2所示.然后，基于动态阈值的一维熵函数把材料边缘主体从背景中分离；基于EmguCV的旋转定位函数，计算出材料主体的中心点坐标与旋转角度，并传递给机器人Robert.EmguCV为开源视觉函数库OpenCV的.NET framework版本，即经过.NET封装的OpenCV函数，所提算法就是基于开源视觉库EmguCV中的函数实现.随后，Robert带动工业相机运动到材料边缘即喷墨位置，再次取像，如图3所示.图3中：黑色长条是需要测量的墨宽度.最后，采用基于灰度方差的大律分割，获取包含喷墨的二值图像；基于Canny边缘检测与轮廓查找，测量出喷墨宽度，判断是否达到工业标准.

由于当前对喷墨宽度的测量主要依赖人工作业，缺乏完整的智能化喷墨宽度测量系统.因此，所提技术是将常规算法与开源函数融合，用于喷墨边缘实际宽度小而延伸范围大的条件下的喷墨宽度精确测量，尤其是针对屏幕边缘墨宽检测，从而形成一套完整的喷墨宽度测量智能系统，有效地提高生产效率与质量.

图2 材料整体图像 图3 材料边缘喷墨位置 Fig.2 Overall image of materials Fig.3 Inkjet localization materials edge

2 基于熵函数分割与EmguCV的定位

图4 定位流程图Fig.4 Flow chart of localization

屏幕材料随传送带到相机镜下，对屏幕整体进行图像采集完成后，需要对屏幕材料整体进行定位，计算中心点坐标与旋转角度，为后续Robert带着相机准确运动到屏幕边缘测量喷墨宽度做好准备.由于屏幕边缘材料敏感，不宜进行物理定位，使其往往存在角度旋转与坐标偏移.故文中提出了产品定位算子，其流程如图4所示.采用一维最大熵阈值分割分离屏幕主体与背景，以图像像素局部极值的集合、局部像素差值小于设定值的领域，作为目标图像区域.对每一个图像块，假设其灰度级为l，利用其作为阈值分割屏幕主体区域与背景区域，由领域内像素值高于l的像素点构成屏幕主题区域，反之，构成背景区域.但是屏幕整体图像大，所以，文中采用计算量较小的熵函数阈值分割[7-8]，其屏幕目标与背景区域的熵分别为

(2)

式(1)，(2)中:HT是屏幕目标熵；Hb为背景图像熵；Pi为灰度值为i的像素比例；t为分割阈值；PT为阈值t以下所有像素值比例和,即

得到目标与背景熵后，再构建熵函数S，将熵函数值最大的阈值作为最佳阈值，即

采用最大熵阈值分割处理图2结果，如图5所示.由图5可知：熵函数分割能准确地从背景中分割出屏幕主体目标.分割出屏幕主体后，还需进一步精确定位，计算中心点坐标与旋转角度，即精确的定位屏幕主体的轮廓，从而为Robert提供喷墨边缘采集位置.

为了进一步精确定位与角度计算，基于开源库EmguCV函数cvMinAreaRect2(const CvArr* points,CvMemStorage*storage) 实现[9-10].其中,points为目标区域点序列/数组;storage为临时存储仓;该函数建立凸外形及旋转外形，以寻找给定2D点集的最小面积的外接矩形，返回值数据结构为CvBox2D{CvPoint2D32f center;float angle}，即中心点及角度.最小外接矩形定位效果,如图6所示.由图6可知：精确定位屏幕四边，经过对四边和四顶点的坐标简单计算，可获得中心点坐标与角度，并传递给Robot.

图5 熵函数分割图像 图6 定位图像 Fig.5 Entropy function of segmented image Fig.6 Image localization

图7 测量流程图Fig.7 Flowchart of measurement

3 耦合大律分割与边缘检测的宽度测量

完成对屏幕中心点与角度的精准计算后，就可以引导Robot带动相机，准确拍摄喷墨边缘位置.在完成屏幕材料主体定位后，再采集屏幕喷墨边缘，此时，需要定位喷墨边缘并测量宽度.由于喷墨边缘图像较整体图像小，且测量精度较高(误差值小于0.1 mm)，因此，采用基于灰度方差的大律分割[11-12]处理喷墨边缘，避免背景干扰，其测量过程如图7所示.将背景与喷墨目标区域的分界阈值设为k，首选背景与喷墨目标在整个图像范围内占得比例分别为

式(5),(6)中:W0为背景区域在整图中比例；W1为喷墨目标区域在整图中比例；Pi为灰度值为i的像素在整图中比例.

计算背景与喷墨目标区域的平均灰度值,即

依据式(7)，(8)，可计算喷墨目标与背景间灰度方差，选取方差最大时的阈,即

图8 大律分割图像结果Fig.8 Result of firm split image

式(9)中:δ(k)2为大律分割中背景与目标灰度方差，将该值最大时的k视为分割阈值，以图3为目标，分割结果如图8所示.由图8可知：文中算法精确地将喷墨边缘目标从背景分割出来.

在分割得到的二值图的基础上，进行基于Canny的边缘检测[13-14].首先，计算图像X，Y方向一阶偏导函数，作为平面梯度变化算子，由于目标边缘为图像灰度值突变处，故该算子可以探测出X，Y方向的边缘梯度变化值，即

(11)

式(10),(11)中:Px[i,j]为图像坐标[i,j]像素点在X方向上梯度算子;Py[i,j]为图像坐标[i,j]像素点在Y方向上梯度算子，分别代表X,Y方向上灰度变化程度.

依据边缘梯度变化值Px与Py，计算图像灰度梯度幅值与方向,即

Q(i,j)=arctan(Px/Py).

(13)

式(12),(13)中:M(i,j)代表图像坐标[i,j]像素点的梯度幅值;Q(i,j)代表图像坐标[i,j]像素点梯度方向.

式(10)～(13)共同组成Canny边缘检测梯度算子的梯度矩阵，以检测目标边缘，结果如图9所示.由图9可知：该算法有效检测出目标边缘轮廓，为后续查找喷墨两端轮廓边，测量宽度做好了准备.

图9 Canny边缘检测图 图10 轮廓定位结果Fig.9 Canny edge detection image Fig.10 Contour localization result

得到含目标边缘后，需定位边缘的轮廓位置，文中基于开源库EmguCV遍历轮廓函数cvTravelContour(const CvArr*contour,CvMemStorage*storage)实现.其中,contour为目标轮廓点数组;storage为临时存储仓.该函数遍历图像中所有边缘，本系统取边缘坐标最小与最大，代表喷墨两端.计算两端边缘的坐标差,即喷墨宽度测量.遍历轮廓函数处理效果,如图10所示.由图10可知：轮廓定位精确定位出喷墨轮廓，获得喷墨宽度.

4 实验与讨论

为了体现文中算法的优势，将当前测量性能较好的技术——文献[5]算法和文献[6]算法设为对照组，检测对象如图11所示.图11中：包含屏幕主体与背景图像，背景复杂且目标边缘特征不明显.采用最大熵函数分割处理图像，EmguCV定位函数cvMinAreaRect2，实现定位目标最小外接矩形，从而得到屏幕目标四边与四顶点，精准计算屏幕材料中心点坐标与旋转角度，即准确定位目标四边，结果如图12所示.利用文献[5]和文献[6]算法对图11进行检测，对应的结果如图13，14所示.由图13,14可知：这两种算法都出现定位不准确的现象.图13中，由于文献[5]算法单纯依靠色差特征，在背景与目标色差不明显时，往往定位效果不佳.图14中，由于文献[6]算法单纯依靠几何特征，在背景干扰较大时，影响了定位精度.

图11 原图 图12 文中算法定位图像 Fig.11 Original image Fig.12 Localized image of proposed algorithm

图13 文献[5]算法定位效果 图14 文献[6]算法定位效果 Fig.13 Localization effect of reference [5] Fig.14 Localization effect of reference [6]

将文中算法、文献[5]和文献[6]算法进一步应用到喷墨边缘图像检测中，待检测原图如图15所示.文中算法采用大律分割处理喷墨边缘图像，基于Canny边缘检测提取出喷墨边缘图像轮廓，通过EmguCV轮廓查找函数，准确定位喷墨边缘并计算喷墨宽度，如图16所示.由图16可知：文中算法测量图像轮廓定位准确，测量精度较高效果较佳.

图15 待测量喷墨边缘图像 图16 文中算法测量效果图 Fig.15 Original image of inkjet edge Fig.16 Localization image effect of proposed algorithm

文献[5]和文献[6]算法的检测结果,分别如图17,18所示.由图17,18可知：在背景干扰较大的情况下，这两种算法对喷墨边缘定位不准确，出现较大的偏差，影响了喷墨测量精度.

图17 文献[5]算法测量效果 图18 文献[6]算法测量效果Fig.17 Algorithm effect of reference [5] Fig.18 Algorithm effect of reference[6]

5 结束语

为了解决喷墨范围小而整体图像大且复杂环境下定位测量失误的问题，设计了基于图像定位与视觉引导的喷墨宽度测量算法，实现对屏幕材料主体、喷墨边缘的图像采集、定位和测量.实验结果表明：与当前测量技术相比，文中算法既保证全局图像定位准确，局部目标测量精准的目的，又具有更好的精度和稳定性，为喷墨宽度测量提供了技术保障.

[1] 杨炜.融合道路图像关键信息的车距视觉测量方法[J].计算机工程与应用,2015,11(17):196-199.

[2] 徐岩,宋君.大型印刷机械人机工程学关系探讨[J].包装工程,2012,10(20):48-52.

[3] 何留喜,陈广学.基于UV喷墨的彩色3D打印研究[J].包装工程,2015,3(9):134-138.

[4] 贾欢欢,陈蕴智,王新.喷墨制版技术打印机制的研究[J].包装工程,2016,2(3):133-142.

[5] 李旭.色差对机器视觉尺寸测量精度的影响研究[J].包装工程,2015,43(2):71-76.

[6] 罗月迎.船用弯管几何参数的机器视觉测量方法研究[J].机械设计与制造,2015(6):427-430.

[7] WANG Yongsheng.A new image threshold segmentation based on fuzzy entropy and improved intelligent optimization algorithm[J].Journal of Multimedia,2014,9(4):499-505.

[8] XIA Dongxue,LI Chungui,YANG Shuhong.Fast threshold selection algorithm of infrared human images based on two-dimensional fuzzy tsallis entropy[J].Mathematical Problems in Engineering,2014,28(11):1012-1021.

[9] 郑婷.一种DOM与图像工程相结合的智能阅卷系统[D].太原:太原理工大学,2014:21-32.

[10] 张潇磊.基于计算机视觉的智能安防监控系统研究[D].南京:南京邮电大学,2014:18-35.

[11] CHEN Xiaohong.Extraction and analysis of the width, gray scale and radian in Chinese signature handwriting[J].Forensic Science International,2015,255(23):123-32.

[12] LOWE J M,BRENNAN P C,EVANOFF M G,et al.Variations in performance of LCDs are still evident after DICOM gray-scale standard display calibration[J].American Journal of Roentgenology,2010,195(1):181-187.

[13] TSANAKAS J A,CHRYSOSTOMOU D,BOTSARIS P N.Fault diagnosis of photovoltaic modules through image processing and canny edge detection on field thermographic measurements[J].International Journal of Sustainable Energy,2015,34(6):351-372.

[14] INGLE M A,TALMALE G R.Respiratory mask selection and leakage detection system based on canny edge detection operator[J].Procedia Computer Science,2016,78(10):323-329.

(责任编辑： 黄晓楠 英文审校： 吴逢铁)

Measurement Algorithm of Inking Width Using Image Localization and Contour Detection

LAN Wei1,2, HE Songbo2

(1. Department of Information Engineering， Chongqing City Vocational College, Chongqing 402160, China;2. College of Electronic Engineering, University of Electronic Science and Technology of China, Chengdu 610000, China)

This paper proposed a new measurement algorithm of inking width based on image localization and contour detection. Firstly, product location algorithm which's based on segmentation of dynamic threshold value entropy function and EmguCV was proposed to get product center coordinates and rotation angle, and then passed it to the Robert, and guide the Robert to the local image acquisition edge to command inkjet products. Finally, great law segmentation was adopted to process the image on inkjet edge, based on Canny edge detection and contour measurement operator to complete inkjet width measurement. Experimental data shows that: compared with the current measurement technology, this algorithm has higher precision and stability.. Keywords：inkjet width; image localization; contour detection; dynamic threshold entropy function; edge detection

10.11830/ISSN.1000-5013.201703021

2016-04-26

兰伟(1974-)，男，副教授，主要从事计算机应用、图像处理的研究.E-mail:183862606@qq.com.

国家自然科学基金资助项目(61001032)； 重庆市科技成果转化重点研究资助基金(2015-ZJ-006)

TP 391

A

1000-5013(2017)03-0402-06