应用对称匹配的PET瓶瓶盖缺陷实时检测

王贵锦， 刘 博， 何 贝， 张树君， 孟 龙

1.清华大学电子工程系，北京100084

2.山东明佳包装检测科技有限公司，山东泰安271022

聚对苯二甲酸(polyethylene terephthalate,PET)瓶的自动缺陷检测是现代工业中高速生产的需要，也是图像处理和计算机视觉的重要组成部分[1].传统的人工检测存在准确率低、速度慢以及成本高等问题，无法满足现代生产的需求[2]；新兴的自动检测则结合图像处理和机器学习算法，对采集得到的PET图像进行分类识别，从而显著提高了准确率，减少了检测时间，大大降低了生产成本[3]，但由于PET瓶的瓶型、相机拍摄条件以及成像位置的差异，现有的检测算法鲁棒性较差.PET瓶的缺陷检测主要包括瓶盖、液位以及喷码等部分，其中瓶盖检测最重要.本文主要围绕PET瓶瓶盖的快速、高精度的检测展开.

现有的PET瓶瓶盖检测算法主要是围绕持胚环定位展开的：通过确定持胚环位置，提取待检测瓶盖和模板瓶盖的特征差异来进行分类.文献[4]通过对瓶盖图像进行边缘检测、Hough变换等预处理，利用支持向量机(support vector machine,SVM)分类算法对定位出的瓶盖进行检测.文献[5]设计了一套基于现场可编程门阵列(field programmable gate array,FPGA)的嵌入式瓶盖检测系统，根据持胚环和瓶盖顶部的斜率之差来检测瓶盖是否正常.文献[6]对瓶盖区域进行预处理和分割；在此基础上，通过提取瓶盖特征与模板图像匹配检测瓶盖的质量.德国Heuft公司[6]开发的PET瓶瓶盖检测算法根据持胚环在瓶颈处突出的特性来定位持胚环，再通过模板匹配完成瓶盖的分类.文献[7]利用边缘检测算法精确估计出持胚环和瓶盖顶部的直线方程，通过距离的衡量完成瓶盖的快速检测.文献[8-9]在工控机和硬件平台上分别给出了在线PET检测设备的设计方法，主要依靠了二值化并进行水平方向的投影，利用持胚环的定位来完成缺陷识别.但在实际生产中，高速的生产线运动会引起瓶体倾斜，而清洗PET瓶会使得瓶体附着大量水珠，加上压盖时可能产生的大量毛刺，显著降低了持胚环的定位精度，减少了检测率；同时，现有的检测算法无法满足现代高速生产的需求.

针对瓶体倾斜、存在的毛刺和水珠等问题，本文提出了一种结合对称匹配的PET瓶瓶盖的实时检测算法.根据PET瓶瓶体的对称性，通过水平翻转前后瓶体图像的配准完成瓶体对称轴的估计，避免了瓶身倾斜对于持胚环定位精度的影响.同时，利用对称轴两侧点对的相关性，消除了毛刺和附着水珠的影响，大大提高了检测精度.仿真和高速生产线上的实验证明了本算法的准确性和实时性.

1 算法框架

PET瓶瓶盖存在的缺陷主要包括4种：无盖、高盖、歪盖以及安全环断裂，如图1中的(a)～(d)所示.图1(e)中矩形框标出的部分就是持胚环，它被认为是瓶盖中最稳定的区域[7]，因为存在缺陷的持胚环已经在PET瓶瓶胚成型阶段被剔除.现有的算法主要通过持胚环的定位来检测瓶盖，但会受到瓶身倾斜、存在的毛刺和水珠的影响.本检测算法的关键在于利用PET瓶瓶体的对称性稳定地定位出持胚环，从而完成瓶盖分类.

图1 瓶盖缺陷示意图Figure 1 Diagram of the defects of PET cap

本算法的流程如图2所示.首先，对图像进行局部动态二值化，完成PET瓶瓶体和背景区域的图像分割；其次，利用对称匹配算法估计出瓶体对称轴的位置；再次，对瓶身偏移角进行补偿，并消除毛刺和水珠的影响；最后，完成持胚环的定位以及PET瓶瓶盖的检测.

图2 算法流程图Figure 2 Flowchart of the algorithm

2 对称匹配理论

轴对称的物体存在一条以上的对称轴，如图3中的左侧虚线所示.在瓶体图像中，存在一条直线y=kx+b，使得翻转前后的瓶体关于该直线重合.同时，由于瓶体对称，而毛刺、水珠可以认为是随机分布在瓶体周围的，故可以通过布尔运算消除其影响.因此，可以采用对称匹配(symmetry matching,SM)算法来估计瓶体的对称轴，补偿瓶体的倾斜角度，消除毛刺、水珠的影响.对称匹配算法包括全局[11-12]与局部[13-16]两类，由于瓶盖图像背景单一，瓶盖区域涵盖了整个图像的信息，且采用尺度不变特征变换(scaleinvariant feature transform,SIFT)、最大稳定极值区域(maximally stable extremal regions,MSER)等旋转尺度不变子的局部对称匹配速度较慢，难以满足实时检测PET瓶瓶盖的需求，于是本文设计了一种全局对称匹配算法来完成对称轴的精确估计.

图3 对称图像水平翻转前后的对应点变换关系Figure 3 Corresponding points between the original PET cap image and the horizontally f lipped one

如果将整个图像按照中垂线x=W/2(其中W为图像宽度)进行水平翻转(如图3所示，左侧为原图而右侧为水平翻转后的图像)，那么水平翻转前后的图像间的对应点满足如下条件：横坐标之和为W且纵坐标相同.假设在原对称图像中(x1,y1)和(W-x2,y2)关于y=kx+b对称，那么翻转变换前后图像的配准等价于求解(x1,y1)和(x2,y2)的变换关系.因此，根据对称轴的性质有

求解x1和y1，那么由于斜率k=tanβ=sinβ/cosβ，旋转角α=2β-π，代入式(2)并利用三角函数的性质，可将对应点的变换关系转化为

在PET瓶的实际生产中，由于瓶身倾斜较小，旋转角控制在-10°～10°之间，因此近似有sinα≈α,cosα≈1.即

式中，Tx=αb-W，表示x方向的偏移量.不难看出，翻转变换前后的图像之间仅存在2个自由度的变换[20].与Lucas-Kanade[20]配准算法类似，定义翻转变换前后图像I1和I2之间的误差为

对式(5)进行Taylor展开可以得到

利用误差函数E对两个未知参数进行求导，并赋为0，那么有

式中，c=I2(x,y)-I1(x,y)，其物理意义为翻转变换前后的图像误差；矢量A如式(8)所示，对应于Lucas-Kanade[20]配准算法中的Hessian矩阵

根据最速下降法可以逐步修正翻转后的图像I2，使其与模板图像I1匹配，进而完成变换系数的迭代估计.

3 实时PET瓶瓶盖检测算法

3.1 瓶体分割

本算法的图像采集设备放置于生产线上相对封闭的处理箱中，且打光方式为背光源模式，因此捕获的图像中瓶盖区域和背景区域的分离度高且稳定[10].在透光率低的地方，比如瓶盖部分，像素为黑色；在透光率高的地方，比如瓶体部分和背景部分，像素为白色.如果要分割整个PET瓶和背景区域，需要考虑瓶体的完整性，避免瓶体内部被划入背景部分.

本文的瓶体分割算法主要利用二值化算法进行，但PET瓶瓶壁较薄，直接进行固定阈值二值化会导致瓶壁部分被划为背景区域[11].本文涉及了局部动态二值化算法对瓶盖进行处理，如式(9)所示：

式中，Ik为像素点k处的灰度值，Rd表示以点k为中心的正方形邻域且边长为d，mean(·)为均值函数，γ为比例系数，Bk为二值化后的灰度值.下面从背景区域出发，利用4邻域的连通域分析即可完成瓶体区域的分割.如图4所示，本文的局部动态二值化算法能够自适应地修正局部阈值，避免固定阈值对于瓶体等透光率较高区域的影响.

图4 瓶盖图像的二值化结果对比Figure 4 Comparison of the results of different thresholding algorithms to cap image

3.2 对称轴估计与毛刺剔除

根据第2节介绍的对称匹配算法，可以利用图像配准估计出两个变换参数：旋转角α和x轴方向的平移量Tx，计算出瓶体对称轴所在直线的参数，即斜率k≈-2/α以及截距b≈-(W-Tx)/α，进而可以得到瓶体对称轴的倾斜角θ=arctan k.通过对该角的补偿即可保证瓶体图像的水平，避免了生产线上由于链道运动造成的瓶体倾斜的影响.

由于PET瓶瓶体关于对称轴重合，瓶体左右两侧应该是完全相同的；但由于毛刺、水珠的影响，该条件并不能完全满足.因此，本算法将角度补偿后的PET图像关于对称轴进行水平翻转，再对两侧图像进行布尔运算，如式(10)所示：

式中，OR(i,j)表示或运算，当且仅当i和j都为0时结果为0.也就是说，对于每个像素点，只有其本身和关于对称轴对称的像素点都属于瓶体区域时，在结果图像中才归为瓶体区域.

如图5所示，对称轴的估计可以消除瓶身倾斜的影响.这一方面避免影响后续瓶盖分类的计算精度；另一方面大大减少了毛刺和水珠，避免影响后续持胚环的定位精度.图5(a)中的毛刺较大，这是无法通过简单的形态学操作来完成的.

图5 对称轴补偿的结果示意图Figure 5 Effect of rotational compensation

3.3 瓶盖分类

持胚环是PET瓶瓶颈到瓶盖第1个宽度最大的位置.考虑到瓶盖上下抖动带来的持胚环位置的变化，本文利用竖直方向的投影进行估计.首先，对瓶盖图像进行黑色像素点的竖直投影；其次，对投影向量进行中值滤波，以防止残留噪声点和毛刺对于定位的影响；最后，定位从瓶颈到瓶盖的第1个局部最大的位置作为持胚环的所在位置.

以持胚环的中点作为坐标原点，持胚环所在的直线为x轴，将待检测瓶盖和模板瓶盖图像投影到同一个坐标系中.通过衡量待检测瓶盖和模板瓶盖之间的相关度，即可完成瓶盖的分类.本文采用级联弱分类器得到强分类器的策略[12]，在瓶盖图像上构建若干矩形框，并将每个矩形框中白色像素占所有像素的百分比作为一个弱分类特征.强分类器C的表达式为

式中，Ci表示第i个弱分类器.本文选取直方图特征作为弱分类器，其定义如式(12)所示：

式中，si表示待检测瓶盖图像在第i个分类器中白色像素的百分比，表示模板瓶盖图像在该分类器中白色像素的百分比，δ表示百分比的正常波动范围，min(·)和max(·)分别表示最小值函数与最大值函数.

4 实验与结果

本文实验的硬件配置为Intel Core(TM)2 Quad CPU处理器、2.5 GHz主频以及3.2 5G内存，编译环境为VC2008，通过640×480、8 bpp的网络相机抓拍瓶盖图像.本算法的主要参数设置如下：d=3，γ=0.85，δ=0.05.

4.1 仿真数据实验

首先需要评估对称匹配算法的精度和相应的计算时间.实验选取了4种具有代表意义的PET瓶，包括轻量盖的冰露矿泉水、大盖的达能脉动、普通盖的可乐以及加重盖的营养快线，其中每种瓶型保留100个PET瓶.将PET瓶水平放置，利用静态图像采集模式获得瓶盖图像，此时瓶体对称轴偏离中垂线0°.对于每个PET瓶采集到的瓶盖图像，以[-10°,10°]、间隔0.1°进行旋转变换，共产生201张样本图像，于是可以利用对称匹配算法对旋转角度进行估计.设第k个瓶子在角度αi时的估计值为，则估计误差根据式(13)，利用均值和标准差来衡量估计误差和时间

图6 对称匹配算法的性能Figure 6 Performanceof thesymmetric matching algorithm

在上述构建的不同旋转角度的情况下，将本文算法与无对称匹配的PET瓶瓶盖检测算法进行比较，其中每个角度都选择200张正常盖、100张歪盖、50张高盖、50张安全环断裂和50张无盖(共250张不正常盖).定义FN(false negative)表示正常盖检测为不正常的比率，即误检率；FP(false positive)表示不正常盖检测为正常的比率，即漏检率，得到的检测结果如图7所示.当旋转角度较小时，有/无对称匹配的算法都可以得到较好的检测结果，特别是有对称匹配的算法；当旋转角度增大时，有对称匹配的算法能够保持检测结果的稳定性，而无对称匹配的算法会使得很多正常瓶盖被误判为不正常瓶盖，显著提高了误检率FN.除此之外还可以看出，误检率FN通常高于漏检率FP，这是由于正常盖情况相对单一而不正常盖情况相对复杂.

4.2 真实数据实验

在生产线的实时测试中，将本文算法与无对称匹配的PET瓶瓶盖检测算法和文献[7]的结果进行比较.实验包括20000瓶的静态测试(PET瓶静止放置在相机前)以及20000瓶的动态测试(生产线上实时采集).PET的测试用瓶包括轻量盖的冰露矿泉水、大盖的达能脉动、普通盖的可乐以及加重盖的营养快线等4种具有代表意义的瓶型.与静态图像相比，动态图像存在瓶体倾斜、毛刺和水珠的影响.对于每一类图像，分别选取5000张正常盖、2000张歪盖、1000张高盖、1000张安全环断裂以及1000张无盖(共5000张不正常盖).实验结果如表1和2所示，其中最后一行给出了不同算法的平均误检率和漏检率.

从表1和2中不难得出以下2点结论：

1)对于静态采集的瓶盖图像，有/无对称匹配的检测算法和文献[7]都能够获得较好的检测结果；但当生产线处于实时采集过程中时，由于瓶体倾斜、毛刺和水珠的影响，无对称匹配的检测算法和文献[7]的性能显著下降，而本文中的有对称匹配算法依然能够保持较高的检测率.

图7 有/无对称匹配算法的检测结果比较Figure 7 Result comparison of the defect inspection system with/without symmetric matching algorithm

表1 有/无对称匹配算法和文献[7]的误检(FN)结果比较Table 1 False negative result comparison of the defect inspection system with/without symmetric matching algorithm and reference[7] %

表2 有/无对称匹配算法和文献[7]的漏检(FP)结果比较Table 2 False positive result comparison of the defect inspection system with/without symmetric matching algorithm and reference[7] %

2)在检测过程中，3种算法的漏检率均高于误检率，这是由于正常盖的特征分布单一而不正常盖的特征分布多样化引起的.瓶体倾斜、毛刺和水珠的作用都会使得持胚环定位错误，从而造成瓶盖图像直方图投影不准确，使得瓶盖特征在正常盖的特征分布阈值之外，导致误检率提高.

3)本文算法的平均检测速度为27.4 ms/帧，能满足高速自动化生产需求.

表3比较了有/无对称匹配的检测算法和文献[7]等3种算法的计算时间.首先，本算法需要迭代优化翻转前后的图像误差，因此会产生较高的计算复杂度；而无对称匹配的PET检测算法的速度则是优于文献[7]的.其次，3种算法都能达到30瓶/s，能够满足现有各种高速生产线的要求.最后，由于动态测试中存在瓶体倾斜、毛刺和水珠等问题，因此本算法需要更高的时间复杂度用于迭代配准，但平均速度仍然高达26ms/帧左右.

表3 有/无对称匹配算法和文献[7]的平均检测时间比较Table 3 Processing time comparison of the defect inspection system with/without symmetric matching algorithm and reference[7] ms

5 结语

本文提出了一种结合对称匹配的PET瓶瓶盖的检测算法.现有的瓶盖检测算法依赖于持胚环的定位，主要面临瓶体倾斜、瓶颈毛刺以及附着水珠的问题.本算法利用PET瓶瓶体的对称性，通过配准水平翻转前后的图像定位得到瓶体对称轴，补偿了瓶体倾斜的影响，通过瓶盖图像对称相关的特性去除了毛刺和附着水珠对持胚环检测的影响.实验证明，本算法具有很高的准确性和鲁棒性，能满足高速生产的检测需求.

[1]MALAMAS E N,PETRAKIS E G M,ZERVAKIS M,PETIT L,LEGAT J D.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2]DUANF,WANGY,LIUH,LIY.A machine vision inspector for beer bottle[J].Engineering Applications of Artif icial Intelligence,2007,20(7):1013-1021.

[3]孙怀远,周夫之,陆尚卿.机器视觉技术在药液灌装量检测中的应用[J].计算机应用与软件，2009,6:247-248.

SUNHuaiyuan,ZHOUFuzhi,LUShangqing.Applying machine vision technology in f illing quantity detection of liquid medicine[J].Computer Applications and Software,2009,6:247-248.(in Chinese)

[4]LIU H,WANG Y,DUAN F.An empty bottle intelligent inspector based on support vector machines and fuzzy theory[C]//Conference Proceedings of Sixth World Congress on Intelligent Control and Automation,2006:9739-9743.

[5]邹振兴，谢云，林奇鸿，陈炳成.基于SOPC技术的PET瓶缺陷检测系统设计[J].现代电子技术，2009,10:58-61.

ZOU Zhenxing,XIE Yun,LIN Qihong,CHEN Bingcheng.Design of PET bottle defect detection system based on SOPC[J].Modern Electronics Technique,2009,10:58-61.(in Chinese)

[6]YAZDIL,PRABUw ONOA S,GOLKAR E.Feature extraction algorithm for f ill level and cap inspection in bottling machine[C]//International Conference on Pattern Analysis and Intelligent Robotics,2011,1:47-52.

[7]郑云峰，王贵锦，何贝，李艳丽，林行刚.基于直线拟合算法的PET瓶瓶盖检测方法[J].计算机应用研究，2011,28(11):4398-4400.

ZHENGYunfeng,WANGGuijin,HEBei,LIYanli,LIN Xinggang.PET bottle cap inspection method based on linear f itting algorithm[J].Application Research of Computers,2011,28(11):4398-4400.(in Chinese)

[8]张树君，陈大千，辛莹莹，国磊，姜辉.基于图像的PET瓶瓶盖和液位的检测设备[J].轻工机械，2013(2):71-73.

ZHANG Shujun,CHEN Daqian,XIN Yingying,GUO Lei,JIANG Hui.Detection device of PET bottle and liquid based on image[J].Light Industry Machinery,2013,31(2):71-74.(in Chinese)

[9]郑海成，谢云.PET瓶封盖质量在线检测系统的设计与实现[J].电子技术应用，2012,38(8):20-22.

ZHENGHaicheng,XIEYun.Design and implementation of PET bottle package defect detection system based on dual core processor[J].Application of Electronic Technique,2012,38(8):20-22.(in Chinese)

[10]CARRASCO M,PIZARRO L,MERY D.Image acquisition and automated inspection of wine bottlenecks by tracking in multiple views[C]//Iscgav'08:Proceedings of the 8th Wseas International Conference on Signal Processing,Computational Geometry and Artif icial Vision,2008:84-89,235.

[11]NGH F.Automatic thresholding for defect detection[J].Pattern Recognition Letters,2006,27(14):1644-1649.

[12]章品正，王健宏.一种应用机器学习的车牌定位方法[J].应用科学学报，2011,29(2):147-152.

ZHANG Pinzheng,WANG Jianhong.Vehicle license plate location based on machine learning[J].Journal of Applied Sciences,2011,29(2):147-152.(in Chinese)

[13]TZIMIROPOULOSG,ARGYRIOUV,STATHAKIT.Symmetry detection using frequency domain motion estimation techniques[C]//International Conference on Acoustics,Speech,and Signal Processing,2008:861-864.

[14]KELLER Y,SHKOLNISKY Y.A signal processing approach to symmetry detection[J].IEEE Transaction on Image Processing,2006,15(8):2198-2207.

[15]LOYG,EKLUNDHJ O.Detecting symmetry and symmetric constellations of features[C]//European Conference on Computer Vision,2006:508-521.

[16]CHOM,LEEK M.Bilateral symmetry detection via symmetry-growing[C]//Proceedings of the British Machine Vision Conference,2009:1-8.

[17]HE Bei,WANG Guijin,YIN Xuanwu,LIU Bo,LIN Xinggang.Self-clustering symmetry detection[J].IEICE Transactions on Information and Systems,2012,95(9):2359-2362.

[18]HAUAGGED C,SNAVELYN.Imagematching using local symmetry features[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2012:206-213.

[19]ZITOVA B,FLUSSER J.Image registration methods:a survey[J].Image and Vision Computing,2003,21(11):977-1000.

[20]BAKER S,MATTHEw SI.Lucas-Kanade 20 years on:a unifying framework[J].International Journal of Computer Vision,2004,56(3):221-255.