药用玻璃瓶印刷字缺陷检测的算法研究

，，，

(1.河北科技大学 电气工程学院，石家庄 050000； 2.河北省科学院 应用数学研究所，石家庄 050000；3.河北省信息安全认证工程技术研究中心，石家庄 050000)

药用玻璃瓶印刷字缺陷检测的算法研究

王星1，刘朝英1，宋雪玲1，郝存明2,3

(1.河北科技大学电气工程学院，石家庄050000； 2.河北省科学院应用数学研究所，石家庄050000；3.河北省信息安全认证工程技术研究中心，石家庄050000)

药用玻璃瓶在传送的过程中可能会发生平移、旋转或者受到噪声的影响，目前药瓶印刷字还没有有效的方法来检测;为了准确的检测出印刷字的缺陷，比较了两种检测的方法：Harris与归一化互相关 (NCC)相结合的匹配方法、SIFT(scale invariant feature transform)与欧氏距离相结合的匹配方法；将这两种方法应用到药瓶印刷字检测系统中，选出最有效的方法。实验结果表明：与Harris相比，SIFT方法能够更准确地提取图像的特征点，且与欧氏距离相匹配的正确匹配率高，可达到理想的实验效果。

SIFT算子；Harris算子；特征点提取；图像配准；药用玻璃瓶印刷字缺陷检测

0 引言

因为药用玻璃瓶生产企业采用的印刷字设备后端没有与其配套的印刷字检测设备，所以印刷字出现不清楚或者内容不全的情况时有发生，会严重影响产品的质量。目前很多企业通过人工用肉眼或专用的检测工具对药瓶印刷质量进行检测，人工检测的方法效率低、速度慢还会出现漏检，因此很有必要开发一套药瓶印刷字质量检测系统。该系统主要涉及的方法是图像配准，图像配准是一种将两幅图像经过空间位置对齐，再进行对比与分析的图像处理技术。图像配准最早应用在军事上，随着图像处理技术的不断进步，图像配准技术也不断的出现了很多新的算法，并且应用领域也较广泛，例如模式识别、遥感、定位导航等。因此图像配准的研究是大势所趋，并且为药用玻璃瓶印刷字的检测提供了很好的平台。

图像配准是计算机视觉和数字图像处理的重要组成部分。本文选用了最常用的基于特征的图像配准方法，该方法计算简单、抗噪性好、稳定性好、不受几何形变的影响。基于特征提取是配准的关键之处，一般选用的特征为角点、边缘、交叉点、高曲率点、轮廓中心等。在特征点提取算子中，当前比较流行的有：基于图像灰度自相关的兴趣点算子[1]、SUSAN算子[2]、Harris算子[3]、SIFT特征描述不变子[4]等。

针对药用玻璃瓶印刷字的检测，特征点提取采用了Harris角点检测算子和SIFT特征点检测算子[5]。1981年Moravec算子[6]被提出，1988年C.Harris和M.J.Stephens教授针对其不足，提出了Harris算子。 Harris算子计算效率高，时间复杂度低，受图像的亮度变化影响小，对图像的旋转不敏感。SIFT(Scale Invariant Feature Transform)[7]算法是大卫.劳伊教授在1999年提出，并且于2004年对该算法进行了归纳与优化。图像发生平移、旋转等变化时不影响SIFT算法的稳定性，该算法对噪音的干扰也有一定的抵抗性[8]，本文将这两种方法应用到药用玻璃瓶印刷字检测系统中，通过比较分析配准的结果，选出正确匹配率较高的方法。

1 Harris角点检测算子

图像的亮度变化值E(u,v)表达式如下：

(1)

式中,[I(x+u,y+v)-I(x,y)]2为图像亮度的梯度值，w(x,y)为高斯滤波器。图像I(x,y)在坐标点(x,y)处移动(u,v)后的泰勒展开式：

(2)

由矩阵M，可得角点响应函数R：

R=detM-k(traceM)2

(3)

式中，λ1、λ2是M的特征值；detM为矩阵M的行列式，detM=λ1λ2=AC-B2；K是一个正的经验值，一般取值：0.04—0.2[9]；traceM为矩阵的迹，traceM=λ1+λ2=A+C。根据式(3)计算每个像素的R值，R取得局部极大值的点即为候选角点。

2 SIFT特征点检测算子

2.1 尺度空间构建

通过高斯核对原始图形进行尺度变换，得到多尺度下的表示序列。一幅图像的尺度空间L(x,y,σ)可以由图像和高斯核卷积得到：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(4)

高斯核[10]是唯一能产生多尺度空间的核，G(x,y,σ)表达式：

(5)

L为尺度空间因子，该值的大小代表了图像被平滑的程度。

构造高斯差分金字塔(DOG)可以通过对相邻的两尺度空间的函数作差并同图像卷积得到差分尺度空间。D(x,y,σ)用来表示高斯差值方程：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(6)

建好高斯金字塔后，需要找到DOG图像的极值点。每一个采样点需要同与其同层相邻的8个像素点以及周围上下两层9×2=18个像素点总共8+18=26个像素点进行对比，观察选取的采样点是否比它所在尺度域的相邻点大或者小，假如找到的点大于(或小于)此26个点时，该采样点才能被认为极值点，并进行下一步计算。

2.2 特征点位置的确定

在得到SIFT候选特征点集合后，需要把稳定的特征点筛选出来，为后续的计算做准备。剩下一些对比度低的点，这些点响应值较小，容易受噪声的影响，因此会影响SIFT特征点的抗噪能力。候选点中还留有一些边缘上的点，这些点有较强的响应值，一旦有特征点落在上面位置就很难确定，对SIFT特征点的稳定性有影响。所以这两种点必须剔除掉。

2.3 特征点主方向的生成

为了让算子具备旋转不变性，我们需要以极值点为中心，将其所在邻域图像梯度的方向和位置旋转一个角度。

m(x,y)=

(7)

(8)

式(7)、(8)是对于每个高斯图像，特征点的梯度值和梯度方向，在完成梯度计算后，需要用直方图来统计每个特征点周围像素点的梯度值和梯度方向。直方图的横轴代表梯度方向，纵轴代表每个特征点的梯度值的累加值。直方图的峰值就是该特征点处领域内图像梯度的主方向。

2.4 SIFT特征向量的生成

将SIFT特征区域以特征点为中心划分为2×2个邻域窗口，计算每个窗口4×4个特征点的梯度方向，把这些梯度方向累加到8个方向上，这样每个窗口可以形成一个8方向的种子点，一共有4个窗口，可形成2×2×8=32维的SIFT特征点。实际计算过程中，文献[11]建议将特征区域划分为4×4个方格，每个方格有一个8方向的种子点，所以此特征区域就有4×4×8=128个数据，形成128维的特征向量。此时的特征向量很稳定，不受其它因素的影响，再继续将特征向量的尺度归一化，进而能减少灰度差异带来的影响。

3 图像匹配

Harris算子提取出图像的特征点后，利用经典的统计匹配方法即归一化互相关Normalized Cross Correlation method(NCC)[12]的方法进行点对间的匹配运算。

SIFT算子在特征向量生成后，需采用欧氏距离[13]的方法对两幅图像进行初匹配，即在基准图像中选取一个特征点，然后在待配准图像中找到与其欧氏距离最短的两个点，把最短距离除以第二短距离的比值作为匹配对的判别标准。如果比值在设定的阈值范围内，就认为此匹配点对符合要求。

在图像匹配部分，两者都采用RANdom Sample Consensus(RANSAC[14])的去外点方法剔除误匹配点。RANSAC是一种经典的去外点方法，通过利用特征点集合中的内在约束关系来剔除错误的匹配。RANSAC算法稳定、可靠、精度高，对噪声和特征点的提取有很强的鲁棒性，剔除误匹配点的能力较好。

剔除误匹配点之后，该进行图像配准，图像配准的过程就是找到最优匹配点对之间的关系参数，待配准图像根据这个关系参数进行空间变换，变换到基准图像的坐标系中。配准图像的空间坐标与基准图像相同，在对应的坐标位置与待配准图像的像素值相同。一般最常见的空间变换关系包括平移、旋转、缩放等。

4 实验与分析

4.1 药用玻璃瓶在线检测系统整体结构设计

线阵相机主要应用领域是连续的材料，被检测物一般是匀速运动的，多用在滚筒检测上。药用玻璃瓶印刷字的检测场合就是药瓶在传送链上进行匀速移动，并在相机拍摄范围内进行匀速旋转一圈，所以选择线阵相机来进行连续拍摄匀速旋转的药瓶，来完成对药瓶表面印刷字的完整成像，图1是形成的清晰完整的瓶身印字图像，然后通过图像处理的方式来对药瓶表面的印刷字(药物的名字、用量、有效期等)进行在线实时检测。当上述检测完成后，得出药瓶的检测结果，通过分析检测结果，完成在线废品剔除动作，真正实现药瓶在线检测分拣流程。

图1 药瓶印字检测设备最终成像图像

药用玻璃瓶的印刷字质量检测系统的总体结构如图2所示，按功能可以分为3部分：机械结构单元(传送链、伺服电机、步进电机、气缸、机械框架等)、图像采集、处理单元(光源、线阵相机、PC机)、控制单元(PLC、驱动器)。

机械结构单元用来传送药瓶到相机的视野中，伺服电机带动传送链的转动，步进电机以及气缸影响药瓶的旋转，并且机械结构单元给整体系统的相机、光源以及控制单元的安装提供了机械框架。图像采集、处理单元用来设置被检测对象的光照和被检测对象的表面成像采集，并且包括检测目标点的特征提取、特征匹配、模型判断、优化计算等，是药瓶质量检测系统的稳定性和准确性的决定性部分。控制单元主要负责机械结构的传动控制和相机采集的触发判断。图像配准算法在图2中的图像采集、处理单元实现，药瓶印刷字图像配准算法的流程图如图3所示。

图2 药用玻璃瓶印刷字质量检测系统整体结构

图3 图像配准的流程图

4.2 比较与分析

为了比较算法的优劣性，下面进行真实的药用玻璃瓶印刷字的在线检测实验。实验环境：双核处理器(2.5 GHz，睿频可达3.1 GHz)、1 GB独立显存、4GB DDR3内存； MATLAB R2010a的仿真环境。基准图像和待配准图像的像素值为365×296。在线检测的过程中，药瓶在传送链传送时可能会发生平移、旋转、即平移又旋转、也可能会受噪声的影响，所以本文将这两种方法应用到这些环境中来对结果进行比对。基准图像是药用玻璃瓶印刷字检测设备的最终成像图像，选取的待配准图像分别由基准图像经过平移变化、旋转变化、平移和旋转、加入噪声等条件得到。如图4(a)、(b)、(c)、(d)所示。

图4 待配准图像

Harris和SIFT特征点匹配情况分析：

药用玻璃瓶在传送带上传送的过程中会发生各种变化或受到影响，为了说明情况，本文选择药瓶在传送过程中发生平移、旋转变化为例。图5是利用Harris算子匹配的图像，图6是利用SIFT算子匹配得到的图像，通过图5可以看出，大部分特征点对能被正确的匹配(如图中平行的直线)，但还是有误匹配的点对(如图中的相交直线)[15]。图6中全部的特征点对被正确匹配(如图中平行的直线)，无相交的直线。由此可以看出SIFT比Harris的正确匹配率高。图像平移、旋转、平移和旋转、加噪等变化后匹配性能比较如表1所示，表1中显示了Harris算法与SIFT算法中分别提取基准图像的特征点数为203、651个，并且由表1可以看出，无论图像怎么变化，SIFT算法都比Harris算法的正确匹配率高，能达到理想的效果。

图5 图像旋转后Harris匹配图像

图6 图像旋转后SIFT匹配图像

表1 Harris算法与SIFT算法的匹配性能比较

5 结论

本文介绍了Harris算法和SIFT算法的检测原理，并详细介绍了药瓶印刷字缺陷检测的整体构架，将两种算法在图像处理单元进行实现，SIFT算子使用了128维的特征向量，使图像的特征点更加准确和稳定，通过比较与分析药用玻璃瓶印刷字检测的实验结果，可以看出SIFT算法比Harris算法的正确匹配率高，能够达到理想的实验效果。

[1] Moravec H P. Towards automatic visual obstacle avoidance[A]. proceedings of the Fourth Alvey Vision Conference[C].1998:147-151.

[2] 王冠群.基于SUSAN算子的特征检测方法研究[D].西安：陕西师范大学，2015.

[3] Harris C J, Stephens M. A combined Corner and Edge Detector[A]. Proceedings of the 5th International Joint Conference on Artificial Inteligence[C]. 1977.

[4] 牛海涛,赵勋杰,李成金等.基于改进SIFT算法的建筑物图像立体匹配[J].计算机工程, 2011,37(12):206-208.

[5] 敖丽霞.基于图像处理的印刷品缺陷在线检测系统研究[D].南昌：南昌大学，2014.

[6] 周龙萍.基于改进的Harris算法检测角点[J]. 计算机技术与发展, 2013，23(2):11-14.

[7] 冯 嘉. SIFT算法的研究和改进[D].吉林：吉林大学，2010.

[8] 赵亚萌.基于改进SIFT的多波段遥感影像自动快速配准方法研究与应用[D].开封：河南大学，2013.

[9] 汪淑梦.基于改进的SIFT算法的图像配准技术的研究与实现[D].北京：中国地质大学，2013.

[10] 罗文超,刘国栋,杨海燕.SIFT和改进的RANSAC算法在图像配准中的应用[J].计算机工程与应用, 2013,49(15):147-156.

[11] Faugeras O, Robert L. What can two images tell us about the third one[A]. Proceedings of the Europe Conference on Computer Vision[C]. Sweden, 1994.

[12] 姚 宇.基于特征点提取的图像配准技术及应用[D].长沙：国防科技大学, 2010.

[13] 仲 明.基于特征点精确配准的图像拼接技术的研究[D].上海：华东师范大学, 2015.

[14] 李柏林.基于特征点图像拼接的配准算法研究[D].天津:天津大学，2008.

[15] 仲 明.基于特征点精确配准的图像拼接技术的研究[D].上海:华东师范大学，2015.

AlgorithmResearchonMedicinalGlassBottlesDefectDetectionofPrintingWords

Wang Xing1, Liu Chaoying1, Song Xueling1, Hao Cunming2,3

(1.School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang 050000, China; 2.Institute of Applied Mathematics, Hebei Academy of Sciences , Shijiazhuang 050000, China; 3.Hebei Authentication Technology Engineering Research Center, Shijiazhuang 050000,China)

In the process of transmission，medicinal glass bottle may occur translation, rotation or affected by noise. At present, printed words of bottle have no effective way to detect. In order to accurately detect the defects of printed words, two matching methods are compared, Harris combined with normalized cross correlation method (NCC) and SIFT combined with Euclidean distance method. Two methods are applied to the the defect detection system, the most effective method is chosen. The experiment results show that compared with Harris, SIFT method can more accurately extract the image feature points, and the correct matching rate with Euclidean distance is high, which can achieve the desired experimental result.

SIFT algorithm; Harris algorithm; feature point extraction; image registration; medicinal glass bottles printing word detection

2017-05-07；

2017-05-26。

河北省科学院科技计划项目(17602)。

王 星(1991-)，女，河北石家庄人，研究生在读，主要从事机器视觉方向的研究。

刘朝英(1958-)，女，江苏徐州人，教授，硕士研究生导师，主要从事过程控制、智能控制方向的研究。

宋雪玲(1974-)，女，河北石家庄人，硕士，教授，主要从事工业过程智能控制方向的研究。

1671-4598(2017)11-0265-04

10.16526/j.cnki.11-4762/tp.2017.11.067

TP391.4

A