APP下载

基于外轮廓与霍夫变换的印刷品图像配准算法

2023-02-08贺福强聂文豪李照东

智能计算机与应用 2023年1期
关键词:印刷品霍夫轮廓

何 昊,贺福强,聂文豪,刘 毅,李照东

(1 贵州大学 机械工程学院,贵阳 550025;2 贵州西牛王印务有限公司,贵阳 550025)

0 引言

随着生活质量的提高,消费群体对于包装的印刷质量有了新的要求。传统的检测方法是人工检测,工人依靠人眼或者借助色度仪、密度计、分光光度计等专业仪器进行检测,但效率低下且容易误检、漏检。随着印刷工艺的改进,印刷速度加快,人工检测完全不能满足市场需求,所以引进机器视觉对食品包装印刷缺陷进行检测[1]。检测中必不可少的一环就是图像配准,其作用是找到模板图像中各目标的像素点在其它图像中的位置。若没有配准环节或者配准结果较差,会导致待检测图像和模板图像做对比时,误将合格区域当做缺陷给提取,从而造成误检,浪费材料。所以在缺陷检测过程中,对印刷品图像的配准工作精度直接影响了后续缺陷检测的正确率,且在整个缺陷检测中,图像配准耗时占了一半左右。为解决现有的检测算法漏检率高、效率较低的问题,本文对印刷品图像配准进行了深入研究。

图像配准方法可以分为基于图像灰度、基于变换域以及基于图像特征等3 类。基于图像灰度信息的图像配准[2],是利用两个图像灰度的相似性特征实现的。但该方法运算量大,执行速度慢;若两幅图像存在旋转、变形和遮挡等情况,配准效果较差;对于非线性的光照变化情况的鲁棒性也较差。基于变换域的图像配准[3]比较常用的方法是利用傅里叶变换,将图像从时域变化到频域,从而在频域计算出两幅图像之间的旋转量和平移量,经过相应的旋转和平移实现配准。该方法抗噪能力很好,不会受光照波动的影响,但不适合需要进行仿射变换等复杂变换的图像配准情景。目前,对于图像配准的解决方案最多的就是采用基于图像特征的图像配准[4]。该方法利用图像中部分的点、线、轮廓和区域等特征实现图像配准,运算量可以控制,能极大的提高配准效率,特征的提取对于灰度变换又有较强的鲁棒。但是,由于该方法对噪声较为敏感,所以在提取出特征之后,还需要求得最佳的配准对才能计算配准需要的几何变换参数。此外,由于拍摄图像的角度和位置不一致(相机是固定的,但与经传送带送来的印刷品位置不一定一致),甚至有较大的差距,使得在寻找最佳配准对的过程中陷入局部最优值,导致最后配准结果错误。

考虑到印刷品配准的精度和效率要求,结合印刷品图像具有较丰富直线特征的特点,提出了一种基于外轮廓与限制动态参数的霍夫变换相结合的图像配准算法。采用霍夫变换求取边缘直线不但具有抗噪声好、不受边缘断点影响等优点,而且精确度高。但霍夫变换在检测直线过程中计算量很大,严重影响了系统的实时性能。本文所提算法通过粗配准和精配准相结合,既能满足实时性要求,又能提高配准精度。

1 预处理

1.1 灰度化

彩色图像相比于灰度图需要更多的储存空间和更多的计算量,因此本文利用加权平均值法灰度化,将图像转化为灰度图。加权平均值法公式如下:

其中,R、G、B分别为RGB 3 通道灰度值。

1.2 图像去噪

由于采集到的印刷品图像会因为现场环境中的粉尘、镜头上的脏污、光照不均以及设备震动等情况产生随机噪声,而高斯滤波[5]对于图像细节的保留做的很好,并且各方向的平滑程度一致,对各种噪声的适用性较好。因此,经过实验比较选择高斯滤波进行图像去噪。高斯滤波模板权重根据距离,按照高斯函数确定,其中二维高斯函数为

1.3 对比度增强

由于环境、设备等因素,采集到的图像整体会偏暗,导致图像的对比度不够,不能很好的区分特征,导致检测失败,因此需要对图像进行对比度增强。考虑到缺陷检测是将配准好的图像和模板图像进行比较,对比度增强应该稳定,故选择线性灰度变换方法增强对比度。计算公式为

1.4 图像分割

为减少后续运算量,选择最大类间方差法对图像进行分割,得到印刷区域。最大类间方差法[6]是日本学者大津提出的算法,故也叫大津法(OTSU)。设一幅灰度图像的灰度级为L,ni表示灰度值为i的像素数,n代表图像像素总数,Pi代表图像中灰度值为i像素出现的概率,则Pi =ni /n。若利用阈值t将图像中的像素按照灰度值分成C0和C1两类:C0={0,1,2,…,t}、C1={t +1,t +2,…,L -1,},则C0和C1出现的概率分别为:

C0和C1的灰度均值分别为:

假设目标和背景之间的类间方差用σB2表示,则:

最佳阈值t*可由下面的式子得到:

印刷品原图、原图经过灰度化、去噪、对比度增强后的结果、阈值分割后的结果如图1~图3 所示。

图1 印刷品原图Fig.1 Original image of print

图2 预处理结果Fig.2 Preprocessing results

图3 阈值分割结果Fig.3 Threshold segmentation result

2 配准

图像配准的作用是找到模板图像中各个目标的像素点在其他图像中的位置。保证图像配准的精确性,后续检测的准确性才能得到保障。若没有配准环节或者配准结果较差,会导致待检测图像和模板图像做对比时,将合格区域当做是缺陷给提取出来,从而造成误检,浪费材料。因此,本文提出了一种基于外轮廓与限制动态参数的霍夫变换相结合的图像配准算法。

2.1 配准算法思路

基于外轮廓与限制动态参数的霍夫变换相结合的图像配准算法总体思路如图4 所示。

图4 配准算法总体思路Fig.4 The general idea of registration algorithm

根据图像分割结果获得印刷区域的外轮廓(如图5 中绿色部分),计算外轮廓形心坐标,得到偏移量,再根据轮廓计算出旋转量。根据偏移量和旋转量对待配准图像进行刚性变换[7]和双线性插值[8],完成图像粗配准;在ROI 区域中限制霍夫变换的动态参数计算出ROI 中的直线,根据直线交点得到3个坐标。根据3 个坐标对待配准图像进行仿射变换[7]和双线性插值,完成图像精配准。

图5 印刷区域的外轮廓Fig.5 Outer outline of print area

本文充分利用印刷品生产工艺及图像自身特点,使算法只在一个很小范围内,采用动态参数限制的霍夫变换搜索直线,既保证边缘直线检测的精确度,也兼顾了系统的实时性要求。

2.2 模板图像制作

选择一张合格的图像,根据得到的外轮廓,对模板图像进行裁剪,如图6 所示。

图6 剪裁的模板图像Fig.6 Cropped Template Image

(1)选择追溯码和搜索区域。在剪裁的模板图像中选择追溯码区域(本文不作研究),并在模板图像上人工选择用于配准的搜索区域,该搜索区域至少需要有3 条直线(延长线)相交点,人工选择追溯码区域和搜索区域如图7 所示。

图7 追溯码和搜索区域Fig.7 Traceability codes and search fields

(2)搜索直线。在搜索区域利用霍夫变换搜索出所有直线。霍夫变换参数见表1。

表1 霍夫变换部分参数Tab.1 Some parameters of Hough transform

按照表1 参数搜索到的直线(红色部分)如图8所示。

图8 在搜索区域搜索到的直线Fig.8 Lines searched in the search area

(3)求相交点。假设直线1 为a1x +b1y +c =0,直线2 为a2x +b2y +c =0,则两条线的相交点横纵坐标为:

根据式(10)计算出所有相交点的坐标(xi,yi),i =1,2,…,n。

2.3 基于外轮廓参数的粗配准

首先计算外轮廓形心坐标,得到偏移量,再根据轮廓计算出旋转量,根据偏移量和旋转量对待配准图像进行刚性变换和双线性插值,完成图像粗配准,具体步骤如下:

2.3.1 轮廓形心坐标计算

根据最大类间方差对图像进行分割,获得印刷区域的轮廓,按照公式(11)计算出形心的横纵坐标x0、y0。

2.3.2 轮廓角度计算

通过计算最小外接矩形的偏转角度,来代替外轮廓的角度。

(1)利用格雷厄姆算法[9]对图像的凸壳点集求解

Step 1找到纵坐标最小的点P0,连接P0和其它所有点组成的L线段集,按照线段的角度和长度排序,得到(P1,P2,…,Pn);

Step 2判断所有点是否在Pi与Pi+1构成的线段同一侧,若满足条件,则保留该线段并选择下一条线段进行判断,否则将丢弃该线段的末端点Pi+1,将后面的Pi+2作为末端点继续判断,直到条件满足;

Step 3得到顶点集W,顶点集组成凸壳边界。

(2)旋转边界获得最小外接矩形

Step 1在顶点集W中找到横、纵坐标的最大最小值,并连接作为初始矩形R0,并记录面积和4 个顶点;

Step 2设顶点集W中第n个点坐标为(xn,yn),第n条边线的角度为θn,将图像绕原点旋转θn,则点坐标从(xn,yn)按式(12)转化为,得到顶点集W ′;

Step 3在顶点集W ′中找到横、纵坐标最大最小值,得到最小外接矩形R1,绕原点旋转-θn度。对所有边界按以上步骤进行旋转,得到最小外接矩形集SR,取其中面积最小的矩形作为最小外接矩形,其角度为θ0。

(3)配准相关计算:利用式(13)计算出待配准图像和模板图像在x、y轴的偏移量Δx、Δy。

其中,(x,y)为模板图像轮廓形心坐标。利用式(14)计算出待配准图像和模板图像轮廓偏转角度Δθ。

其中,θ为模板图像轮廓与x轴的偏转角度。

偏移量和偏转角度计算示意如图9 所示。

图9 偏移量和偏转角度计算示意图Fig.9 Schematic diagram of offset and deflection angle calculation

由于粗配准仅为精配准提供先验信息,所以对配准精度要求不高,故对图像的粗配准只需要根据上式计算的Δx、Δy、Δθ进行双线性插值的刚体变换即可。

2.4 基于限制动态参数的精配准

首先,在ROI 区域中利用限制霍夫变换动态参数,计算出ROI 中的直线。通过计算直线交点得到3 个坐标,根据坐标对待配准图像进行仿射变换和双线性插值,从而完成图像精配准。

2.4.1 限制动态参数的霍夫变换搜索直线

霍夫变换是一种可以检测各种曲线(如直线、圆、椭圆)的算法。该算法将图像空间的曲线利用点与线之间的对偶关系,转化为参数空间聚集的点,将检测问题转化为寻找峰值的问题。其原理如下:

直线用斜截式方程表示为

将x、y作为常量,对式(15)进行变换,就完成了图像空间到参数空间的转化,进而得到

图10 中,图像空间中的点(xi、yi)和点(xj、yj)在参数空间确定了两条直线,并相交于点(a′,b′)。

根据图10(b)中的交点(a′,b′),就可以计算出图10(a)中图像空间的直线y =kx +b。在极坐标参数空间下,直线可以表示为:

图10 图像与参数空间转换Fig.10 Image and parameter space transformation

点(xi、yi)对应极坐标参数空间中的ρ =xicosθ +yisinθ,点(xj、yj)对应极坐标参数空间中的ρ =xjcosθ +yjsinθ,并且相交于点(ρ′,θ′)。则θ′为直线的法线与x轴的夹角,ρ′为截距,如图11 所示。

图11 极坐标下的参数空间Fig.11 Parameter space in polar coordinates

此外,霍夫变换通过引入投票机制,在复杂的参数空间中找到目标直线。通过将极坐标系参数空间细分,设定累加器单元S(ρ,θ),并设置初始值为0。对所有像素(x,y)使用θ等间隔取值,遍历[θmin,θmax],根据式(17)计算出ρ,根据ρ对累加器S(ρ,θ)进行累加。遍历所有累加器S(ρ,θ),根据累计器值大于阈值的ρ和θ可以计算出图像平面对应的直线。

为进一步减少霍夫变换搜索的区域,同时考虑到已完成对图像的粗配准,而模板和待精配准的图像之间的直线偏移的角度有限,因此可以对霍夫变换进行动态参数的限制。待配准图像需要遍历的角度θ区间应该在模板图像参与配准的直线附近,所以需要遍历的角度θ区间为:

式中,i为模板图像参与配准直线的序号;θi为第i条直线的角度;k为模板图像参与配准直线的数量。

按表1 中的霍夫变换参数,再加上遍历角度θ区间条件,完成对区域内所有直线的搜索。

2.4.2 相交点计算与配对

在ROI 中搜索到的所有符合条件的直线,按式(10)求出所有交点。通常,用于模板图像和待配准图像上两点进行配对的方法有很多。例如:特定区域配对法、RANSAC 配对点搜寻法等等。其中,最为简单快速的方法是特定区域配对法。该方法可以选择两幅图中各自的最左上、最右上、最左下的交点进行配对。虽然此方法不具备旋转不变性,且鲁棒性较差,但是本文在粗配准时提前矫正了两幅图之间的旋转问题,完美的解决了旋转不变性问题。所以,本文旋转使用特定区域法对点进行配对。

3 实验结果与分析

为检验本文所提配准算法的精度,本文利用采集到的“润燥止痒胶囊”印刷品图像(4 096*2 067),在Windows10 系统的Visual Studio 2019 平台下,利用C++和OpenCV 进行配准实验。测试图像和标准模板图像之间发生了平移、选择、错切和缩放。实验效果如图12~图15 所示。

图12 配准前图像Fig.12 Image before registration

其中,图12、图14 为配准前后图像。为更好展示配准效果,对配准前后图像和模板图像分别进行差分,图13 和图15 分别为配准前后与模板图像的差分图。

图13 配准前绝对差值图Fig.13 Absolute difference map before registration

图14 配准后图像Fig.14 Registered image

图15 配准后绝对差值图Fig.15 Absolute difference map after registration

为进一步验证本文配准算法的精度,将本文配准算法、基于SIFT 的配准算法以及基于ORB 的配准算法进行实验比较。利用模板图像和配准后图像的归一化互相关系数(NCC)对配准的精度进行评价,相关系数的取值范围为[-1,1],相关系数越接近1,则配准的精度越高,归一化互相关系数计算公式如下:

实验中,对50 张润燥止痒胶囊”印刷品图像利用本文算法、SIFT 配准算法、ORB 配准算法以及SIRB 算法进行配准。配准的NCC系数对比如图16,耗时对比如图17 所示。

图16 各算法NCC 系数对比结果Fig.16 Comparison of NCC coefficients of each algorithm

图17 各算法耗时对比结果Fig.17 Time-consuming comparison chart of each algorithm

配准的平均性能对比结果详见表2:

表2 各配准算法性能对比Tab.2 Performance comparison of each registration algorithm

由表2、图16、图17 的对比结果可知,ORB 算法虽然速度最快,但配准效果最差;本文算法由于选择了直线搜索区域,大大降低了计算时间,其速度仅次于ORB 算法;SIRB 算法虽然相较于ORB 速度变慢,但精度有了大幅提升,有着最好的配准精度;由于印刷品配准强调实时性,且本文算法的精度和SIRB 相差甚微,耗时却减少了35%,故本文算法更兼顾了配准的精度和速度。

4 结束语

本文介绍了各种图像配准算法,仔细分析对比了各个算法的优劣势,根据印刷品图像具有比较丰富的直线特征的特点,提出了一种于外轮廓与霍夫变换相结合的图像配准算法。经过实验论证,该算法的配准精度和配准速度有着不错的表现,平均NCC系数达到0.928 8,平局耗时为262.61 ms。

猜你喜欢

印刷品霍夫轮廓
冰山与气候变化
世界之巅的花园——库肯霍夫
OPENCV轮廓识别研究与实践
2020年1月—6月国内印刷品、印刷装备、印刷器材进出口简报
2020年1月—5月国内印刷品、印刷装备、印刷器材进出口简报
2020年1月—9月国内印刷品、印刷装备、印刷器材进出口简报
基于实时轮廓误差估算的数控系统轮廓控制
高速公路主动发光轮廓标应用方案设计探讨
当之无愧的“冰人”
春在溪头荠菜花——序《民间日用雕版印刷品图志》