基于多区域变形补偿的印刷文字缺陷检测算法研究

李　敏， 周　强， 陈　晗， 王亚波

(陕西科技大学 电气与信息工程学院， 陕西 西安　710021)

0　引言

在日常生活中，人们通过喷码印刷的塑料薄膜包装了解产品信息，但是塑料薄膜包装喷码印刷过程中由于不确定因素的干扰，导致产品会出现印刷不清、漏印、白点、褶皱、拖笔、断笔画等缺陷，造成产品文字信息的不完全，从而对人们了解产品信息造成影响，因此印刷产品的文字缺陷问题不容忽视.

现今，针对文字缺陷检测的方法有文字字库识别检测、直接匹配差分检测[1]、骨架模板匹配检测[2]等方法.其中，文字字库检测需要将所有文字一一辨识出来进行训练，运算量过大，时长无法满足工业上的效率要求；直接匹配差分检测需将阈值分割出的文字与标准图像文字进行匹配以得到缺陷信息，检测速度过慢，误差较大；而骨架模板匹配检测则需通过粗精分割、连通量分析得到骨架模板，将样品图像与骨架模板匹配得到缺陷信息，此方法较前两种检测法精度有所提高，但在背景复杂区域无法轻易提取出骨架模板，不易检测出缺陷.

相对而言，针对印刷产品图像缺陷的检测研究成果较为成熟，常用的方法有图像差分法、模板匹配法及分层检测法，为缩短检测时间，一些学者还提出了分层和隔点抽样检测法[3,4].但是以上方法通常不能有效解决印刷过程中各色板因配准误差、抖动等带来的影响，检测精度不够高.为提高图像缺陷的检测精度，又有学者提出分区域分等级检测方法[5]，将印刷品设置成不同的检测等级进行缺陷特征分析，但此方法对于缺陷的定位不够精确，只可以检测到一般的图像缺陷，对于细小的文字缺陷检测结果误差往往较大.因此，针对现有方法的不足，找出一种能够快速精确检测印刷文字缺陷的方法至关重要.

针对塑料薄膜印刷品文字缺陷，本文将待检测文字区域视为一种小篇幅图像，提出针对文字缺陷图像的检测算法：首先对样本图像进行多次分割，实现多区域联合定位的变形补偿和差分规律训练，随后通过待检测文字图像与差分模型的对比，以获得印刷品文字缺陷信息.并且由于HALCON软件功能完善且效率高，因而本文在HALCON平台上进行了算法研究以实现文字缺陷检测的功能.实验结果表明该方法可以实现对文字缺陷的精确定位，提高检测速度，可大大减少漏检误检的发生，具有一定的生产指导意义.

1　检测系统及检测流程

印刷工业的自动化生产线上，缺陷检测系统对经过喷涂印刷的塑料薄膜进行文字在线检测和废品剔除.

如图1所示，缺陷检测系统主要由机械传送模块、图像采集模块、计算机控制模块组成.机械传送模块主要由传送机械和编码器组成，其将产品按一定速度运送到检测区域；图像采集模块由LED光源，CCD线阵相机，镜头和采集卡组成，通过线阵相机拍摄印刷品并将图像传送到计算机；计算机控制模块主要由计算机，IO卡及报警装置组成，支持开发者在HALCON软件平台上进行图像处理算法的设计、仿真和调试，并生成可执行的C++程序对产品进行在线检测，若检测到有缺陷，计算机将利用I/O卡驱动外部报警设备，提示产线操作人员.

(b)检测系统结构图图1　检测系统结构及实物图

2　文字缺陷检测的难点

印刷产品中图像通常会存在如白点、刮痕、墨斑等缺陷，当前的缺陷检测技术能够检测到它们.比较而言，印刷品的字符缺陷难以检测，主要有以下几点原因：

(1)文字缺陷窄小.相对于整幅图像文字的尺寸往往很小，而文字所包含的信息却很丰富，细小的文字缺陷都可能给文字信息造成破坏，如图2(a)所示的断笔画缺陷和图2(b)所示的文字断裂缺陷，缺陷宽度仅3～5个像素，缺陷面积十多个甚至几十个像素，这样窄小的缺陷原本就不易检测，而设备抖动和塑料薄膜变形产生的图像随机偏移，其幅度可达到几百个甚至上千个像素，使现有的图像处理方法更加难以检测文字缺陷.

(2)文字信息背景复杂.文字形状特征多样，其特征量不易构建，而印刷品的背景多变且复杂，使得淹没于背景之中的文字缺陷辨识特征量受到严重影响，如图2(c)，印刷品背景与文字信息颜色相近使得文字难以区分，同时文字缺陷难以检测.

(3)文字变形严重.塑料薄膜产品的材质较软在印刷过程易发生伸缩、褶皱或扭曲等变形，使得文字严重变形，现有的补偿方法难以将文字恢复原形状，文字变形造成的匹配差分误差远大于文字缺陷造成的误差.因此，变形对文字缺陷检测造成的影响很难克服.

正是以上因素造成了文字缺陷易漏检误检的问题，本文针对这些因素提出了一种字符图像缺陷检测的算法.

(a)断笔画

(b)断裂

(c)背景与字符颜色相近图2　常见的难点文字缺陷

3　HALCON平台的文字缺陷检测算法

为了克服印刷品难点缺陷检测问题，本文使用HALCON这一图像处理算法开发平台.

HALCON包含很强大的视觉算法开发包[5]，有一千多个独立的算子，是一款功能完善、效率高的图像处理软件.同时HALCON可以将算法程序导出为C++，C，C#，Visual Basic和 Delphi等多种语言程序，并将这些程序移植在计算机上运行[6-9].因此，本文将在HALCON平台上进行塑料薄膜印刷产品文字缺陷检测新方法的研究.

3.1　缺陷检测算法流程

在HALCON平台上，研究并实现了一种采用多特征区域定位的二次分割技术的文字缺陷检测算法.具体算法如下:

(1)针对文字缺陷信息窄小问题，将印刷品中的图片与文字图像进行区分，检测文字图像区域比图片的比对阈值系数小，使得缺陷识别率高，可准确检测到信息窄小的文字缺陷.

(2)针对文字信息背景复杂问题，将彩色图像转换为灰度图像，通过多幅图像训练出差分模型，从而得到对应像素点灰度的均值和偏差，在比对过程中可以高效准确地检测出复杂背景上的文字缺陷.

(3)针对文字变形问题，提出多次分割法将整幅图划分成了若干块小篇幅图像，对这些小篇幅图像进行不同程度的变形补偿，以大化小，分块处理；同时，采用多特征区域的联合定位来提高图像变形补偿的精确度，从而解决印刷中由于抖动而造成的文字变形问题.

完整的检测算法流程如图3所示：

(1)建立差分模型.通过对样本图像进行基本处理和差分模型训练获得了印刷品文字凸显的差分模型.

(2)文字待检测图像的变形补偿.通过基本处理模块对实时拍摄到的文字图像进行变形补偿.

(3)文字缺陷检测.通过对差分模型和经过变形补偿后的文字图像比对可以判断是否存在文字缺陷.

图3　检测算法流程图

3.2　图像基本处理模块

图像基本处理模块对样本图像以及实时采集待检测图像进行变形补偿，为缺陷检测做准备，其流程图如图4所示.需变形补偿图像和标准图像在经过灰度变换及相同的一次分割后，利用标准图像对需变形补偿图像进行一次变形补偿，使得塑料薄膜材料伸缩引起的文字图像的轮廓变形获得初步补偿；随后进行的二次分割和二次变形补偿，使得文字图像的细节变形也获得校正.

图像基本处理模块的处理过程包含灰度转换、图像分割和变形补偿等子模块.

图4　图像基本处理模块流程图

3.2.1灰度转换

通常获取的图像为彩色图像，需要将图像进行灰度转换，图像灰度化方法有 RGB 三原色等权法和不等权法[10,11].本文采用不等权法进行转换，转换后灰度为：

f(x,y)=0.299R(x,y)+0.587G(x,y)+

0.114B(x,y)

(1)

式(1)中：x,y分别为图像的横纵坐标.

3.2.2图像分割

灰度转换后，对灰度图像进行初次分割，初次分割根据图中字符信息所占的区域，将一幅图像分割成多幅图像，对分割后的图像分别进行变形校正；再对校正后图像进行二次分割.一次分割大体将字符区域划分出来，二次分割将划分出来的字符区域均分，分别对均分后的每块小区域进行检测处理，使得配准的精度和检测质量提高.图像经过两次分割可以有效解决亮度不均匀导致的阈值难以确定的问题.

3.2.3变形补偿

在喷涂印刷过程中，塑料薄膜印刷产品存在抖动等一系列干扰因素，造成伸缩，褶皱或者扭曲等的产品变形，由于变形存在不确定性和随机性，使得补偿效果往往不佳.因此本文补偿思想是多次分割和多次补偿相结合，从而提高配准精度补偿效果[8].变形补偿的流程如图5所示.

图5　图像变形补偿流程框图

其具体步骤如下：

(1)创建配准模板[12]

获取配准区域(ROI)，变形补偿的配准过程中选用多个ROI，初次变形补偿选取标准图像中上下左右四块特征比较明显的小区域依次进行多次配准，二次分割后的图像选取两个ROI.再根据配准区域ROI创建形状模板.

(2)建立变换矩阵

①创建搜索区域.需变形补偿的图像搜索形状模板的范围是在之前创建的配准区域基础上扩展出100～200个像素点进行搜索，由于在印刷的过程中，印刷品的变形移动范围不会有过大的偏移，因此选择部分区域作为搜索区域准确率不会改变，且因为搜索区域减小而节省了搜索时间.

(2)

为模板与待检测图像对应点的方向向量点积总和，对相似度函数做归一化处理，得到：

(3)

相似度s取值范围[-1,1]，取值为1时，表示模板图像与待检测图像完全匹配.

③生成仿射变换矩阵.根据搜索得到ROI的中心点坐标、旋转角度等数值生成仿射变换矩阵，变换矩阵能够对预处理后的图像进行变形补偿，变换矩阵包含平移、旋转、缩放三种算子[15,16].

本文通过待配准图像与标准图像进行多个不同区域的配准获得平均变换矩阵H.

(4)

(3)仿射变换

根据变换矩阵H对待配准图像局部区域像素点(x1,y1)进行仿射变换，如公式(5).

(5)

经过仿射变换，图像得到变形补偿，更有利于字符信息缺陷检测.

3.3　缺陷检测过程

样本图像经过基本处理模块处理后，训练得到差分模型，随后实时采集的图像传送入计算机，对其进行灰度转换，图像分割，变形补偿等基本处理，并与差分模型进行比对，找出文字缺陷.

3.3.1差分模型训练

训练差分模型是将一组样本图像计算出理想图像和变化图像，即对样本图像进行基于灰度的运算，取样本图像平均值或者中值为理想图像，训练图像的标准偏差为变化图像.针对图像的灰度变动进行变换范围的计算，将训练出的理想图像和变化图像转换为两个阈值图像并将它们存储在差分模型中来完成，以加速待检测图像与差分模型的比较.

3.3.2在线缺陷检测

令A=a(x,y)为理想图像，B=b(x,y)为变异图像，如下计算两个阈值图像：

Tu=A+max{au,bu·B}

(6)

Tl=A-max{al,bl·B}

(7)

式(6)、(7)中：Tu为最大阈值图像范围，Tl为最小阈值图像范围.au、al、bu、bl都是设置的阈值系数，设置的系数较大，训练点的灰度变动大，不同情况下设置不同的系数.

如表1～4所示，本文以减少计算量为目的，设au=al，bu=bl，使用试凑法对a,b的取值进行选取，由实验可得，相同条件下当a=33,b=3.5时，文字缺陷检测的正确率最高.

表1　当b=1时，a的取值对正确率的影响

表2　当b=3时，a的取值对正确率的影响

表3　当b=4时，a的取值对正确率的影响

表4　当b=3.5时，a的取值对正确率的影响

令待检测图像为C=cx,y，待检测图像与差分模型进行比对，比对原理参照以下公式：

C>Tu或C

(8)

在比对的过程中，图片图像和文字图像设置不同的阈值系数，针对文字缺陷设置小的阈值系数以达到精度高的要求.经过对比的图像区域进行形态学处理，形态学处理的基本思想就是用具有一定形态的结构元素提取图像中对应的形状，从而实现对图像的分析和识别[7]，即通过对比的区域去除干扰区域得到缺陷区域.

根据上述图像局部区域的缺陷检测方法，得到图像局部缺陷信息，从而判定整幅图像的质量状况：若图像局部检测均合格，则认为该整幅印刷品质量合格；若有任何一图像出现局部缺陷，则该检测图像存在质量问题.

4　实验

4.1　实验条件

将本文算法应用于图6所示的塑料薄膜印刷品生产线进行24 h的在线实验.本次实验生产线中印刷品材料宽度为1 000 mm，印刷机型号为罗兰700，现场印刷机速度一般为230 m/min.

(a)印刷生产设备　　　　(b) 图像检测设备图6　塑料薄膜印品生产环境

4.2　算法流程

实验中，在HALCON平台上实现所采用的算法流程如下：

(1)对图像进行灰度转换和图像分割.调用rgb1_to_gray算子(公式(1))将彩色图像转换成灰度图.随后对图像进行分割，首次分割将灰度图分为左中右三部分，二次分割对分割后的图像进行均分；

(2)对图像进行变形补偿.调用gen_rectangle1算子在标准图像上选取四个配准区域ROI1～ROI4，使用reduce_domain算子截取配准区域，同时利用算子area_center得到配准区域ROI中心坐标.调用create_shape_model算子创建匹配模板.调用dilation_rectangle1算子将四个配准区域扩大200个像素作为搜索区域.调用算子find_shape_model(公式(3))在搜索区域中寻找配准区域，找到后利用vector_to_aniso算子对图像进行仿射变换.随后将补偿后的图像进行二次分割，创建两个ROI再次进行配准变形补偿；

(3)将样本进行变形补偿后，调用train_variation_model(公式(6)、(7))训练模板.随后调用prepare_variation_model算子，在默认的参数基础上调试算子参数，为比对做准备；

(4)使用camepare_variation_model算子(公式(8))将做了相同基本处理后的待检测图像与差分模型进行比较，输出的区域调用connection进行连通域处理，调用select_shape算子根据特征设定去除干扰区域从而得到缺陷.

4.3　实验结果及分析

图7为两幅含有文字缺陷的待检测图像.

(a)存在断笔画缺陷的图像

(b)背景复杂的地方存在缺陷图7　两幅含有文字缺陷的待检测图像

待检测图像经过4.2的检测过程，该检测过程如图8所示.

图8　检测过程图

检测结果如图9所示，该方法能够准确地辨识出文字中的不同缺陷.

(a)断笔画缺陷检测结果

(b)背景复杂下对文字缺陷的检测结果图9　缺陷检测结果

现将完成同样文字缺陷检测功能的普通算法与本文算法进行性能比较，其结果如表5所示.

表5　文字缺陷检测性能对比

通过表5中检测时间、正确率以及精度等参数对比，说明本文算法优于通常检测方法.通常的方法在配准上耗时大，无法解决印刷过程中产生的不均匀变形问题，而经实验证明本文多区域联合定位与多次分割结合显著提高了定位的精度；配准过程中选取小特征区域同时减少了搜索配准区域面积，提高了变形补偿的速度；文字图像与差分模型精确比对，不仅可以提高查找文字缺陷的正确率而且提高了检测速度，缩短了检测时间，因此本文算法较之以往的方法在速度、精度等方面均有了较大的提高.

5　结论

在现今检测方法的基础上，本文利用HALCON平台针对塑料薄膜文字缺陷检测易误检漏检的难题，提出并实现了多次分割，多区域变形补偿，比较差分模型的改进算法.实验证明，采用本文算法可以更精确的配准校正，正确率达到99%，有效地检测到印刷产品文字信息缺陷，同时检测速度和精度上都有了较大的提升.随着自动化不断地融入到工业生产过程中，基于HALCON的机器视觉算法也将不断地扩大应用范围.

[1] 徐玮东,王毅,张荣阁.基于机器视觉的液晶屏字符缺陷检测系统设计[J].电脑知识与技术,2016,12(17):182-184.

[2] 肖习雨,张昌凡,龙永红.基于骨架模板匹配的彩色印刷品文字缺陷检测[J].包装学报,2010,2(1):38-41.

[3] 刘飞.基于图像处理的印刷质量自动检测算法研究[D].武汉：华中科技大学，2006.

[4] 刘海娟.基于图像处理的印刷品缺陷检测技术研究[D].哈尔滨：哈尔滨工业大学，2012.

[5] 田敏,刘全香.分区域分等级的印刷品缺陷检测方法[J].包装工程,2015,36(21):122-127.

[6] 王文成.基于HALCON的齿轮缺陷检测系统设计[J].机械传动,2014,38(9):60-63.

[7] 肖海俊，葛广英,姚坤，等.基于 HALCON 的喷码字符识别技术的研究与实现[J].现代电子技术，2015,38(15):95-98.

[8] 郭佳寅,岳秀江,吴双，等.基于 HALCON 的乳制品箱体喷码字符识别方法研究[J].制造业自动化,2013，35(2):21-22.

[9] 卢泉奇,苗同升,汪地等.基于HALCON的机械手视觉抓取应用研究[J].光学仪器,2014，36(6):492-498.

[10] Rafael C Gonzalez,Richard E Woods.数字图像处理[M].阮秋琦，阮宇智.北京:电子工业出版社， 2007.

[11] 王宏丽,赵不贿,孙智权,等.基于HALCON的医疗袋缺陷检测[J].包装工程,2015,36(13):125-129.

[12] 肖开明.图像配准算法及其在印刷质量检测中的应用[D].上海:上海大学,2004.

[13] 邹广华.基于几何特征的快速模板匹配算法[D].哈尔滨：哈尔滨工业大学,2010.

[14] 汪青芳.基于机器视觉的标签缺陷检测系统设计与实现[D].成都:电子科技大学,2014.

[15] Chen C Y,Deng Q L,Lin B S,et al.Quartz-blazed grating applied on auto stereoscopic display[J].Journal of Display Technology,2012,8(8):433-438.

[16] Joo D Y,Youngshin K,Seungjoon Y.Evaluation of perceptual resolution and crosstalk in stereoscopic displays[J].Journal of Display Technology,2013,9(2):106-111.