基于电子样稿的柔印首件“粗-精”检测方法

肖 盼 燕舒乐② 龙进良② 肖 盟② 蔡 念*② 陈新度

①(广东工业大学省部共建精密电子制造技术与装备国家重点实验室 广州 510006)

②(广东工业大学信息工程学院 广州 510006)

1 引言

柔印工艺由于印刷质量好、适用性广、水墨毒性小、生产效率高且生产操作维护简便等特性[1]，被广泛应用于包装、标签和装潢印刷等领域。在柔印标签批量生产前，工人每次换班、换产以及设备装调后，都必须经历柔印首检工艺，即印刷的第1件或前几件柔印产品都必须与电子样稿比对检查，以尽早发现印刷质量问题。当前柔印首检采用人工3检制：自检、互检和专检。可是，柔印标签上的印刷内容涉及世界各地语言(超过5000多种文字)，且印刷字符内容众多，平均每个标签超过200多个字符。这导致人工质检劳动强度大，耗时耗力，极易漏检，从而造成柔印标签成批超差、返修、报废，引起严重的经济损失。因此，高精度的柔印首件自动检测方法对于柔印工艺具有重要的现实意义。

虽然机器视觉已被广泛应用于织物印刷内容检测[2]，但是以往研究更多以印刷正品为模板，检查批量印刷过程中所产生的印刷缺陷[3–8]。Qayum等人[3]采用窗口滑动思想分别提取参考样品图像子块及待检测样品图像子块，采用归一化互相关系数分析两幅图像各子块之间的相关性，最终实现纺织轮转印花图像缺陷检测。Alam等人[4]调用Halcon软件里已有的图像处理函数，经过图像分割、连通域提取、直方图列和面积等特征分析、区域像素点数目计算等步骤完成印花织物缺陷检测。Jing等人[5]通过RGB累积平均法求取计算印花织物的最小周期，以最小周期为滑动窗口对模板图像和待测图像构造高斯金字塔。通过互相关系数和固定阈值设置对印刷品疵点进行定位，并使用拉普拉斯金字塔重建原始图像，得到实际缺陷位置。Ng等人[6]通过直方图均衡对规则纹理的织物图像进行预处理，再以无缺陷的正品织物为参照将预处理后的待测织物图分解为织物纹理图像和缺陷图像，最后通过硬阈值分割缺陷图像完成检测。Kang等人[7]提出了两种检验印花织物的方法。一种使用无缺陷织物图像与Gabor滤波器重建后的图像差异为目标函数，通过遗传算法获取目标函数最小值时的Gabor滤波器参数，无缺陷图和待测图分别使用滤波器进行处理，若待测图灰度值大于无缺陷图对应7×7滑块内的最大值或小于最小值，即为疵点。另一种方法采用梯度下降的思想，通过距离匹配函数求取周期距离，得到印刷织物图像的图案单元，再使用规则条带提取织物单元的特征，实现织物疵点分割。上述方法都是检测重复性高、对称性强的印花类图案，显然难以适用于检测印刷字符种类繁多、重复性低、数目多的柔印首件标签。柔印首件检测无法提供印刷正品，因此这些以标准印刷产品作为对照模板的检测方法必然无法生效。

近年来，因为机器学习可规避人工启发提取特征，已有研究将其应用于织物缺陷检测[9–12]。Hu等人[9]将测试图像分割成若干个尺寸大小相同的图像子块，输入到卷积去噪自编码器网络和哈希编码器中，获得特征向量和哈希码，与样本数据库的哈希码集比较以确定参考图像在原始样本图像中的位置，再使用尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)特征进行匹配，通过灰度标准化、图像差分以及计算Tsallis熵进行阈值分割的方法完成缺陷检测。Chakraborty等人[10]开发了印花织物数据库并使用深度卷积神经网络解决斑点缺陷检测和印刷配准问题。Zhao等人[11]采用Inception-Resnet-V2网络对输入织物图像进行分类，根据分类结果确定待检测区域尺寸和位置，采用Faster R-CNN对待检测区域进行检测，最后得到织物缺陷检测结果。Huang等人[12]首先将织物数据训练SegNet分割网络，然后将其输出作为决策网络DecNet的输入，从而得到织物缺陷检测结果。为了确保模型泛化能力，机器学习方法需构建样本数量众多且正负样本分布均衡的织物图像数据集。但是，柔印首件检测工艺仅能提供1个或几个柔印样品，根本无法构建数据集。

针对上述问题，本文提出一种基于电子样稿的柔印首件“粗-精”检测方法，主要包括粗匹配、精匹配和缺陷检测3个阶段。在粗匹配阶段，为了解决电子样稿与柔印首件内容粗细不一、灰度特性差异大的问题，采用SuperPoint[13]构建图像特征，以潜在凸显两者之间的相似性；然后，采用Super-Glue[14]方法解决两者在匹配时存在的柔印内容重复率高、误匹配点对多的难题。在精匹配阶段，为了解决柔印过程中因版材伸缩、弯曲引发柔印内容局部偏移而导致错检的现象，基于粗匹配结果采用归一化互相关法[15](Normalized Cross Correlation,NCC)对电子样稿的字符或图案进行位置微调寻优。在缺陷检测阶段，以电子样稿分割结果为约束条件，提出约束聚类方法将缺陷检测问题转化为电子样稿与柔印首件差异最小化的优化问题，优化求解后即实现柔印首件自适应检测。

2 本文提出的方法

2.1 算法框架

本文所提柔印首件“粗-精”检测算法框架如图1所示，主要包括粗匹配、精匹配、缺陷检测3个阶段。在粗匹配阶段，采用SuperPoint分别检测电子样稿和柔印首件的超点特征。然后，采用Super-Glue匹配电子样稿和柔印首件的丰富超点。接着，设计基于NCC匹配方法微调电子样稿，实现电子样稿和柔印首件的精匹配。之后，以微调后电子样稿的阈值化结果为约束条件，提出约束聚类方法将缺陷检测问题转化为电子样稿与柔印首件差异最小化的问题，求解优化问题即可实现柔印首件缺陷自适应检测。

图1 本文算法框架

2.2 粗匹配

由于首件检验的特性，不存在印刷正品实物作为标准图像，只能以电子样稿作为参照模板。为了将电子样稿与待测柔印首件匹配对齐，采用Super-Point 检测提取兴趣点，再采用强力匹配方法计算最优匹配矩阵。

2.2.1 SuperPoint

由于电子样稿与柔印首件内容粗细不一、灰度特性差异大，传统方法提取的特征无法准确描述电子样稿和柔印首件。而SuperPoint采用深度学习网络、以位姿计算损失函数，所以能够更好地表征两幅图像之间的共性特征，并且SuperPoint网络输入图片尺寸无需归一化或者分块，即可处理不同尺寸的输入图像。因此，采用SuperPoint自监督网络提取电子样稿和柔印首件的超点。为了提高泛化能力，在训练阶段对图片进行了随机的缩放和旋转，以进行数据增强。SuperPoint自监督网络训练共分为3个步骤(图2)：

图2 SuperPoint训练步骤

(1) 基础检测器预训练。因为虚拟几何形状的角点是可人工标注的，将以标注的集合形状数据集(HPatches[16])作为监督数据训练基础检测器。采用文献[13]的训练策略，以类VGG16[17]作为基础检测器，训练网络参数提取几何形状角点。

(2) 兴趣点标注。采用步骤(1)中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注。

(3) 联合训练。

(a)为了增强网络的泛化能力，对步骤(2)中的柔印首件和电子样稿分别进行N次单应性变换，并通过基础检测器分别标注变换后各图像的兴趣点，构建CN2组已知单应性变换关系的图像对，联合训练的初始权重采用在MS-COCO[18]数据集上预训练过的模型参数。

(b)联合训练。随机取CN2次图像对，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大。联合训练后得到SuperPoint检测网络。

最终的损失函数为

2.2.2 SuperGlue

由于电子样稿和柔印首件之间存在大量重复的内容信息，而传统匹配方法仅依据各组特征描述子的相似度进行匹配，因此可能造成大量的匹配冗余。因为SuperGlue使用图神经网络和注意力机制并结合分配优化求解方式可以解决复杂的特征匹配问题，所以本文采用SuperGlue方法对电子样稿和柔印首件进行匹配。

如图3所示，SuperGlue采用端到端的训练方式经过以下步骤完成匹配。

图3 SuperGlue网络

(3)最佳匹配层：创建一个M×N初始分配矩阵，增加一层垃圾箱通道，即分配矩阵尺寸变为(M+1)×(N+1)，为了过滤出错误的匹配点，将不匹配的关键点分配给垃圾箱这个通道。通过Sinkhorn[19]算法迭代求解分配优化问题，得到最优的分配矩阵，再根据分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对，采用随机抽样一致性(RANdom SAmple Consensus, RANSAC)方法求仿射变换矩阵，对柔印首件图进行对应仿射变换，完成电子样稿和柔印首件的粗匹配。

2.3 精匹配

粗匹配后的电子样稿与柔印首件图像已基本对齐。但由于柔印过程中版材会发生局部相对偏移，导致柔印首件内容与电子样稿始终存在局部偏差，造成全局仿射变换或透视变换难以实现内容完全对齐。因此，提出一种精匹配策略，通过微调子内容块的位置消除柔印首件内容局部偏差带来的影响，实现两者图像内容的完全对齐。

电子样稿内容清晰、黑白分明，采用固定阈值(阈值为128)即可提取电子样稿的不同文字或图案的子内容块Fs， 设子内容块的中心点坐标为(Xs,Ys)，尺寸为(Ws,Hs)。 以Fs为模板图，在柔印首件图像R中对应的区域内进行NCC搜索匹配。设变量δ为搜索扩展基数(δ与Fs无 关，本文δ=30)，则每个搜索点(x,y)对应的NCC计算为

将Fs平 移∆P，所有子块按照式(14)—式(19)操作即可完成柔印首件与电子样稿之间的精匹配。

2.4 缺陷检测

2.4.1 约束聚类

织物版材的色彩、厚度不一会产生透底现象，导致柔印首件内容分割可能存在错误，因此以微调后的电子样稿阈值化结果为约束条件，提出一种约束聚类方法精准提取柔印首件内容。

将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题，即

其中，F和R分别为“粗-精”匹配后的电子样稿和柔印首件图像，求解满足式(20)的聚类图像Rt即为柔印首件的最佳分割结果。为了减少优化算法的求解时间，采用K均值聚类法(此处K=2)得到聚类中心c1,c2，完成柔印首件图像分割的初始化，并且将(c1+c2)/2作为遗传算法初始化的种子之一，采用遗传算法[20]求解优化问题式(20)。

2.4.2 缺陷评估

柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象，约束聚类分割难以抑制这种误差，影响后续缺陷检测，因此提出距离变换法进行缺陷评估。

定义边缘距离函数为

3 实验和结果

3.1 数据集采集和实验平台

在实际工业生产中，本文仅需使用佳能LIDE400扫描仪柔印首件图像，与电子样稿进行比对即可完成柔印首检工作。视觉采集系统要求低，共采集了400张不同产品的柔印首件，其中黑底样本40张，白底样本360张，图像尺寸范围为191×595～2480×3570；正常样品290张，印错40张(错码错字符)，印多40张(字符模糊和脏污)，印缺30张(字符缺失部分)。实验在以下平台进行：Windows10 64位旗舰操作系统，6核Intel(R) Core(TM) i5-11400H @ 2.70 GHz@3.50 GHz, 16 G内存，GPU:NVIDIA GeForce GTX 1650，以Python3为编程语言。

采用漏检率、误检率、平均Dice系数、平均检测时间(待测样本检测过程的平均用时)等4个指标评价算法性能。为计算漏检率与误检率，定义IoU大于0.5即为检测成功，否则检测失败。

3.2 搜索扩展基数δ的影响

搜索扩展基数δ影响着NCC匹配的搜索区域大小，进而影响柔印首检性能。如表1所示，随着δ增大，检测效果首先有所提升，当δ=30时达到最佳检测效果，但是之后反而下降，而且检测时间也随δ增大而增大。这可能是因为柔印首件各子内容的水平间距大致30个像素而垂直间距则远大于30个像素。因此，综合考虑检测效果和时间，本文选择δ=30。

表1 搜索扩展基数δ对检测性能的影响

3.3 评估阈值参数Td的影响

由式(11)和式(12)可以看出，Td对本文方法的检测性能有较大影响。如表2所示，误检率随Td增大快速下降且趋向于0，而漏检率随Td增大而增加，Dice系数随Td增大先快速增大又略微减低。综合来看，当Td为1.0时，检测性能最佳。与实际印刷工艺中柔印首件与电子样稿的内容粗细差异约为一个像素点基本一致。

表2 评估阈值参数Td对缺陷检测结果的影响

3.4 消融实验

从表3可以看出，仅有粗匹配时，误检率高达63.4%，漏检率为28.1%，Dice系数为0.192。因为全局的粗匹配未能解决柔印版材伸缩、弯曲引发的内容局部偏移问题。采用“粗-精”匹配时，漏检率和误检率降低为16.8%和5.5%，Dice系数为0.328，这说明精匹配已经较好地解决了偏移问题。可是，柔印首件透底或背景与字符内容接近可能会导致较多的误检，甚至一定程度的漏检。为此，在融入约束聚类后，本文方法在增加极少检测时间的前提下检测性能大幅度地提升，漏检率甚至降至0。

表3 消融实验

3.5 与其他检测方法的对比

为了验证本文方法的有效性，将本文方法与4种织物缺陷检测方法[21,22,11,12]进行对比(表4)。其中，Faster R-CNN[11]和Seg+DecNet[12]按照训练集为130组、测试集270组进行了数据集的拆分，并且重新进行训练。

文献[19]采用的Surf匹配方法无法解决柔印版材伸缩、弯曲引发柔印内容局部偏移的问题，而且采用的差分法对灰度变换及噪声较为敏感，因此该方法极易引起大量漏检、误检。而结构相似度(Multi-Scale Structural SIMilarity Index, MSSSIM)方法其匹配环节仅有全局匹配，也无法解决局部偏移问题，且检测尺度过粗，细微缺陷无法检出。因此也仍然存在大量误检。文献[11]采用级联的Faster R-CNN 网络进行缺陷检测，目标检测方法的骨干网络无法避免会经过下采样处理，而柔印首件缺陷尺寸细微，因此小目标的感受野映射回原图时会偏移缺陷的真实区域，造成一定程度的漏检。在图4中，脏污和印错类标签出现大面积检测为缺陷，这是由于电子样稿设计文档没有边框线，人工框选电子样稿时截取边距不一致，导致电子样稿与柔印首件的边距存在偏差。经过“粗-精”匹配后，电子样稿与柔印首件内容已完全对齐，但四周仍存在不同颜色的填充像素。经过此类样本训练的网络，容易出现大面积检测为缺陷的检测效果。实验结果也表明，该方法误检率极高，且存在漏检。文献[12]因为采用了两阶段检测，所以取得了优于Faster R-CNN的效果，但其仍旧无法解决局部偏移及柔印首件和电子样稿的表征差异问题，其误检率为62.3%，漏检率为29.3%，Dice系数为0.443。最后，本文在SuperGlue匹配基础上进行了精匹配微调电子样稿，抑制了局部偏移的影响，同时约束聚类使得本文方法能够在电子样稿的先验分割前提下获得最优的柔印首件缺陷检测效果。而且，本文方法检测时间也仅为2.761 s/pcs。

图4展示了4种典型柔印首件检测效果示例。其中，红色标记为检测出的缺陷。在实际操作过程中，为了便于工人快速定位到红色标记的缺陷，本文方法额外添加了黄色提示框。图4的展示情况与表4中的指标评价是一致的。

图4 检测效果对比

表4 不同缺陷检测方法对比

4 结束语

由于柔印首件产品数量极少，且作为参照物的电子样稿与之具有较大的差异性，因此目前人工三检制耗时耗力且极易造成误检、漏检。本文提出一种柔印首件“粗-精”检测方法，采用Super-Point和SuperGlue将电子样稿和柔印首件进行粗匹配，基于NCC对电子样稿进行微调以抑制局部偏移影响，以微调后电子样稿二值图为约束条件提出约束聚类方法对柔性首件进行最优分割，最后以距离变换法进行缺陷检测。对比实验表明，本文方法能够在合理的时间内高质量地完成柔印首件检测，检测性能高达漏检率为0、误检率1.3%、平均Dice系数为0.941，且检测时间仅为2.761 s/pcs，满足实际工程需求。

但是，本文的柔印首件检测方法依赖于灰度和边缘特征等时间及空间差异，由于柔印首件和电子样稿差异大，仍旧不可避免的存在一定误检，未来的工作将主要针对降低误检率展开，考虑缺陷检测部分采用深度学习网络学习伪缺陷与真实缺件之间内在模式差异，区分伪缺陷，减少误检，从而进一步提升检测性能。