基于多子区策略的丝绸图像匹配算法

吕文涛 刘志伟 王成群 周迪 马廷芳 徐伟强

摘要：  印花是丝绸生产工艺中重要一环，基于图像的匹配技术可用于检验丝绸的印花质量。本文提出了一种基于多子区策略的丝绸彩色图像和矢量模板图匹配算法，并采用边缘信息作为丝绸彩色图像和矢量图的共性特征，解决了两种图像灰度不一致的问题。对预处理后的丝绸彩色图像提取图像边缘，选取边缘信息完整的区域作为待匹配子区，采用改进的Hausdorff距离矩阵作为最终的相似度准则。该算法可以获取较高的匹配正确率，基于真实丝绸场景数据的实验结果，证明了所提方法的有效性。

关键词：  丝绸图像;矢量图像;多子区匹配;Hausdorff距离;相似性度量

中图分类号： TS101.1

文献标志码： A

文章编号： 1001 7003（2022）03 0001 06

引用页码： 031101

DOI： 10.3969/j.issn.1001-7003.2022.03.001 （篇序）

基于计算机视觉的匹配技术在丝绸图案印刷领域是重要的手段。在实际的生产环境中，获取丝绸图像的质量受环境因素的影响较大，光源的位置和角度、丝绸放置时的平整程度、相机的拍摄角度等都会对最终的结果造成很大的影响，使得很多现有的匹配算法不完全适用于丝绸图像的匹配  [1-2] 。

曹霞等  [3] 通过多种方法提取图像的纹理特征，基于层次匹配对纹理特征进行多特征融合处理，弥补了单一匹配方法准确率较低的不足，但在实时性上还存在一定的改进空间。为了实现织物图像的快速匹配，Zhang等  [4] 通过提取织物图像的SIFT特征，使用K-Means聚类方法形成特征字典，最后通过E2LSH算法织物图案进行匹配，能够较大地提升匹配速度。夏明等  [5] 通过对轮廓描述值的相似性度量研究，表明匹配图像的角度余弦值、宽度、高度等因素对轮廓特征描述子有着较大的影响，从理论的角度说明了各因素对匹配结果的影响。基于传统悬垂指标和织物面密度提出了织物图像三维悬垂模型  [6] 用于织物匹配，在速度和准确率上有良好的平衡，具有较好的工业前景。张聪等  [7] 利用Live Wire算法提取服饰图案的轮廓，将几何特征、灰度共生矩阵和傅里叶描述符作为特征向量，以此进行匹配并按照相似性度量大小进行排序，相较于其他方法，对于单一的图案匹配有着更高的匹配准确率。

以上方法大都是基于像素来对织物图案进行匹配，面对较复杂背景时，这些算法的实时性和准确率都不尽如人意，不能直接应用到丝绸图像的匹配中。一是由于丝绸的图案纷杂繁复，背景较为复杂;二是基于像素匹配技术难以直接应用到模板矢量图的匹配中;三是真实场景下的丝绸图案匹配对实时性和准确率有着更高的要求。

基于此，本文提出了一种基于多子区策略的丝绸彩色图像和矢量模板图匹配算法，采用边缘信息作为丝绸彩色图像和矢量图的共性特征，从而解决了两种图像灰度不一致的问题。对预处理后的丝绸彩色图像提取图像边缘，选取边缘信息完整的区域作为待匹配子区，采用改进的Hausdorff距离矩阵作为最终的相似度准则。该算法可以获取较高的匹配正确率。

1 图像预处理

1.1 仿射变换

由于获取丝绸图像数据集时工业相机的拍摄角度不同和印刷过程中传送带上丝绸可能发生的移动扭曲现象，得到的图像数据与匹配时用的矢量模板图存在一定的角度偏差，对后期的匹配成功率和时效性存在很大的影响，因此本文使用仿射变换进行旋转平移变换以消除影响效率的角度偏差。

在二维平面内，对图像进行旋转操作等价于对坐标轴进行旋轉。二维平面内的旋转平移仿射变换可以用下式来表示：

x′ y′  =   cos θ  sin θ - sin θ  cos θ    x y     （1）

式中： θ 为旋转的角度， x、y 为初始坐标， x′、y′ 为变换之后的坐标。

本文通过计算图像最大外接椭圆的长轴与竖直线的夹角 θ ，得到将变换图像所需的仿射变换矩阵，利用式（1）即可将图像变换为指定角度。

1.2 边缘提取

图像的边缘提取是本文工作重要的一环，目前常用的边缘提取方法有Sobel算法、Robert算法、基于数字形态学的边缘提取方法、基于小波变换的边缘提取方法、Canny算法等。经过中值滤波处理的丝绸图像仅去除了脉冲噪声，仍存在着其余残余噪声。Canny算法首先对图像进行高斯滤波，能够有效地去除残余噪声，提高边缘提取的精度。使用Canny算法对图像进行边缘提取的流程如图1所示，边缘提取的效果如图2所示。

2 基于多子区策略的丝绸图像匹配

前文已将丝绸图像的像素轮廓信息提取出来并转换为数字轮廓信息，并通过计算各子区的位置信息及与矢量模板图的相似性度量，得到最终的匹配结果。现提出一种基于多子区策略的丝绸彩色图像和矢量模板图匹配算法（图3），采用边缘信息作为丝绸彩色图像和矢量图的共性特征，将图像的连续边缘密度和Hausdorff距离矩阵相结合作为最终的相似度准则。

2.1 多子区位置关系匹配算法

采用如图4所示的子图划分策略，将丝绸实时图像划分为相邻的4个子区  [8] 。

依据下式计算丝绸实时图像的中心点   x 0，y 0   和各子区中心点   x k，y k  （k=1，2，3，4） 分别在 x 方向和 y 方向的偏差d x k ，d y k 。

x 0=x k+ d x k y 0=y k+ d y k    （2）

在匹配的过程中，首先将矢量模板图与丝绸实时图像进行中心点匹配，将匹配的结果记为 （x c 0，y c 0） ，将各子区的匹配结果记为 （x′ k，y′ k）（k=1，2，3，4） 。依据下式分别计算子区匹配结果中心点坐标的修正值 （x c k，y c k） 。中心点坐标之间的位置关系作为匹配结果的约束条件，可以有效地提高匹配的准确率。

x c k=x′ k+ d x′ k y c k=y′ k+ d y′ k    （3）

计算各中心点之间的距离集合 D  ij （i≠j，i、j=1，2，3，4） ，给定一个衡量匹配离散度的阈值 Y ，若 Y 大于集合 D  ij  中的每一个值，则认为各子区的匹配结果是不相关的，此时无法基于中心点坐标的位置关系对匹配结果进行校正。若阈值 Y 大于集合 D  ij  中的最大值与最小值之间，取集合 D  ij  的最小值 D   min ，计算距离为 D   min 的两个中心点坐标的几何中心，将以 Y 为半径的邻域内的中心点坐标视为匹配正确，并依据下式修正各子区的匹配结果。分子区匹配算法只应用于图像金字塔的最高层对匹配结果进行修正以提高匹配效率。

x′ k=x c- d x k y′ k=y c- d y k    （4）

2.2 Hausdorff距离矩阵计算

在丝绸图像采集的过程中普遍存在着遮挡、破损和光照不均匀等现象，对匹配的结果造成影响，本文提出一种基于连续边缘密度矩阵的Hausdorff距离范数相似度准则来描述匹配的相关程度，用于解决上述问题。首先对实时丝绸图像提取边缘信息，将其等比例划分为相应的子块，分别对其计算Hausdorff距离  [9] 得到距离矩阵，通过对距离矩阵中的相应系数的计算来衡量匹配的相关程度。

给定两个有限的点集 A：{a 1，a 2，…，a  i-1 ，a i}，B：{b 1，b 2，…，b  j-1 ，b j}（i，j为有限值） ，Hausdorff距离定义为两个点集中元素间的最小距离的最大值，即 H（A，B） =max （L（A，B）， L（B，A））  ，其中 L（A，B） 的意义为 L（A，B） = max   a∈A     min   b∈B    a-b  ， · 为某种范数， min   b∈B  a-b  表示 a 到点集 B 中任意一点距离的最小值。

对每一个边缘信息块的Hausdorff距离计算完成后，将所得到的元素值排成如下式所示的Hausdorff距离矩阵（假设共有 M×N 个边缘信息块）：

H   matrix  =  H  11  H  12  … H  1N  H  21  H  22  … H  2N    H  M1  H  M2  … H  MN      （5）

由Hausdorff距离矩阵中的元素值大小可以推导出匹配区域与矢量模板图之间的相似程度，矩阵中元素的值越小则与模板图的相似程度越高。考虑到边缘信息对于匹配的结果影响较大，本文使用图片的边缘连续性密度对Hausdorff距离矩阵进行加权作为最终的相似性度量值。

2.3 连续边缘密度矩阵

边缘图像可表示为 E（i，j） ，其中0和1分别表示非边缘像素点和边缘像素点。以 （i，j） 为几何中心的 3×3窗 口中边缘像素点的总数可表示为：

e_s（i，j）= ∑  1 s=-1  ∑  1 t=-1 E（i+s，j+t）   （6）

连续的边缘图像 e_c（i，j） 可表示为：

e_c（i，j）= 1 E（i，j）=1， e_s（i，j）≥3 0  otherwise     （7）

當 e_c（i，j）=1 时，即以 （i，j） 为几何中心的3×3的窗口中存在3个或以上的边缘像素点，表示实时丝绸图像的边缘信息在 （i，j） 处的边缘信息连续。在丝绸实时图像的匹配中，连续的边缘信息表明边缘提取的效果较好，相较于单独的像素点在相似性度量值中所占的比重更为重要。

将 W×H 大小的窗口的边缘连续密度定义为窗口中连续的边缘像素个数占总像素个数的比值：

Scale =  ∑  W-1 i=0  ∑  H-1 j=0 e_c（i，j）  ∑  W-1 i=0  ∑  H-1 j=0 E（i，j）    （8）

连续边缘像素的占比越大表明窗口中边缘信息越有意义，由式（8）可知比值Scale的值位于[0，1]，此时得到的Scale矩阵 C   Scle 如下式所示：

C   Scle  =  C  11  C  12  … C  1N  C  21  C  21  … C  2N    C  M1  C  M1  … C  MN      （9）

計算Hausdorff距离矩阵和连续边缘密度矩阵可以得到如下式所示的加权矩阵：

H  W =   H  11 ×（1-C  11 ） H  12 ×（1-C  12 ） … H  1N ×（1-C  1N ） H  21 ×（1-C  21 ） H  21 ×（1-C  22 ） … H  2N ×（1-C  2N ） H  M1 ×（1-C  M1 ） H  M1 ×（1-C  M2 ） … H  MN ×（1-C  MN ）      （10）

求取实时丝绸图像在矢量模板图不同位置的相似程度可转化为对相应的加权矩阵计算Frobenius范数以进行量化对比。由式（10）可知，边缘信息的密度越大，其Hausdorff距离越小，表明匹配区域与矢量模板图对应区域的相似度越高。

3 结果与分析

本文实验图像数据采用分辨率为1 600×1 200，有效像素200万，采集速度为27 fps/s的CCD彩色工业相机在生产车间实地采集，通过相机连续拍摄印刷传送带上的丝绸图案共200张图像作为样本，样本图像为24位彩色图像。所采集的样本中包含花鸟、人物、植物、徽章等各种图案，样本图像如图5所示，矢量模板图如图6所示。通过调整拍摄角度、光源和微调焦距，最大限度地使样本图像中包含不同场景的干扰信息，提高算法的鲁棒性。 图像采集装置如图7所示，其结构主要包括支架、工业相机、传送带、光源等。丝绸图案印刷车间如图8所示。

实验设备计算机硬件CPU为Intel i5-10400，主频为 2.9 GHz ，内存为16 GB，硬盘规格为500 GB，实验编程工具为MathWorks公司出品的Matlab2020a。

3.1 算法鲁棒性测试

为了验证本文所提出算法在生产中常见的干扰因素诸如噪声干扰、光照不一致等环境下的鲁棒性，对数据集图片进行如图9、图10所示的数据增强处理。使用本文方法分别对实时丝绸图像和矢量模板图的相关区域进行匹配，记录最终平均匹配系数、匹配时间和匹配成功率，结果如表1、表2所示。

通过将本文提出的方法在不同程度的高斯噪声、不同强 度的光照条件下的图片与原图实验数据进行对比，可以发现在噪声干扰和光照变化的情况下，本文方法均具有强鲁棒性，可以在保持较高的准确率情况下同时保证实时性，以满足工业生产中的实际应用。

3.2 验证算法的有效性

为验证本文所提出算法的有效性，首先提取预处理过的实时丝绸样本图像的边缘信息，并选取边缘信息较为完整的区域划分为4个相邻的子区。使用本文方法、改进的尺度不变特征变换  [10] （F-SIFT）、改进的快速鲁棒性尺度不变特征  [11]  （K-SURF）共 3种方法对实时丝绸图像和矢量模板图的相关区域进行匹配， 分别记录200张图片的匹配系数、匹配时间和匹配成功率，其结果如表3所示。图11为F-SIFT算法的匹配结果，图12为K-SURF算法的匹配结果，图13为本文方法的匹配结果。

通过将本文提出的方法与F-SIFT算法、K-SURF算法在丝绸实时图像上进行对比，可以发现本文方法可以更加准确地提取出图像中用于匹配的特征点，从而更加精确地对丝绸图案进行匹配。由表3可以看出，本文算法在图片的平均匹配系数、匹配时间和匹配成功率三个方面均有着较大的提升，实验证明了算法的有效性。

4 结 论

本文针对丝绸图案纷杂繁复、背景较为复杂的特点，提出了一种基于多子区策略的丝绸彩色图像和矢量模板图的匹配算法，采用边缘信息作为丝绸彩色图像和矢量图的共性特征，解决了两种图像灰度不一致的问题。对经过预处理的丝绸彩色图像提取图像边缘，选取边缘信息完整的区域作为待匹配子区，结合图像的连续边缘密度信息与Hausdorff距离作为最终的相似度准则，使得匹配正确率有了较大的提高。

由于丝绸图案的复杂多样性，本文算法仍然存在一些不足之处，主要表现为边缘信息提取的质量不高，在背景图案的交汇处易发生丢失信息的现象，影响最后的匹配结果。因此，如何进一步高质量地提取丝绸图案的边缘信息将是下一步研究的主要工作。

参考文献：

[1] REN J X， CHEN G， LI X Y. A fine grained digital textile printing system based on image registration[J]. Computers in Industry， 2017， 92/93： 152-160.

[2] 贾迪， 朱宁丹， 杨宁华， 等. 图像匹配方法研究综述[J]. 中国图象图形学报， 2019， 24（5）： 677-699.

JIA Di， ZHU Ningdan， YANG Ninghua， et al. Image matching methods[J]. Journal of Image and Graphics， 2019， 24（5）： 677-699.

[3] 曹霞， 李岳阳， 罗海驰， 等. 蕾丝花边的改进型纹理特征检索方法[J]. 纺织学报， 2016， 37（6）： 142-147.

CAO Xia， LI Yueyang， LUO Haichi， et al. Lace retrieval method based on improved texture feature[J]. Journal of Textile Research， 2016， 37（6）： 142-147.

[4]ZHANG X Q， LIU Y Y， WEI Y F. A fast fabric image matching and retrieval algorithm based on locality-sensitive hashing and visual word [C]//IFTC 2017： Digital TV and Wireless Multimedia Communication.  Singapore： Springer Singapore， 2018， 815： 25-35.

[5] 夏明， 宋婧， 姜朝陽， 等. 基于连衣裙结构特征匹配的款式识别技术[J]. 纺织学报， 2020， 41（7）： 141-146.

XIA Ming， SONG Jing， JIANG Zhaoyang， et al. Style recognition technique based on feature matching in dress construction[J]. Journal of Textile Research， 2020， 41（7）： 141-146.

[6] 余志才， 钟跃崎， GONG R H， 等. 基于三维悬垂模型和织物面密度的织物匹配[J]. 纺织学报， 2020， 41（10）： 46-51.

YU Zhicai， ZHONG Yueqi， GONG R H， et al. Fabric matching based on three-dimensional drape model and fabric weight[J]. Journal of Textile Research， 2020， 41（10）： 46-51.

[7] 张聪， 李岳阳， 罗海驰， 等. 基于交互式分割的蕾丝花型检索算法[J]. 丝绸， 2018， 55（4）： 38-43.

ZHANG Cong， LI Yueyang， LUO Haichi， et al. Lace retrieval algorithm based on interactive segmentation[J]. Journal of Silk， 2018， 55（4）： 38-43.

[8] 李天池， 张绍明， 何向晨， 等. 基于位置关系约束的SAR图像与光学图像匹配[J]. 系统工程与电子技术， 2007（6）： 878-882.

LI Tianchi， ZHANG Shaoming， HE Xiangchen， et al. Matching SAR image to optical image with spatial relation constrain[J]. Systems Engineering and Electronics， 2007（6）： 878-882.

[9] 徐一鸣， 刘晓利， 刘怡昕. 基于分割模板加权Hausdorff距离矩阵的特征匹配算法[J]. 兵工学报， 2011， 32（11）： 1353-1358.

XU Yiming， LIU Xiaoli， LIU Yixin. A feature matching algorithm based on template partition weighted Hausdorff distance matrix[J]. Acta Armamentarii， 2011， 32（11）： 1353-1358.

[10]  丁国绅， 乔延利， 易维宁， 等. 基于光谱图像空间的F-SIFT特征提取与匹配[J]. 光学精密工程， 2021， 29（5）： 1180-1189.

DING Guoshen， QIAO Yanli， YI Weining， et al. Feature extraction and matching of F-SIFT based on spectral image space[J]. Optics and Precision Engineering， 2021， 29（5）： 1180-1189.

[11]  唐颖复， 王忠静， 张子雄. 基于改进SIFT和SURF算法的沙丘图像配准[J]. 清华大学学报（自然科学版）， 2021， 61（2）： 161-169.

TANG Yingfu， WANG Zhongjing， ZHANG Zixiong. Registration of sand dune images using an improved SIFT and SURF algorithm[J]. Journal of Tsinghua University （Science and Technology）， 2021， 61（2）： 161-169.

Silk image matching algorithm based on multiple sub-region strategy

Lu Wentao  1a ， LIU Zhiwei  1a ， WANG Chengqun  1a ， ZHOU Di 2， MA Tingfang 3， XU Weiqiang  1b

（1a.School of Information Science and Technology; 1b.College of Textile Science and Engineering， Zhejiang Sci-Tech University， Hangzhou 310018， China; 2.Zhejiang Uniview Technologies Co. ， Ltd. ， Hangzhou 310018， China; 3.WENSLI Group Co. ， Ltd. ， Hangzhou 310018， China）

Abstract：

Silk textile industry is an important part of Chinas light industry system， occupying a pivotal position in the national economy. The production and export scale of silk products is among the top in the global market. With the comprehensive promotion of "Made in China 2025"， the combination of silk product manufacturing and industrialized intelligent detection has become the important means and development trend to improve product quality and reduce production costs.

The matching method based on computer vision technology is an important means in the field of silk pattern printing. In the actual production environment， due to such factors as the position and angle of the light source， the flatness of the silk when placed and the shooting angle of the camera， the quality of the acquired silk images varies， thereby greatly influencing the final matching results. When handling silk patterns with complex backgrounds， the existing matching algorithm is not satisfactory in terms of the real-time and accuracy rate， making it unapplicable to the matching of silk images. There are three reasons. Firstly， the silk patterns are complicated and the backgrounds are complex. Secondly， it is difficult to directly apply pixel-based matching technique to the matching of template vector images， and thirdly， real-scenario silk pattern matching sets higher requirements for real-time and accuracy.

In this paper， a matching algorithm for silk color images and vector template images based on multiple sub-region strategy was proposed， solving the grayscale inconsistency problem of the two images with edge information as the common feature of silk color images and vector images. Firstly， the angle of the image to be matched was adjusted by affine transformation to eliminate the angle difference with the vector template images to improve the matching efficiency. The edges of the pre-processed silk color images were extracted using Canny algorithm， the continuous edge density matrix of the edge pattern was calculated， the region with complete edge information was selected as the sub-region to be matched， and the geometric constraint relationship of the sub-region was calculated to improve the matching efficiency. The edge continuity of the image was commonly obscured， broken and unevenly illuminated in the process of silk image acquisition， affecting the matching results. Thus， we proposed a Hausdorff distance norm similarity criterion based on the continuous edge density matrix to describe the correlation degree of matching. Considering the great influence of edge information on the matching results， the edge continuity density of the image was used for the weighting of Hausdorff distance matrix， with the result being the final similarity measurement value. The obtained similarity degree of real-time silk images at different positions of the vector template images could be converted into the calculation of the Frobenius norm for the corresponding weighting matrix in order to conduct quantative comparison and finally the matching results are obtained. The algorithm can obtain a high matching accuracy. By testing the robustness and accuracy of the real-scenario silk patterns， the effectiveness of the proposed method is proved.

Key words：

silk images; vector images; multiple sub-region matching; Hausdorff distance; similarity measurement