基于边缘和颜色特征的织物印花花型检索

向 忠， 何 旋， 钱 淼， 胡旭东

(浙江理工大学 机械与自动控制学院， 浙江 杭州 310018)

随着数码印花等新技术的不断发展与应用，印花图案形式日益丰富，颜色更加多样，与之配套的花型样品库也随之不断扩充，传统采用人工从样品库检索花型的方式由于效率低下而难以满足现代企业对花型检索快速、便捷的要求。近年来图像检索技术的发展与成熟，使得图像检索技术应用于织物花型检索成为一种新的研究趋势[1-3]。

根据人的视觉感知，花型图案的相似首先应该是形状相似，只有在形状相似的基础上，颜色等特征的相似才更具有意义。而同一花型形状又由外部轮廓和内部结构构成，部分印花花型虽然外形相似或相同，但内部结构却有明显差异，这种同形异构的花型在印花中十分普遍。传统的基于形状的图像检索算法只能检索出外形相似的花型，而不能有效区分花型内部结构的差别，这制约了其在织物花型检索领域的应用[4]；此外，颜色是织物花型的另一重要特性，同型不同色现象在织物印花领域同样较为普遍，仅靠边缘轮廓特征并不能准确区分出形状相同但颜色不同的花型，因此在织物花型检索中，颜色特征同样具有其重要性。众所周知，织物印花一般在具有底色的织物上进行，大量底色充斥于花型周围，对花型颜色特征提取造成较大干扰，使得现有的很多基于颜色的图像检索算法并不完全适用于织物花型检索[5-6]。

花型图像中不同颜色交接而成的边缘特征既包含了花型的外部轮廓信息，又包含了花型内部结构信息，对花型边缘特征进行对比分析，可准确区分具有不同形状的花型。大量研究者采用边缘检索法来实现图像检索，但是现有的检索算法基本都将所获取的全部边缘信息进行平等对待，不能准确地区分包含外部轮廓信息的外边缘和包含内部结构信息的内边缘的差异[7]。为更好地检索出那些内部结构具有明显差异但是外形相同或相似的花型，必须对内外边缘赋予不同的权重，以进行区别对待；此外，花型的彩色边缘还包含了丰富的颜色信息，它既可准确描述由边缘所封闭的内部连通域的颜色特征，又可将底色对花型颜色的干扰降到最低，因此，可以利用边缘颜色特征来提高同型不同色织物花型检索结果的准确性[8]。

针对织物花型的上述特点，本文提出了一种综合了边缘位置、边缘方向及边缘颜色信息的织物花型检索算法。该算法在边缘提取的基础上，根据边缘点与边缘距离加权中心点之间的最大距离，将织物花型图案划分到若干个等距的环形区域内，提取边缘距离直方图，用于描述边缘空间位置特征；继而通过对边缘进行直线拟合提取出边缘方向直方图，用于描述边缘空间方向特征；并通过对织物花型彩色边缘进行颜色量化，提取彩色边缘颜色直方图，用于描述花型颜色特征；最后，综合上述3种特征信息来实现织物花型检索。

1 图像预处理

1.1 中值滤波

织物由经纱和纬纱交错而成，在图片中的同色区域，纱线之间的间隙往往偏暗，而纱线本身则会比较亮，这样就会在图片上形成亮暗交错的纹理。此外，由于纱线的柱状结构，在印花过程中，纱线的间隙部分往往会产生少量的白点，这些因素造成织物图片中存在大量脉冲噪声和椒盐噪声。织物图像中的噪声会对后续图像特征的提取造成很大干扰，降低算法精度，因此必须对噪声进行滤波处理。

中值滤波是一种非线性滤波器，它利用像素点邻域中间值代替该像素点，可有效滤除织物图像中的椒盐噪声和脉冲噪声，并能避免因线性滤波所造成的图像模糊问题，同时保留图像边缘特征，是图像滤波中应用较为广泛的一种滤波算法，相关计算公式如下：

A(i，j)=med(a0,a1，…，ak)

(1)

式中：A(i,j)表示图像中第i行第j列的像素值；ak表示像素A(i,j)的邻域采样像素值；k表示邻域采样像素值总数，本文下述实验过程中采用5像素×5像素的邻域采样模板，k=25。

图1示出织物图像预处理及边缘特征提取效果图。对图1(a)中织物原图进行局部放大可看出，织物原图中具有较多的椒盐噪声，且纹理特征十分突出；采用中值滤波方法对原始图像处理后，原始图像中的纹理和椒盐噪声经滤波后基本消除，且对图像边缘清晰度影响较低，不影响下述边缘提取处理。

图1 织物图像预处理及边缘特征提取效果图Fig.1 Fabric image pre-processing and edge detection. (a) Original image; (b) Fabric image edge detection result

1.2 边缘提取

边缘特征是判断花型的一个重要特征，常用的边缘提取方法主要有Kirsch、Sobel、Canny算子等。由于经过中值滤波后的织物花型图像中仍有残余噪声，本文研究采用能够在噪声抑制与边缘检测之间取得良好平衡的Canny算子提取边缘。织物花型边缘提取效果如图1(b)所示。

2 图像特征提取

为区分外形相同内部结构不同和同型不同色的织物花型图案，本文提取边缘距离直方图与边缘方向直方图作为描述边缘空间位置及方向的特征，而提取彩色边缘颜色直方图描述图像颜色的特征。

2.1 边缘距离直方图

2.1.1边缘距离直方图的构造

图像检索算法必须具有旋转不变性和缩放不变性。为满足上述要求，本文在求解织物花型边缘图像边缘坐标加权中心的基础上，计算获取边缘坐标与加权中心之间的最远距离，然后对该距离进行等分，并以加权中心为圆心，以等分后的长度倍值为半径画圆，实现对边缘图像的分割。最后计算各等分圆面内所包含的边缘点个数来构成边缘距离直方图，实现对花型边缘所处空间位置的定量描述。

花型边缘图像中各边缘坐标点的加权中心P(xc,yc)所在坐标点可由下式计算获得：

(2)

式中：xc、yc分别代表加权中心点的横、纵坐标值；xi、yi分别代表边缘图像中第i个边缘点的横、纵坐标值；N代表边缘图像中坐标点的总个数。

边缘点距离边缘加权中心的最远距离Dmax可用下式进行计算：

(3)

据此，可以P(xc,yc)为中心，以Dmax为半径作圆，此圆为完全包络织物边缘图像所有边缘点的最小圆；为分析边缘内部结构构成，将此圆面区域等距划分为l个环形区域，并按下式计算求解边缘距离直方图各构成分量：

em=nm/N, 0≤m≤l-1

(4)

式中：m为环形区域编号，m越小越靠近环形中心;nm表示第m个环形区域中边缘点的个数；em代表第m个环形区域内边缘点数量占边缘点总数的比例，为归一化后的边缘距离直方图构成元素。

2.1.2边缘距离直方图相似性度量

为实现花型检索，还需对比分析被检索花型与花型库内各图片的边缘距离直方图之间的相似性。若I 代表被检索图片，Q代表花型库中的图片，可用下式对2幅图像的相似度进行计算：

(5)

式中：LE表示图像I与Q之间边缘距离直方图的相似度。分析式(5)可知，LE越小，则相似度越高；为凸显不同等分圆面m内边缘点在相似度计量时的重要性，采用相似度权值wm对各环面的相似度进行加权；一般而言，花型外部边缘的相似更符合感官相似的要求，因此本文在进行相似性度量时，给外部边缘赋予了比内部边缘更大的权重。

2.2 边缘方向直方图

2.2.1边缘方向直方图的构造

由图像边缘的连续性特征可知，在以某边缘点为中心的3像素×3像素邻域内至少存在3个连续边缘点，连接该邻域内相距最远的2个连续边缘点中心，定义所得直线作为此邻域中心点的拟合直线，图2为3像素×3像素邻域内的8种典型拟合直线图(f1-f8)。舍弃不连续边缘点，并以该法遍历边缘图像内所有连续的边缘点，通过对所得拟合直线进行如下操作：1)各拟合直线采用首尾相接方式进行连接；2)当多条拟合直线共线时，保留重合部分而剪除悬空端；3)当多条拟合直线相交时，剪除悬空端。据此则可得图3(a)所示边缘局部拟合效果图中的实线部分，图中虚线部分为根据上述步骤剪除的部分。由图2和图3(a)可知，该拟合方法可有效描述边缘点的空间走向。

图2 3像素×3像素邻域内8种典型直线拟合效果图Fig.2 Eight typical fitting examples in 3 pixel×3 pixel neighborhood

考虑到随图像旋转，各拟合直线也均随之旋转，使得拟合直线的方向发生变化，为满足旋转不变性要求，首先连接边缘加权中心点P(xc,yc)和各3像素×3像素邻域中心点得到斜率为k1的直线T1，记该邻域的拟合直线为T2，斜率为k2，2条直线空间关系如图3(b)所示，可用公式计算获取T1、T22条直线夹角中的小角θ：

θ=|arctan((k2-k1)/(1+k1k2))|

(6)

θ=0,1,…,90

由式(6)可知，θ可对该边缘点的方向特征进行描述，故采用下式可获得边缘方向直方图每列的值：

db=Sb/N

(7)

式中：Sb为边缘方向角θ=b的边缘点的个数；db为边缘方向角θ=b的边缘点占边缘点总数的比例。

图3 边缘像素点直线拟合效果及其方向描述角Fig.3 Line fitting effect diagram based on edge pixels and the definition of direction angle. (a) Partial edge fitting result;(b) Definition of edge direction angle

2.2.2边缘方向直方图相似性度量

类似，可采用下式对2幅图像的边缘方向直方图相似度进行计算：

(8)

式中，LD表示图像I与Q边缘方向直方图的相似度，且LD越小，边缘方向的相似度越高。

2.3 彩色边缘颜色直方图

颜色直方图是图像检索中最常用的颜色特征描述方法，传统的基于全局颜色的颜色直方图并不适用于描述具有大量底色的织物花型检索[9]。为此，本文首先利用经Canny算子提取的边缘坐标与原图的对应关系，得到织物花型图像的彩色边缘，然后计算获取由织物花型边缘颜色组成的颜色直方图作为特征实现织物花型的颜色检索，以此降低底色对织物花型颜色特征的影响。

2.3.1颜色空间的量化及颜色特征提取

电子图像一般采用RGB颜色模型进行描述，该模型与人眼所感知颜色存有较大差别，并不完全适用于织物花型检索。而HSV颜色空间由色调(H)、饱和度(S)、亮度(V)3个分量组成，更符合人眼的视觉感知，因此，本文在提取颜色特征前，首先将图片从RGB颜色空间转换到HSV颜色空间。由于HSV颜色空间为连续空间，为确保计算效率，本文对H、S、V分量分别进行非均匀量化[10]，即将色调H量化为红、橙、黄、绿、青、蓝、紫7个级别，将饱和度S和亮度V分别量化为3个级别。对H、S、V进行量化的公式分别如下式所示：

(9)

(10)

(11)

此外，由于图像检索资源消耗较高，为提高检索效率，还需将高维度检索降阶为低维度检索，式(12)为将三维颜色分量转化为一维颜色特征向量K的计算表达式：

K=HQSQV+SQV+V

(12)

式中：QS和QV分别是S和V的量化级数。本文取QS=3，QV=3，因此式(12)可改写为

K=9H+3S+V

(13)

这样颜色空间就从三维空间量化到了一维空间。由式(9)、(11)可知，K的取值范围为0～62，也即经量化后的颜色空间由此63种颜色特征值构成。据此可对花型的彩色边缘进行颜色量化，获取边缘颜色直方图的特征向量[C]={C0,C1,…，C62}。

2.3.2彩色边缘颜色直方图相似性度量

对于彩色边缘颜色直方图的相似性度量依然采用式(5)所示欧式距离表达法，计算公式如下：

(14)

式中：LC表示图像I与Q彩色边缘颜色直方图的相似度，且LC越小，颜色相似度越高。

3 图像相似性度量

3.1 特征相似度归一化

在边缘特征和颜色特征提取基础上，已获取图像边缘距离直方图相似度LE、边缘方向直方图相似度LD和彩色边缘颜色直方图的相似度LC，为兼顾边缘特征和颜色特征，并在检索结果中予以体现，同时确保检索结果的唯一性，还需对LE、LD和LC进行综合，以期获取图像相似度与LE、LD和LC的数学表达式。由于LE、LD和LC分别表征3种不同特征的相似度，三者的取值范围存有较大差异，如果直接对三者进行数学综合，将无法在检索结果中体现较小特征值的影响度。为减小3种相似度数值上的差异，本文对LE、LD和LC分别进行归一化。

1)计算花型图像库中所有M幅图像的LE、LD和LC，得到3种相似度的集合：[L1]={LE1,LE2，…,LEM}，[L2]={LD1，LD2，…,LDM}， [L3]={LC1，LC2，…,LC M}。

2)分别计算集合[L1]、[L2]和[L3]内的最大值LEmax、LDmax、LCmax和最小值LEmin、LDmin、LCmin。

3)对3个集合中的每个元素进行归一化：

(15)

(16)

(17)

式中p为图像索引。通过以上归一化步骤，将[L1]、[L2]和[L3]中各元素值均量化到区间[0,1]之间，以消除因特征不同而造成的数值上的差异。

3.2 相似度结合

特征相似度归一化后，本文采用式(18)所示的相似度计算公式表征图库中第p幅图与被检索图像直接的相似度：

L=β1L1p+β2L2p+β3L3p

(18)

式中：L表示图像的相似度，L越小表示相似度越高，2张图像越相似；β1、β2、β3分别为边缘距离直方图、边缘方向直方图相似度和彩色边缘颜色直方图相似度的权值，且β1+β2+β3=1。一般，在图像检索中，边缘特征的相似比颜色特征的相似具有更高的优先级别，因此在计算图像的相似度的过程中可将边缘特征赋予比颜色特征更高的权值。由经验值确定在本文实验中β1=0.6，β2=0.2，β3=0.2[2,11]。

4 讨论与分析

本节首先对所提取的边缘距离直方图、边缘方向直方图和彩色边缘颜色直方图特征进行算法分析，然后通过实验验证本文检索算法的准确性。

4.1 算法分析

图4为不同的织物图案及其边缘距离直方图。其中：图4(a)、(b)为2种不同的织物印花花型原图，二者外形相同但内部结构略有差别；图4(c)为图4(a)旋转一定角度后的结果，图4(d)为图4(a)的比例缩放结果；取l=10，图4(e)～(h)分别为图4(a)～(d)的边缘距离直方图。

图4 不同图像及其边缘距离直方图Fig.4 Different images and respective edge distance histograms. (a) Pattern of a; (b) Pattern of b; (c) Rotation of a; (d) Zoom of a; (e) Edge distance histosram of (a); (f) Edge distance histogram of (b); (g) Edye distan histogram of (c); (h) Edge distance histogram of (d)

对比分析图4(e)和图4(f)可知，2幅边缘距离直方图具有明显的差别，因此本文所提出的等分圆面法所获取的边缘距离直方图可准确地区分外形相同但内部结构不同的花型；边缘距离直方图采用的环形区域划分，图像旋转并不会改变边缘点在环形区域中的分布，图4(e)和图4(g)并无明显差异，可知边缘距离直方图具有旋转不变性；对比图4(e)与图4(h)可知，边缘距离直方图并不会随着图像的缩放发生变化，因此具有旋转不变性；此外，图像的平移不会改变图像边缘中点与各边缘点之间的距离，也不会改变环形区域划分，因此边缘距离直方图还具有平移不变性。

此外，从几何学角度来看，边缘方向直方图以边缘中心点与边缘点确定的直线和边缘点在3像素×3像素邻域内拟合直线之间小角确立，由于2条相交直线的夹角并不随图像的平移、旋转、缩放而发生改变，故边缘方向直方图对图片的平移、缩放、旋转都具较好的鲁棒性；而颜色直方图本身并不包含空间信息，因此其对图片的平移、旋转、缩放同样具有较好的鲁棒性。

4.2 相似花型库检索实验

为检验本文算法对同型不同色花型以及外形相同但内部结构不同的相似花型的检索效果，本文首先进行相似花型库检索实验。实验所用相似花型库容量包含5组共400张图片，其中每组包含80张同型不同色和外形相似，内部结构略有差异的花型图片及其经过平移、旋转、缩放的图片。每次检索取相似度最高的前10张图片作为结果显示，按照相似度的高低，从左到右，从上到下排列。实验结果如图5所示。

图5 相似花型库检索结果Fig.5 Retrieval results on datebase of similar pattern. (a) Image retrieval; (b) First ten images of retrieval results

图5所示的实验结果中，所有图片均与待检索图片外形几乎完全一致，且排在前6位的花型图片与待检索花型的内部结构、颜色等均保持有较高相似度，而与待检索花型图像内部结构略有差异的花型图片则排在靠后位置。根据上述实验结果可发现，本文所述算法可准确地从相似的花型中检索出与目标图片最为相近的花型，并对经平移、旋转和缩放后的图像检索具有一定稳定性。此外，在外部形状相同的情况下，本文算法可比较准确地把内部结构相同的图片放在检索结果靠前的位置；在边缘特征相同的情况下，可将颜色接近的图片放在比较靠前的位置。

4.3 混合花型库检索实验

本文实验所用的混合图像库包含50类共1 000张各种卡通、植物花卉、动物、格子等常见织物花型图案，每类花型包含20张相似的花型图像。从50类花型中每类挑选3张图片作为一组进行混合花型库检索实验，检索结果的显示与排列规律同上。图6示出单次检索结果。

图6 混合花型库检索结果Fig.6 Retrieval results on datebase of mixed types pattern. (a) Image retrieval; (b) First ten images of retrieval results

为对图像检索的准确性进行量化描述，采用查准率(检索出正确图片与图片总量的比值)计算公式对检索结果准确性进行描述。定义检索结果中与目标花型同属一类的花型图像为检索正确的图片，计算每组图片查准率的平均值作为该组图片的查准率，结果如图7所示。本文算法的平均查准率在93.17%左右。

图7 查准率Fig.7 Retrieval precision ratio

由图6所示检索结果和图7所示的查准率可知，本文算法可较为准确地在含有各种类型花型图案的混合图像库中检索出与目标花型相同或者相似的花型图片，但是通过大量实验发现，当图片压缩倍数过大时，其边缘距离直方图与边缘方向直方图会发生比较明显的变化，从而导致实验结果中出现错检或漏检图片的现象，这也是造成图7中部分组查准率较低的主要原因。

5 结束语

本文针对织物花型同型不同色以及外形相同内部结构不同的特点，提取边缘距离直方图，以边缘方向直方图作为边缘特征，彩色边缘颜色直方图作为颜色特征，并综合利用边缘特征和颜色特征对织物花型进行检索，最后通过实验验证了本文算法可准确地检索出相同或者相似的花型。

由于织物花型的复杂性与多样性，本文算法仍有需要改进、优化之处。首先边缘距离直方和边缘方向直方图虽然能从2个角度描述花型的边缘特征，并形成互补，但是仍不能全面地表达图像边缘点的空间位置信息，而且也没有体现出边缘点之间在距离和方向上的相关性。此外，本文采用的3种特征均是在边缘提取的基础上构造的，因此边缘提取的质量对本文算法有较大影响，如何高质量的提取出织物的边缘特征也是需要进一步研究的问题。

参考文献：

[1] JING J, LI Q, LI P, et al. Patterned fabric image retrieval using color and space features[J]. Journal of Fiber Bioengineering and Informatics, 2015, (9): 603-614.

[2] JING J, LI Q, LI P, et al. A new method of printed fabric image retrieval based on color moments and gist feature description[J]. Textile Research Journal, 2016, 86(11): 1137-1150.

[3] 康锋，胡洁，张华熊，等. 基于最大稳定极值区域的织物图案检索[J]. 纺织学报, 2015, 36(10): 156-160.

KANG Feng, HU Jie, ZHANG Huaxiong, et al. Fabric pattern retrieval based on maximum stable extremal regions[J]. Journal of Textile Research, 2015, 36(10): 156-160.

[4] ZHANG D, LU G. Shape-based image retrieval using generic Fourier descriptor[J]. Signal Processing: Image Communication, 2002, 17(10): 825-848.

[5] TALIB A, MAHMUDDIN M, HUSNI H, et al. A weighted dominant color descriptor for content-based image retrieval[J]. Journal of Visual Communication and Image Representation, 2013, 24(3): 345-360.

[6] LIU G H, YANG J Y. Content-based image retrieval using color difference histogram[J]. Pattern Recognition, 2013, 46(1): 188-198.

[7] 陈景伟, 王向阳, 于永健. 基于边缘直方图的彩色图像检索算法研究[J]. 小型微型计算机系统, 2010(5): 978-983.

CHEN Jingwei, WANG Xiangyang, YU Yongjian. Edge-based color image retrieval by using multiple histogram[J].Journal of Chinese Computer Systems, 2010 (5): 978-983.

[8] 杨红颖, 吴俊峰, 于永健,等. 一种基于 HSV 空间的彩色边缘图像检索方法[J]. 中国图象图形学报, 2008, 13(10): 2035-2038.

YANG Hongying, WU Jufeng, YU Yongjian, et al. Conten based image retrieval using color edge histogram in HSV color space[J].Journal of Image and Graphics,2008, 13(10): 2035-2038.

[9] HUANG J, KUMAR S R, MITRA M, et al. Image indexing using color correlograms[C]//Computer Vision and Pattern Recognition, 1997 Proceedings. [S.l.]: IEEE, 1997: 762-768.

[10] 张鑫, 温显斌, 孟庆霞. 基于颜色特征的图像检索方法研究[J]. 计算机科学, 2012, 39(11):243-246,260.

ZHANG Xin, WEN Xianbin, MENG Qingxia, Research of image retrieval method based on color feature[J].Computer science,2012, 39(11),243-246,260.

[11] ZHENG X, TANG B, GAO Z, et al. Study on image retrieval based on image texture and color statistical projection[J]. Neurocomputing, 2016, 215: 217-224.