一种基于特征值融合的服装面料图像检索方法

吴志鑫，李立轻，汪军，江慧

(东华大学 纺织学院，上海 201620)

纺织业是我国重要的制造业之一，纺织服装面料种类繁多，数量更是数不胜数[1]。在面料图像的检索方面，目前行业内通常采用传统的基于文本图像检索技术(text-based image retrieval，TBIR)[2]，如中国轻纺网、中国纺织网等，用户必须在庞大的数据信息中逐一搜索，费时耗力[3]。虽然基于神经网络和深度学习的图像分类和特征识别是目前图像检测的热点，但是对于种类繁多、花样丰富的服装面料而言，其研究和应用还是有很多问题。基于内容的图像检索(content-based image retrieval，CBIR)技术[4]可以通过有效算子获取图像的基本特征(如形状、纹理及颜色等)，再利用距离函数等计算图像的相似度以达到提高检索精度的目的，故有着更广阔的应用前景。张丽[5]利用加权方法，将颜色特征与纹理特征融合进行检索实验，结果表明利用融合后的特征向量进行检索的整体效果均好于单特征的，但是由于不同类别的服装图像对于纹理信息和颜色信息的敏感度不同，所以权重的设置比较困难。基于此，文中提出一种特征值归一化的方法，首先采用HSV颜色直方图法[6]提取出面料图像的颜色特征，再利用灰度共生矩阵(gray-level co-occurrence matrix,GLCM)算法[7]提取出纹理特征，然后将两者的特征值融合成新的特征向量，以期进一步提高服装面料图像的检索效果。

1 方法原理与算法建立

在CBIR技术流程中，最为关键的是针对图像的特征提取。合适的特征提取方法是图像检索实验的前提，通常是对图像的三大底层特征(颜色特征、纹理特征和形状特征)进行特征提取。因为研究对象是服装面料，在形状上存在着很大的相似性，所以文中从颜色和纹理两方面选取了HSV颜色直方图法和GLCM算法对服装面料图像进行特征提取。

1.1 HSV颜色直方图法

HSV颜色直方图法是颜色直方图法在HSV颜色空间中的应用，HSV颜色空间[8]以H(色相)、S(饱和度)、V(亮度)为色值定位颜色空间，符合人眼观察的特点。颜色直方图法以统计学中直方图思想为基础，通过一系列高低不同的柱状条纹或线段来表示图像中不同颜色的分布情况。以一幅彩色图像为例，取像素点的颜色值作为横坐标，该颜色像素出现的频数作为纵坐标，以此得出的坐标系图形就是颜色直方图[9]，具体公式如下：

H={h(Ck)k=1，2，3，…，n}。

(1)

式中：k为彩色图像的像素点；Ck为彩色图像像素点的颜色值；h(Ck)为像素点颜色值出现的频数。

1.2 GLCM算法

GLCM算法是最常用的纹理特征提取方式之一，也是基于统计的纹理特征提取方法中应用最广的方法[10-11]，灰度共生矩阵是建立在图像中像素对的方向和距离基础上的，它主要研究的是图像纹理中灰度级的空间依赖性。灰度的分布特性由具有不同灰度值的像素分布表示，首先建立灰度共生矩阵，然后从该矩阵中提取可以表示图像的纹理特征。GLCM可以提取的纹理特征值有14个之多，但并非都适用于图像检索[12]。文献[13-14]中，GLCM在图像检索中主要用到的特征值为能量(Asm)、熵(Ent)、惯性矩(Idm)、相关性(Cor)、对比度(Con)5种。其中：能量主要反映的是灰度分布均匀程度，值越大则纹理越规则均一；熵主要反映的是图像中纹理的非均匀程度以及复杂程度，值越大则越不均匀越复杂；惯性矩主要反映的是图像纹理的同质性，即局部纹理的变化程度，值越大，则变化程度越大；相关性主要反映的是灰度共生矩阵中，在行和列，即水平和垂直角度上灰度的相似程度，值越大，相似性越高；对比度特征主要反映的是纹理沟纹深浅的程度，沟纹越深则值越大。5种特征值的计算公式如下：

(2)

(3)

(4)

(5)

(6)

式中：k为灰度值的级数；G(i,j)表示灰度级为i的像素点Px和灰度级为j的像素点Py相邻的个数。其中ux，uy，σx和σy分别是Px，Py的灰度级的均值和标准差。计算公式如下：

(7)

(8)

(9)

(10)

1.3 特征值融合算法

文中提出的融合算法是针对特征值的一种归一化处理，设利用两种特征提取方法进行特征值提取后，分别提取出m和n个特征值。假设测试库中共有N张面料图像，则对于测试库中所有面料处理后可以将它们的特征向量合并构建成如下矩阵：

然后提取出每列最大和最小的两个元素分别组成两个向量D1max和D1min,记为

D1max=(Cmaxk,1,Cmaxk,2,…,Cmaxk,m+n)；

D1min=(CminK,1,CminK,2,…,CminK,m+n)。

因此，融合后任一元素Ci，j可以转换为

(11)

利用这种方法对所有特征值进行处理后，就可以实现两组特征值的融合，生成新的特征向量。

2 基于特征融合算法的服装面料图像特征提取

2.1 服装面料图像的HSV颜色直方图特征提取

图像分割示意如图1所示。

图1 图像分割示意Fig.1 Diagram of image segmentation

文中在对面料图像搜集中，发现有部分服装面料图像的边缘存在一些背景色等因素的干扰，如图1(a)的下边缘就存在着较大的水印，它与面料图像整体的颜色信息极不对应。考虑到颜色特征是一个全局特征，类似干扰会很大程度上影响到实验结果，所以文中在提取HSV颜色直方图时需要将面料图像进行不均匀分割，去除图像上下左右边缘各1/8的部分，在去除干扰的同时尽可能不丢失图像的颜色信息。

基于文献[15]，文中将H分量量化为16级，S与V分量量化为4级，即共有16×4×4共256种可能的像素点颜色类别。图2为两张不同测试面料的图像，其对应的HSV颜色直方图特征值见表1。

图2 测试面料图像Fig.2 Fabric images for test

表1 测试面料的HSV颜色直方图特征值

表1中像素点的颜色由H，S，V 3个分量组成，共有256种不同的组合，1～256即代表颜色值(0,0,0)～(15,3,3)。文中利用Matlab工具对面料图像的像素点颜色值进行统计，计算出每种类别的颜色值所出现的频数即为特征值。

在得出两张图像的特征向量之后，将其代入相似性距离函数就可以得到两者之间对应的距离。常用的欧式距离函数[16]表示为

(12)

式中：X，Y为空间中的两个向量；xi,yi为这个点的空间坐标，即m维向量X(x1，x2，x3，…，xm)和Y(y1，y2，y3，…，ym)。将图2(a)和图2(b)的HSV颜色直方图特征向量带入式(12)，其结果即为两者的欧式距离值。

2.2 服装面料图像的GLCM特征提取

同样以丝绸面料和皮革面料图像为例，文中设置灰度等级为8，提取了4个角度(0°，45°，90°和135°)共4个灰度共生矩阵[17]，然后利用相关公式分别求出其相应的特征值，最后以其均值作为最终特征值。具体结果见表2。

表2 测试面料的GLCM特征值

2.3 特征值融合

采用HSV颜色直方图法提取出的是1×256的一维特征向量，假设其为(A1，A2,…,A256)，而利用GLCM灰度共生矩阵法提取出的特征向量是1×5的一维特征向量，假设其为(B1，B2，…,B5)，将它们直接合并组成一个1×261的一维向量记为(C1，C2,…,C261)。首先对库中所有图像进行这种特征值的合并，它们合并的特征向量组成的特征矩阵如下：

然后，利用Matlab软件提取出每列中最大和最小的特征值，再通过式(11)就可以得到新的特征向量。在特征提取后，仍以图2为例，假设图2(a)经处理后的特征值为(s1,s1,…,s261)，图2(b)经处理后的特征值为(t1,t2,…,t261)，则两者间的欧式距离计算式为

3 实验方法

3.1 样本库的建立

由于国际上目前没有一个公认的面料图像样本库，故文中创建了一个实验图像样本库。根据CBIR技术的需求，文中将面料分为：呢绒面料、麻类面料、蕾丝面料、丝绸面料、皮革面料以及牛仔布面料6类，每类面料取500张图像，6类面料的示例如图3所示。同时从百度网和天猫网等搜集了6类面料的清晰图像各500张，组成一个共3 000张的测试样本库，具体见表3。

图3 面料图像Fig.3 Images of fabrics

表3 面料信息数据

此外，还搜集了500张非纺织类图像，作为实验的干扰项，在这6类服装面料图像的组内实验完成后，加入样本库进行实验，进一步验证文中提出算法的稳定性。

3.2 实验硬件

文中仿真实验是基于Matlab R2018a版本设计运行的。实验的硬件环境为：联想笔记本，Inter(R)Core(TM)i5-2520M处理器，4GB RAM。

3.3 实验设计及评价标准

为了验证文中所提出的特征值融合算法对服装面料图像检索的有效性和稳定性，同时也为了比较该方法与两种单特征算法(HSV颜色直方图法和GLCM算法)检索效果的优劣，文采用欧式距离函数进行相似性度量，并设计了6组检索实验。其中：1～3组分别为HSV颜色直方图法、GLCM算法和特征值融合算法对样本库中6类服装面料图像进行检索；4～6组则是将干扰图像添加到上述6类服装面料图像中，再分别采用上述3种方法进行检索。实验时，从6类服装面料图像中各自随机抽取一张作为待测图像，输出图像均设置为500张，以平均查准率作为衡量检索效果的标准。

查准率：

式中：A为相关图像的集合;B为返回图像的集合;a为检索结果中与待测图像属于同一类别的图像数量;b为返回结果中误检的图像数量。

4 结果分析

1～3组检验实验结果见表4。由表4可以看出，在不加入干扰图像的情况下，基于HSV颜色直方图法的面料图像检索平均查准率为77.4%；该方法对于丝绸面料、蕾丝面料以及皮革面料图像的检索效果较好。对于蕾丝面料，一般都存在着很多的镂空部分，这会使得蕾丝面料之间的颜色信息相似性更高，也比较容易被检索；对于丝绸面料，因为其颜色信息单一，非常容易被识别；对于皮革面料，可能是因为HSV颜色直方图中的V(亮度)可以反映出图像的光泽，而皮革面料的光泽与其他类别面料区别较大，这使得它的检索效果较好。同理，光泽也是丝绸面料检索效果较好的原因之一。

基于GLCM算法的服装面料图像检索平均查准率可以达到82.7%，它对于面料图像的整体检索效果优于HSV颜色直方图法。这是因为不同类别的面料在颜色信息上并不会体现出很大的差异性，而不同类别的服装面料一般都会具备各自的织物组织结构特点。麻类面料纹路明显，蕾丝面料存在镂空部分，丝绸面料纹理均一平整，皮革面料的表面存在沟纹等，这使得服装面料对于纹理特征会更加敏感，也使得它们的查准率较高。

表4中利用文中的特征值融合方法，服装面料图像检索平均查准率可以达到86.8%，是3个方法中效果最好的。它对于这6类服装面料的检索结果都有着不同程度的提高，尤其是对于颜色和纹理信息都较为均一的丝绸面料，返回了464张图像，平均查准率达到了92.8%。这也说明了文中所提出的利用特征值归一化法融合特征的方法结合了两种算法的优点，更适用于面料图像的检索研究。

为了验证检索方法的稳定性，文中同样进行了加入干扰图像的实验，具体结果见表5。由表5可以看出，HSV颜色直方图法的平均查准率下降至75.7%，这可能是干扰图像在颜色上与服装面料存在一定的相似之处；但HSV颜色直方图法对于丝绸面料仍保持较高的检索水平，这是因为其光泽以及颜色信息的单一性的双重效果。GLCM算法的平均查准率下降至82.0%，比HSV颜色直方图法的下降幅度小，这也在一定程度上说明了服装面料图像更适合以纹理信息进行图像检索。采用文中提出的特征值融合方法的平均查准率为86.3%，下降幅度是3种方法中最小的，这也反映出该融合算法具有较好的稳定性。

表4 1～3组检索实验结果对比

表5 4～6组检索实验结果对比

5 结语

文中提出了一种特征值融合的方法，以服装面料图像为研究对象，在颜色特征方面选取了HSV颜色直方图法进行特征提取，在纹理特征方面选取了GLCM算法，对两种特征进行融合，并进行了相关的实验研究。检索结果表明，在单特征方面，较之颜色特征，面料图像更适合采用纹理特征进行检索。此外,文中提出的特征融合算法在检索效果上较之单特征均有所提高，平均查准率可以达到86.8%，对于颜色纹理信息都比较均一的丝绸面料图像查准率则是达到92.8%。稳定性实验结果显示，文中提出的融合算法的稳定性均优于两种单特征算法，这说明这种融合算法对于面料图像的检索是有益且稳定的。因此，该方法对于服装面料图像检索的实际应用具有一定的参考价值。