采用改进的小波和颜色矩的色纺面料图像检索

张霞 向军 张宁 潘如如

摘要： 传统的色纺面料检索方法效率低下、精度低，针对色纺面料颜色种类丰富、纹理复杂多变的特点，文章提出一种基于颜色矩和改进的小波变换结合的图像检索算法。采集色纺面料图像并建立标准图像数据库;分别采用颜色矩和改进的小波变换的方法提取色纺面料图像的颜色特征和纹理特征，使用欧氏距离测度的方法计算两种特征的子相似度;采用加权求和的方式获得图像的总体相似度，排序得到检索结果。试验中分别讨论了不同特征权重对检索结果的影响，验证了当颜色特征权重占0.8纹理特征权重占0.2时，检索结果最优。对比试验表明，该算法可兼顾颜色特征和纹理特征对检索结果的影响，平均检索精度mAP达到80.8%，优于现有方法。

关键词： 面料检索;特征提取;颜色矩;小波变换;色纺面料

中图分类号： TS941.26

文献标志码： A

文章编号： 1001-7003（2021）12-0034-06

引用页码： 121107

DOI： 10.3969/j.issn.1001-7003.2021.12.007（篇序）

Abstract： In view that traditional retrieval methods of colored spun fabrics are inefficient and inaccurate， while colored spun fabrics are characterized by rich colors and complex textures， an image retrieval algorithm combining color moment and modified wavelet transform was proposed. Firstly， colored spun fabric images were collected to establish a standard image database. Secondly， the color features and texture features of the colored spun fabric images were extracted using color moments and modified wavelet transform method respectively. The sub-similarity of color features and texture features were measured using Euclidean distance measurement method. Finally， the overall similarity of the images was obtained through weighted summation and the retrieval results were obtained by sorting.In the experiment， the influence of different feature weights on the retrieval results was discussed， and it was verified that when the color feature weights accounted for 0.8 and texture feature for 0.2 respectively， the retrieval result was optimal. The results of contrast experiment have shown that the algorithm can take into account the effects of color features and texture features on retrieval results， with an average retrieval precision ratio of 80.8% which is superior to the existing method.

Key words： fabric retrieval; feature extraction; color moment; wavelet transform; colored spun fabric

色纺面料是指由色纺纱织成的面料，具有独特的颜色和纹理效果，广泛应用于各类服饰、家纺产品。由于其丰富的颜色和纹理种类，纺织企业如何快速从中查找所需面料数据指导生产变得困难，图像检索是解决这一问题的有效方法。相比基于文本的图像检索，基于内容的图像检索是利用计算机视觉和图像处理技术提取图像的视觉特征（颜色、纹理及空间特征等）并映射为特征向量，根据特征向量之间的距离来衡量图像之间的相似度进行匹配[1]，避免了人工文本标注的主观性和工作量，检索结果更加准确和快速，能够及时准确获取已有产品的工艺单用于指导生产，缩短产品的生产周期，提高生产效率。

目前基于內容的织物图像检索主要包括两种：一种是基于低层视觉特征的图像检索，二是基于高层语义特征的图像检索[2]。基于高层语义特征的图像检索不需要人为选取特征，可以自动提取到多种特征，具有良好的泛化性和鲁棒性[3]。Zha[4]提出与低阶特征相比，神经网络可以更好地表达图像特征;Deng等[5]提出一种基于卷积神经网络的度量嵌入方法进行织物检索，基于深度学习的方法对训练样本的数量要求较高，而本文针对实际应用，而且色纺面料的样本数量较少，采用此类方法容易产生过拟合现象，从而使得检索效果不佳。因此，本文采用提取低层视觉特征的方法对色纺面料图像进行检索。常见的基于内容的织物图像低层特征提取方法有颜色矩[6]、灰度共生矩阵[7]、小波变换[8-9]、局部二值模式（local binary patterns，LBP）[10]等。单一的特征描述算法往往无法描述织物图像的全部信息，导致检索准确率不高。Liu等[10]使用颜色直方图和LBP融合的方法提取图像的颜色和纹理特征，克服了LBP不适合检索具有丰富颜色信息的彩色图像的问题;向忠等[11]提出结合颜色和边缘特征的图像检索算法，能够针对织物印花花型进行有效检索，但该方法并不适用于纹理复杂的色纺面料图像的检索;李琦[12]提取了织物图像的颜色、纹理及空间特征进行融合，实现对织物花型的图像检索，该方法只对具有规则花纹图案的织物效果显著。Zhang等[13]提出基于交互式遗传算法的色织格子布图案检索，提出了5种针对色织格子布的视觉特征，但并不适用于色纺面料，因为色纺面料中主要特征为颜色和精细纹理。

与普通图像不同，色纺面料图像中很少含有3-D形状和轮廓信息，主要特征为颜色和纹理。色纺面料具有色彩丰富、纹理随机不规则的特点，因此可以忽略其空间特征，利用颜色和纹理特征来实现对不同色纺面料图像的检索。本文提出颜色矩和改进的小波变换结合的色纺面料图像检索方法。该方法首先采集色纺面料图像并建立标准图像数据库;然后分别采用颜色矩和小波变换的方法提取色纺面料图像的颜色特征和纹理特征;最后综合两种特征信息实现色纺面料图像的检索。

1 图像采集

为了避免无关因素的影响，减少算法的复杂度，图像采集需要在一个统一、标准的环境下进行，因此本试验的图像采集采用DigiEye数慧眼图像颜色管理系统。该系统配备尼康D7000相机（日本尼康）、AF 35mm f/2D专用摄像头（日本尼康）及标准型图像采集光源D65标准照明体（VeriVide标准光源箱）。图像采集装置如图1所示。

本试验采用从工厂收集的平针组织的纬编针织面料建立数据集。邀请工厂专家根据纱线种类、织物外观风格等对色纺面料进行标注和分类，根据标签从中选取50类共466张图像作为原始图像数据库。使用Matlab软件对原始采集图像进行裁剪操作，在每张图像的不同位置随机截取10张图像以扩充图像数据。原始图像为3 750像素×2 500像素，分辨率为96 dpi，截取后图像尺寸为512像素×512像素，对应的物理尺寸为41 mm×41 mm。原始采集图像及裁剪后图像实例如图2所示。

2 算法介绍

2.1 颜色特征提取

颜色矩作为一种全局特征，可简单有效地表征图像的颜色信息。颜色矩[14]由Stricker和Orengo提出，图像中任何的颜色分布均可用其矩来表示。颜色分布信息主要集中在低阶矩，因此可采用颜色的一阶矩（均值，mean）、二阶矩（方差，variance）及三阶矩（斜度，skewness）表达图像的颜色分布。与颜色直方图相比，颜色矩无需量化颜色空间。

一阶颜色矩采用一阶原点矩，反映图像整体的颜色倾向;二阶矩采用二阶中心矩的平方根，反映图像颜色的分布范围;三阶颜色矩采用三阶中心距的立方根，反映图像颜色分布的对称性。本文中颜色的三个低阶矩由下式计算得到：

式中：pij表示图像第i（i=L，a，b）个颜色通道分量中灰度为j的像素出现的概率;N表示图像中像素的个数。

本文采集的图像为RGB图像，但RGB颜色空间结构不符合人们对颜色相似性的主观感知，因此将其转换为更接近人们对颜色主观认识的Lab颜色空间。由此图像包含L（亮度）、a（红绿色度）、b（黄蓝色度）三个颜色分量，每个颜色分量有3个低阶矩，得到9维特征向量[EL，σL，sL，Ea，σa，sa，Eb，σb，sb]，每幅色纺织物图像的颜色特征将由这个9维向量表示并用于后续检索。

2.2 纹理特征提取

纹理特征提取是要获得每个像素点能够用于区分不同种类纹理的特征向量。小波变换[15]具有多分辨率、多尺度特性，是常用的纹理特征提取方法。

以二维图像信号为例，小波变换是以某一函数ψ（x1，x2）通过平移、伸缩产生的函数族ψa;b1，b2（x1，x2）为基底，对图像（x1，x2）进行分解，得到图像在函数族（即不同尺度小波）下的系数。函数族及小波变换如下式所示：

对于二维信号，通常采用二维离散小波变换进行处理，即对二维图像信号在水平和垂直方向作一维小波变换，得到低频分量和水平、垂直、对角线方向的高频分量。对低频分量不断重复上述分解过程，就能得到信号在任意尺度的低频和高频部分，然后使用分解得到的系数进行处理，重构出纹理结构信息。三层小波变换过程如图3所示。

本文采用金字塔结构的二维Haar小波变换进行纹理特征提取。首先，要确定保留色纺面料图像纹理的小波分解频域;然后，修改小波系数以抑制非纹理部分（例如织物组织结构）特征的噪声。表1为3～6层高频重构图像。从表1可以看出，第四层和第五层更能表征织物表面的纹理信息，因此试验中使用这两层信息对织物进行特征表达。

最终得到6维特征向量[mH4，mV4，mD4，mH5，mV5，mD5]，每个色纺面料图像的纹理特征将由这个6维向量表示并用于后续检索。

2.3 相似性度量

相似性度量一般通过计算待检索图像特征与数据库图像特征之间的距离实现。本文使用图像检索中常用的歐式距离和皮尔逊相关系数进行相似性度量。假设待检索图像特征向量X=（x1，x2，…，xn），数据库图像特征向量Y=（y1，y2，…，yn），则皮尔逊相关系数r（X，Y）及欧式距离ρ（X，Y）计算公式分别如下式所示：

式中：ρ（X，Y）的值越小表示相似度越高。

要结合颜色和纹理特征，需要对二者的图像相似度进行综合。由于颜色特征和纹理特征的相似度取值范围存在较大差异，因此对于欧式距离需采用标准离差化的方法将二者分别归一化至[0，1]，然后进行加权求和处理。综合后的图像总体相似度如下式所示：

3 检索算法流程及评价标准

3.1 检索算法流程

本试验分别采用颜色矩和改进的小波变换提取色纺面料的颜色和纹理特征，并分别计算二者的相似度。将提取的颜色矩特征与小波特征相似度进行加权综合得到总相似度，对总相似度进行排序返回结果，实现对色纺面料图像的检索。整个检索流程如图4所示。

3.2 评价标准

利用查准率（precision）、召回率（recall），以及每张图片的查询检索精度（average precision，AP）和4 660次检索的平均检索精度（mean average precision，mAP）作为试验性能评价标准。计算公式如下式所示：

式中：Q表示检索到的相似图片数量;P表示检索到的不相似图片数量;N表示未被检索到的相似图片数量;K表示假设经过检索系统返回K个相似图像;x1，x2，…，xK表示K个相似图像的位置;M表示检索次数即检索的图片总量。

4 结果与分析

为了验证本文提出算法的可行性，试验在Matlab R2016b软件平台运行实现。计算机硬件配置为Intel Core i3-4030U处理器，CPU主频1.90 GHz，4 GB内存，操作系统为Windows10专业版64位。从采集的图像中根据分类标签选取50类共4 660张图片。试验时对每张图片进行检索，即进行4 660次查询。

4.1 权重参数分析

为了在色纺面料图像检索中得到最佳试验方案，分别用欧氏距离和皮尔逊相关系数两种相似性度量方法对颜色和纹理特征融合的权值进行讨论，结果如图5所示。其中纵坐标表示色纺面料图像检索结果的平均检索精度（mAP），横坐标表示颜色相似度所占的权重，步长为0.05。

检索结果表明，当采用欧式距离测度的方法，颜色权重为0.8时，该检索算法的mAP最高，达到80.8%。颜色权重为0，即只用纹理特征检索图像时，mAP不到30%;而颜色权重为1时，mAP达到76.6%。说明颜色是判定色纺面料是否相似最重要的视觉特征。织物图像通常由多个视觉特征来表示，根据人的视觉感知，色纺面料图像的相似首先是颜色相似，其次是纹理相似。因此，颜色特征权重更高，而纹理是仅次于颜色的另一个重要视觉特征。部分色纺面料图像检索效果如图6所示。前三张检索结果理想，第四张最后两个结果出现误检。出现误检是由于人为对图像进行分类时是以颜色为主，在颜色相似的前提下考虑纹理，而检索过程不分先后，是综合计算颜色和纹理相似性的结果。

4.2 不同检索算法比较

颜色直方图和LBP是织物图像检索中常用的颜色和纹理特征提取方法。为验证本文算法“颜色矩（CMC）+改进的小波变换（WAV）”的优越性，对比“CMC+改进前WAV”“CMC+LBP”“颜色直方图（HIST）+WAV”“HIST+LBP”这四种“颜色+纹理”的组合算法及文献[4]中“颜色矩×主色”、文献[7]中“LBP×傅里叶变换”、文献[11]中“CIF+LBP”、文献[16]中“分块颜色矩+Gist”的方法进行检索。其中LBP采用旋转不变模式，半径R=1，采样点P=8。为保证试验结果的客觀性，五种颜色和纹理组合算法的相似性度量方法采用欧式距离，特征权值均采用wc=0.8、wt=0.2。上述八种算法的总mAP及返回结果的前20张、50张、100张的mAP及单张图像检索时间如表2所示。结果表明，随着返回图像数量的增加，平均检索精度逐渐降低，其中本文提出算法的检索结果前20张的mAP达到98.25%，高于其他算法。不同算法检索效率大致相同，其中文献[4]采用了欧氏距离和改进的二次相似度函数进行相似性度量，检索效率有所提高;文献[16]采用了分块颜色矩，并分别计算不同颜色通道的相似度，导致计算量增加，检索效率较低。本文更关注检索精度而非检索时间，综合来看本文提出的算法是有效的。

图7为不同检索算法的平均查准率和召回率关系曲线。对比“CMC+WAV”和“CMC+改进前WAV”两条曲线，可以看出本文提出的小波变换改进方法对色纺面料图像纹理的表征效果有所提升;对比“CMC+WAV”和“CMC+LBP”这两条算法曲线，可以看出小波变换方法对于色纺面料图像纹理特征表达的效果优于LBP;对比“CMC+WAV”和“HIST+WAV”两条算法曲线，可以看出相对于颜色直方图，基于颜色矩的方法更适用于色纺面料图像颜色特征的提取。文献[4]和文献[7]针对具有格纹、印花等规则图案的毛织物分别提出了基于颜色和纹理特征的检索算法，结果表明单个特征的描述算法会导致检索准确度不高。文献[11]提出的颜色信息特征提取本质上仍是基于统计特性的特征描述子，不能反映颜色的空间分布情况，因此检索效果不佳;文献[16]提出采用分块颜色矩和Gabor滤波后的Gist特征提取印花面料的颜色和空间特征，而色纺面料几乎不含有空间特征，因此该方法并不适用于色纺面料的检索。而文本算法对色纺面料图像检索有更高的针对性，能获得较好的检索效果。

5 结 论

本文针对色纺面料颜色丰富、纹理复杂的特点，提出了一种基于颜色矩和小波变换相结合的色纺面料图像检索算法。该算法分别采用颜色矩和改进的小波变换的方法提取色纺面料图像的颜色特征和纹理特征，加权综合两种特征的相似度进行图像检索。试验结果表明，该算法可兼顾颜色特征和纹理特征对检索结果的影响，克服了单一特征算法检索准确率不高的问题，对色纺面料图像的检索具有较高的检索精度，对比试验突出了算法的优越性，可以为企业的色纺面料检索提供参考，节省大量的人力和物力。

参考文献：

[1]王妙. 基于深度学习的印花织物图像检索系统设计[D]. 西安： 西安工程大学， 2019.

WANG Miao. Design of Printed Fabric Image Retrieval System Based on Deep Learning[D]. Xi’an： Xi’an Polytechnic University， 2019.

[2]XIANG J， ZHANG N， PAN R， et al. Fabric image retrieval system using hierarchical search based on deep convolutional neural network[J]. IEEE Access， 2019， 7： 35405-35417.

[3]XIANG J， ZHANG N， PAN R， et al. Fabric retrieval based on multi-task learning[J]. IEEE Transactions on Image Processing， 2021， 30： 1570-1582.

[4]ZHA T. Application comparison of textile fabric image retrieval algorithms based on content[J]. Journal of Textile Science & Fashion Technology， 2020， 7（2）： 659.

[5]DENG D， WANG R， WU H， et al. Learning deep similarity models with focus ranking for fabric image retrieval[J]. Image & Vision Computing， 2017， 70： 11-20.

[6]ZHANG N， XIANG J， WANG L， et al. Image retrieval of wool fabric Part Ⅱ： Based on low-level color features[J]. Textile Research Journal， 2019， 90（7）： 797-808.

[7]張宁， 潘如如， 高卫东. 采用图像处理的织物缝纫平整度自动评估[J]. 纺织学报， 2017， 38（4）： 145-150.

ZHANG Ning， PAN Ruru， GAO Weidong. Automatic seam-puckering evaluation using image processing[J]. Journal of Textile Research， 2017， 38（4）： 145-150.

[8]何孟永， 潘如如， 张宁， 等. 基于SVM方法的色纺花式纱面料自动分类[J]. 东华大学学报（自然科学版）， 2020， 46（4）： 542-548.

HE Mengyong， PAN Ruru， ZHANG Ning， et at. Automatic classification of colored spun fancy yarn fabric based on SVM method[J]. Journal of Donghua University（Natural Science）， 2020， 46（4）： 542-548.

[9]罗戎蕾. 基于复小波变换的纺织品图案检索方法研究[J]. 浙江理工大学学报， 2015， 33（1）： 46-50.

LUO Ronglei. Study on textile pattern retrieval method based on complex wavelet transformation[J]. Journal of Zhejiang Sci-Tech University， 2015， 33（1）： 46-50.

[10]LIU P， GUO J M， CHAMNONGTHAI K， et al. Fusion of color histogram and LBP-based features for texture image retrieval and classification[J]. Information Sciences， 2017， 390： 95-111.

[11]向忠， 何旋， 钱淼， 等. 基于边缘和颜色特征的织物印花花型检索[J]. 纺织学报， 2018， 39（5）： 137-143.

XIANG Zhong， HE Xuan， QIAN Miao， et al. Fabric printing pattern retrieval based on edge and color characteristics[J]. Journal of Textile Research， 2018， 39（5）： 137-143.

[12]李琦. 基于图像处理的织物花型检索系统的研究[D]. 西安： 西安工程大学， 2016.

LI Qi. Research on Fabric Pattern Retrieval System Based on Image Processing[D]. Xi’an： Xi’an Polytechnic University， 2016.

[13]ZHANG Ning， PAN Ruru， WANG Lei， et al. Pattern retrieval of yarn-dyed fabric based on modified interactive genetic algorithm[J]. Color Research & Application， 2020， 45（6）： 1143-1152.

[14]STRICKER M A， ORENGO M. Similarity of color images[J]. Proceedings of SPIE-The International Society for Optical Engineering， 1995， 2420： 381-392.

[15]SUN J， YAO M， XU B， et al. Fabric wrinkle characterization and classification using modified wavelet coefficients and support-vector-machine classifiers[J]. Textile Research Journal， 2012， 81（9）： 902-913.

[16]JING J， LI Q， LI P， et al. A new method of printed fabric image retrieval based on color moments and gist feature description[J]. Textile Research Journal， 2016， 86（11）： 1137-1150.