基于最大稳定极值区域的织物图案检索

康 锋， 胡 洁， 张华熊， 周 慧

(浙江理工大学 信息学院， 浙江 杭州 310018)



基于最大稳定极值区域的织物图案检索

康 锋， 胡 洁， 张华熊， 周 慧

(浙江理工大学 信息学院， 浙江 杭州 310018)

针对织物扫描图像的特点，提出了一种通过图像最大稳定极值区域的加速稳健特征(SURF)检索织物图案的方法。首先用结构提取算法去除织物扫描图像的纹理，保留图案信息；其次通过最大稳定极值区域法检测织物图像，提取图案各区域的SURF特征，建立织物图像特征库；再将织物检索图像与特征库内的图像进行相似性度量，得到相似图案的织物图像。实验结果表明，提出的算法能够较准确地检索织物图案。

织物图案； 图像检索； 最大稳定极值区域； 结构提取； 加速稳健特征(SURF)算法； 特征匹配

随着纺织品CAD的广泛应用，新设计的织物图案形式多样，变化丰富。传统的织物图案检索需要通过人工在样品库中进行分类和编号，不能对检索需求进行精确描述，难以满足不同检索人员和客户的检索需求。织物图案检索可根据样图或实物扫描图，快速地从样品库中找到已有的相同或相似图案，克服传统人工检索的缺点，避免重复设计，从而提高新产品开发效率，提升纺织品设计能力。

图案是纺织品设计中的一个重要元素，但是从织物扫描图像中提取图案较为困难。经扫描获取的织物图像中，纱线间隙颜色偏暗，会形成一定的纹理，不同的原料、织造方式、织物后整理也会产生不同的效果；由于布料放置不平整，使得织物图像产生局部色差，甚至形成伪图案；由于扫描图像文件往往采用有失真的JPEG压缩，使得图案轮廓变得模糊。这些因素的存在为织物图案检索带来了困难。

目前，图像检索主要有基于颜色[1]、纹理[2]、形状[3]、角点[4]等特征的方法。颜色或纹理往往不能直接表征织物扫描图像的图案特征，因而基于颜色或纹理的图像检索方法不能直接检索相似图案；由于织物图像中存在的纹理、局部色差以及采用失真压缩的文件格式保存图像，使得图案轮廓不清晰，通过图像分割提取的图形往往不够准确，难以提取图案的有效特征，因此基于形状的图案检索结果往往不够准确；织物图案中图形很多是由平滑曲线构成，同时由于织物扫描图像中存在的纹理、色差、模糊，在织物图案中很难提取有效的角点和角点特征，而且织物中往往存在大量相同或相似的图案，角点之间的空间关系很难描述，因此基于角点的图像检索方法很难准确检索织物图案。

针对织物扫描图像的特点，本文首先通过结构提取(structure extraction)算法消除织物图像纹理；其次通过最大稳定极值区域(maximally stable extremal region, MSER)算法检测织物图案区域，提取各区域加速稳健特征(SURF)，形成图案区域特征；然后对检索图像的特征与织物图像特征库进行匹配，得到检索图像对图像库中的织物图像的相似度；最后对相似度进行排序，选取最相似的图案为检索结果。

1 算法设计

1.1 算法流程

本文提出的算法可分为纹理去除处理、MSER检测、特征提取、相似性度量、检索结果输出5个过程，流程如图1所示。

图1 织物图案检索流程Fig.1 Flow chart of fabric pattern retrieval

1)通过结构提取算法去除织物图像的纹理，并对纹理去除后的图像进行灰度化；2)通过MSER算法检测织物图案的MSER；3)提取各MSER的SURF特征，形成特征矢量，对图像库中的每个图像进行上述处理，建立图像特征库；4)将检索图像的特征与织物图像特征库中每幅图像特征进行匹配，并进行相似性度量，得到检索图像对图像库中每幅图像的相似度得分；5)对相似度得分进行排序，选取相似度得分高的图案作为检索结果。

1.2 纹理去除处理

扫描获取的织物图像中，由于纱线间隙和不同的织造方式等会产生一定的纹理，这些纹理的存在使得织物呈现一定的风格，但是对织物图案的提取带来了困难；因此，要检测织物图案，首先应尽量消除纹理带来的影响，保留图案的结构信息。

Xu等[5]提出了一种基于相对总差(relative total variation)的结构提取算法，可有效去除织物图像中一定尺度的纹理信息，保留图像中的图案结构。TV-L2模型[6]可表示源图像与结构图像之间的关系：

(1)

为更加有效地消除结构信息，文献[5]对式(1)进行了改进，提出了新的模型：

(2)

式(2)的x方向相对总差可写成

式(2)的y方向的总差与x方向的类似，可写成

由此式(2)可写为：

(3)

式中：vS和vI分别表示S、I的矢量；Cx和Cy分别是向前差分梯度算子的特普利兹矩阵。Ux、Uy、Wx、Wy为对角阵，对角线上的值分别为Ux[i，i]=uxi，Uy[i，i]=uyi，Wx[i，i]=wxi，Wy[i，i]=wyi，那么式(2)可通过式(4)迭代求解：

(4)

1.3 最大稳定极值区域检测

MSER被认为是性能最好的仿射不变区域，在视角变化、尺度变化、旋转变化、模糊变化、JPEG压缩和亮度变化等情况下均具有较好的评价[7]。

MSER检测的基本过程[8]如下：对于一幅灰度图像，用0～255依次增加的256个阈值对图像进行二值化处理，对于每个阈值得到的二值图像，分析前后相邻阈值图像间的连通区域，在比较宽的灰度阈值范围内保持形状稳定的区域形成MSER+，该区域的内部像素点灰度值小于(或大于)边界像素点灰度值；通过同样的方式，用255～0依次减小的256个阈值对图像进行处理，获得MSER-；二者组合得到MSER。判定是否为极值区域的标准为：

(5)

式中，Q1,…,Qi-1,Qi,…是一系列嵌套的极值区域，Qi-1∈Qi，若式(5)在i处取得局部极小值，则对应的极值区域Qi称为MSER。

1.4 特征提取

本文通过SURF算法提取织物图像的每个MSER特征，形成各区域的特征矢量。

SURF[9]是一种稳定快速的特征提取算法，该算法在积分图像的基础上通过快速Hessian检测子在不同尺度上来检测局部极值点，通过计算Haar小波变换来确定每个特征点的主方向及特征点描述子。

积分图像的定义如式(6)所示：

(6)

(7)

对式(7)两端求导并令导数为零，可计算得到极值点：

(8)

用金字塔图像建立尺度空间，通过Hessian矩阵来寻找极值点作为特征点，对以每一个特征点为圆心、半径为6s(s为特征点所在的尺度)的邻域中的点分别计算x、y方向上的边长为4s的Haar小波变换，并对响应值赋予高斯权重系数(加权因子σ=2s)，得到一系列向量；然后将3/π范围内的Haar小波响应累加形成新的矢量，遍历整个区域，选择最长向量的方向为特征点的主方向。

1.5 相似性度量

通过特征提取获得的各MSER特征矢量，用欧氏距离d衡量区域的相似性，

式中：si表示检索图像第i个MSER；cj表示待匹配图像第j个MSER；M表示特征矢量。

式中：Ncs表示检索图像中获得匹配的不为同一中心的MSER数量；Nc表示检索图像中不为同一中心的MSER数量。

2 实验与分析

本文选择了20种较为典型的织物图案进行了实验，每种图案共有6种不同织物，通过扫描获取了120幅织物图像，图像分辨率为96 dpi，图像格式为JPEG。对每种图案的织物选择5幅图像，通过去纹理、MSER检测、特征提取，建立了图像特征库；剩下的图像为待检索图像。

2.1 纹理去除处理结果

读取织物扫描图像，进行去纹理处理(本文实验中λ=0.01、σ=3、迭代次数为2)，并进行灰度化处理，将灰度范围为1%～99%的像素点进行灰度拉伸，示例图像如图2所示。从图2(a)中可看到，源图像中存在纱线纹理，扫描过程由于布料放置不平整，使得织物图像产生局部色差，织物图像中的图案轮廓较为模糊。从图2(b)中可看到，织物图像中的纹理已基本消除，整个图像较为平滑，保留了图案的信息，但是由于在扫描过程中，织物放置不平整，因而在去纹理后的图像中存在伪图案。从图2(c)中可看到，灰度化后的图像保留了比较显著的图案信息。

图2 纹理去除处理Fig.2 Texture removing. (a) Original image; (b) Images after texture removed; (c) Gray image

2.2 最大稳定极值区域检测和特征提取结果

对灰度化后的织物图像进行MSER检测，并提取各区域的矩特征，示例图像如图3所示。图3(b)中不同的MSER用不同颜色表示，可看到，MSER覆盖了织物图像的图案区域，但在非图案区域也存在MSER。

图3 MSER检测Fig.3 MSER detection. (a) Original image; (b) MSER

2.3 相似性度量结果

首先对检索图像MSER各区域与特征库中每一幅图像的SURF特征进行特征匹配，然后计算检索图像对特征库中的每个图像的相似性得分。特征匹配的示例图像如图4所示。从图中可看到，检索图像中的部分MSER与图像库中的匹配图像中多个相似图案的MSER得到了匹配，但是由于扫描图像经过去纹理、灰度化后的图案的灰度值并不相同，因此并不是相似图案中的每个MSER都得到了匹配。

图4 特征匹配Fig.4 Feature matching

2.4 检索结果

对20幅检索图像进行图案检索，按照图案相似度得分进行降序排列，并显示检索结果。如果检索图像与特征库图像的图案相似，那么认为检索成功。示例实验结果如图5所示。图中最左边的图像为检索图像，示例实验中的图像由2幅不同图案粘贴组成；右边两行的图像为图像库中的图像，按相似性得分的高低，从左到右、从上到下排列。从图中可以看到，相似度得分高的前10幅图像均含有检索图像中的图案。

图5 检索结果Fig.5 Retrieval result. (a) Image retrieval; (b) Similarity score of top 10 high images

计算20次图像检索的平均检索精度和平均检索召回率[10]。检索精度定义为返回的相似图像数r与返回的图像总数n的比率，即P=r/n；检索回召率定义为返回的相似图像数r与图像库中具有相似图案的图像总数m的比率，即R=r/m。由平均检索精度、平均检索召回率为坐标构成的精度与召回率(PVR)曲线如图6所示。从图中可看到，本文的图案检索方法可有效检索相似图案。

图6 PVR曲线Fig.6 PVR curve

3 结 语

本文通过结构提取算法有效去除了织物图像的纹理，保留了织物图案信息；通过MSER算法提取了织物图案MSER，并用SURF描述特征；对检索图像与图像库中的图像进行匹配，根据检索图案MSER匹配数量计算相似性得分，得到检索结果。实验结果表明本文提出的图案检索方法较为准确。

MSER检测算法对图像的灰度变化较为敏感，不同织物图像或同一织物图像的不同位置的相似的图案，在去纹理和灰度化处理后灰度值可能变化较大，因此在检索图像与含有相似图案的图像特征匹配中，不能保证检索图像中的所有MSER都能匹配成功；由于织物扫描图像中往往存在大量伪图案，因此检索图像中的MSER可能存在误匹配；而且由于织物图像中往往存在重复的图案，检索图案的MSER难以进行空间关系约束。因此仅通过检索图案中匹配成功的MSER相对数量进行相似性度量并不精确，对大量的图像进行检索准确率不是很高。因此，在实际应用中，本文提出的图案检索方法可作为其他检索方法的补充。

FZXB

[1] BUNTE K, BIEHL M, JONKMAN M F, et al. Learning effective color features for content based image retrieval in dermatology[J]. Pattern Recognition, 2011, 44(9): 1892-1902.

[2] KEKRE H B, THEPADE S D, SARODE T K, et al. Image retrieval using texture features extracted from GLCM, LBG and KPE[J]. International Journal of Computer Theory and Engineering, 2010, 2(5): 1793-8201.

[3] KEKRE H B, THEPADE S, MUKHERJEE P, et al. Image retrieval with shape features extracted using gradient operators and slope magnitude technique with BTC[J]. International Journal of Computer Applications, 2010, 6(8): 28-33.

[4] BELLAVIA F, TEGOLO D, VALENTI C. Keypoint descriptor matching with context-based orientation estimation[J]. Image and Vision Computing, 2014, 32(9): 559-567.

[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics (TOG), 2012, 31(6): 139.

[6] AUJOL J F, GILBOA G, CHAN T, et al. Structure-texture image decomposition - modeling, algorithms, and parameter selection[J]. International Journal of Computer Vision, 2006, 67(1): 111-136.

[7] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72.

[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[9] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[10] 方强. 基于内容的商品图像检索[D]. 南京：南京理工大学, 2013: 17-19. FANG Qiang. Content-based commodity image retrieval [D]. Nanjing: Nanjing University of Science and Technology, 2013: 17-19.

Fabric pattern retrieval based on maximum stable extremal regions

KANG Feng， HU Jie, ZHANG Huaxiong， ZHOU Hui

(SchoolofInformationandTechnology,ZhejiangSci-TechUniversity,Hangzhou,Zhejiang310018,China)

According to the characteristics of fabric scanning images, a fabric pattern retrieval method based on the SURF features of maximum stable extremal regions was proposed to retrieve fabric images . Firstly, structure extraction algorithm was used to remove the texture in the fabric scanning image, and preserve the fabric pattern information; secondly, maximum stable extremal region method was used to extract the SURF features of all extremal regions in the fabric patterns, and the feature database of fabric images was established; and finally, similarity measure between the fabric images to retrieve and the images in database was computed to obtain the fabric images with similar patterns. The experimental results showed that the proposed algorithm can retrieve fabric patterns accurately.

fabric pattern; image retrieval; maximum stable extremal region; structure extraction; SURF; feature matching

10.13475/j.fzxb.20140806105

2014-08-29

2015-03-11

浙江省高校重中之重学科开放基金项目(2013KF08，ZSTUMD2012B009)；浙江省信息服务业发展专项资金项目(2013085)；浙江理工大学科研启动基金项目(1203816-Y)

康锋(1976—)，男，讲师，博士。主要研究方向为计算机图像处理。胡洁，通信作者，E-mail: hujie.zju@163.com。

TN 919；TS 145.4

A