融合空间信息的词袋模型用于羊绒羊毛纤维识别

朱耀麟，穆婉婉，武 桐

(1.西安工程大学 电子信息学院，陕西 西安 710048； 2.西北工业大学 电子信息学院，陕西 西安 710072)

我国是羊绒制品生产、加工和出口大国，国际市场上大部分羊绒制品都来自我国[1]。由于羊绒与羊毛纤维外观形态、化学结构和物理性质等都非常相似，市场上存在使用羊毛掺混在羊绒中进行销售的现象。但二者价格和服用性能都相差巨大[2]，因此，建立客观、准确的羊绒羊毛纤维自动识别模型具有重要的现实意义。基于图像处理技术的方式效率高且成本低廉，是纤维鉴别领域最常用的方法。

传统的基于图像处理技术的羊绒与羊毛鉴别方法，是通过提取纤维直径、鳞片高度、鳞片厚度等纤维表面形态特征参数进行区分。石先军等[3]采集了羊绒羊毛纤维的9个形状参数，并对其差异的显著性进行了排序，遴选出最优组合。但这种方法对数据的敏感程度高，特征的测量工作难度较大，且近年来羊绒“羊毛化”现象严重，这种方法很难再满足要求，一些学者开始使用纹理特征、形态及纹理特征的融合特征来识别羊绒和羊毛纤维。焦明艳[4]使用灰度共生矩阵(gray-level co-occurrence matrix，GLCM)来描述图像纹理，并从中提取了5个二次统计量作为特征参数进行了分析。刘伟丽[5]提出一种基于局部二值模式(local binary pattern，LBP)识别方法，将纤维的光学显微镜图像转变为局部二进制编码，使用支持向量机(support vector machines，SVM)进行分类，并比较了经典LBP、旋转不变LBP、dis LBP等几种特征下的识别率。邢文宇等[6]使用纤维形态和纹理2种特征表征图像内容，且每种特征采用不同类型的预处理操作，取得了不错的效果。但这些方法都是基于图像的低级特征，中级特征通常比低级特征具有更强的描述能力，比较著名的方法之一就是词袋模型[7]。近年来，计算机视觉技术发展迅速，词袋模型在图像检索、图像分类中表现出良好的性能，但因缺乏空间信息限制了其性能。Lazebnik S等[8]提出了空间金字塔词袋模型，通过将不同层次图像划分成一系列子区域，统计每个子区域的直方图获得特征点绝对位置信息。Tang等[9]度量了视觉单词间的同义性，构建上下文近义词典，以此来加入特征点相对位置信息。陆凯等[10]将空间金字塔(spatial pyramid matching，SPM)词袋模型引入纤维鉴别领域，实现了羊绒羊毛纤维快速自动分类，但羊绒羊毛纤维在图像中的位置是变化的，所以该方法存在一定的缺陷。根据以上分析，本文提出一种融合空间信息的词袋模型用于羊绒羊毛纤维识别。

1 系统模型

词袋模型(bag of words，BOW)将图像看作是一组无序的视觉单词组成的向量，使用单词出现的频率来表征图像内容。图1给出了词袋模型的基本流程图，首先提取所有输入图像的局部特征点，形成特征点集；然后使用K均值聚类算法对集合进行聚类，将聚类中心看作视觉单词，所有视觉单词组成视觉词典；统计每幅图像中单词出现的频率，生成视觉词汇直方图作为图像的表征；最后送入分类器中进行训练。从词袋模型的构造过程可以看出，词袋模型完全忽略了特征之间的关联和位置信息，造成了信息的丢失。

图1 词袋模型的基本流程图

本文从2方面入手来改善词袋模型缺乏空间信息的缺点。一方面从词袋模型自身出发，在视觉词典的基础上生成空间上下文近义词表，采用软分配的方式构建视觉词汇直方图，融入特征点间的相对位置信息；另一方面借助含有空间几何信息的灰度梯度共生矩阵(gray-gradient co-occurrence matrix，GGCM)特征与词袋特征共同表征图像纹理，弥补词袋模型的不足。具体流程图如图2所示。

2 融合空间信息的词袋模型

词袋模型融入空间信息的方法分为2种：一种是融入绝对位置信息；另一种是融入相对位置信息[11]。纤维在图像中位置是变化的，局部特征相对位置信息相比于绝对位置信息能更好的表征图像内容，所以本文使用结合空间上下文近义词表和软分配词袋模型(similar words soft assignment-bag of words，SWSA-BOW)，给词袋模型中融入特征点相对位置信息对羊绒羊毛纤维图像进行分类识别。另外融合含空间几何信息的特征进一步改善词袋模型缺乏空间信息的问题。该方法主要包含3部分：特征提取；聚类生成视觉词典，在此基础上检测单词同义性生成近义词表；结合软分配构建视觉词汇直方图。

图2 融合空间信息的词袋模型羊绒羊毛识别算法流程图

2.1 特征提取

词袋模型底层特征提取方式有2种，一种是基于兴趣点检测，另一种是采用密集提取的方式[12]。为避免背景的干扰，使得提取的特征都能集中在纤维主体部分，图像在预处理时采用感兴趣区域提取的方式，将除纤维以外的其他部分全部去除，因此本文选择尺度不变特征变换(scale-invariant feature transform，SIFT)关键点检测法。SIFT是Lowe提出的一种基于尺度空间，对图像旋转、缩放、平移、仿射变换保持不变性的局部特征描述子[13]，是词袋模型最常用的底层特征。SIFT特征提取的实现步骤包括4部分：①构造尺度空间，候选特征点检测；②特征点精确定位；③特征点主方向确定；④特征点描述。SIFT特征点最后由128维描述向量表述。本文需要用到特征点的位置信息，SIFT特征点pi由4部分构成，分别为：128维特征向量ri，位置坐标ui，尺度σi，主方向θi，即pi={ri,ui,σi,θi}。

2.2 近义词表生成

传统词袋模型在生成视觉词典后，采用硬分配的方式，将特征点映射为欧式距离最近的视觉单词，这种方式只用到了距离最近的单词，忽略了其他距离较远而相似性较高的单词。通过构造近义词表，结合软分配的方式，可以有效改善这种问题。本文在视觉词典的基础上生成空间上下文近义词表，在计算特征点上下文信息时，赋予上下文区域内距离pi点远的特征点较小的权重，距离pi点近的特征点较大的权重，将特征点相对位置信息融入词袋模型。

将SIFT特征点pi周围以ui为中心，以4σi为半径的圆形区域定义为pi的空间上下文区域，认为该圆内所有特征点语义相似，则生成近义词表的步骤如下：

步骤1： 统计pi点的上下文区域内的视觉词汇直方图：

H(pi)=[cw1(pi),cw2(pi),Lcwk(pi),LcwK(pi)]

作为pi点的空间上下文信息，其中，cwk(pi)为圆内所有映射为视觉单词wk的pj点的权重之和。pj点的权重由pi与pj之间的位置决定，计算公式为：

其中dij为pi与pj间的相对位置。

步骤2：计算所有映射到视觉单词wk的特征点pi的空间上下文信息的均值，作为单词wk的空间上下文信息H(wk)。

步骤3：度量视觉词典中所有视觉单词两两之间的同义性，生成词典对应的空间上下文近义词表。度量公式为：

sim(wm,wn)=cos(H(wm),H(wn))=

近义词表共K行，K为词典的大小。每个视觉单词对应其中一行，第k行为视觉单词wk与词典中其他视觉单词间的同义性大小，并按照从大到小的顺序排列。实际应用中只需用到与视觉单词含义最近的视觉单词，故表中只记录与单词同义性最大的N个视觉单词的信息。

2.3 直方图构建

其中，sim为视觉单词间的同义性大小。

由以上步骤得到了词袋特征，虽然融入了特征点的相对位置信息，但与图像空间关系关联度较弱，因此本文选择含空间几何信息的GGCM特征进行特征融合。词袋特征维度较高，GGCM相对很小，为避免高维特征淹没低维特征，需要将词袋特征和GGCM特征分别进行归一化。

3 实验结果与分析

实验样本由榆林科技局提供，图像采集按照GB/T 14593—2008《山羊绒、绵羊毛及其混合纤维定量分析方法 扫描电镜法》中的制样方法，采集羊绒羊毛纤维图像各200张。拍摄仪器为美国FEI公司生产的Quanta 450FEG场发射扫描电子显微镜，放大倍数为1 000倍，图像大小为500×700像素。

首先需要确定词典的大小也就是聚类中心K的个数，K值过小会造成差异较大的特征被分配到同一个视觉单词，K值过大会造成相似的特征被分配到不同的视觉单词，从而影响图像的表述。但目前还没有理论依据确定K的取值，本文采用先大后小的方式选择K值。使用BOW模型先大范围内每次增加100，再小范围内每次增加50进行测试。结果如图4所示，说明合适的K值通常可以取得更好的效果。

图3 词袋模型在不同词典大小下的识别率

为了比较不同词袋模型对分类性能的影响，实验分别测试了BOW、SPM、SWSA-BOW模型作为羊绒羊毛纤维分类模型的分类准确率。每次从数据集中选择不同混合比的纤维图像作为训练集和测试集，训练集和测试集比例为7∶3，词典大小设置为400，SVM核函数选择径向基核函数。表1数据显示，对于不同比例的羊绒羊毛纤维图像，融入空间位置信息的词袋模型比传统词袋模型的识别更高，而融入了特征点相对位置信息的词袋模型比融入局部特征绝对位置信息的词袋模型更适合纤维扫描电子显微镜(SEM)图像纹理的表述。

表1 不同词袋模型分类准确率比较

为了分析对于羊绒羊毛纤维图像，融合含有空间信息的特征是否比单一词袋特征具有更好的分类效果，本文使用SWSA-BOW模型，分别提取纤维图像SIFT、GLCM、GGCM和加速稳健特征(speeded up robust features，SURF)进行实验。训练集和测试集图像比例依然设置为7∶3，词典大小设置为400，SVM核函数选择径向基核函数。测试结果如表2所示，可以看出词袋特征融合GLCM或GGCM特征共同作为纹理特征比使用单一特征的SWSA-BOW模型识别精度要高，融合GGCM的分类正确率比GLCM的准确率更高，说明融合具备空间信息的特征在一定程度上可以弥补词袋模型的缺点，对于羊绒羊毛纤维SEM图像，表征纹理的能力更强，且GGCM比GLCM更适合纤维图像纹理的表述。文献[15]中使用SURF特征对羊绒羊毛进行分类，所以本文也对比了该算法下由SURF特征构成的词袋模型的分类结果。分类结果显示SIFT特征识别率更高。

表2 融合特征及单一词袋特征分类准确率比较 %

4 结 论

本文提出一种融合空间信息的词袋模型，对羊绒羊毛纤维电子显微镜图像进行分类来达到纤维鉴别的目的。该方法在传统词袋模型的基础上，融入了特征间的相对位置信息，并采用特征融合的方式，更好的描述图像纹理，以达到更高的识别率。从实验结果可以看出，该方法在一定程度上改善了传统词袋模型的不足，分类准确率有较大提升，平均识别率可达93.3%，适合羊绒羊毛纤维的识别。同时，该方法还可用于其他纹理图像的分类。