林木害虫天牛的图像检索方法研究

陆 光，满庆丽

(东北林业大学信息与计算机工程学院，哈尔滨 150040)

天牛是林木的毁灭性害虫，例如2004年，哈尔滨7万株糖槭树被光肩星天牛蛀蚀的千疮百孔，对哈尔滨的树木产生毁灭性的危害，由于天牛的危害致使树木干枯而死，因此目前对天牛的防治研究已成为急需解决的重要课题。用计算机视觉技术及早的发现、判断和采取相关的措施，可减少生产损失，目前基于内容的图像检索技术还未被应用到天牛防治工作中。

基于内容的图像检索技术 (CBIR)是在20世纪90年代初提出的，基于内容的图像检索根据图像，图像的语义以及上下文联系进行查找，以图像语义特征为线索从图像数据库中检索出具有相似特征的其他图像。但是图像的规模一般要大于纯粹的文本信息，因此基于内容的图像检索在速度和效率上要求更高。随着CBIR的提出，也出现了许多商业系统和研究原型系统，例如QBIC［1］(Qurey By Image Content)由IBM最早商业化的基于内容的图像检索系统，以及由哥伦比亚大学研发的WebSeek系统，麻省理工学院研发的Photobook［2］用于浏览和搜索图像的一套交互式工具。基于内容的图像检索系统一般包括图像处理模块、查询模块、对象库和特征库和知识库，因此一个好的CBIR系统，首先要进行图像的特征提取与表达，特征选取的好坏对整个检索系统有着重要的影响，直接关系到整个系统的检索准确度、检索效果和检索效率。文中提出了利用颜色特征和纹理特征作为特征向量，并采用主成分分析法 (PCA)对特征向量降维处理，提高了检索的图像的效率。

1 颜色特征

颜色特征是图像的基本特征之一，同时也是图像检索中应用最为广泛的视觉特征［3－4］，与其它视觉特征相比，颜色特征对图像本身的尺寸、方向和视角的依赖性较小，并且提取也相对容易，因而基于颜色图像特征的图像检索受到了人们广泛的重视和研究。图像的颜色特征主要有颜色直方图，颜色各个分量的统计特征，或者是采用加权的方法，将所有的分量合成一个量，构建出来对颜色的统计信息;颜色矩，也是颜色离散数据的统计特征，不包含空间信息，并且可以是全局的，也可以是局部的，一个纯统计的特征;颜色聚合向量，一种对颜色直方图的一种比较聪明的改进;颜色相关图，它比颜色直方图和颜色聚合向量具有更高的检索效率;还有就是颜色集，颜色集表达为二进制的特征向量，这个在数据结构中构造二分查找来加快检索速度，对于海量数据和数据仓库这样的图像集合将会起到非常有效的作用。

颜色特征的提取首先是对颜色模型的选择，面向视觉感知的应用，如动画中的彩色图形，各种图像处理算法等［5］都采用HSV模型。HSV空间是比较常用的统计颜色特征的空间，它比RGB系统更接近人们的经验对彩色的感知，并且从RGB到HSV的转换简单、快速，因此在提取颜色特征之前将图像从RGB转换到HSV空间。

颜色矩是一种非常简单且有效的颜色特征描述方法，与颜色直方图相比，该方法的一个好处在于无需对颜色进行量化，同时降低了颜色特征维数。由于颜色分布信息主要集中在低阶矩中，因此采用颜色的一阶矩 (Mean)、二阶中心矩 (Variance)和三阶中心矩 (Skewness)表达图像的颜色分布。颜色的三个低阶矩在数学上的表达如下:

但是颜色矩丢失了颜色的空间分布的信息，为了提取的颜色特征包含空间分布信息，提出了矩形重叠式的分块策略，一方面考虑了空间信息，另一方面又考虑了各个分块之间的联系。分块效果如图1所示。

图1 矩形重叠式分块Fig.1 The effect of rectangular overlapped sub-regions method

颜色特征提取算法的实现步骤:

(1)将图像库中的图像读出来，对图像进行分块，分为k(k=1，2，3，4，5)块，得到分块的图像。

(2)对于图像的第k块，分别计算其在三个颜色轴上的颜色矩，得到第k块的颜色特征向量:

(3)综合个分块的特征向量，获得整幅图像的颜色特征向量:

(4)考虑到人的视觉对图像中心区域的事物更加敏感，为五个分块分配权重φ，确定第k个分块的加权向量:

(5)综合各分块的加权特征向量，最后可获得整幅图像的加权颜色特征向量:

(6)颜色特征内部归一化。

内部归一化的目的是使特征向量内部各分量在相似度量时地位相同，用I1，I2，I3，…，IM代表图像库中的M幅图像，则对图像数据库中的M幅图像，就可以得到一个M×N的特征矩阵F，N为特征向量的维数，特征矩阵F的每一列是维数为M的特征序列Fj=［f1，j，f2，j…，fM，j］，它代表图像数据库中所有图像的特征向量的第j个特征分量。则归一化的基本步骤如下:

假设每一个特征分量Fj=［f1，j，f2，j，…，fM，j］都符合高斯分布，计算出其均值mj和标准差σj，利用公式 (4)将fi，j归一化至 ［－1，1］区间，

2 纹理特征

纹理特征是基于内容的图像检索系统中常用的特征，其提取方法包括统计纹理分析和结构纹理分析两种方法，进行定量分析和描述，经过很多学者的不懈努力，目前已经提出了许多有关纹理特征表达方法，例如 Tamura纹理特征［6］、灰度共生矩阵［7］、小波变换和自回归纹理模型等。由于纹理是由灰度分布在空间位置上反复出现而形成的，因而图像控件中间隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关性来描述纹理的常用方法，灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。通过灰度共生矩阵，可以计算对比度、理的一致性、素对灰度的相关性、熵和能量等，最后，可以用一个向量将以上特征综合在一起作为图像的纹理特征，进一步用来分类，识别，检索。

纹理特征提取算法的实现步骤:

(1)将RGB图像转化为灰度图像，灰度级数目为256，生成一个256×256的共生矩阵，但是人眼只能区分一些较粗的纹理而不能区分一些较细的纹理，过细的纹理还增加了计算量，所以为了计算的时间复杂度，计算灰度共生矩阵前都要进行灰度级量化，文中采用量化为16级，即0～15级。

(2)计算共生矩阵，分别计算距离d为1，θ为0°、45°、90°、135°的共生矩阵元素p(i，j|d，θ)，其中i，j为灰度级数，计算公式如下:

式中:W，H是图像的水平空间域和垂直空间域，k，m，l，n表示所选窗口中的变动。分别用公式(9～12)计算4个共生矩阵的熵、惯性矩、能量和相关这4个参数。

式中:μx，μy，σx，σy分别表示px，py的均值和标准差。用 μE，σE，μH，σH，μA，σA，μC，σC作为纹理特征向量中的各个分量。由此形成了纹理特征的特征向量f(i)，f(i)=(μE，σE，μH，σH，μA，σA，μC，σC)。

(3)纹理特征内部归一化。根据颜色特征内部归一化的方法，对提取的纹理特征进行内部归一化处理，得到归一化后的纹理特征向量。

3 颜色和纹理特征综合

3.1 主成分分析法 (PCA)

根据颜色特征内部归一化的方法，对提取的纹理特征进行内部归一化处理，得到归一化后的纹理特征向量。

多特征融合是现在图像检索中最常用的检索方法，但是在将颜色特征和纹理特征进行融合后，颜色特征FF=(F(1)，F(2)，F(3)，F(4)，F(5))是45 维的特征向量，纹理特征是一个f(i)=(μE，σE，μH，σH，μA，σA，μC，σC)8 维的特征向量，融合在一起是 53维的特征向量，维数高，增加了检索的复杂度，进而增加了检索的时间，文中采用了主成分分析法(PCA)实现了特征向量的降维。假设有n个图像，每个图像有p个变量，构成了n×p阶的特征矩阵，

主成分分析法的步骤:

(1)计算相关系数矩阵R，大小为53×53的矩阵，rij为综合特征向量中两个特征分量的相关系数，并且rij=rj，i，计算相关系数的公式为:

(2)计算特征值和特征向量，将特征值按大小顺序排列λ1≥λ2≥…，λp≥0，λi对应的特征向量ei;

(3)计算主成分贡献率和累计贡献率:

取累计贡献率达85%～95%的特征值所对应的m(m≤p)个主成分。

(4)计算主成分载荷:

(5)计算各主成分的得分，找到每个主成分中与特征向量有较大正相关的变量，最终分析得到降维后的低维特征向量来代替原来的高维特征向量。

3.2 图像的相似性度量

相似性的度量方法很多，有的用于专门的领域，也有的适用于特定类型的数据，如何选择相似性的度量方法是一个相当复杂的问题。但是通常采用的方法都是计算样本间的“距离”，常用的有欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧式距离和马氏距离等。目前在图像检索中常用到的主要相似性度量方法都是基于向量空间模型的，采用集合距离作为相似性度量。文中采用最常用的欧式距离进行相似性度量，其公式如下:

3.3 检索评价指标

图像检索的效果容易受主观因素的影响，不太好客观判定一个图像检索算法的好坏，文中采用了查全率和查准率对检索算法性能进行评价，给定一幅查询图像P，其查全率和查准率为:

式中:n为自动输出的相关图像数;T为自动输出的总的图像数。

式中:N为人眼主观地从检索库中找到的与示例图像相似的图像数。

文中采用了主成分分析法实现特征降维，因此又采用了响应时间来评价检索的性能。

4 实验结果分析

为了与文中提出的算法相比较，采用了三种方案，第一种是用颜色特征向量进行检索，第二种是用纹理特征进行检索，第三种是两者结合的方法进行检索。实验采用的数据为100幅图像构成的图像库，图像包括天牛虫、小蠡、吉丁虫和金花甲4类对林木危害性比较大的害虫，另外还有20幅图像为干扰图像，使得实验结果能够更加准确的验证算法的有效性。分别选择天牛虫和金花虫两类图像的第一幅图像作为示例图像，用3种方案分别进行检索［8－10］，检索结果如图2 所示。

图2中的 (a)、(b)为采用方案一对天牛虫和金花甲进行检索的结果，(c)、(d)为方案二的检索结果，(e)、(f)为方案三的检索结果。

表1 天牛虫的检索结果分析Tab.1 The results of image retrieval for longicorn

图2 图像检索结果分析Fig.2 The retrieval results of the three programs

表2 金花甲的检索结果分析Tab.2 The results of image retrieval for chrysomelidae

从表1和表2中可发现，综合颜色特征和纹理特征的图像检索的查全率和查准率高于其它两种，并且经实验验证查询时间也比其它两种快，所以文中的算法是行之有效的。

5 研究展望

图像检索技术的研究是一个涉及到多个领域的综合性课题，其实现算法也涉及到方方面面，但是各种图像的特征是不同的，如何选取合适的算法提取图像的特征，用低维的向量代替高维的特征向量来实现检索也是一个重要的研究方面，虽然文中采用了PCA实现了降维，但是效果不是最优的，如何解决这个问题也是研究课题之一。文中提取的是图像的低层视觉特征，还不能有效地获取用户给出的高层语义信息，如何实现低层视觉特征与图像的语义信息的沟通，是图像检索中一个极富挑战性的课题。最后，把图像检索的相关技术进行推广，应用到各行各业也是作为研究者必须面对和解决的问题，正如文中提到的天牛灾害，通过图像的快速检索，尽早处理有可能发生的灾害，为资源的保护和利用做出贡献。

【参 考 文 献】

［1］Flicker M，Sawhney H，Niblack W，et al．Query by image and video content:The QBIC system［J］．IEEE Computers，1995，28:23-32．

［2］Pentland A，Picard R W，Selaroff S．Photobook:Content-based manipulation of image database［J］．Int．Journal of Computer Vision，1996，18(3):233-254．

［3］Pentland A，Picard R W，Selaroff S．Photobook:Content-based manipulation of image database［J］．Int．Journal of Computer Vision，1996

［4］Huang J，Kumar S R Mitra M，et al．Image indexing using color correlograms［C］．IEEE Conference on Computer Vision and Pattern Recognition，1997:762-768．

［5］Stricker M，Orengo M．Similarity of Color images［J］．SPIE Storage and Retrieval for Image and Video Databases，1995，2185:337-349．

［6］Tamura H，Mori S，Yamawaki T．Textual features corresponding to visual perception［J］．Systems，Man and Cybernetics，1978，8(6):460-473．

［7］Haralick R M，Shanmugam K，Dinstein I．Textural features for image classification［J］．Systems，Man and Cybernetics，1973，3(6):610-621．

［8］于润伟．Matlab基础及其应用［M］．北京:机械工业出版社，2003．

［9］刘则毅．科学计算技术与Matlab［M］．北京:科学出版社，2001．

［10］徐安英．天然鳞云杉枯死现状调查及防治对策［J］．森林工程，2011，27(2):35 －36．