结合相位一致性和脉冲耦合神经网络的图像检索

吴 骏，刘 健，肖志涛，张 芳，耿 磊

（天津工业大学电子与信息工程学院，天津 300387）

结合相位一致性和脉冲耦合神经网络的图像检索

吴 骏，刘 健，肖志涛，张 芳，耿 磊

（天津工业大学电子与信息工程学院，天津 300387）

为了有效地提取图像特征以提高图像检索性能，将具有生物视觉特性的脉冲耦合神经网络（PCNN）和符合人类视觉特性的相位一致性（PC）相结合，提出一种图像检索新方法.首先基于相位一致性，结合非极大值抑制和自适应双阈值法提取出图像的边缘特征，并获取边缘颜色直方图特征；然后对简化PCNN模型进行改进，针对PCNN神经元的链接强度通常为常数的不足，根据相位一致性自适应地调整神经元的链接强度，再利用改进PCNN模型提取图像的特征.最后综合运用基于PCNN的特征和基于相位一致性的特征进行图像检索.实验结果表明：该方法具有颜色和形状的鉴别能力，能获得较好的查准率和查全率.

相位一致性；脉冲耦合神经网络；边缘颜色直方图；图像检索

随着现代电子技术和网络通信技术的快速发展，庞大的图像库不断涌现，如何快速有效地将这些大规模的图像资源组织起来并对其进行检索已经成为当前的一个热门课题.而作为该问题的核心技术，基于内容的图像检索（CBIR）技术逐渐成为国内外研究的热点[1].目前，基于内容的图像检索主要使用图像的颜色、纹理、形状和空间位置关系等底层特征进行检索[2]，如文献[3]提出的一种新的基于颜色特征的图像检索方法，文献[4]提出的基于形状特征的图像检索，但这些方法都利用单一特征进行图像检索，准确性有待提高.基于多特征结合的检索方法被广泛应用，文献[2]将颜色直方图作为颜色特征，梯度方向直方图作为形状特征进行图像检索，但这种简单的组合没有考虑图像最有意义的区域，效果并不理想.相位一致性从傅里叶级数出发，通过评判各频率傅里叶分量的相位相似度来提取图像特征.Morrone等[5]通过对马赫带现象的研究导致了相位一致性模型的发展.Ross等[6]做了进一步研究，证明这个模型成功地解释了一系列人类在生理方面其他特征感知的有效性.它对图像中噪声、亮度和对比度的变化特别稳健，具有通用性，并与人类视觉特性相一致，因此本文将相位一致性应用到图像特征的提取中.脉冲耦合神经网络（PCNN）模型是在生物视觉皮层模型的启发下得到的第三代人工神经网络，与传统神经网络所不同的是，PCNN神经元之间有乘积耦合、动态脉冲发放、无需提前进行训练等特性，这使得PCNN适用于图像处理，用于图像检索时还具有平移、旋转、尺度、缩放等不变性[7]，这使得PCNN在图像检索方面有很大的应用前景.文献[8]利用PCNN进行图像检索，但参数往往需要人工设定；文献[9]研究了PCNN参数的自适应设置，但应用图像检索中效果并不十分理想.因此，有必要研究具有自适应参数的PCNN模型，以更有效地应用于图像检索.本文将具有生物视觉特性的自适应PCNN和符合人类视觉特性的相位一致性相结合，提出了一种新的图像检索方法.

1 基于相位一致性的特征提取

本文基于相位一致性，通过结合非极大值抑制和自适应双阈值法，提取出图像的边缘特征.通过边缘点与原图像的对应关系得到彩色边缘，并将其转换到HSV空间并进行量化处理，提取颜色直方图，将得到的彩色边缘颜色直方图作为基于相位一致性的特征.

1.1 相位一致性

先以一维信号为例，对于信号I（x），其傅里叶级数展开为：

式中：An为n次谐波余弦分量的幅值；ω 为 2π；φn0为初始相位；φn（x）为x点处傅里叶分量的局部相位.

据此，Morrone等[10]提出傅里叶序列展开的相位一致性函数为：

由于相位一致性难于计算，Venkatesh等[11]指出相位一致性可以通过局部能量峰值计算：

式中：F（x）为去除直流分量后的信号；H（x）为 F（x）的Hilbert变换.

于是便可得到PC的修改表达式：

本文在计算局部能量过程中，使用了log Gabor函数作为小波基设计而成的log Gabor滤波器.Mne和Mno分别表示尺度为n的log Gabor滤波器的偶对称和奇对称部分，小波滤波器的响应为：

式中：n表示小波尺度；⎿」表示其中的值若为正数则不变，若为负数则变为0；ε为一个很小的正数，防止分母为0；T为噪声的响应.

由于本文处理的图像是二维的，因此，需要把PC的表达式扩展到二维.在应用中，对图像每一个点计算能量E（x），每个方向上的噪声补偿T；然后在所有方向上求和；最后除以该点所有方向和尺度的幅度和.这样，就得到了二维PC表达式：

本文提出的图像检索方法中，利用二维PC提取出图像的相位一致性特征，该特征不易受图像中噪声和亮度的影响，即使在对比度较弱的地方也能检测到特征点，并且符合人眼的视觉特性.这就从另一个角度说明它在从底层描述图像的结构方面具有一定的优越性.图1所示为原图和相位一致性特征.

图1 原图和相位一致性特征Fig.1 Original image and phase congruency feature

1.2 非极大值抑制

基于PC在边界处的余震现象使得提取出的特征图像中的边缘较粗，因此采用非极大值抑制对PC扩散的边缘进行细化，具体步骤如下：

（1）计算以任一像素点 PC（x，y）为中心、1.5 为半径沿相位一致性最大的方向PC（x，y）两侧的坐标值（x1，y1）、（x2，y2），即：

（2）估计（x1，y1）、（x2，y2）处像素值 v1、v2.本文采用双线性内插法，应用步骤（1）中得到的结果在2个方向上做内插：

式中：tl、tr、bl、br分别为（x1，y1）左上、右上、左下、右下4个整数坐标点的像素值；p、q为偏离权值.示意图如图2所示.

图2 双线性内插法示意图Fig.2 Bilinear interpolation

（3）比较 PC（x，y）与 v1、v2的大小，若 PC（x，y）不大于 v1、v2，则 PC（x，y）置 0.

对图1（b）进行非极大值抑制结果如图3所示.

图3 非极大值抑制结果Fig.3 Non-maximum suppression

1.3 自适应双阈值法

非极大值抑制后的特征图像存在断边和伪边现象，需要利用自适应双阈值法进行处理.具体过程是运用高低2个阈值将非极大值抑制后的结果分为2幅图像，再对其进行边缘连接和断边、伪边的去除.

对于一幅图像来说，如果高阈值选的太高就会丢失部分轮廓，低阈值选的太低就会出现过多的伪边缘，因此，如何自动获取这2个阈值十分关键.由于通常边缘点与周围的灰度差异较大，这个差值大到一定程度GDT，就可以将该点记为边缘点.这里使用一种简单的方法，经多次实验，取GDT=（fmax-fmin）/5结果比较理想.统计非极大值抑制后图像中任意点p（x，y）与周围八邻域的灰度差值，分别记为GDi（i=0，1，2，…，7），将 GDi中的最大值记为 max GD，GDi的平均值记为AGD，如果maxGD>GDT，则将该点计数（ncount），并将该maxGD存储在TotalGDH中，同时将AGD存储在TotalGDL中.遍历整幅图像之后，就可以得到 ncount、TotalGDH、TotalGDL 的总和，据此，便可得出高、低阈值：

最后，以高阈值得到的图像Th（x，y）作为索引，在低阈值图像Tl（x，y）的八邻域中查找与高阈值图像中边缘点有确定联系的点进行边缘提取.对图3应用自适应双阈值法结果为原图像的边缘特征，如图4所示.

图4 边缘特征Fig.4 Edge feature

1.4 彩色边缘量化处理

根据上述步骤获得的图像边缘点与原图像的对应关系，可以得到原始图像的彩色边缘，图1（a）的彩色边缘图像如图5所示.

图5 彩色边缘图像Fig.5 Color edge image

由于彩色边缘的实际颜色中若干主要色彩覆盖了其中的绝大多数像素，如果以这些主要色彩来表示彩色边缘，尽管图像质量会有所下降，但并不影响人们对图像内容的正确理解，还能降低计算时间和存储空间.因此，本文将彩色边缘从RGB空间转化到更符合人眼视觉特性的HSV空间，并对其进行量化处理，如式（17）所示.

将量化后的H、S、V这3个颜色分量组合成一维特征颜色分量L：

对量化后的彩色边缘统计其颜色直方图，即统计出边缘中颜色值为 k（k=0，1，2，…，255）的像素个数N（k），将其作为基于相位一致性的图像特征，记为FPC.对图5提取边缘颜色直方图如图6所示.

颜色和形状是图像最直观的2个特征，也是图像视觉重要的感知特性之一.颜色直方图以其计算简单、对图像旋转与尺度变化不敏感等优点，成为图像检索系统应用最为广泛的颜色特征.该方法将相位一致性提取的形状特征与颜色直方图有效地结合起来作为基于相位一致性的图像特征.

近年来，文体学的发展取得了显著的成果，给英语抒情诗歌的分析提供了新的视角。愈来愈多的学者以文体学理论作为新的思路，对《雪夜林畔小驻》展开了分析。例如，王品就从语音特征、修辞手法和谋篇主题对这首诗歌进行了文体角度的分析，指出这首诗歌的文体特点：语言简单，寓意深远。[3]俞瑶从偏离的视角对《雪夜林畔小驻》进行了分析，主要是对其语音的偏离分析和超语音的偏离分析，说明偏离的使用要和诗歌的连贯联系起来。[4]笔者依据文体学的相关理论，研究《雪夜林畔小驻》的文体特征，以彰显诗歌的语言魅力、揭示诗歌的主题意义。

图6 彩色边缘颜色直方图Fig.6 Edge color histogram

2 基于PCNN的特征提取

2.1 PCNN模型基本原理

PCNN的每个神经元由3部分组成：接收部分、调制部分和脉冲产生部分.标准的PCNN模型形象地模拟了动物视觉的工作原理，但由于神经元的高度动态非线性特性，使其对网络性能及网络参数对性能的影响的分析难以进行.为此，本文采用简化PCNN模型，如图7所示.

图7 简化PCNN模型Fig.7 Simplified PCNN model

表达式如下：

式中：下标 ij为神经元标号，Fij、Lij、Uij和 Eij分别为神经元的外部刺激、连接输入、内部活动项和动态阈值；αE为时间衰减参数；βij为链接强度；神经元的外部输入Fij是与之相关联像素的灰度值；连接权矩阵Wijkl是一个3×3的方阵；Yij为二值输出.

在用PCNN进行图像处理时，将一幅二维输入图像的M×N个像素分别与二维PCNN网络的M×N个神经元相对应，由于PCNN具有集群点火特性，这使得某一神经元的点火会触发其周边相似神经元的集体点火，产生脉冲输出Yij.显然这个脉冲输出包含有图像区域、纹理和边缘等特征信息，从而可以实现相关特征信息的提取与处理.

研究表明，在PCNN模型中，链接强度对基于PCNN的图像处理的效果影响最大[13].但是，现有的基于PCNN的图像处理方法中，PCNN的链接强度往往需要人工设定，不具有自适应性，因此，本文考虑人眼视觉特性，提出了利用符合人眼视觉特性的相位一致性对PCNN的链接强度进行自适应设定，从而避免了对于不同图像都要人工设定不同参数的繁琐过程.

2.2 最大香农熵图像分割准则

将一幅图像输入PCNN模型，每次PCNN迭代都输出一幅脉冲图像，由于只有0和1两种取值，这些脉冲图像也被称为二值图像（分割图像）.对每一幅二值图像，分别计算出0、1出现的概率p0、p1，则该二值图像的香农熵大小为：

一幅二值图像的香农熵H越大，说明该二值图像从原图像中得到的信息量越大，分割的效果也就越好.当一幅图像灰度几乎均匀时，因为要使0，1数目尽量相等（即强调图像背景和目标的比例关系），所以微小变化的灰度点都将和其他均匀灰度点分开，因此该准则具有区域细节分割能力强的优点.

分割图像的香农熵越大，则分割后从原图中得到的信息量越大，分割效果也就越好，因此，本文在PCNN分割时，使用香农熵最大时所对应的输出结果作为最佳分割结果.

2.3 时间序列

PCNN每次迭代产生的二值图像含有大量的原始图像信息，但由于数据量太大，很难作为特征进行分类识别，因此，Johnson提出了一种变换方法，对PCNN每次输出的二值图像进行求和运算，于是就得到了一个一维时间序列G（n）：

式中：Yij（n）为PCNN第n次迭代输出的二值图像.

通过这种变换可以将多维特征信息转化为一维特征信息，极大地减少了运算量和数据存储量.而且Johnson用实验证明了每一幅输入图像都有唯一的时间序列.在参数选择合适的情况下，这个时间序列还会出现周期性，适合作为统计分类器或模式分类神经网络的输入.这种变换具有计算简单、数据量少、易于操作等优点.本文将其作为PCNN提取的特征之一.

2.4 基于PCNN的特征提取步骤

（1）利用公式（7）计算图像的相位一致性，将其作为PCNN的链接强度值βij，图8为本文自适应PCNN与文献[9]分割结果的比较，可以看出本文自适应PCNN具有更好的分割结果.

图8 自适应PCNN与普通PCNN分割结果比较Fig.8 Segmentation results of adaptive PCNN and PCNN

（2）提取彩色图像的R、G、B三通道分量，分别作为PCNN的输入，根据最大香农熵准则得到3个二值分割结果，每个分割结果都对应该通道的高、低2个区域（分割出来的部分为高区域，其余则为低区域），当处理高区域时，低区域的所有像素值都被置为零，让它们在提取高区域的特征时不发生点火，处理低区域时也进行同样处理.

（3）为提高细节表达能力，把高、低区域的像素值拉伸到区间[1，255]，分别对高、低区域进行处理：

式中：m为图像分割区域中像素的最大值；n为图像分割区域中像素的最小值；X（i，j）为该通道（i，j）位置上的像素值；Y（i，j）为变换后该位置上的像素值.

（4）分别提取高、低区域的时间序列和香农熵序列，将每个区域的这2个序列级联起来分别记为High、Low，再把这2个区域级联起来作为该通道的特征向量（如R通道就记为FR=[High，Low]），最后，把每个通道的特征向量（FR，FG，FB）级联起来作为PCNN 提取出的图像特征，即 FPCNN=[FR，FG，FB].

由于特征提取在R、G、B三通道内进行，而其中基于PCNN的图像分割又包含了图像的区域形状信息，因此提取出的特征包含了原图像的颜色信息和形状信息.

3 相似性度量

本文综合运用PCNN和相位一致性来提取图像特征，即得到2个特征向量FPCNN和FPC，由于它们内部存在较强的相关性，因此本文采用马氏距离结合Pearson积矩相关法进行综合相似性度量.设2幅图像的特征向量为 yA=，n=1，2，…，n0}和 yB={，n=1，2，…，n0}，则综合相似性度量为：

C越小表示2幅图像相似性越强.式中：D（yA，yB）为马氏距离；Corr（yA，yB）为 Pearson 积矩相关，它们的向量表示形式为：

式中：权值wuv＞0；Z为向量yA的协方差矩阵，其大小为展开 n0× n0；和分别为特征向量yA和yB的均值.

依次将待查询图像的2个特征向量和图像库中每幅图像的2个特征向量进行比较计算，得到距离C1和C2，将C1和C2的加权距离作为最后的距离，表示为：P=ω1C1+ω2C2，其中ω1和ω2表示权重，并且ω1+ω2=1，经过多次试验，选取ω1=ω2=0.5效果比较理想.

4 实验结果与分析

在本文实验中采用Corel 1000图像库作为测试图像库，其中包含非洲人、海滩、花、公共汽车、恐龙等10类图像，每类100幅图像，共1000幅图像.图像库中有256×384像素和381×256像素2种尺寸的图像，格式均为JPG格式，基于Matlab平台进行仿真.实验过程中从测试图像库中每类随机挑选5幅图像作为查询图像，总共构成50次查询，每次返回最相似的20幅图像作为检索结果.

为验证本文2种方法结合的必要性，将本文方法与单独使用自适应PCNN或相位一致性的方法进行对比，综合多次查询结果，对不同查全率时的查准率进行了测试，结果如图9所示.

图9 平均查全-查准率曲线Fig.9 Average recall-precision curve

从图9可以看出本文方法在取得查全率为0.1到0.8时都获得了更高的查准率，其中0.1到0.5区间提升效果明显，而在0.8以后略有下降，但总体上还是本文方法效果较好.

为验证方法的有效性，将本文方法与文献[14]、文献[15]和文献[16]方法进行比较.文献[14]通过最优空间填充曲线对图像基元进行遍历得到基元图像，统计2个基元的空间相关性得到基元共生矩阵，通过计算基元共生矩阵之间的距离得到检索结果；文献[15]结合图像的颜色直方图和基元灰度均值直方图来进行图像检索；文献[16]通过位平面一阶矩、位平面平坦度和和位平面凹凸面提取图像的颜色特征和颜色空间分布特征.返回不同图像数量时的平均查准率和查全率曲线如图10所示.对于每类图像，综合5次检索结果的查准率和查全率的平均值作为最终的查准率和查全率，4种方法对每类图像的平均查准率如表1所示.

图10 检索性能比较Fig.10 Retrieval results for four image retrieval

从图10可以看出在返回不同图像数量时，本文方法的平均查准率和查全率比文献[14]、文献[15]和文献[16]方法都要好一些.从表1可以看出，在返回20幅图像的时候，本文方法对每类图像的平均查准率明显高于文献[14]、文献[15]和文献[16]方法，特别是针对非洲、建筑、马、山水和食物这5类图像的检索性能有了明显的提高，这是因为本文方法将符合生物视觉特性的PC和PCNN结合，提取的特征中包含了图像的颜色和形状特征.

表1 4种方法平均查准率的比较Tab.1 Average precision for four methods

5 结束语

本文提出了一种基于PCNN和相位一致性的图像检索方法，充分利用自适应PCNN的生物视觉特性和相位一致性的人眼视觉特性，有效地提取出图像的颜色和形状特征，并用于图像检索中.从实验结果可以看出，该方法具有较好的检索效果，具有较高的图像检索的查准率和查全率.但是，从图9可以看出，在查全率较高时查准率下降的过快，因此如何提高高查全率时的查准率是今后需要解决的问题.

[1]方珍红，谢明元，杨玲.一种新的基于加权颜色特征的图像检索算法[J].激光与红外，2013，43（4）：471-474.

[2]阿卜杜如苏力·奥斯曼，吐尔洪江·阿布都克力木，马丽亚木·阿布来孜.综合颜色特征与形状特征的图像检索算法[J].计算机工程与应用，2013，49（7）：167-170.

[3]CHEN Weita，LIU Weichuan，CHEN M S.Adaptive color feature extraction based on image color distributions[J].IEEE Trans on Image Processing，2010，19（8）：2005-2016.

[4]王斌.一种不变的基于傅里叶变换的区域形状描述子[J].电子学报，2012，40（1）：84-88.

[5]MORRONE M C，ROSS J R，BURR D C.Mach bands are Phase dependent[J].Nature，1986，324（6094）：250-253.

[6]ROSS J R，MORRONE M C，BURR D C.The conditions under which Mach bands are visible [J].Vision Research，1989，29（6）：699-715.

[7]王晓飞，李柏年.利用脉冲耦合神经网络的纹理图像检索方法[J].计算机工程与应用，2012，48（7）：201-204.

[8]朱红伟，周冬明，聂仁灿.利用PCNN实现商标图像检索新方法[J].云南大学学报，2012，34（3）：276-284.

[9]祝双武，郝重阳.一种基于改进型PCNN的织物疵点图像自适应分割方法[J].电子学报，2012，40（3）：611-616.

[10]MORRONE M C，OWENS R A.Feature detection from local energy[J].Pattern Recognition Letters，1987，6（5）：303-313.

[11]OWENS R A，VENKATESH S，ROSS J.Edge detection is a projection[J].Pattern Recognition Letters，1989（9）：233-244.

[12]KOVESI P.Invariant measures of image features from phase information[D].Australia Perth：University of Western Australia，1996.

[13]苗启广，王宝树.基于局部对比度的自适应PCNN图像融合[J].计算机学报，2008，31（5）：875-880.

[14]JHANWAR N，CHAUDHURI S，SEETHARAMAN G.Content based image retrieval using motif co-occurrence matrix[J].Image and Vision Computer，2004，22（14）：1211-1220.

[15]LIN Chuen-Hong，CHEN Rong-Tai，CHAN Yung-kuan.A smart content-based image retrieval system based on color and texture feature[J].Image and Vision Computer，2009，27（6）：658-665.

[16]田宏，杨树刚.基于重要位平面的真彩色图像检索算法[J].计算机辅助设计与图形学学报，2010，22（2）：279-285.

Image retrieval combining phase congruency and PCNN

WU Jun，LIU Jian，XIAO Zhi-tao，ZHANG Fang，GENG Lei
（School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China）

Inspired by biologic visual feature， a new algorithm for image retrieval using pulse coupled neutral network and phase congruency is proposed to effectively extract the features to improve the performance of image retrieval.Firstly， image edge feature is extracted by phase congruency， combing non-maximum suppression and autoadaptive double-threshold.The edge color histogram is obtained by the image edge feature.Secondly，improving the simplified version of PCNN， the linking strength of each PCNN neuron is usually a constant， in order to overcome the limitation.Phase congruency is chosen to adjust its linking strengths according to image features adaptively.Then image segmentation and feature extraction are carried out using the improved PCNN model.Finally，image retrieval is achieved by the features of PCNN and phase congruency.The experiment results show that the method has the discrimination power against color and shape features，and has higher precision and recall.

phase congruency；pulse coupled neural network（PCNN）；edge color histogram；image retrieval

TP391.41

A

1671-024X（2014）03-0048-07

2013-12-17

国家自然科学基金（61102150）；天津市科技支撑计划重点项目（12ZCZDGX02100）；天津市高等学校科技发展基金（20120805）

吴 骏(1978—)，男，博士，副教授.E-mail：809696875@qq.com