粒子群优化结合相关反馈的花卉图像检索

朱丹红， 柯 逍, 2， 叶 菁

(1. 福州大学数学与计算机科学学院， 福建 福州　350116；2. 福建省网络计算与智能信息处理重点实验室， 福建 福州　350116)



粒子群优化结合相关反馈的花卉图像检索

朱丹红1， 柯 逍1, 2， 叶 菁1

(1. 福州大学数学与计算机科学学院， 福建 福州350116；2. 福建省网络计算与智能信息处理重点实验室， 福建 福州350116)

摘要：针对花卉图像特性， 为平衡花卉图像检索系统的检索精度与速度， 提出一种将粒子群优化结合于花卉检索相关反馈的算法. 算法以2RGB为花卉图像的颜色模型， 选取计算量较小的图像低层特征描述， 按用户的满意度对检索结果进行评价， 指导反馈过程中粒子的最优运动方向. 实验结果表明， 该算法能有效提高系统的检索效率.

关键词：花卉图像检索； 粒子群优化； 相关反馈； 检索效率

0引言

基于内容的图像检索(content based image retrieval, CBIR) 是利用图像自身所包含的丰富视觉内容， 提取蕴涵的特征信息(如颜色、 纹理、 形状、 空间布局、 语义等)， 对图像数据库进行检索， 从而获得用户感兴趣的图像. 但上述低层特征与高层语义信息之间存在语义鸿沟[1]， 加之用户对图像理解的主观易变性， 使得检索结果常常偏离用户的需求. 为此， 相关反馈(relevance feedback)技术被引入CBIR领域[2]. 通过RF技术， 实现了人机交互， 大大提高了检索性能.

CBIR的RF过程是系统根据用户的反馈信息进行相应调整， 指导新一轮检索， 本质是一种查询优化技术. 而粒子群优化(particle swarm optimization, PSO)算法具有优越的搜索性能， 收敛速度很快， 且它的“并行搜索”和“具有记忆”的特殊寻优机理， 使之能够很好地适用于CBIR的RF技术中. 将PSO算法引入到RF领域， 能够很好地保证检索的实时性与准确性， 从而提高检索效率[3].

基于内容的植物花卉图像检索是CBIR在植物性领域的重要应用[4]. 由于花卉图像的多样性与不同类别花卉的相似性， 系统通常难以取得检索精度与检索速度之间的平衡， 因此检索效率不够理想. 文献[5]融合视觉注意模型与区域增长算法提取出感兴趣区域作为花卉区域代表整幅图像实现检索， 虽然减小了检索匹配的计算量， 但对于部分花卉图像， 所提取的感兴趣区域与实际花卉区域存在误差， 从而影响检索的准确度. 文献[6]对花卉图像进行缩放后， 结合抠像技术， 将图像的不同区域赋以权值并进行检索匹配， 虽然获得了较好的准确度， 但是检索时间耗费较长， 且缩放后图像产生一定的失真， 也在一定程度上影响了检索结果. 本研究提出将PSO算法应用到花卉图像检索的RF过程中， 并进行相应实验， 实验结果表明, 该方法检索时间短， 准确性高， 具有很好的检索效率.

1花卉图像的特征提取

1.12RGB颜色模型[7]

由于花卉图像受光照强弱的影响， 产生颜色变化和阴影问题， 所以采用常用的彩色图像颜色模型进行描述， 检索效果不够理想.

文献[7]通过对大量花卉图像观察， 发现花卉主体颜色分布多为单色， 且偏向于红色(R分量)， 因此提出适用于花卉图像的2RGB混合颜色模型. 研究表明, 2RGB模型能够很大程度上减小光照和阴影的影响.

2RGB颜色模型描述的灰度图像中， (i,j)像素点的灰度值φ(i,j)计算如下：

(1)

(2)

(3)

首先， 利用公式(1)进行计算. 公式(1)主要针对颜色偏红的花卉. 而实际中， 有些花卉颜色是偏白或是偏蓝， 因此偏红运算后， 需记录偏红面积TR， 若TR

1.2特征提取

RGB花卉图像经过上述2RGB颜色模型处理， 生成了相应的灰度图像. 为减少检索时间， 提高检索的实时性， 本文选择计算量较小的颜色直方图与基于灰度共生矩阵的纹理特征作为图像的低层特征表达[8].

1.2.1颜色直方图

1.2.2基于灰度共生矩阵的纹理特征

灰度共生矩阵记录了图像中两个位置的灰度像素的联合概率密度， 是定义一组纹理特征的基础. 由一幅图像的灰度共生矩阵MN×N可以得到的纹理特征如下：

从而， 图像的纹理特征向量为： Vtexture=(Con, Ent, Asm, Cor).

2基于粒子群优化相关反馈的花卉图像检索

2.1粒子群优化(PSO)算法[9]的基本思想

(4)

每个粒子的个体极值更新为：

(5)

整个粒子群的全局极值为：

(6)

PSO算法具有高效学习和快速收敛的优势， 将其应用于花卉图像检索的相关反馈过程中， 可以很好地保证检索效率.

首先，明确她所拥有的技能与客户需要的服务相比，有多大的差距，要告诉她们努力的方向、要达到的目标，避免她们以个人经验植入给客户的服务。

2.2花卉图像检索的PSO相关反馈的算法分析

花卉图像检索过程中， 由于花卉本身复杂多样， 以及有些类别不同的花卉之间具有一定相似性， 初次检索结果通常不够理想， 需要进行进一步调整， 因此将相关反馈引入检索过程. 文献[10]提出了PSO-RF算法， 能够将PSO有效结合图像的检索反馈， 取得了较好效果. 本文针对花卉图像的特殊性， 对花卉图像检索的PSO相关反馈进行了详细探讨， 给出了更合理的参数设定， 具体如下：

1) 花卉图像库中图片Xi的特征提取采用第1节所述的2RGB颜色模型、 颜色直方图以及基于灰度共生矩阵的纹理特征. 本文将花卉图像的灰度级数L归一化为32级. 将共生矩阵的4个统计量(惯性矩、 熵、 能量、 相关)的均值和标准差[11], 即μcon,σcon，μent,σent，μasm,σasm，μcor,σcor作为8个纹理特征分量. 因此， 对Xi特征提取后得到的特征向量进行相应的实数编码， 从而得到图片Xi的初始粒子编码.

2) 全局极值g通常用公式(6)定义. 由于花卉自身特性， 虽然花卉类别不同， 但有的图像极其相似， 比如玫瑰花与月季花， 有时甚至一般人也难以区分， 所以检索更要着眼于用户的需求与理解， 应让用户定义反馈图像的满意程度. 从而设定g为反馈图像特征按满意度的加权平均值， 具体为：

用户对检索结果进行反馈时， 对结果中选取的n幅图像按满意度进行排序， 依次记为：R1,R2, …,Rn， 则

(7)

其中： m1>m2>…>mn且m1, m2, …, mn取值为[0, 1]之间的随机值， m1+m2+…+mn=1.

具体产生的方法如下：

(8)

2.3花卉图像检索的PSO相关反馈的算法设计

2.4基于PSO相关反馈的花卉图像检索的算法流程

基于PSO相关反馈的花卉图像检索算法流程如图1所示. 首先对花卉图像库进行2.2节所述的特征提取. 而后输入查询图像， 利用欧式距离进行相似度匹配计算， 输出初次检索结果， 并由用户对结果进行评价反馈. 反馈时先让用户按满意度依次从中选取n幅图像， 再执行2.3节所述的反馈算法， 直至结果满意， 检索过程结束.

3实验结果与分析

本文实验条件为： 采用MATLAB 7．0版本进行软件编程； 计算机CPU为Intel Pentium4， 主频2．6 GHz； 内存为2 GB； 图像数据库由网络收集的3 000幅花卉图片构成， 包括牡丹、 月季、 玫瑰、 兰花、 荷花、 菊花、 芙蓉、 芍药、 茶花、 樱花、 郁金香等共40个类别.

实验3.1分别测试不同的迭代次数与不同的反馈轮数对检索结果的影响. 由于命中准确率是一种较为简便的图像检索性能评测指标[13]， 故本文采用多次检索的平均命中准确率进行衡量. 命中准确率定义为：

实验3.2分别从检索速度和检索精度两个方面对本文提出的方法进行测试.

3.1迭代次数与反馈轮数对检索结果影响的测试实验

1)各轮反馈设置的迭代次数与检索结果的相关实验. 本实验对花卉图像库随机抽取100幅图片进行检索反馈， 测试其过程. 其中设置的粒子群最大迭代次数为N=100. 实验结果如图2所示. 可以看出， 在第一、 二轮反馈中， 随着迭代次数增加， 平均准确率单调递增， 表明算法逐步迭代寻优. 而在第三轮反馈中， 由于用户反馈的个别花卉图片内容较杂乱， 主要体现在花卉主体区域被部分遮挡， 故导致优化迭代次数在40或80代产生了一定波动， 影响了平均结果. 但是该曲线图仍能显现出来， 在每轮反馈中， 随着迭代的次数越增多， 平均命中准确率逐步提高， 直至次数为80次左右时收敛并趋于平稳.

2)反馈轮数与检索结果的相关实验. 选取图像库中10大类具有典型意义的花卉图片， 各进行30次检索， 反馈5轮， 统计检索的平均值. 如图3所示. 随着各轮反馈的依次进行， 检索准确率逐渐提高. 反馈达到第3轮趋于稳定， 得到的平均准确率在75%以上.

3.2检索速度与检索精度的相关实验

1)统计检索时间， 分析评价本文方法的检索速度. 本实验对图像库的40类花卉分别各任取一幅图片进行检索， 统计耗费时间， 计算平均值. 初次检索平均耗时7 248 ms, PSO三轮相关反馈平均耗时分别为6 365、 5 237、 3 223 ms. 故本文方法平均总耗时22 s.

用相同的实验方法分别对文献[5]、 [6]、 [7]进行测试. 文献[5]、 [6]平均耗费时间分别为26 s、 75 s. 文献[7]是针对花卉图像检索的多特征融合方法， 在花卉检索领域做出了较好贡献， 理论和实验部分都比较充分， 可作为主要的参考对比， 其平均耗时为53 s. 上述文献虽均无相关反馈过程， 但耗费时间都比本文方法多. 实验表明， 本研究提出的花卉图像检索方法能取得不错的检索速度.

2)采用查全率-查准率曲线评价本文方法的检索精度. 实验任选图像库中的1 000幅不同花卉图片作为查询图片进行检索， 查全率分别为10%、 20%、 30%、 40%、 50%、 60%、 70%、 80%、 90%、 100%时的平均查准率值见图4所示.

从图4中曲线可以看出， 文献[5]的算法基于图像感兴趣区域， 提取区域往往与实际花卉区域存在偏差， 影响结果的准确性. 文献[6]以抠像技术为基础， 在检索准确度上有了一定的提高. 而文献[7]以图像的多特征融合为基础， 结合SVM分类， 对花卉图像检索已经比较有效. 但本文算法通过用户进行反馈， 以用户理解与需求为基础， 检索效果更优. 图5给出查询图像为牡丹时的检索结果， 显示该结果可以符合用户要求， 验证本文方法的检索性能.

4结论

本研究以提高花卉图像检索系统的检索效率为目的， 针对花卉图像的特殊性， 提出一种将粒子群优化有效结合于花卉检索相关反馈中的算法. 该算法以花卉图像为基础， 合理选用计算量较小的特征向量进行描述， 反馈过程以用户需求为指导， 极大发挥PSO的优越搜索性能， 取得了较快的检索速度和较高的检索精度， 大大改善了花卉图像检索系统的检索效率. 本研究单纯对花卉图像检索进行探讨， 其中的PSO反馈采用全局最优值对整个种群所有粒子进行引导， 而在其他多类别图像库的实际检索过程中， 是否可以选用合适的拓扑结构划分若干子种群， 用子种群的局部最优解引导所属粒子运动， 从而提高检索性能， 将成为今后进一步的研究内容.

参考文献：

[1] DATTA R, JOSHI D, LI J,etal. Image retrieval.Ideas,influences,and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): 1-60.

[2] RUI Y, HUANG T S, MEHROTRA S. Content-based image retrieval with relevance feedback in MARS[C]//IEEE International Conference on Image Processing. Santa Barbara: IEEE Computer Society, 1997: 815- 818.

[3] 许向莉. 基于智能计算的图像检索算法研究[D]. 吉林: 吉林大学， 2011.

[4] 陈小芬. 基于内容的植物花卉图像检索[D]. 厦门: 厦门大学， 2009.

[5] 吴清锋. 基于内容的中草药植物故乡检索关键技术研究[D]. 厦门: 厦门大学， 2007.

[6] 冯振, 王宇新, 郭禾, 等. 结合抠像技术的图像分类方法[J]. 中国图象图形学报, 2011, 16(6): 1 045-1 050.

[7] 柯逍, 陈小芬, 李绍滋. 基于多特征融合的的花卉图像检索[J]. 计算机科学, 2010, 37(11): 282-286.

[8] 章毓晋. 基于内容的视觉信息检索[M]. 北京: 科学出版社, 2003.

[9] 郭文忠. 离散粒子群优化算法及其应用[M]. 北京: 清华大学出版, 2012.

[10] 许相莉, 张利彪, 刘向东, 等. 基于粒子群的图像检索相关反馈算法[J]. 电子学报, 2010, 38(8): 1 935-1 940.

[11] 刘忠伟, 章毓晋. 综合利用颜色和纹理特征的图像检索[J]. 通信学报, 1999, 20(5): 36-40.

[12] ANDRIES P E. 计算智能导论[M]. 谭营， 译. 北京: 清华大学出版社, 2010.

[13] 韦娜, 耿国华, 周明全. 基于内容的图像检索系统性能评价[J]. 中国图象图形学报, 2004, 9(11): 1 271-1 276.

(责任编辑： 林晓)

Particle swarm optimization combined with relevance feedback for flower image retrieval

ZHU Danhong1, KE Xiao1, 2, YE Jing1

(1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China;2. Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing, Fuzhou, Fujian 350116, China)

Abstract:Aiming at flower image characteristics and balancing retrieval accuracy and speed of flower image retrieval system, this paper proposes an algorithm for flower image retrieval relevance feedback combined with particle swarm optimization. The algorithm uses 2RGB color model for flower images, selects some less computational low-level image features, evaluates user satisfaction with the retrieval results to guide the optimal direction of particles motion in feedback process. Experiments show that the algorithm can improve the retrieval efficiency.

Keywords:flower image retrieval; particle swarm optimization; relevance feedback; retrieval effciency

中图分类号：TP391

文献标识码：A

基金项目：福建省自然科学基金资助项目(2013J05088)； 福州大学科技发展基金资助项目(650064)； 福建省中青年教师教育科研基金资助项目(JA15082)

通讯作者:朱丹红(1981-), 讲师， 主要从事图像处理、 图像检索等方面研究， zhudh@fzu.edu.cn

收稿日期:2014-06-21

文章编号：1000-2243(2016)02-0182-06

DOI:10.7631/issn.1000-2243.2016.02.0182