一种海量图像下的高精度特征检索算法
2022-05-14宋志平朱亚俐吾尔尼沙买买提库尔班吾布力
宋志平,朱亚俐,吾尔尼沙·买买提,库尔班·吾布力,2*
(1. 新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046;2. 新疆多语种信息技术重点实验室,新疆 乌鲁木齐 830046)
1 引言
伴随科学技术的普及与发展,数字图像已成为一种应用广泛的媒介,是一种独立性较强的数据载体。怎样有效组织、管理及检索大规模的图像信息,同时从海量数字图像内准确无误地检索出相似图像,逐渐成为现阶段亟待解决的重要问题[1]。语义与文本条件下的图像检索为常用的检索模式,但针对复杂图像而言,此类检索模式可靠性较低。由此衍生出图像二次检索方式[2],让相似图像检索变得更为轻松且检索精度也得到大幅提高。
面向图像检索问题,彭腾飞等[3]提出一种端到端的深度哈希算法。在卷积神经网络中嵌入空间金字塔池化和幂均值变换明确图像多种尺度范围数据,在全连接层之间引入哈希层,使用汉明距离计算图像对相似性,建立损失函数来提升图像检索性能。但此方法计算过程中没有采取图像预处理,导致图像相似性结果与实际结果出入较大。陈宏宇等[4]择取深度卷积网络全卷积层张量当作深度特征,使用逆文档频率加权深度特征获得显著图像,采用主成分分析获取图像全局特征,实现图像距离度量检索。该方法需要计算的变量较多,运算耗时较长,没有充分考虑真实场景下算法性能的合理性。
总结以上内容,提出一种基于灰度直方图的图像关键特征二次检索算法。首先预处理图像,利用灰度直方图计算图像纹理相似度,完成图像关键特征一次检索,将相似度值作为二次检索临界值,并使用Canny算子得到准确的相似图像检索结果。
2 基于灰度直方图的图像关键特征二次检索算法
根据图像性质,融合灰度直方图纹理特征检索与形态匹配检索两种策略,设计基于灰度直方图的图像关键特征二次检索算法。所提方法二次检索步骤中,将图像纹理关键特征当作第一次检索,推算图像灰度直方图来获取并统计纹理特征,计算图像相似度,完成图像关键特征初期筛查,把第一次检索结果输入至第二次检索中,利用投影相似度剔除第一次检索中的干扰[5],在第一次检索前提下,最大限度增强图像关键特征二次检索正确率。将算法具体步骤如图1。
图1 图像关键特征二次检索步骤
2.1 目标图像预处理
为消除图像背景及系统噪声干扰,提高后续图像关键特征检索准确率,预先对图像预处理。传统高通滤波方法可以很好地控制面积较大的低频背景信息,加强目标边缘特征清晰度,但不能过滤掉独立的高频噪声点,还会减少目标中心点灰度值。中值滤波与高通滤波存在较大差异,高通滤波方法可以剔除高频噪声,保存完整的目标特征,但对低频背景信息的处理欠佳。在互补原则前提下,设计一种高通中值滤波方法。首先利用低通滤波模式对输入图像采取背景预测,然后利用中值滤波,将某像素点灰度值替换成相邻像素点灰度中值[6],图像预处理过程如图2所示,并将输出图像表示成式(1)。
Y(i,j)=X(i,j)+Med(i,j)-2Lp(i,j)
(1)
其中,Y(i,j)代表输出图像,X(i,j)为输入图像,Med(i,j)是中值滤波图像,Lp(i,j)表示低通滤波预测背景图像。
图2 高通中值滤波算法流程
中值滤波与低通滤波图像的推导过程分别为
Med(i,j)=mmedianS{X(i,j)}
(2)
(3)
其中,S表示滤波窗口,R是滤波半径。
2.2 基于灰度直方图的图像关键特征一次检索
完成预处理后,为进一步提高图像关键特征二次检索准确率,就要获取图像关键特征灰度值分布状态,明确图像特征纹理信息。灰度直方图表示灰度级函数,是图像位于此灰度级的像素数目。直方图曲线内的横轴表示图像像素灰度级,纵轴是产生灰度级的几率。
图像关键纹理特征中包含结构纹理与统计纹理,由于结构纹理对物体几何框架的需求较为严格,约束了其大量应用,当前使用统计纹理方式较多,其中灰度共生矩阵就是使用次数最多的统计纹理计算方法。
灰度共生矩阵方法是根据图像灰度值空间分布来描述其纹理状态,在评估图像二阶组合条件概率密度函数前提下得到的统计策略。此方法可描述具有某类关联的两个像素之间的频率关系。将归一化灰度共生矩阵记作
(4)
其中,d表示步长,i、j均为灰度值,θ表示方向。
运用灰度共生矩阵能获得能量、熵、惯性矩与局部稳定性四个量化的纹理元素[7],能量、熵、惯性矩与局部稳定性依次记作
(5)
(6)
(7)
(8)
灰度变换表示按照某类条件凭借相应变换关联逐点变换初始图像各像素灰度值的方式。例如为凸显图像细节部分,把图像灰度级全部区域或其中某段(a,b)拓展为(a*,b*)。若输入图像灰度级为z,通过灰度变换后输出图像相对的灰度级为z*,需要将z与z*均安置于图像灰度范围中,将处在灰度区间[a,b]中的像素点映射至[z1,zk]区间,则组建灰度变换函数表达式
(9)
在式(9)的灰度变换函数中,其曲线形态映射关联就是把[a,b]区间拓展至[z1,zk]。假设图像绝大部分像素灰度值分布于[a,b],较多部分灰度值范围超过此区间。
利用图像灰度变换计算,图像关键特征的灰度形态更为明显,为接下来使用灰度直方图完成深入的特征提取工作,解决了图像灰度特征不明显这一重要问题[8]。图像完成灰度变换之后,统计图像灰度值,按照统计结果获得图像直方图,然后计算灰度特征矢量,并将输入图像采取向量化手段。
将灰度直方图运算过程记作
(10)
式中,C为灰度级类别个数,n代表图像拥有灰度级i像素的数量,D为图像全部像素数量。
设置目标图像灰度直方图中包含N维向量,按照样本图特征向量和数据库图像特征向量,在规定的相似度内提取全部图像关键特征。
将图像灰度区间拉伸至全局灰度区间,完成灰度拉伸图像的灰度增强[9]。将全部灰度空间划分成30个灰度,灰度图像像素点为E,E∈(0,255),划分后的图像灰度值为V,V∈(0,32)。由此,把灰度值划分过程定义为
V=[E/8]
(11)
利用式(11)推导过程,整合出每个灰度出现的频率。将其具体计算过程记作
(12)
其中,count(vk)表示划分后灰度值vk的像素点个数,N1为图像全局长度中的像素点个数,N2为图像全局宽度中的像素点个数。
在本文算法中,灰度直方图是图像关键特征提取中最简便的方法,计算过程简单,推导速率很快,符合图像检索过程中的旋转、比例及位移不变性,特征提取精度较高。直方图函数为
H(k)=Mk
(13)
式中,Mk为第k个灰度级出现的数量。
把图像内的像素灰度级作为任意变量,其分布状况表现出图像全局统计特征,图像关键纹理特征呈现出图像灰度局部性特点,图像窗口不能过大[10]。计算式(5)~式(8)的纹理特征量,得到纹理相似度公式:
(14)
纹理相似度越趋近于1,表明待检测图像和输入图像相似度越大,这样就实现了基于灰度直方图的图像关键纹理特征的第一次检索。
2.3 图像关键特征二次检索
目标外轮廓是其本身最关键的形态特征,也是推算目标周长与面积等变量的基础。针对自然界的物体形态特征而言,人眼可以轻易地捕获与识别,但使用计算机要完成此项任务则难度很高。现阶段,获取研究目标形态特征的手段包括基于区域与基于边界两种方法。基于区域方法利用图像分割、挖空内部点等策略得到物体外部轮廓,但此种方式过多依赖图像分割结果,图像分割是图像处理中最难处理的问题之一,因此该方法实用性较差。基于边界方法即便能使用边缘提取算子得到物体外部轮廓,但提取结果没有持续性[11],且一般会具有物体内部细节边缘与背景噪声干扰,物体轮廓分析中的噪声数量较多,增添了图像关键特征二次检索工作量。
本文按照待检测图像内的目标物体处于图像中间且物体周边通常为低灰度背景的特征,设计一种基于Canny算子的图像关键特征二次检索算法。
算法的核心步骤为:
第一,利用Canny算子计算图像边缘信息,统计各段边缘长短,设置临界值剔除微小边缘数据;
第二,针对各行图像信息,依次实施扫描,把扫描获得的灰度值边缘横坐标描述为x1[i]、x2[i],lHeight-1表示图像高度。把图像处于垂直轴内的投影Vproject[i]为
i=0,1,2,…,lHeight-1
(15)
第三,关于各列图像信息,使用和上个步骤相似手段,按照扫描结果获得边缘点纵坐标y1[i]、y2[i],lWidth-1表示图像宽度,推算图像处于水平轴内的投影Hproject[i]
i=0,1,2,…,lWidth-1
(16)
对图像数据库内每一幅图像均使用式(15)与式(16)计算两个投影值,同时保存在图像特征库内。对输入图像使用相同模式推导[12],将图像关键特征形态相似度表示成
(17)
(18)
SimShape(Q,G)=wv×SimShapeV(Q,G)+wh×SimShapeH(Q,G)
(19)
式中,SimShapeV(Q,G)与SimShapeH(Q,G)依次表示垂直、水平投影的相关指数,VprojectQ、HprojectQ是输入图像与待检测图像外部轮廓垂直与水平投影,SimShape(Q,G)代表两个位置上合成的形态相似度,wv、wh是垂直轴与水平轴的投影权重。
形态相似度SimShape越趋近1,证明输入图像与待检测图像的形态越相近。将基于灰度直方图的图像纹理特征检索结果设置成形态相似度临界值,通常临界值的取值范围是0.6~0.8。以此实现图像关键特征的二次检索目标,完成快速、准确的图像关键特征提取与筛选,让用户获得更加精准的相似图像识别结果。
3 仿真研究
从Corel图像数据库内挑选5种不同类型的550幅图像,每类图像的个数是110幅,包含风景、事物、动物等,对本文方法及文献[3]方法、[4]方法进行仿真。在图像检索性能评估中,评估指标包含查准率、查全率、输出格式等,本文实验着重前两个参数。查准率表示检索时,检索系统得到相似图像和检索图像总数量的比值,记作
(20)
查全率表示检索时,检索的相似图像和数据库内全部相似图像个数的比值,记作:
(21)
图3为三种方法海景类图像二次检索结果,比较返回的前5幅图像检索结果,每幅图左上角图像为示例图。
图3 三种方法对海景图像的检索结果对比
从图3可知,文献[3]中有4幅图为海景图像,一幅岩石图像,查准率为80%;文献[4]中有三幅海景图像,另外两幅图像分别是街道与花卉,查准率为60%;本文方法5幅图像均为海景图像,查准率为100%。实验结果证实,本文方法查准率显著优于两种文献方法,这是因为所提方法使用灰度直方图得到图像关键特征灰度值分布状态,掌握图像特征纹理数据,在第一次检索中最大限度提升待检测图像和输入图像相似度,为图像二次检索提供有效帮助。
在数据库内检索更多不同类型图像,将图像类型增加到7种,对三种方法进行大量的图像二次检索实验,统计其检索平均查全率,结果如图4所示。
图4 图像二次检索平均查全率对比
可以看到,在不同类型的图像关键特征二次检索中,本文方法查全率均不同程度地高于文献[3]与文献[4],表明检索查准率和查全率为正比例关联,即查准率越大,查全率也越大。由此也证明本文方法拥有优秀的图像关键特征二次检索性能,为准确查找相似图像发挥应有作用。
4 结论
针对海量大数据中的相似图像检索问题,提出基于灰度直方图的图像关键特征二次检索算法。所提算法应用过程简洁,与传统方法相比,可以最大限度提升相似图像检索精准度。伴随图像特征二次检索研究的不断深入,接下来的研究目标将转向二次检索系统的构建,为图像检索领域拓宽新的研究方向。