复杂场景下全景视觉图像局部特征点检测仿真

董富江,袁 渊

(宁夏医科大学理学院,宁夏 银川 750004)

1 引言

图像信息可通过图像特征得以体现[1],统计现有的图像特征,可将其分为以下两类,第一类为物体形状、纹理和颜色等全局特征,第二类为斑点和角点等局部特征,全局特征与局部特征相比,具有描述性强的优点,且提取过程复杂度较低,局部特征适用于复杂场景下的图像识别[2]。在采集全景图像时,光照条件和视角均不相同,且容易受到复杂背景的干扰,增加了提取图像局部特征点的难度,在此背景下,对全景视觉图像局部特征点检测方法展开分析和研究具有重要意义。

王丽娜[3]等人首先划分图像,针对划分得到的若干图像块,通过相位一致性中间矩获得其对应的多矩图,设置投票策略,对多矩图中存在的特征点展开评分,选取评分最高的特征点作为图像的局部特征点。该方法处理图像时,容易丢失边缘细节信息,存在边缘保持能力差的问题。丁国绅[4]等人在邻域范围内粗匹配处理图像像素信息,计算图像相似程度,按照从高到低的顺序对像素排序,选取前四组像素点,通过匹配校正特征点,完成特征点的提取。该方法检测特征点所需的时间较长,且检测结果不准确,存在检测效率低和检测准确率低的问题。

为了解决上述方法中存在的问题,提出复杂场景下全景视觉图像局部特征点检测方法。

2 全景视觉图像去噪

采用经验模态分解(Empirical Mode Decomposition, EMD)方法将图像x(t)分解的过程描述为:

(1)

式中,rZ代表剩余项;imfi代表分解得到的第i个IMF分量;Z代表IMF分量的数量。

图像经过EMD分解后被分解为低频和高频系数,经统计发现,噪声具有高频特性,因此传统的EMD方法对图像去噪时,通常将图像中的高频分量直接丢弃,通过累加分解后的低频IMF实现图像的去噪处理,但这种去噪方式容易降低图像的完整性,丢失图像中存在的细节信息。

为了解决上述问题,结合经验模态分解方法和CLEAN算法对全景视觉图像展开去噪处理,首先采用经验模态分解方法[5-6]分解全景视觉图像,其次计算IMF分量对应的信息熵,高频IMF分量的数量可通过IMF信息熵序列对应的最大值确定,最后通过CLEAN算法抑制高频IMF分量中存在的噪声,实现全景视觉图像的去噪。

设Gi代表全景视觉图像中imf对应的信息熵,可通过下式计算得到:

(2)

设gj是由分量信息熵之间的差值构成的序列,其表达式如下:

gj=|Gj+1-Gj|

(3)

假设信息熵差值序列中存在的第j个元素为最大值出现的地方,则需要对经验模态分解后的第1～j个IMF分量展开去噪处理。

CLEAN算法属于频域滤波方法[7-8],利用该方法对上述IMF分量展开去噪处理的具体过程如下:

1)令x=imfi,完成初始化处理;

2)对x展开傅里叶变换,将其转移到频域中,建立频谱X=FFT(x),其中,FFT代表傅里叶变换;

3)将幅度最大值作为目标,搜索频谱X中存在的频率f1,并对其幅度σ1和相位γ1展开计算;

4)针对信号中存在的幅度最大的谐波分量x1,通过下式对其展开重构:

(4)

式中,t=1,2,…,T代表时间。

(5)

式中,n代表信号分量的数量。

对全景视觉图像去噪的具体过程如下:

1)采用经验模态分解方法对全景视觉图像展开分解处理,获得Z个IMF分量;

2)计算imfi对应的信息熵值Gi;

3)根据Gi建立信息熵差值序列,以此确定全景视觉图像中存在噪声的IMF分量;

4)引入CLEAN算法对上述分量展开去噪处理;

5)叠加处理后的分量,实现全景视觉图像的去噪处理。

3 局部特征点检测

3.1 特征点提取

在HSV颜色空间[9-10]的基础上多尺度分析全景视觉图像,消除图像中存在的冗余信息,提取全景视觉图像的特征点。

采用二维小波分解方法处理全景视觉图像Oi(x)的颜色、亮度、纹理和方向等特征信息,获得上述信息的特征图像Yi(x):

Yi(x)=WT[Oi(x)]

(6)

式中,WT代表二维小波分解。

设Di(x)代表上述特征的显著图像,可通过二维小波重构算法[11-12]重构上述特征图像Yi(x)获得:

(7)

式中,v(x)代表均值滤波器;h(x)代表高斯滤波器。

通过下式融合处理上述过程获得的特征显著图Di(x),得到全景视觉图像的局部特征显著图LM:

(8)

式中,li代表权值系数;η代表调节系数。

谱残差方法的主要作用是抑制图像中出现频率较高的特征,保持非常规特征的敏感性。经过傅里叶变换后,图像振幅谱S(f)对应的频率与平均值之间成正比,即R[S(f)]∝1/f。

对数变换处理图像的振幅,发现全局视觉图像的平均振幅谱对应的对数具有一定的局部线性,可利用这个性质获取全局视觉图像的显著区域。设T(f)代表全局视觉图像的谱残差,可通过下式计算得到:

T(f)=log[S(f)]-gnlog[S(f)]

(9)

全局视觉图像的显著信息存在于谱残差中,因此傅里叶反变换处理谱残差可以得到全局视觉图像的显著图像,具体过程为:

1)傅里叶变换处理全景视觉图像[13-14],获取全景视觉图像变换后对应的振幅谱S(f);

2)计算全景视觉图像对应的相位谱A(f);

3)根据上述过程获取的振幅谱S(f)和相位谱A(f)计算全景视觉图像的谱残差T(f);

4)反傅里叶变换处理图像的A(f)和T(f),获得全景视觉图像的显著图像GM:

GM(x)=h(x)G-1{exp[T(f)+A(f)]}-2

(10)

式中,G-1代表反傅里叶变换。

结合全局特征显著图和局部特征显著图,获得全景视觉图像的最终特征显著图FM:

(11)

式中,ι代表调节系数,通过上述特征显著图,获得全景视觉图像的局部特征点。

3.2 局部特征点选取

(12)

式中,δ代表加权指数。

通常情况下,信息熵Gi随着Zλ的增大而增大,通过下式描述两者之间的关系

Gβ(f)∝log[Zλ(Ci)/nβ]/(1-β)

(13)

式中,参数β在区间(0,1)内取值。

设DU代表特征点在全景视觉图像中的分布均匀度,DU的值越大,表明特征点在全景视觉图像中的分布越均匀,相反,DU的值越小,表明特征点聚集在全景视觉图像中的某个区域中,DU可通过下式计算得到

(14)

设DD代表特征点的独特性,具体指描述符向量空间中全局视觉图像特征点的分布情况,独特性DD越高,表明在全景视觉图像描述符空间中特征点分布越均匀,独特性DD的计算公式如下:

(15)

设SE代表特征点对应的覆盖度,SE越大,表明在全景视觉图像中特征点的分布范围越大,SE的表达式如下:

(16)

式中,M×N代表全景视觉图像的尺寸;DMST代表特征点围成的最小凸多边形对应的面积。

设Sn代表n个特征点对应的响应值之和,其表达式如下:

(17)

式中,Te(Ci)代表单个特征点在全景视觉图像中对应的响应值。

根据特征点的DU、DD、SE、Sn获取全景视觉图像的局部特征点F:

F=w1DU+w2DD+w3SE+w4Sn

(18)

通过上式选取全景视觉图像中的最优局部特征点F,完成复杂场景下全景视觉图像局部特征点检测。

4 实验与分析

为了验证复杂场景下全景视觉图像局部特征点检测方法的整体有效性,需要对其展开测试。实验所用样本图像均来自CIFAR-10(https:∥www.cs.toronto.edu/～kriz/cifar.html)数据集,该数据集由10个类别的60000个32×32彩色图像组成,每个类共有6000个图像。

复杂场景下采集全景视觉图像时容易受到多种因素的影响,导致图像中存在噪声斑点,现采用所提方法、文献[3]方法和文献[4]方法对含噪全景视觉图像展开去噪处理,结果如图1所示。

图1 不同方法的图像去噪效果

由图1可知,虽然文献[3]方法的去噪效果优于文献[4]方法的去噪效果,但是仍然存在部分噪声斑点,而采用所提方法可有效消除全景视觉图像中存在的噪声和斑点。说明所提方法的图像去噪效果更高,有利于提升图像特征点检测效果。

为了客观评价三种方法的去噪效果,引入边缘保持能力ρEPI和有效视数φENL作为指标,对上述方法的去噪效果展开评价:

(19)

式中,(xi,yi)代表像素在图像中对应的坐标;代表滤波后的图像;U代表原始图像;ς代表标准差;代表图像均值。根据式(19)计算得出三种方法的图像去噪结果,如图2所示。

图2 去噪评价结果

根据图2可知,所提方法的有效视数和边缘保持能力均是最高的,表明所提方法全景视觉图像去噪后,图像具有良好的平滑性,且可有效保持图像的边缘信息。

现采用所提方法、文献[3]方法和文献[4]方法展开全局视觉图像局部特征点检测测试,测试上述方法的特征点检测准确率和检测效率,测试结果如表1所示。

表1 特征点检测性能

根据表1中的数据可知,所提方法的图像特征点检测准确率高达99.7%,且检测特征点用时最短,表明所提方法具有较高的检测效率,因为所提方法建立了全景视觉图像的显著图像,获取图像的特征点,并根据特征点的分布均匀性、独特性、覆盖度和响应值和选取最优特征点,缩短了特征点的提取时间,提高了检测准确率。

5 结束语

在图像处理领域中,局部特征点检测具有重要意义,目前全景视觉图像局部特征点检测方法存在去噪效果差、检测准确率低和检测效率低的问题,提出复杂场景下全景视觉图像局部特征点检测方法。首先对全景视觉图像展开去噪处理,在此基础上建立特征显著图像,根据显著图像完成局部特征点的检测。该方法可有效消除全景视觉图像中存在的噪声和斑点,在检测精度和检测效率方面表现出良好的性能。