基于全局和局部特征的图像快速拼接算法①

徐 奇, 张佑春

(安徽工商职业学院,安徽 合肥 230001)

0 引 言

智能交通与医学等领域均会使用相机或传感器等设备采集图像,各类设备采集图像的视野均会受到限制,导致无法采集全面的图像信息[1],为获取全面的图像信息,便需应用图像拼接算法,拼接同一目标不同情况的图像,为智能交通与医学等领域提供全面的图像信息。全局特征包含图像的整体内容,无法细化图像内容,影响图像拼接效果,局部特征仅注重图像局部内容,容易忽略其余图像内容,影响图像拼接效果。综合考虑全局与局部特征,可全面掌握图像的整体内容与局部细化内容,提升图像拼接效果。此研究基于全局和局部特征的图像快速拼接算法,提升图像快速拼接效果。

1 基于全局和局部特征的图像快速拼接算法

1.1 全局特征提取与粗匹配

利用改进的形状上下文算法在原始图像内提取全局形状特征。令原始图像的第i个参考点是vi,vi属于包含N个点的图像轮廓空间,按照轮廓的顺序连接图像内全部上下文信息,获取一个图像全局轮廓特征序列。极坐标系内,以vi为原点,获取其余N-1个点的相对极坐标f(vi,vj),公式如下:

f(vi,vj)=fi,j=(vi,vj);i,j=1,2,…,N;i≠j

(1)

按照图像轮廓点在形状内的自然顺序,变更式(1)的全部相对坐标数据fi,j,获取序列Fi,即:

Fi=(fi,i+1,fi,i+2,…,fi,N,fi,1,…,fi,i-2,fi,i-1)

(2)

通过局部归一化处理改进的形状上下文描述子Fi,确保Fi具备尺度不变性[2],按顺序排序Fi,获取(N-1)*N矩阵A=[F1F2…FN-1FN],归一化处理A的各行,公式如下:

(3)

通过平滑处理Fi,解决Fi在精度与敏感性间的矛盾,提升其鲁棒性,Fi内包含N-1个序列,分割该序列,获取数个彼此无关的子序列[1,t],[t+1,2t],[2t+1,3t],…,其中正整数是t,求解各子序列分量均值,公式如下:

(4)

在原始图像内提取完全局形状特征后,先求解图像形状特征间的匹配代价即相应轮廓点间的欧式距离[3],再寻找两个轮廓点序列间最优相应关系即欧式距离最小,并进行粗匹配。

1.2 关键点提取算法提取局部特征

利用高速局部特征FAST(Features from Accelerated Segment Test)的关键点提取算法,在原始图像与粗匹配图像内提取关键点,通过直方图统计其梯度角度信息,塑造局部特征描述子,完成局部特征提取,提升局部特征提取效率。原始图像与粗匹配图像为I,FAST局部特征点附近的图像灰度信息公式如下:

M=∑|I(x)-I(p)|>ε

(5)

其中,图像中随机一点的灰度是I(x);图像中心点灰度是I(p);灰度值差的阈值是ε;中心点p便是图像局部特征点。

(6)

Y0内的元素依据相应的区间实施编号,获取梯度角度bin值矩阵B0={bi′,j′},公式如下:

(7)

其中,等分图像360°角度,便于角度直方图统计,等分数量是nb。

(8)

(9)

(10)

其余情况下,修正公式如下:

(11)

1.3 应用随机抽样一致性的图像局部特征精匹配

Step1:在两幅图像内随机选择o对彼此相应的局部特征点,分析o对匹配点内是否包含o-1点共线情况,若包含o-1点共线情况,那么剔除该组匹配点,再次任意选择局部特征点,以o对匹配点内无o-1点共线情况为止;

Step2:归一化处理o对匹配点,防止坐标变换对图像精匹配的影响,归一化处理流程如下:

(12)

其中,特征点平移与缩放相似变换规模是scale。

Step3:通过对称转移误差法处理U得到对称转移误差估计值:如果该值低于设置阈值,那么认为该局部特征点为匹配点,反之,剔除该局部特征点。

Step4:令对称转移误差估计次数是L,持续采样和验证图像局部特征点,存储匹配点数量,选择匹配点数量最多的图像局部特征点数据集,进行Step5;

Step5:对于匹配点数量最大的图像局部特征点数据集内的全部匹配点,再次估计U′,通过U′完成原始图像与粗匹配图像的精匹配。

1.4 图像快速拼接的实现

(13)

通过上式完成图像融合过程中重叠区域的均匀过渡,实现图像的快速无缝拼接。

2 实验结果与分析

以无人机电力巡检采集的某区域电网红外图像为实验对象,该区域电网红外图像内共包含4种类型的数据集,分别是不同视角时的红外图像数据集,记作视角变化数据集;不同模糊程度的红外图像数据集,记作模糊数据集;不同尺度红外图像数据集,记作尺度变化数据集;不同JPEG压缩比率的红外图像,记作JPEG压缩数据集。利用文中算法对4种类型数据集内的图像进行快速拼接处理,为后续红外图像分析提供精准的数据支持。

在模糊数据集内随机选择两幅同一目标的红外图像,利用本文算法提取全局特征与局部特征,并进行粗匹配与精匹配,在精匹配红外图像的基础上,展开图像融合,完成图像快速拼接,图像快速拼接结果如图1所示。根据图1可知,文中算法可有效在原始红外图像内提取全局特征,完成红外图像粗匹配,同时还可有效提取局部特征,完成红外图像精匹配,提升红外图像清晰度,精匹配后的红外图像重叠区域存在明显的拼接痕迹,经过本文算法融合后,可有效平滑处理重叠区域,实现图像快速拼接。实验证明:对于模糊红外图像,文中算法可有效提取全局与局部特征,完成图像粗匹配与精匹配,提升图像清晰度,并有效融合处理图像拼接过程中的重叠区域,完成图像快速拼接。

在视角变化数据集内随机选择同一目标不同角度的红外图像,利用文中算法快速拼接两个不同角度的红外图像,快速拼接结果如图2所示。根据图2可知,本文算法可有效精匹配不同视角的红外图像,并快速拼接不同视角红外图像,获取更为完整的红外图像,为后续电网监测与故障诊断等操作提供更为全面的信息。

利用剩余分均匀性(NU)、平均梯度(AG)与熵衡量文中算法图像快速拼接质量,NU越小,图像灰度分布越均匀,AG越大,图像越清晰,熵越大,图像具有的细节信息越多,设值NU的阈值为15%,AG的阈值为5%,熵的阈值为6%,分析文中算法在快速拼接4种类型数据集时的图像拼接质量与速度,图像拼接时间低于4 s时,说明图像拼接速度较快,分析结果如表1所示。根据表1可知,文中算法可有效快速拼接不同情况下的红外图像,拼接后的红外图像NU值均低于NU阈值,AG值均高于AG阈值,熵值均高于熵阈值,说明文中算法拼接后的红外图像内灰度分布均匀、清晰度较佳、细节信息含量较多;文中算法在拼接各类型红外图像时的平均时间是1.99 s,明显高于最低时间要求,说明文中算法图像拼接速度较快。

表1 图像拼接质量与速度

3 结 语

远程监测与遥感等领域均会用到图像拼接算法,通过拼接图像,获取更为全面的图像信息,为远程监测与遥感等领域提供更好地服务。为此研究基于全局与局部特征的图像快速拼接算法,有效快速拼接图像,提升图像清晰度,获取更为全面的图像信息;文中算法的全局特征仅针对全局形状特征,并未考虑全局颜色特征,日后还需考虑全局颜色特征,令拼接后的图像更加符合人眼需求。