基于优化的SURF 算法的图像融合技术∗

陆柳杰 胡广朋 包文祥

（江苏科技大学计算机学院 镇江 212000）

1 引言

视觉、听觉和触觉是人们在日常生活中获取现实场景信息的三种主要方式，在这些获取现实场景信息的主要方式中，通过视觉方式获得的现实场景信息约占70%，是最重要的获取现实场景信息的方式。使用普通照相机采集是现实场景信息获取的最直接方式，但普通照相机受到视角的限制，不能够采集宽视角的无缝高分辨率全景图像。为了满足人们对于宽视角的无缝高分辨率全景图像的需求，目前有三种办法可以解决这一问题，第一种方法是缩放镜头调短照相机的焦距，采用该种办法所采集的全景照片的分辨率相对较低，是通过牺牲图像分辨率来扩大照相机的采集视角，无法满足人们对高分辨率图像的要求；第二种方法是采用鱼眼镜头或者超广角镜头进行采集，可解决部分视角不足问题，但是这些设备价钱昂贵，无法在人们生活中广泛使用，同时鱼眼镜头或者超广角镜头采集的照片边缘存在扭曲畸变问题，这也是鱼眼镜头或者超广角镜头没有广泛普及的原因之一。为了解决前两种方法所带来的问题，科研工作者提出了第三种方法，即图像拼接技术，图像拼接技术指经过图像预处理、图像配准和图像融合将一组相互间具有重合部分的采集图像拼接成宽视角的无缝髙分辨率全景图像，其是近年来发展比较迅速的一口技术，其中图像配准和图像融合是图像拼接技术中核心的组成部分，也是近年来国内外科研工作者研究的重点之一。将现实场景图像进行拼接处理，得到宽视角的无缝高分辨率全景图像甚至是360°的无缝高分辨率全景图像，这样就达到了用普通照相机实现了宽视角场景的拍摄目的。目前所有的图像拼接技术中还没有一种算法能够针对所有类型图像进行图像拼接操作，在拼接计算复杂度方面和拼接鲁棒性方面或多或少都存在着不足，这为以后在这方面的科研工作者带来了挑战，也带来了机遇。目前图像拼接技术在全景漫游系统、全景视频拼接［1］、医学与遥感图像处理等领域都有着广泛的应用。因此，研究图像拼接技术有着重要的意义。

2 降采样预处理法

优化的基于SURF 算法［2］的图像拼接的流程框图如图1所示。如图所示，首先对待拼接图像进行降采样处理，然后根据半图像区域提取特征点［3］并采用SSDA算法进行特征点提纯，最后进行图像融合。

图1 优化的基于SURF算法的图像拼接的流程框图

对于高分辨率待拼接图像，在图像拼接过程中会产生大量冗余特征点［4］，大大増加了图像拼接的计算数据量，在文献中对待拼接图像采用不同的降采样方法和不同的采样系数进行实验对比分析，发现图像降采样率为80%～90%时，能相对传统的SIFT算法减少20%～30%的时间花费。本文采用的思想是以待拼接图像［7］为基准，采用其行像素和列像素大小的平均值与其行像素和列像素大小的最大值和其最小值之和的比的方法对图像进行降采样处理，达到同比例缩小待拼接图像尺寸的作用。在特征点提取之后，利用插值恢复算法进行恢复运算或者在求取变换矩阵时利用采样前变换矩阵［5］与采样后变换矩阵之间的关系性来进行恢复运算，本文采用插值恢复算法［5］对提取的特征点进行恢复运算。设两张待拼接图像的大小分别为a×b 像素、c×d像素，则降采样［6］比例k如式（1）所示:

对于待拼接图像，非重合区域提取出来的特征点是冗余点［7］，在现有的条件下，只有通过目测和拍摄设备拍摄位置关系来估计，无法找到一种确定的方法来区分待拼接图像中重合区域和非重合区域，同时对于超过50%重合区域的待拼接图像进行图像拼接操作的意义不是太大，结合前面所述的两个方面，在本文中采用半图像区域提取特征点法对降采样后的图像进行处理，该方法是在满足图像拼接条件的情况下，找到图像的半图像区域，减少在图像拼接过程中的计算数据量，起到加快图像拼接的速度的作用。对于图像拼接而言，有两种典型的拼接方式，分别为横向拼接和纵向拼接，对于横向拼接，半图像区域如图2 所示，其中黑色区域为拼接时采用的半图像区域。对于纵向拼接，半图像区域如图2 所示，其中黑色区域为拼接所采用的半图像区域。

图2 横向拼接示意图

3 检测图像特征点

3.1 计算图像的Hessian矩阵

SURF 算法是利用近似的Hessian 矩阵检测图像中的特征点的位置，计算Hessian矩阵，首先需要计算输入图像函数（fx，y）的二阶偏导数，Hessian矩阵就是由输入图像函数（fx，y）的二阶偏导数组成的。假定给定待拼接图像I，其中X=（x，y）是待拼接图像中一个像素点，该像素点的Hessian 矩阵［8］如式（2）所示:

其中:Lxx(X,σ)是经过高斯滤波后图像像素点X=（x，y）处在水平方向上的二阶导数的值。 Lyy(X,σ)是经常高斯滤波后图像的像素点X=（x，y）处在垂直方向的二阶导数的数值。 Lyy(X,σ)同样是二阶导数。

Lxx(X,σ)，Lyy(X,σ)，Lyy(X,σ)的计算公式如式（3）、（4）、（5）所示:

Hessian矩阵的行列式如式（6）所示:

为了加快卷积的速度，从David Lowe 用Dog 近似Log的成功做法中的得到启发，采用了盒子型滤波器对上面的模版滤波器进行近似，这样Hession矩阵［9］的行列式有一个近似计算公式如式（7）所示:

其中:w 是调节参数，一般取0.9。如果行列式的结果符号为正，则特征值有相同的符号，该特征点为初选参考点。反之，则剔除该特征点。

3.2 建立尺度空间

尺度空间是用金字塔［18］表示的，David Lowe 在SIFT算法中是这样构造尺度空间的:对原图像不断地进行Gauss 平滑加上图像降采样处理，得到金字塔图像［10］后，再进一步得到了Dog，在Dog上提取特征点，而SURF 算法中的做法与SIFT 是有所不同的，SURF 算法是图像大小保持不变，改变的是Gauss［11］平滑滤波器的大小。

3.3 检测特征点

设定阈值Th，使用3×3×3 的模板在三维尺度空间进行非最大化抑制，根据设定的阈值，当Det(H)＞ Th，而且大于上一层 9 个点、当前层 8 个点、下一层9 个点的所有像素点响应值才被选择为特征点，同时进行插值运算得到精确特征点。

为了特征点对旋转具有适应性，需要对特征点增加方向参数［12］，具体执行过程为，首先，确定以特征点为中心，以6s（s 为特征点的尺度）为半径的圆形区域，同时确定以特征点为中心，角度大小为60°的扇形滑动窗口，让扇形滑动窗口以12°左右围绕特征点旋转，对图像进行Haar 小波响应计算，并对窗口内的图像Haar 小波的响应值进行累加，主方向为最大的Haar响应累加值对应的方向。

4 精匹配法

优化的基于SURF 算法的图像拼接采用最近邻欧氏距离算法进行粗匹配，再采用SSDA 算法进行精匹配，进一步提高特征点匹配精确度［13］，SSDA是Barnea 等于1972 年提出的一种基于灰度出较的特征匹配算法［14］，该算法是在NCC 算法的基础上改进的算法。假设T 表示模板图像，其长为M，宽为N，即模板图像的大小为M×N，T（m，n）表示模板图像位于（m，n）位置处的灰度值，表示子图位于（m，n）位置处的灰度值。

SSDA算法的执行步骤如下:

第一步:定义绝对误差，其计算公式如式（8）所示:

其中:ε(i,j,m,n)表示绝对误差，Si,j(i,j)表示背景图像中像素点（i，j）的灰度值，Sˉ(m,n)表示背景图像中以（m，n）为中也的模板大小为M×N 所覆盖的像素点灰度值的平均值，T（i，j）表示模板图像中像素点（i，j）的灰度值［15］，Tˉ(m,n)表示模板图像中以（m，n）为中心的模板大小为M×N 所覆盖的像素点灰度值的平均值。ˉ(m,n)，ˉ(m,n)的计算公式如式（9），式（10）所示。

利用式（11）计算像素点（i，j）的 I（i，j）值，如果某点的该值最大则将该点定义为匹配点［17］。因为在这点上需要经过多次误差累加后，总的误差才能超过Th。在SSDA［18］算法的实践中，当总误差大于预设的阈值Th时，我们就认为该点不是匹配点，因此，在实际的计算中，有可能不需要计算模板覆盖区域所有像素的误差。当总误差超过阈值Th时，立即停止该位置的计算，开始测试下一个位置，直到找到匹配点。

5 实验结果

我们通过Matlab仿真实验，为了能够明确优化算法和传统算法之间的效率，根据图像拼接的顺序，选择预处理时间、图像特征点提取时间、粗匹配时间、粗匹配率、精匹配时间、精匹配率、图像拼接总时间W及传统算法和优化算法拼接结果图的相关系数NC，一共八个指标进行比较，实验定量比较分析如表1 所示。通过表1 可知，优化算法在图像拼接时间方面具有明显的优势。粗匹配率［19］、精匹配率、W及归一化互相关系数NC的定义如式（12）、（13）、（14）所示。

表1 横向拼接实验定量对比分析表

其中，表1 代表横向拼接［20］实验的定量分析表，从表中可知优化的基于SURF 算法的图像拼接与传统的基于SIFT 算法的图像拼接相比，在图像拼接总时间方面减少了77.67%、76.11%；优化的基于SURF 算法的图像拼接与传统的基于SURF 算法的图像拼接相比，在图像拼接总时间方面减少了65.68%，65.09%。

6 结语

本文提出的优化图像拼接算法，在保证图像拼接质量的同时，缩短了图像拼接时间，为解决图像拼接问题提供了一种新的方法。在文中采用半图像区域提取特征点的依据是非重合区域提取的特征点是冗余点，所以剔除非重合区域有助于减少图像拼接的计算数据量，该方法对于大部分待拼接图像具有可行性，但是对重合区域大于50%的待拼接图像具有一定的局限性，如何找到一种判定待拼接图像重合区域的自适应算法，有待于进一步地探讨和研究。