相机移动场景下的多曝光图像融合系统设计

孙艳艳，董峰，龚惠兴

（中科院上海技术物理研究所上海200083）

相机移动场景下的多曝光图像融合系统设计

孙艳艳，董峰，龚惠兴

（中科院上海技术物理研究所上海200083）

由于相机和显示设备的动态范围远小于人眼可识别的动态范围，相机获取到的图像往往不能兼顾亮部细节与暗部细节。多曝光图像融合可以解决上述问题，但目前该方法大多基于相机与目标场景相对静止的前提。文中通过结合图像配准和图像融合，实现一个可以处理运动相机拍摄的多曝光图像的融合系统。首先，配准模块提取SURF特征点，进行欧式距离粗匹配；其次，配准模块利用RANSAC算法进行精匹配，提取变换模型参数并进行投影变换以矫正图像；最后，融合模块利用金字塔融合法融合已配准图像。实验结果表明该系统可有效矫正图像空间位置偏差，扩大图像的动态范围，提高图像质量。

图像融合；SURF；RANSAC算法；金字塔融合；多曝光图像

动态范围是场景中亮度最大值与最小值之比。从正午的阳光到暗夜的星光，通过瞳孔调节，人眼可识别的动态范围可达到110 dB。而目前普遍的图像获取设备进行A/D转换时，量化位数仅为8～12 bit，动态范围大约为60 dB，远远窄于人眼可识别的动态范围［1］，因此获取和显示图像时经常陷于亮部细节与暗部细节不可兼得的困境。

高动态范围成像［2-3］（High Dynamic Range Imaging，HDRI）和多曝光图像融合技术［4-5］（Multi-exposure Image Fusion）可以解决以上问题。研究结果表明，后者相比于前者，算法简洁、计算量小、时间和空间复杂度低。但两者都要基于在整个拍摄过程中相机与拍摄场景相对静止的前提下，不适用于相机与拍摄目标有相对移动的图像序列。

为解决以上问题，文中提出一个多曝光图像融合系统，在图像融合之前引入图像配准，矫正拍摄目标的位置偏差，再进行融合处理。

1　多曝光图像融合系统

文中设计的多曝光图像融合系统框图如图1所示。

处理步骤如下：

输入：针对同一拍摄目标的多曝光图像序列，相机与成像目标之间可有相对运动。

输出：位置已校正并经多曝光融合后的图像。

步骤1：对输入图像分别检测SURF特征点，确定各图像的特征点集。

步骤2：选取一张图像作为基准图像，其他作为浮动图像。根据图像的特征点集，先进行SURF特征点的欧氏距离匹配，得到粗匹配结果；然后根据粗匹配结果，利用RANSAC算法进行精匹配，排除外点，并提取浮动图像相对于基准图像的投影变换模型。

图1　多曝光图像融合系统框图

步骤3：依据变换模型将浮动图像变换到基准图像坐标系下，并进行适当的裁剪，保留图像序列的公共部分。

步骤4：对校正后的图像进行金字塔多曝光图像融合，扩展图像的动态范围。

2　基于SURF特征的图像配准

SURF算法是在SIFT算法基础上的优化［6］，具有尺度不变性的优点。相比于后者，SURF算法由于引入积分图像计算和Haar特征，效率更高，有更强的鲁棒性。SURF算法首先利用Hessian矩阵确定候选点，然后进行非极大值抑制，创建描述子。

匹配时，先利用特征点间的欧式距离作为相似性测度进行粗匹配，然后利用RANSAC算法去除外点，提取变换模型。

2.1提取SURF特征点

2.1.1Hessian矩阵构建

Hessian矩阵的定义如式（1）所示：

其中Lxx（x，σ）、Lxy（x，σ）、Lyy（x，σ）是图中像素与高斯函数g的二阶偏导分别进行卷积的结果。

在图像处理中，分别用箱式滤波模板（如图2所示）与原始图像的卷积Dxx，Dxy，Dyy代替Hessian矩阵中的Lxx，Xxy，Xyy。然后按照公式（2）计算Hessian矩阵行列式值，遍历整幅图像，计算每个像素对应的Det（Hessian）值。

图2　箱式滤波模板

2.1.2建立尺度空间

SURF算法通过对图像建立尺度空间，并在各个尺度的图像中寻找SURF特征点，以实现配准算法的尺度不变性。在这个过程中引入积分图像以提高算法效率。图像从原点到某点的矩形区域内像素值之和记为该点在积分图像上的值。计算出原始图像对应的积分图像之后，原始图像中的任意矩形子区域内的积分值均可通过对积分图像值的加减算法来完成，效率大大提高。

区别于SIFT算法，SURF算法改变滤波器的尺度而非原始图像的尺寸，通过对积分图像进行滤波建立图像的尺度空间。得到图像的尺度空间后，在尺度空间的每一层图像用2.2所述方法，利用快速Hessian矩阵来检测图像的候选极值点。

设定阈值，当某点的Det（Hessian）小于该值时，不作处理；否则，取该点所在层及其上下层对应的3×3×3的三维邻域进行非极大值抑制，仅选响应值大于其三维邻域内其它26个点的响应值的点作为特征点。此处所设阈值越小，得到的特征点越多。最后通过对尺度空间插值计算出特征点的准确位置和尺度值［7］。

2.1.3创建特征描述子

为了保证配准算法的旋转不变性，在SURF算法中，统计特征点邻域内的Haar小波特征，而非统计梯度直方图［8］。假设特征点所在的尺度值为S，取Haar小波边长为4 S。以特征点为中心，在半径为6S的邻域内，统计60°扇形区域内所有的点在水平和垂直方向的Haar小波响应总和。并赋高斯权重系数给响应值，使靠近特征点的响应权重大，远离特征点的响应权重小。然后将60°范围内的响应求和形成新的矢量。步长取10°，遍历所选圆形邻域，取最长矢量所指方向为该特征点的主方向。对特征点逐个计算，得到所有特征点的主方向。

取特征点主方向为x（水平）轴正方向，以特征点为中心取边长为20 S的正方形区域。将该区域分为16个子区域，统计每个子区域中x（水平）方向和y（垂直）方向的Haar小波特征：Σdx，Σ|dx|，Σdy和Σ|dy|。定义四维向量V=（Σdx，Σ|dx|，Σ dy，Σ|dy|）。将16个子区域的V向量分别加入到特征向量中，形成16×4维的特征向量。

2.2特征匹配

2.2.1欧氏距离粗匹配

将每幅图中的特征点按照其对应Hessian矩阵的迹的符号，分为两类：符号为正的表示暗背景上的亮点，反之则为亮背景上的暗点。匹配时仅将同类型的特征点进行比较，以减小计算量。

利用欧氏距离作为相似性测度进行匹配时，在浮动图像特征点集中任取一点，计算其特征向量V到基准图像同类型的所有特征点的欧氏距离。如果最小距离dmin与次最小距离dsubmin之比小于指定阈值，则认为两特征点匹配，否则没有与之相匹配的点。遍历浮动图像的特征点集合，计算出匹配点集。所设阈值越小，则匹配点对越少，同时匹配鲁棒性更强。

2.2.2RANSAC精匹配

得到粗匹配点集后，利用RANSAC算法剔除误匹配点对，并计算变换模型［9］。为使系统适用于平移、旋转、缩放、投影多种变换，本文选用投影变换作为变换模型。RANSAC算法步骤如下：

1）在匹配点集中任取4对任3点不共线的匹配点对，计算变换模型H的参数；

2）将其他点对适应变换模型H，计算误差。若误差小于一个像素，则认为该点为内点，否则判定为外点；

3）统计变换模型H下内点的数量；

4）重复步骤1）至3），选择内点数量最多的变换模型作为最终变换模型。若内点数量总小于总数的三分之一，则匹配失败。

2.3浮动图像矫正和裁剪

得到变换模型后，利用后向映射法，通过双线性插值，将浮动图像的成像目标矫正到与基准图像重合，便于之后进行多曝光图像融合。

3　多曝光图像融合

多曝光图像融合是采用融合的方法，将几幅图像中不同曝光时间获得的细节集合到一张图像上［10］，本文采用金字塔融合法［11-12］。根据对比度、色彩饱和度、曝光良好度对图像序列中各幅图像的每个像素计算权重，形成权重图。将每幅图像的权重图和原始图像分别进行高斯金字塔和拉普拉斯金字塔分解，每层按像素相乘，得到融合金字塔。对融合金字塔反变换，重建出融合后图像。

3.1权重图计算

将图像数据归一化至区间［0，1］，便于处理。对于灰度图像，可只采用对比度和曝光良好度两个测度计算权重。对原始图像进行拉普拉斯滤波并取绝对值，作为拉普拉斯模板中心对应像素点的对比度值。利用亮度值靠近0.5的程度来判断该点的曝光良好程度。曝光良好度公式如式（3）所示：

其中E（i，j）和V（i，j）分别为点（i，j）的曝光良好度和亮度值。点（i，j）的权重值计算公式如式（4）：

其中［C（i，j）和E（i，j）分别表示点（i，j）的对比度值和曝光良好度值，WC和WE分别表示对以上两个度量的权重，一般均取1。

得到每幅图的权重图后将其归一化，使所有权重图同一点的权重值之和为1。

3.2高斯金字塔和拉普拉斯金字塔

3.2.1高斯金字塔

高斯金字塔的形成过程是对图像高斯模糊，再进行降2采样，每一层图像都是上一层图像大小的四分之一。若采用5×5高斯模板w（m，n）进行分解，过程如式（5）所示：

其中Lev为高斯金字塔的层数，Gl为高斯金字塔第l层图像数据，Cl和Rl分别表示第l层图像数据的列数和行数，w（m，n）为高斯模板的第m行n列数值。

在本算法中，基于权重图建立高斯金字塔。由于权重图中每个点都是单独计算权重，对噪声比较敏感。在高斯模糊的过程中，平滑滤波可以降低噪声的影响，使得算法更稳健。

3.2.2拉普拉斯金字塔

拉普拉斯金字塔又称为高斯不同金字塔［13］。在高斯模糊的过程中会丢失细节信息，因此引入拉普拉斯金字塔。对拉普拉斯金字塔第l层图像Il-1按式（5）高斯模糊并下采样得到图像Gl。对进Gl行上采样，得到高斯近似图像I*l，过程如式（6）所示：

其中Z为整数集。

Gl与I*l两者相减即得到拉普拉斯金字塔第l层图像。在拉普拉斯最后一层保留上一层图像的高斯模糊下采样图像，便于恢复图像，如式（7）所示：

3.3融合和重建图像

假设待融合图像共有M幅。融合过程如式（8）所示：

Gk，i和Lk，i分别表示第k幅图像的高斯金字塔和拉普拉斯金字塔的第i层图像数据，运算符⊗表示两幅图像按像素对应位置相乘，相乘结果Fi为融合金字塔的第i层数据。

得到融合金字塔后，依据式（6），从第Lev-1层图像数据开始进行上采样，并与下一层图像数据合并，直至重建出融合图像。合并过程如式（9）所示：

其中upsample（·）表示对自变量按照式（6）上采样，R为重建的融合图像。

4　实验结果

为验证系统正确性，在Visual Studio 2013平台上进行实验。计算机处理器为Corel i7系列，主频3.4 GHz，内存8 G。实验所用图像为1024×1024灰度图像，如图3所示，图中（a）、（b）、（c）曝光时间依次缩短。

图3　输入图像

图4　实验结果

融合结果如图4所示，（a）、（b）、（c）分别为3幅输入图像经配准、映射和裁切后的图像，图4（d）为前3幅经图像融合后的输出图像。

从主观视觉上分析，由于3幅图像配准精确，特征点对应良好，所以融合后图像细节清晰，修正了图4（a）的曝光过度部分和图4（c）的曝光不足部分，且相比图4（b）在对比度方面有所提升。

图5所示为融合步骤中输入输出图像直方图。由图可知，输入图像1灰度分布大体较为均匀，但在灰度轴最右端有较高凸起，说明图像有高光溢出，亮部细节有丢失；输入图像2和3的直方图主峰值偏左，图像整体偏暗，会导致降低对比度甚至丢失暗部细节；融合图像的直方图显示灰度分布均匀，主峰靠中，过暗和过亮部分像素数量极少，达到较好的融合效果。

图5　输入输出图像直方图

表1所示为6组实验的结果，表中所列为融合前后图像的信息熵对比。其中第一组实验与图4所示为同一组。图像信息熵是评价图像质量的一个常用指标，反映了图像中所包含的信息量的多少［14-15］。由对比结果可知，系统提高了图像的信息熵，有效改善图像质量。

表1　原始图像与多曝光融合后图像的信息熵

5　结束语

本文将图像配准和多曝光图像融合相结合，实现了一个多曝光图像融合系统，可用于处理相机与成像目标有相对移动的图像序列。系统基于SURF特征点和RANSAC算法进行图像配准，配准精度高，可有效矫正图像。通过基于金字塔分解的多曝光图像融合算法，扩大了融合图像动态范围，使融合图像保留更多细节，图像质量得到改善。

［1］唐艳秋，张星祥，李新娥，等.基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法［J］.液晶与显示，2012，27（3）:385-390.

［2］伍世虔，李政国.高动态范围成像（英文）［J］.西安邮电大学学报，2013，18（2）:1-13.

［3］张军，戴霞，孙德权，等.不同曝光值图像的直接融合方法［J］.软件学报，2011，22（4）:813-825.

［4］Goshtasby A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（8）:611-618.

［5］LI Xiao-guang，LI Feng-hui，ZHUO Li，et al.Layered-based exposure fusion algorithm［J］.IET Image Processing，2013，7（7）:701-711.

［6］Herbert Bay，Andreas Ess，Tinne Tuytelaars，et al.SURF: Speeded up robust features［J］.Computer Vision and Image Understanding（CVIU），2008，110（3）:346-359.

［7］赵璐璐，耿国华，李康，等.基于SURF和快速近似最近邻搜索的图像匹配算法［J］.计算机应用研究，2013，30（3）:921-923.

［8］吴一全，陶飞翔，曹照清.利用双树复小波变换和SURF的图像配准算法［J］.系统工程与电子技术，2014，36（5）:997-1003.

［9］纪利娥，陈磊.结合SURF特征和RANSAC算法的图像配准方法［J］.传感器世界，2013，19（10）:9-12.

［10］胡燕翔，万莉.大动态范围多曝光图像融合方法［J］.计算机工程与应用，2014，50（1）:153-155.

［11］江铁，朱桂斌，孙奥.基于金字塔变换的多曝光图像融合［J］.计算机技术与发展，2013，23（1）:95-98.

［12］Mertens T，Kautz J，Van Reeth F.Exposure fusion［C］//Proceedings of Pacific Graphics 2007，Hawaii:IEEE Computer Society，2007:382-390.

［13］SHEN Jianbing，ZHAO Ying，YAN Shuicheng，et al.Exposure fusion using boosting Laplacian pyramid［J］.IEEE Trans-action on Cybernetics，2014，44（9）:1579-1590.

［14］黄君.图像质量评价的研究［D］.浙江:浙江理工大学，2012.

［15］高绍姝，金伟其，王岭雪，等.图像融合质量客观评价方法［J］.应用光学，2011，32（4）:671-677.

Design of a multi-exposure image fusion system under the moving camera scene

SUN Yan-yan，DONG Feng，GONG Hui-xing
（Shanghai Institute of Technical Physics of the Chinese Academy of Sciences，Shanghai 200083，China）

The dynamic range of cameras or display devices is often lower than that of human eyes，therefore images captured by normal cameras are often lack of details in the dark or highlight areas，which can be addressed by multi-exposure image fusion methods.However，almost all these methods are based on the premise that the camera should be relatively static to the target scene.In this research，a system that can proceed images captured by a moving camera is proposed.Firstly，the registration module extracts SURF features from the images and performs a rough match based on Euclidean distance. Secondly，the registration module matches the feature points precisely by using RANSAC algorithm，computes projective transformation model and implements registration.Finally，the fusion module fuses the registered multi-exposure images by using multi-resolution pyramid fusion method.Experimental results indicate that the proposed system can rectify the spatial deviation，expand the dynamic range of fused image and improve its quality effectively.

image fusion；SURF；RANSAC algorithm；pyramid fusion；multi-exposure image

TN919.82

A

1674－6236（2016）12-0152-04

2016-03-14稿件编号：201603159

863军口项目（2014AA8111001）

孙艳艳（1989—），女，河南洛阳人，硕士研究生。研究方向：数字图像处理。