基于多曝光融合的高动态图像合成算法

李明扬　宫建波　韩可均　崔伟　李振宝　杨志刚　曲世宏

摘要：目前高速列车动车组一级检修中的车侧转向架检查均靠人力完成，使用智能设备代替人工进行检测还存在这很多问题。由于转向架部件结构复杂、高低起伏变化较大等因素导致光照不均匀，传统方法难以直接获得高清图像。本文提出一种基于多曝光融合的高动态图像合成算法，对同一检测部位采集多张不同曝光值的图像，选取每一曝光值下亮度合适的区域组成高清的图像。考虑到采集图像序列時相机姿态和位置可能会发生变动，我们增加了图像配准算法以便于提高图像融合的质量。

关键词：动车组;多曝光;动态图像

一、计算最佳曝光时间和LDR图像序列自适应获取

由于车底的拍摄环境复杂，不同的检测区域的被测物反射特性及工作距离并不完全一致，如果在每一个检测位置都采用相同的曝光值序列获取LDR图像序列，会导致不能完全覆盖对应场景的动态范围。虽然可以设定足够多的曝光值来覆盖所有检测位（比如10个），但是这样会给后续的配准及融合带来巨大的计算开销。因此，需要根据每一个检测位置的实际情况，确定相应的曝光值序列，从而获取合适的LDR序列。

根据以上分析，为了适应转向架上表面多变的拍摄环境，且避免由于使用多幅LDR图像从而导致计算量增加的弊端，本文提出了一种自适应LDR图像序列获取方法，具体流程如下：

（1）使用初始曝光值T0采集一幅图像Image0;

（2）对Image0进行灰度化操作，得到平均亮度Grcy0;

（3）对Image0进行直方图均衡化，得到图像ImageS，并计算平均灰度GreyS;

（4）计算比率w=GreyS/Grey0，并计算新的曝光值T1=w*T0;

（5）重复（1）-（4）步直到曝光时间收敛，收敛的曝光值Tbest;

（6）得到曝光值分布是0.1*Tbest，0.5*Tbest，1*Tbest，2*Tbest。

收敛曲线如图1所示：

二、图像配准原理和方法

在LDR图像序列拍摄时，相机的抖动或被测物的微小位移会给融合图像带来很大的影响，如造成鬼影效果或运动模糊现象。因此，在多曝光融合过程中，配准的精度对融合效果有着很大的影响。当前对于多曝光序列的配准问题，主要有两种思路：基于直方图匹配的配准方法和基于特征点匹配的配准方法。

在基于特征点匹配进行配准的方法中，当前比较流行的特征点描述算子主要有SIFT（ScaleInvariantFeatureTransform），SURF（SpeededUpRobustFeatures），ORB（ORientedBriet）三种。大量的实验已经证明，ORB比SIFT快两个量级，比SURI快10倍[1]。同时，ORB算子还具有旋转不变形和对噪声的抵抗性。但是当LDR序列中需要配准的图像之间的亮度差异过大的时候，ORB和SURF无法提取到足够的特征点，而SIFT对亮度的变化有一定的抵抗性，可得到较为充足的对应点。

这里图像配准采用改进的基于ORB特征的配准方法来解决相机抖动问题。为了提高配准算法的速度和对亮度变化的抵抗力，在进行特征点提取匹配前，引入了直方图均衡化。直方图均衡化通常通过将图像的灰度等级分布的尽量均匀来增强图像的质量，在经过均衡化后，两幅不同亮度的图像之间的差异会降到最低，这样在进行特征点匹配时就基本消除了亮度的影响。

在进行特征点匹配的过程中，劳氏算法[2]用来剔除误匹配点。首先，两幅图像分别提取ORB描述子;然后用汉明距离（HammingDistance）和k近邻（k-nearestneighbor，简称k-NN）方法来选取对应点之间的匹配关系，每一对匹配选取两组备选;然后计算最佳匹配和次最佳匹配之间的差异，如公式（1.1）所示，分别代表两个备选匹配的汉明距离;在本文采取的方法中，当的时候，我们认为该最佳匹配为一个正确的匹配结果。

R=D/D（1.1）

匹配结束后，在获取了足够多的匹配点的情况下，计算两幅图像之间的变换矩阵，如公式（1.2）;在计算该变换矩阵的过程中，我们采用了RANSAC方法来降低重投影误差。

为验证基于ORB和直方图均衡化的配准方法，对采用上述章节方法获取的转向架上表面图像（如图2所示，实验图像均为采用本文第四章构建系统采集的转向架真实图像）进行实验，匹配点提取结果如表1所示。

由实验结果可知，未采用直方图均衡化之前，正确的匹配点对数量较少，特别是在匹配欠曝图像的时候，过少的匹配点无法完成变换矩阵的计算。在运用直方图均衡化后，可以发现，正确匹配的点对数量均增加，满足求取变换矩阵的需求。

三、图像融合算法

在完成转向架上表面日）R图像序列采集及配准后，进行高动态图像合成。经配准后，LDR图像序列已经对齐，问题简化为在静态场景中执行高动态图像合成。本文采用在静态场景下融合效果最佳的基于拉普拉斯金字塔多尺度分解重建的加权平均图像融合方法，图像获取流程如图3所示。高动态范围高清图像获取，主要是为了保证采集到的图像具有良好的亮度和对比度，使人工可以较为轻松地实现判读或复核，也为后续处理提供良好的图像源。

高动态范围高清图像获取涉及软件和硬件两个方面。硬件方面，图像采集系统的光源亮度和相机曝光值具有调节功能，可以根据图像处理计算机发出的指令，实时调整光源亮度和相机曝光值。软件方面，图像处理计算机上运行图像质量实时评价软件，对相机传回的图像进行分析;如果发现拍摄的图像出现过曝（欠曝）现象，无法满足人工到读需求，则根据图像评价标准计算，重新设定拍摄参数，再次拍摄图像;如果依然无法满足拍摄要求，则根据图像评价标准计算得出相应的LDR图像序列，经曝光融合得到最终清晰图像。

其中，图像融合方法采用基于拉普拉斯分解重建的加权融合方法，步骤如下：

（1）配准：首先对获取的，LDR图像进行图像配准，消除由于拍摄过程中相机的抖动引起的融合图像中的图像模糊和鬼影现象。

（2）LDR图像序列质量评价：首先计算图像的对比度C.饱和度S和曝光适度E，然后采用高斯函数对三个通道分别求权值，并将对比度、饱和度和曝光适度相乘得出融合权重分布矩阵。

（3）权值求取：针对每个像素，经历了（2）中的评价指标求取后，将所有的评价指标按公式合成W为第k幅图中（i，j）位置处的最终权值，ω、ω、ω为对应对比度、饱和度、曝光适度的指数，当该指数为，0即表示不采用对应的特征评价。

（4）图像融合：权值归一化后，对图像进行融合，但直接融合会产生融合缝隙，为了解决这个问题，需要进行多尺度的图像融合。首先，将输入图像序列的每幅圖都进行拉普拉斯分解，即在不同尺度上执行带通滤波;然后，在每一个分解尺度上分别执行加权平均融合算法。

（5）对于彩色图像，分别对每个通道进行曝光融合，最终合成彩色图像。

融合方法流程图如图4所示。

如图5所示，为三组在实际动车组现场拍摄的图像，可以看到，经过配准融合后的图像具有良好的视觉效果，能满足人工复核的需求。

四、结论

本文提出本文提出一种基于多曝光融合的高动态图像合成算法，通过曝光值收敛算法，得到最优曝光序列，并通过图像配准将图像进行校正，最终在配准之后的图像序列上应用图像融合算法，得到融合图像。从实验效果可以得出，本文提出的图像融合算法能有效提高动车组图像的动态范围，提高图像质量，为后续的图像故障识别提供良好的基础。

参考文献：

[1]范波.高动态场景的图像融合优化和实时应用[J].中国图像图形学报，2018（06）.

[2]王庆.基于相机阵列的高动态范围图像合成方法[J].计算机应用研究，2018（09）.

[3]李政国.高动态范围成像（英文）[J].西安邮电大学学报，2018（02）.

[4]王宇庆.局部方差在图像质量评价中的应用[J].中国光学，2018（05）.