一种提升可见光图像动态范围的多曝光融合方法

蔡鸿志CAⅠHong-zhi；冯书兴FENG Shu-xing；张梁ZHANG Liang

（①航天工程大学，北京 100000；②63811 部队，文昌 571300）

0 引言

航天靶场光学设备用于对火箭飞行实况景象进行记录，提供高质量记录图像用于实时指挥决策与事后分析。夜间发射场景下，可见光图像的分辨率高，细节信息丰富，但其动态范围比较有限，往往难以兼顾场景中较暗的塔架与较亮的发动机部位的曝光成像。而红外相机的成像特点不同，红外相机基于热成像原理，不受背景照度影响，可用性较高，但其分辨率低，且不同图像传感器间还存在配准问题。因此，如何立足可见光图像本身获取更高动态范围的成像值得进一步研究。

可见光高动态范围成像一般采用图像融合方法，图像融合有多尺度变换、稀疏表示、神经网络等方法[1]。基于多尺度变换的方法，需要手工设计特征提取方法和特征融合策略，适用性较差。而稀疏表示的方法则需要采用学习的策略建立完备的字典集，其融合策略仍需要依赖人的经验制定。近年来，神经网络及相关数据集不断发展完善，基于神经网络的方法在图像处理、目标检测识别上取得了突破性进展，其不需要手工设计特征，为图像融合提供了可行的路径[2-6]。

针对靶场可见光图像高动态范围成像问题，本文提出一种基于卷积神经网络的方法，该方法为解决传统图像融合方法的缺陷，一是基于神经网络进行特征提取，而后基于提取后的特征直接相加，由神经网络提取特征权重去决定融合权重；二是在特征提取过程中，在不降低图像特征图分辨率的基础上，最大程度减少特征位置信息的丢失；三是采用对称U 型网络，融合高低层特征信息，提升图像重建质量，并在靶场首区任务中进行了实验。实验表明，本文提出的方法可立足可见光图像本身，采用图像处理的方法获取更高动态范围的成像，具有一定的参考价值。

1 方法

本文提出增强可见光图像动态范围的方法其基本流程如图1 所示。

图1 可见光图像多曝光融合流程图

主要包括以下步骤：

①在开源数据集COCO 上训练编码-解码模型，在这个阶段，特征融合模块不参与训练。

②输入可见光图像，利用灰度非线性变换得到3 张不同曝光程度的可见光图像；

③输入待融合的图像，利用步骤①中离线训练好的编码模块对输入图像分别进行特征提取，得到四个特征提取层的图像1 的特征和图像2 的特征以及图像 3 的特征；

⑤利用步骤①中训练好的解码模块对步骤③中的融合特征进行图像解码重建，得到最终的融合图像。

1.1 编码—解码模型训练

在Tensorflow 深度学习框架中搭建图2 中的图像编码-解码卷积神经网络。

图2 编码—解码卷积神经网络架构图

具体地讲，特征提取网络采用了4 层卷积网络，每一层的卷积核尺寸为[3，3]，卷积步长都为[1，1]，每一层输出的特征图分辨率保持不变都为[256，320]，这样避免了特征提取过程中降采样带来的特征位置信息的丢失，每一层输出的特征图数量都为16。采用密集连接的思想，每一层的输出都前向连接至前面的每一层卷积层，因此，随着卷积层的增加，特征图依次增加为16、32、48、64。图像解码网络，则采用了对称U 型结构，将特征提取模块的特征与重建后图像不断进行叠加，直至重建出最终的融合图像。整个编码-解码卷积神经网络的参数如表1 所示。

表1 编码—解码卷积神经网络参数

该编码-解码模型具有如下优点，一是采用了密集连接思想，每一层的特征都前向传播至每一个网络层，能够自动关联深层和浅层特征，提取丰富的特征信息；二是在特征提取过程中，与密集连接网络的模型结构随着特征提取网络深入，特征图尺寸不断变小不同，本发明的特征提取神经网络结构不进行降采样处理，特征图尺寸保持不变，从而避免了特征位置信息的丢失，最大程度保留更多特征位置信息；第三，在进行图像重建时，采用对称的U 型结构进行高低层特征融合，使得融合图像的信息更加丰富。搭建好模型后，利用COCO2017 数据集训练上述卷积神经网络模型，得到训练好的图像编码-解码神经网络模型。

1.2 特征提取与融合重建

采用非线性灰度变换，对低曝光程度的可见光图像0，进行灰度变换，获得曝光增强的图像1 和图像2。利用步骤①中训练好的图像编码模块分别对输入的不同曝光可见光图像进行特征提取，分别得到不同曝光程度的可见光图像特征图。直接将不同的图像特征图相加，得到融合特征。采用特征相加的策略，相比其他复杂的特征融合策略，算法复杂度更简单，且效果几乎相当。利用步骤①中训练好的解码模块对上一步得到的融合特征进行图像解码重建，重建的过程中，逐渐减少输出特征图的数量，依次减少为64、48、32、1，同时利用对称网络，将本层的特征图与前面的特征提取网络层的特征图叠加，尽可能多地恢复更多的图像信息，得到最终的融合输出图像。

2 融合方法实验

本文首先参考了红外-可见光异源图像融合的方法，特征提取和图像重建部分直接采用了该论文中提供的模型权重。因此模型训练部分不再赘述。

2.1 多曝光图像获取

采用某次夜间任务A 的图像，对其作非线性灰度变换，得到曝光增强后的图像如图3 所示，其中左侧为原图，中间为曝光增强，右侧为再次曝光增强。

图3 任务A 多曝光图像获取

另一次任务B 的图像多曝光图像图4 所示，其中左侧为原图，中间为曝光增强，右侧为再次曝光增强。

图4 任务B 多曝光图像获取

2.2 多曝光图像融合

分别进行特征提取，再进行特征融合，图像重建如图5、图6 所示，其中左侧为原图。

图5 任务A 多曝光融合图像

图6 任务B 多曝光融合图像

从实验结果可以看出，多曝光融合的图像相对于原图，能够表达更多图像细节，增强效果显著。

3 总结

本文针对可见光动态范围提升问题，提出一种多曝光图像融合方法。首先，针对图像特征提取，采用一种基于密集连接思想的卷积神经网络进行特征提取，能够提取丰富的特征信息；其次，在特征提取过程中，与其他图像分类的神经网络持续降采样做法不同，本文提出的特征提取网络模型不进行降采样处理，保持特征图的分辨率不变，从而避免了特征位置信息的丢失；第三，在进行图像重建时，采用对称的U 型结构进行高低层特征的融合，使得融合图像的信息更加丰富；最后，在选取特征融合策略时，不需要复杂的设计，直接选择的简单的特征相加就能达到较好的融合效果。实验表明，本文提出的方法能在一定程度上提升可见光图像的动态范围，获取更高质量的成像，具有一定的参考价值。