高动态范围图像成像技术

2020-12-09白本督刘卫华

西安邮电大学学报 2020年1期

白本督，刘卫华

(西安邮电大学通信与信息工程学院，陕西西安 710121)

数字图像成像质量受制于分辨率和动态范围两大因素。近年来，数字图像成像分辨率的不断提高，现已接近人类视网膜可分辨细节极限，而数字图像成像的动态范围则一直裹步不前。因此，提高数字图像成像动态范围显得愈发迫切。

目前，相机成像传感器单次曝光可捕获最大动态范围不超过3个数量级，动态范围非常有限。采用8 bit每颜色通道存储记录像素值，导致生成的低动态范围图像(low dynamic range,LDR)常会出现过曝光或者欠曝光现象，部分场景信息丢失。高动态范围(high dynamic range,HDR)成像技术弥补了成像传感器动态范围较低的不足，可以精确捕获真实场景的相对辐射亮度，完整地保留场景信息。

高动态范围成像技术包括硬件和软件两种方式。硬件实现方式主要通过设计相机的硬件系统获得高动态范围图像，已有的成像器件像素重排[1]，棱镜[2]或分光镜分光[3-5]，以及多成像设备并行[6]等方法还处于理论研究阶段，距离真正的高动态范围成像还有不少差距。软件实现方法包括单曝光图像高动态范围重建的方法和多曝光图像高动态范围重建的方法。

1 单曝光高动态范围图像重建

单曝光高动态范围重建是通过逆色调映射(inverse tone mapping operator,ITMO)方法，将低动态范围图像重建为相应的高动态范围图像。在单次曝光条件下，逆色调映射方法需要预测或估计真实场景中过曝光或欠曝光部分的缺失信息。因此，如何利用单幅低动态范围图像设计相应的高动态范围响应曲线；如何合理的弥补缺失的欠曝光和过曝光信息等问题是高动态范围图像重建需要解决的难点。目前，单曝光高动态范围重建主要分为基于全局、基于扩展映射和基于深度学习等3类方法。

基于全局的方法是建立单曝光图像相应的全局模型，利用该模型对单曝光低动态范围图像所有像素点进行相同操作。常用的模型有幂函数模型、线性缩放模型、伽马校正模型等。

基于扩展映射的方法[7]主要采用色调映射逆运算对低动态范围图像进行处理，从而生成高动态范围图像，然后检测生成的高动态范围图像的高光区域，估计生成扩展映射并对高动态范围图像插值。文献[8]在文献[7]基础上利用GPU进行加速实现了实时运算。文献[9]采用双边滤波的方法代替文献[8]的高斯函数和边缘终止函数，能一定程度扩大欠曝光和过曝光区域动态范围。

基于深度学习的方法通过大量数据训练解决单曝光图像高动态范围重建问题。文献[10]提出了一种基于深度学习的单曝光图像生成高动态范围图像方法。文献[11]利用U-net网络对单曝光图像过饱和区域训练，重建丢失信息。基于卷积神经网络(convolutional neural network，CNN)方法对单曝光低动态范围图像利用网络生成不同亮度的图像，类似于多曝光模拟，然后合成高动态范围图像[12]。基于生成对抗网络(generative adversarial network,GAN)方法设计了基于U-net的高动态范围图像生成器和基于卷积神经网络的鉴别器，通过对抗训练生成高动态范围图像[13]。文献[14]提出了基于卷积神经网络的多尺度架构生成高动态范围图像。

单曝光图像高动态范围重建方法具有实时性，适用于动态场景，但由于单曝光图像本身在欠曝光和过曝光区域信息缺失，只能弥补部分可视信息，无法从根本上完全重建高动态范围场景。

2 多曝光高动态范围图像重建

多曝光高动态范围图像重建方法是当前HDR成像中捕获场景主要采取的方式，根据是否需要求解相机响应函数(camera response function,CRF)。基于多曝光的高动态范围图像重建算法分为基于辐照度域的高动态范围图像合成和基于图像域的高动态范围图像融合两类方法。

2.1 基于辐照度域的高动态范围图像合成

基于辐照度域的高动态范围图像合成方法使用单部成像设备对同一场景以不同的曝光时间连续拍摄多张LDR图像，通过计算成像设备的响应函数得到真实场景的辐照度图，然后将这些LDR图像在辐照度域合成为一张HDR图像[15-20]。由于目前并没有相应的高动态范围显示终端，因此需要将辐照度域的高动态范围图像进行色调映射，映射到普通显示终端显示。静态场景下基于辐照度域的高动态范围图像合成技术已较为成熟，但在动态场景下高动态范围成像会出现严重的鬼影问题。

为了解决多曝光HDR成像导致的鬼影问题，采用分光的模式并行多个成像单元提高现有单个成像设备的动态范围是一种有效手段。专业设计的多传感器相机[21-22]利用分光器将进入相机镜头的光线分向每个传感器，实现同时包围曝光的目的。由于该方法将入射光分为多束，因此对于亮度高的场景可以实现高质量的HDR成像，但对于亮度低的场景则成像质量不能保证。

多部相机组合的装置[23-26]通过给每部相机设置不同的曝光时间、光圈值或者感光度，实现每部相机的不同曝光，最后同时触发多部相机的快门实现同时单次包围曝光。该方案不局限于高光场景,相对于分光模式成像可应用的自然场景更广。但是由于不同相机的位移差，使得该方法需对获得的包围曝光图像做视差校正(disparity correction)处理。

2.2 基于图像域的高动态范围图像融合

基于图像域的高动态范围图像融合方法直接对不同曝光的低动态范围图像的像素值进行处理，通过对同一坐标不同曝光图像的像素值赋予不同权重，将低动态范围图像进行融合，从而得到相应的高质量伪高动态范围图像。此方法不需要计算相机响应函数，不进行辐射度域高动态范围图像合成，因此也不需要进行色调映射，减小了计算量，并可较好的保留场景中的高亮和极暗区域的细节信息。缺点是动态范围有限，细节不突出。

基于图像域的高动态范围图像融合方法吸收了传统图像融合的理论，应用于多曝光高动态范围图像融合。大体可归结为基于像素、基于多尺度、基于亮度梯度以及基于深度学习等4类方法。

基于像素的图像融合方法的主要思想是将不同曝光的低动态范围图像同一坐标像素加权求和。基于熵理论的多曝光融合算法[27]将输入图像划分为图像块，利用熵理论选取包含信息最多的块。基于概率模型和广义随机游走的多曝光融合算法[28]通过随机游走计算全局最优，利用概率模型保证局部最优。基于双边滤波器的图像融合方法[29]可较好地保留图像边缘信息，但双边滤波需要设置复杂的参数。

基于多尺度的图像融合方法通常使用金字塔分解或小波变换等多分辨率手段处理输入低动态范围图像，使用最大值或平均分解系统组合最终高动态范围结果。金字塔是一种有效的图像融合方案，常用的有高斯金字塔方案和拉普拉斯金字塔方案。从信号的角度来讲，高斯金字塔即多分辨率低通滤波器，拉普拉斯金字塔即多分辨率带通滤波器[30]。1993年，文献[31]将金字塔方法应用于多源图像(红外图像、可见光图像等)融合增强。2007年，文献[32]将金字塔方案应用于多曝光序列图像融合。2012年，文献[33]在金字塔分解的基础上，采用基于向量场的细节提取优化方案，从包围曝光序列提取细节，融合产生更清晰的图像。文献[34]提出基于对比度的图像增强方案，该方法考虑局部对比度与全局对比度的平衡。文献[35]提出基于图像质量感知的方法改进融合算法的性能。2013年，文献[36]提出基于引导滤波的融合方法，该方法在两个尺度利用引导滤波的结果融合图像。2015年，文献[37]提出基于亮度增强和细节提取的多曝光图像融合方法，该方法首先将多曝光图像序列从RGB颜色空间转换到HIS颜色空间，然后在HIS颜色空间进行亮度增强和细节提取，最后采用多尺度融合结果。

基于亮度梯度的图像融合方法通过计算亮度梯度信息测量图像亮度变化进行多曝光图像融合。文献[38]对多曝光图像在RGB空间进行分割，分割为相同尺寸的图像块，然后对这些块计算亮度梯度，依据梯度信息选取信息最大的图像区域，最终合成为高质量的图像。文献[39]提出一种梯度域融合方法。文献[40]在亮度梯度信息的基础上，提出一种基于概率的融合方法。文献[41]提出一种可微逼近的对比度感知图像融合方法。文献[42]提出一种基于相对像素光强和全局梯度的自适应权重多曝光图像融合方法。

随着深度学习技术在图像处理领域的广泛应用，有研究者将深度学习应用于多曝光图像融合。基于卷积神经网络的无监督多曝光图像融合方法[43]可用于静态场景多曝光融合，并提供了一个多曝光融合任务基准数据集。文献[44]提出一种基于卷积神经网络特征提取的多曝光图像融合方法。多曝光图像细节特征提取在多曝光融合任务中计算权值映射扮演了重要角色。利用特定任务的预训练网络提取特征，将基于卷积神经网络用于低级视觉问题的分类网络特征与回归网络特征，设计权值映射，从而进行动态场景多曝光融合。文献[45]提出一种端到端的卷积神经网络多曝光融合框架，该框架是一个轻量化的网络框架。为了降低网络复杂性并在不提高卷积核尺寸情况下提高卷积核的感受野，利用原图像序列分子图像的方法提高邻域像素信息。

3 HDR图像去鬼影

当目标场景中不存在运动目标时，单部成像设备多曝光方法获得的包围曝光图像可能会出现未对齐问题，这种问题通常由相机抖动引起，使用三脚架固定相机拍摄可以缓解。而当场景中存在运动目标时，合成的HDR图像会发生同一个目标出现在不同位置的情况，也就是鬼影。鬼影问题是当前HDR成像中的最大难题，是制约高动态范围成像推广应用的主要屏障。目前，已有的研究大致可分为基于传统图像处理的方法和基于深度学习技术的方法两类。基于传统图像处理的方法[46]包括基于图像配准的方法、基于光流的方法、基于运动区域移除的方法和基于补丁图像块的方法等。

基于动态场景的深度高动态范围成像方法[47]首先对包围曝光图像序列利用光流法配准，然后进行四层无上采样、下采样的卷积网络对配准图像学习融合。文献[48]在文献[47]基础上针对不同尺度特征对鬼影具有不同影响的现象，提出一种基于深度学习的多尺度成像方法。针对文献[47]中采用传统光流法配准的不足，文献[49]采用光流网络进行多曝光图像配准校正，并可基于任意数量多曝光序列进行处理，同时给出了一个更大的用于动态场景多曝光融合的数据集。文献[50]将多曝光融合问题作为图像变换处理，采用无光流的方法针对大的前景运动目标设计网络结构。文献[51]提出基于注意力机制的无鬼影高动态范围成像网络结构，通过引入特殊设计的注意力网络移除鬼影。

目前，针对动态场景高动态范围成像，基于深度学习的方法取得了更好的结果，但也不能完全实现无鬼影的HDR成像。要实现无鬼影的HDR成像除了算法上的改进还需要成像传感器性能上的提高。