基于深度学习的低照度图像增强

仇瑞阳　吴章铭　王宇辰

摘要：该文以深度学习为基础，以增强低照度图像为背景，对图像处理技术展开了研究。在对已有的比较流行的增强技术的研究基础上，对一些步骤进行改善，提出了改进的RetinexNet算法。传统的Retinex算法在处理单张图像时比较好用，但是运算速度比较慢，没办法批量快速处理图像。在对RetinexNet改进之后，该算法能对低照度图像进行较为快速的优化，在增强图像质量的同时改善了图像细节和色彩失真，控制了图像的噪声。

关键词：低照度图像;图像增强;RetinexNet改进算法

中图分类号：TP3        文献标识码：A

文章编号：1009-3044（2022）07-0076-02

近年来，图像处理技术发展迅速。图像处理是指对图像进行分析、加工和处理，使其满足视觉方面需求的一种技术，它也是信号处理在图像领域的一种重要应用。随着计算机技术、人工智能和思维科学研究的迅速发展，图像处理向更高、更深的层次发展。近年来Retinex理论被广泛应用于低照度图像增强领域，同时，借助深度学习这一工具，用Retinex原理设计大规模数据驱动训练模型，可以发挥出“1+1>2”效果。

1 经典理论

1.1 Retinex理论

Retinex[1]理论包括两方面内容：物体对外呈现出的颜色主要由物体的反射性质决定，而与对物体的光照无关;光的照射不均不会影响到物体对外呈现出的颜色，即自然界中的物体颜色具有恒常性。

该理论的基本假设是任何一幅图像都可以分解为反射图像[R]和入射图像[L]，其中入射图像[L]决定了图中像素所能达到的动态范围，而反射图像[R]包含了图像的内在属性，所以Retinex算法的核心就是从图像S中估测并去除L分量，得到原始反射分量R。

比较经典的Retinex算法有单尺度Retinex算法（SSR）和多尺度Retinex算法（MSR）。SSR[2]中将低通高斯滤波器与原来的图像卷积的结果视为原图像的光照分量，而参数[σ]的选择是一个问题，通过实验可以发现，如果[σ]的选值较大，虽然会使得它作用的动态范围较大，但会影响图像的细节信息，使得处理后的图像较为模糊，如果[σ]较小，可以保留图像的细节，但会使得颜色失真。为了弥补SSR算法的不足，MSR算法被提出，该算法能够兼顾动态压缩范围和颜色保真两个要求。

1.2 卷积神经网络与图像处理[3]

深度学习中的卷积神经网络常用于计算机视觉领域，该网络是一类包含卷积计算且具有深度结构的前馈神经网络，对图像和滤波矩阵做内积的操作就是所谓的卷积操作。卷积神经网络利用了輸入图像的局部空间结构，很好地保持了像素的空间关系，在它使用时无须人工对图像进行预处理和特征抽取等复杂操作，并且与普通神经网络相比，[4]它的优点在输入是多维图像时表现得更为明显，它可以使图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。目前在图像处理和图像识别等领域卷积神经网络都有非常广的应用。实际上，将卷积神经网络与低照度图像相结合的技术也不在少数，多数技术虽然能够实现低照度的增强，但是会出现色彩失真、边缘模糊等问题。

2 基本模型

2.1 RetinexNet网络构架

传统的基于Retinex理论的算法处理图像耗时较长，无法实现批量处理低照度图像，2018年发表在BMVC的论文中[5]提出了一种基于Retinex理论的卷积神经网络模型——RetinexNet，解决了相关问题。

RetinexNet可分为分解模型、调整模型和重建三部分，如图1所示。

分解模型实现的是反射分量[R]和光照分量[I]的分解。该模型由5个带ReLU的卷积层构成，输入低/正常光照图像对并共享网络参数，得到低光照图像的反射分量[ Rlow] 和光照分量[ Ilow]以及正常光照图像的反射分量[ Rnormal]和光照分量 [ Inormal]，引入了重建损失、反射分量一致性损失和光照分量平滑损失来构建损失函数。

调整模型主要对低光照图像的反射分量[ Rlow]进行噪声抑制及其光照分量[  Ilow]进行校正，用EnhanceNet增强入射光图像，网络采用编码-解码的整体框架，用多尺度级联方式保持全局光照和上下文信息的一致性，同时对局部光照分布进行重点调整。此外对反射率图像进行去噪，采用了联合去噪BM3D算法对[ Rlow]中被放大的噪声进行抑制。损失函数同样也由重建损失和光照分量平滑损失构成。

重建模型则是根据处理后的反射分量[ Rlow]和光照分量[  Ilow]逐元素相乘恢复出正常光照图像。

2.2 RetinexNet的不足

实际上，在经过多次试验之后，本文发现该网络存在较为严重的色彩失真问题。此外，Retinex理论假设光照在整个图像内平缓变化，而实际图像中边缘区域光照变化比较强烈，导致边缘区域出现光晕现象。同时增强后的图像会出现边缘模糊问题，原因是算法对反射率图像进行平滑滤噪时，损失了细节信息，不能充分提取图像的边缘信息。

3 模型改进

3.1 激活函数改进

分解低照度图像与正常图像时，本算法选择leaky ReLU作为激活函数可以减少静默神经元的出现，允许基于梯度的学习，较好地解决了ReLU函数进入负区间后，导致神经元不学习的问题，这样提高了学习的准确性，Leaky ReLU函数及其导数如下：

本算法a选取0.5。

3.2 损失函数的重构

原网络DecomNet分解网络的损失函数由重建损失、反射分量一致性损失和光照分量平滑损失三部分组成：

其中，重建损失旨在使模型分解出来的反射分量R和光照分量I能够尽可能重建出对应的原图;反射分量一致性损失确保了成对的低/正常光照图像的反射分量R应该尽可能一致;光照分量平滑损失使得光照分量在纹理细节上做到尽可能平滑，同时在整体结构上应该得到较好的保留。

但实际上这样的损失函数对于细节和清晰度的处理较差，且很容易出现失真和噪点过多的问题，因此本算法引入了L1损失函数与MS-SSIM损失函数，并以一定的权重加以约束，得到MS-SSIM+L1混合损失函数，其中MS-SSIM容易导致亮度的改变和颜色的偏差，但它能保留高频信息（图像的边缘和细节），而L1损失函数则能较好地保持亮度和颜色不变化，具体表达式如下：

经过多次实验，a取0.75时效果较好，所以改进后的网络损失函数由[LMix]和[L]共同组成。

3.3 学习率衰减

通过优化器和图像梯度下降法减小损失函数的值实现对模型进行优化，利用adam优化器对损失函数优化，减小损失函数的值，在迭代过程中选择学习率衰减方式，公式如下：

本算法k选择2，迭代数选择每20次迭代进行一次学习率衰减，初始学习率[α0]=0.001。

3.4 反射分量增強

RetinexNet算法对反射率图像进行平滑去噪时，使用了BM3D算法，一定程度上模糊了图像的边缘。为了增强图像的边缘特征信息并还原图像细节，本算法采用图像锐化算法对反射分量进行处理。在众多图像锐化算法中，Laplace算法效果较好，其使用了Laplace算子寻找图像灰度值中二阶微分的过零点检测边缘点。因此，本算法使用Laplace算法对已经进行去噪后的图像做进一步的锐化处理。实验中使用的二维拉普拉丝算法表达式如下：

4 实验结果及分析

如图2所示，经过对比可以发现，在色彩上，改进的网络有着更为良好的照度且色彩失真的问题能够得到一定的改善，使得图像更加贴近原图像，同时在图像细节方面，明显可以发现改进后的网络处理出来的图像噪点下降，对纹理细节和清晰度的还原程度也更高。

5 结束语

RetinexNet在真实场景中捕获的成对的低/正常光图像来构建一个大型数据集，构建了基于Retinex模型的深度学习图像增强模型。通过连续的弱光增强网络对去合成网络进行端到端的训练，使得该框架具有良好的光状态调节能力。

本文所提算法在实验中实现了对于RetinexNet的改进，减少了该模型出现色彩失真的概率，同时经过增强后的图像除图像照度提高外，清晰度和纹理细节也得到了显著的提升。

参考文献：

[1] 李勇.基于Retinex理论的低照度图像增强算法研究与实现[D].西安：西安电子科技大学，2018.

[2] 王彦林，张进.改进成像模型的单尺度Retinex彩色图像增强算法[J].计算机工程与设计，2018，39（11）：3511-3515.

[3] 王彬，高嘉平，司耸涛.基于卷积神经网络的图像分类及应用[J].电子与封装，2021，21（5）：76-80.

[4] 胡伏原，李林燕，尚欣茹，等.基于卷积神经网络的目标检测算法综述[J].苏州科技大学学报（自然科学版），2020，37（2）：1-10，25.

[5] Wei C，Wang W J，Yang W H，et al.Deep retinex decomposition for low-ligh tenhancement[EB/OL].2018：arXiv：1808.04560[cs.CV].https：//arxiv.org/abs/1808.04560

【通联编辑：代影】

收稿日期：2021-09-06

基金项目：2020年江苏省大学生创新训练计划项目（SYB2020001）

作者简介：仇瑞阳（2000—），男，江苏南京人，南京邮电大学本科在读，主要研究方向为通信工程。