基于熵驱动域适应学习的弱光照图像阴影去除

李观发，宋文慧

(赣南师范大学科技学院，江西 赣州 341000)

1 引言

图像阴影是图像采集过程中时常出现的一种现象，此现象导致采集的图像发生色彩改变或亮度不足等问题。对含有阴影的图像进行处理时，阴影因素的存在对数字图像处理造成了诸多的干扰。例如，在图像分割过程中，阴影会导致目标图像分割不完整[1-2]。因此，在处理图像阴影问题时，需要增强图像的可视性，并对阴影图像进行光照恢复。图像阴影检测与去除是目前计算机视觉和图像处理领域中非常重要的工作之一，其对有效协助现场恢复与目标识别具有重要作用。目前，阴影去除技术研究中已经取得了一定的成果，但由于阴影具有一定随机性、多样性与复杂性，现有图像阴影去除方法在实际应用中具有一定的局限性，难以满足多种环境条件下应用要求[3]。因此，该领域研究人员对阴影去除方法进行了很多研究，且取得了一定成果。

文献[4]提出基于衰减式生成对抗网络的单幅图像阴影去除方法。该方法针对阴影区域光照衰减程度的蒙版图像质量较差问题，对单幅图像的阴影进行有效的去除。通过衰减器对样本图像进行训练，获取适合的样本阴影图像，将生成器与融合感知有机融合在一起，借助判别器获取最终阴影蒙版，完成图像阴影的去除。该方法可有效提升图像阴影区域的光照，获取的图像效果较好，但该方法针对真实场景下图像阴影的去除效果不佳，存在一定局限性。文献[5]提出设计一种针对多光谱影像的NDVI阴影影响去除模型。该方法针对图像的光照区和太阳辐射区存在的差异，获取该图像的幅亮度；确定图像阴影对NDVI的影响程度，采用归一化暗像元指数确定光照区与阴影区的NDVI关系，在此基础上，构建以光照区植被NDVI为基准的NDVI阴影影响去除模型。该方法有效分析了图像光照区域特征，可提升图像质量，但对图像弱光照条件分析甚少，导致图像在弱光照条件下阴影去除效果欠佳。

针对上述方法中存在的不足，提出一种新的弱光照图像阴影去除方法。该方法将熵驱动域适应学习技术引用其中，对弱光照图像阴影进行去除。与传统去除方法相比具有一定优势。

2 弱光照图像阴影去除方法设计

在弱光照图像阴影去除中，将熵驱动域适应学习技术融入到弱光照图像阴影去除方法中，使用此技术对弱光图像进行预处理，以提升阴影去除过程中的精准度。

2.1 弱光图像的预处理

在弱光照图像阴影去除方法中，为提升图像阴影去除的效果，将通过熵驱动域适应学习技术构建多核分类器，通过此分类器对弱光图像的种类进行划分。在适应学习中，关键在于减少目标图像与其它图像种类之间的数据分布差异。

为了提升图像分类过程中数据处理能力，应用最大平均差异理论[6]，将弱光图像中熵函数阴影数据与正常数据投射在一个再生的二维空间中，根据投影后的两个之间的平均距离比较两者之间存在的差异。阴影图像最大平均差异计算公式为：

(1)

当DIST取值结果接近于零时，两个域在高纬度空间相匹配，即阴影图像两组数据分布较为接近，反之，两组数据匹配度较低。

(2)

其中

(3)

(4)

通过上述获取的矩阵，可对图像中需要修复的位置与其它区域进行划分，实现弱光照图像的预处理，将处理后的图像作为此次阴影去除的基础。

2.2 弱光照图像的光照分解

根据上述处理结果，在此弱光照图像中寻找相应图像像素信息。将图像光照分解设为图像分解与重光照。在对应图像处理过程中，将图像分解过程设定为反射率图、光照图以及深度图三种方式[7-8]。

将处理后的图像设定为Q，对图像的数像素信息进行处理，通过公式的形式对图像像素信息数据进行展示，则有

j=e+w(v，m)

(5)

式中，e、w、v以及m分别表示输入图像Q中反射率层图像e、深度图像v以及光照强度m的对数域图像。

已知光照对数图像w可由光照强度m和深度信息v获得，且在上式中仅有j为已知数据，e与w均为未知数据，反射率对数图像e可通过j与w表示，则有

e=j-w(v，m)

(6)

为降低上述计算难度，通过获取图像最小像素值，完成弱光照图像的分解，即

minimizeg(j-w(v，m))+f(o)+g(l)

(7)

式中，g(*)、f(*)以及s(*)分别表示图像e、深度v以及光照m的代价函数[9-10]。

在此次研究中，使用g(*)以及f(*)的代价约束函数得到反射率对数图像e与深度图像v，利用上述公式，得到光照图，对此光照图展开分解可得到反射率图E与光照图M。

在此基础上，根据图像亮度以及RGB方向相似度[11]建立局部像素在反射率值上的约束，基于局部窗口与全局图像上的全局色彩稀疏，对图像亮度分解过程进行约束。在此约束过程中认定分解过程是将图像反射率的改变作为分解过程的主体，具有相似亮度的像素具有相同的反射率，因此，图像的本征图像可表示为

(8)

通过此公式可得到图像中的亮度估算值，对图像中阴影部分展开分解，同时将分解后的像素值作为阴影去除过程中数据来源。

2.3 弱光照图像阴影去除算法设计

在上述弱光照图像有效分解基础上，设计图像的阴影去除。弱光照图像阴影去除过程如图1 所示。

图1 弱光照图像阴影去除过程

图1中，在弱光照图像阴影去除中采用区域生长法[12]。以检测到的弱光照图像阴影边缘作为基准点，在边缘重合的两侧选择灰度值较重的部分，作为阴影生长起始点，则此区域的灰度值可表示为

(9)

式中，R表示弱光照图像阴影区域的灰度值，n表示弱光照图像阴影区域中的像素点个数，ri表示弱光照图像阴影区域中第i个像素点的灰度值。

在上述获取获取基础上，可得到阴影区域的纹理特征，即

(10)

式中，S表示阴影区域的纹理特征值，b表示区域中的像素点，ui表示弱光照图像阴影区域中第i个像素点的纹理特征向量。

将HSV颜色空间中的色相值与阴影区域中的灰度值组合成为阴影区域的纹理特征值，为便于比较，将此向量设定为1，可表示为

(11)

式中，T为阴影区域R的纹理特征向量，G表示阴影的纹理向量分量。

通过上述分析，获取亮度补偿区域，在阴影区域中，直射光被部分遮挡，且反射光不会受到影响，可得到半影区域，则其光照可表示为

Lx=pLb+La

(12)

式中，p表示直射光在半影区域的折减系数。因此，可将像素点x在阴影区域与光照区域的RGB值表示如下

(13)

通过上述公式可知，像素点x在光照区域的RGB值与其在阴影部分的RGB值存在相应的线性关系，即

(14)

式中，β=η(M)-ε(S)，ε(S)表示阴影区域的所有像素点的RGB均值，ε(S)表示对应区域的方差，则此公式可进一步展开为

(15)

将阴影区域中S与其匹配的非阴影区域M利用光照补偿方法恢复光照去除阴影。

3 仿真分析

3.1 仿真环境

为验证所提方法的科学有效性，进行仿真分析。此次仿真在Maltab 平台上进行，仿真使用的主机配置为Windows XP ，CPU 3.6 GHz、2.8 GHz，8.0 GB 内存，仿真结果数据通过SPSS 13.0 进行统计，对仿真样本数据进行了预处理。

3.2 仿真参数

仿真用的样本图像来自DLL 图像库，具体仿真参数如表1 所示。

表1 仿真参数

实验用样本图像如图2 所示。

图2 实验样本图像

3.3 仿真方案

根据上述仿真环境与参数设定，采用对比的实验方法验证所提方法的有效性。实验通过对比所提方法、衰减式生成对抗网络的图像阴影去除以及多光谱影像NDVI阴影去除方法，以图像阴影去除的效果以及图像阴影边缘提取的精度作为实验指标，验证方法的有效性。

3.4 仿真结果分析

3.4.1 弱光照图像阴影去除效果分析

为验证所提方法的科学有效性，实验采用所提方法、衰减式生成对抗网络的图像阴影去除以及多光谱影像NDVI阴影去除方法对样本图像中的阴影进行去除，去除效果如图3 所示。

图3 不同方法图像阴影去除效果对比

通过上述实验结果可知，在相同实验环境下，三种方法对图像阴影去除的效果存在一定差距。文中设计方法的使用效果在三种方法中阴影的去除效果最佳。其中，衰减式生成对抗网络的图像阴影去除和多光谱影像NDVI阴影去除方法在阴影去除后，部分图像阴影始终存在，且导致亮度异常，在部分细节问题的处理上，对图像阴影的细节部分的处理存在一定缺陷。相较于这两种方法，所提方法没有出现此类问题，阴影去除效果较好，这是由于所提方法通过熵驱动域适应学习技术构建多核分类器，获取弱光照图像的最大平均差异值，对弱光照图像的预处理，并对其特征进行提取，进而提升了阴影去除的效果。

3.4.2 弱光照图像阴影边缘检测精度分析

在弱光照图像阴影去除中，对图像阴影的边缘进行有效的检测，是准确去除图像阴影的关键。实验分析了所提方法、衰减式生成对抗网络的图像阴影去除以及多光谱影像NDVI阴影去除方法对样本图像阴影边缘进行检测，检测精度对比结果如图4 所示：

图4 阴影边缘检测精度

分析图4中实验曲线可以看出，随着迭代次数的不断改变，三种方法对样本图像阴影的边缘进行检测的精度存在一定差别。其中，采用所提方法对弱光照图像阴影边缘检测精度高于其它两种方法，且最高约为99 %，而其它两种方法的检测精度始终低于所提方法。这是由于所提方法将图像光照分解设定为图像分解与重光照，获取图像最小像素值，根据图像亮度以及RGB方向相似度建立局部像素的约束，完成弱光照图像的分解；采用区域生长法，以检测到的弱光照图像阴影边缘作为基准点，选择灰度值较重部分作为阴影生长起始点，确定弱光照图像的纹理特征值，利用光照补偿方法恢复图像光照，进而有效提升了图像阴影边缘的检测精度。

4 结束语

针对弱光照图像阴影去除中存在的不足，通过图像预处理与增强，获取图像中阴影的边缘并对其展开处理。借助熵驱动域适应学习技术，将弱光照图像进行有效的预处理，并通过获取弱光照图像的灰度值等，完成了弱光照图像阴影去除。实验结果表明：采用所提方法对弱光照图像阴影去除的效果更佳，且对弱光照图像阴影边缘检测的精度更高，具有一定优势。但在此次研究中还存在相应的问题，例如数据处理部分受限或是场景处理能力较低等问题。在日后研究中还需对上述问题进行处理，以期完善方法中存在的不足。