无人机图像增强方法的研究与实现

赵 潇， 张林华， 黄应年

（云南电网有限责任公司楚雄供电局，云南楚雄 675000）

随着数字图像处理和计算机视觉的不断发展，使用无人机通过巡航方式进行图像采集的应用越来越普遍. 无人机在光照不均的条件下采集的低光照图像具有低照度特征，给后期无人机的高效工作带来很大的不便，在很多大程度上抑制了无人机在图像检测领域的应用与发展. 国内外研究学者对提高图像质量和对比度进行了大量的研究并获得了一定的成果突破，具有显著性成果的算法主要分为以下三类.

1）直方图均衡化是增强图像对比度常见的方法之一，拉伸了图像的灰度级动态范围，提高了图像的对比度，使得图像的目标与背景区分度较大［1］. 直方图均衡化又包括全局直方图均衡［2］和局部直方图均衡［3-5］.局部直方图均衡化的效果较好，目前为止具有突出性的算法包括亮度保持双直方图均衡［6］和最小平均亮度误差双直方图均衡［7］.

2）图像融合技术主要是在一样的环境中使用传感器图像进行互补操作，进行多种图像的特征融合，主要分为两类：一种是基于单幅图像的图像融合，另一种是基于多幅图像的图像融合增强算法. Ancuti等［8］针对图像去雾问题，提出了一种根据单幅图像的多尺度融合的图像增强方法，根据权重图融合增强信息达到图像增强的效果. Liu等［9］将卷积稀疏信号引入了图像融合当中，将图像拆解成了基础层和细节层来达到图像增强的目的. 为提高局部图像区域的轮廓细节的清晰度和颜色保真的效果，徐少平等［10］提出了一种基于深度学习结合图像融合混合的低照度图像增强算法. 芦海利［11］为了解决无人机采集图像的分辨率低的问题，提出了使用特征点检测结合距离加权方法进行图像增强.

3）无人机在快速巡航工作中会采集海量图片，不可避免地会存在对比度较低、分辨率小的缺点. 为解决这一问题，陈花卫和谭文斌［12］提出了基于人眼视觉特性的图像增强算法，通过引入非线性的灰度变换来拉伸图像的灰度值，增强图像的边缘信息. 陈科羽和石书山［13］针对无人机巡检线路时采集图像的对比度较低等问题，提出了一种基于超像素分割的红外图像增强算法. 王浩等［14］为提高无人机海量数据处理的实时性和效率，提出了在GPU平台的Retinex图像增强算法的并行处理. 针对无人机在大雾天气拍摄图像的低质量问题，孙乙丁［15］提出了Retinex算法来达到图像清晰的目的，提高了无人机在高噪声背景下的图像识别和目标检测的能力.韩小强［16］为解决雾霾极端天气图像质量下降的问题，提出了边缘检测的自适应分割算法，结合Sobel边缘检测和大津法OSTU进行分割，最后通过SLIC暗通道实现去雾处理. 周志清［17］为了对无人机采集的图像进行增强，提出了使用改进的Luck-Richardson 算法进行去模糊处理，识别成功准确率达到90%以上. 为了对产品包装外装进行光照补偿，张丽娟和朱会龙［18］对采集的图像进行去噪，使用光照补偿技术进行图像自适应增强. 史韶杰等［19］为了实现CT图像增强，提出了使用多尺度曝光融合的对比度增强算法. 韩守武和康永强［20］为了提高图像采集的质量，提出了使用视觉传达技术的光照干扰图像增强的方法，首先去除图像的亮度分量，然后与图像进行融合处理，结果表明具有较好的图像增强效果. 阮顺领等［21］为了提高煤矿井下图像的质量，采用自适应MSRCP算法进行图像增强，采用粒子群优化算法结合多尺度Retinex算法进行参数调整，图像质量有了显著的提高.

综上所述，现有的图像增强算法虽然在大雾、夜间拍摄条件下的图像质量的提高上有明显效果. 但是至今仍然没有很有效地消除图像的局部曝光不足、光晕和图像的轮廓纹理不清晰等问题. 对此，本研究提出了一种改进的低照度图像增强算法，首先需要对采集的图像使用高斯模糊函数继续平滑实现去噪，然后根据计算得到的亮度系数划分图像的亮暗区域，最后进行亮度的修正，并使用三次快速均值滤波进行去噪. 在大雾和光照不均的条件下各采集了50幅图像进行图像增强算法的有效性验证，以期提高图像增强算法的有效性和鲁棒性，为无人机在恶劣条件下采集的低照度图像提供了一种新的方法.

1 材料与方法

1.1 图像采集

本文中研究的对象是在光照不均的条件下采集的低光照图像，低照度的情况在日常生活中随处可见，比如黄昏、大雾和黎明的情况，无人机在这种条件下采集得到的图像具有低照度特征，其分辨率为2340 像素×1080 像素，共100 张图像. 如图1 所示为在光照不均的条件下采集的图像，从图1（a）中可以看出夜间拍摄的图像周围环境较暗，光照不均匀，图像中的目标细节信息没能足够地突显出来；从图1（b）中可以看出在大雾条件下拍摄的图像整体较暗，对比度较低，这两幅图像不能够很好地进行特征提取.

图1 采集的低照度图像Fig.1 Collected low illumination images

1.2 改进的低照度图像增强算法总体实现方案

改进的低照度图像增强算法总体实现方案流程如图2所示，主要分为四个部分：第一，对采集的低照度图像使用高斯模糊函数进行图像去噪达到平滑的目的，在1.3节作了详细介绍；第二，将低照度图像从RGB颜色空间转换成灰度图像，然后根据计算到的亮度系数划分亮暗区域，在第1.4节作了详细介绍；第三，计算修正系数并进行亮度修正，在第1.5节作了详细介绍；第四，采用三次快速均值滤波进行去噪，在第1.6节作了详细介绍.

图2 改进的图像增强算法总体技术路线流程Fig.2 Overall technical flow chart of improved image enhancement algorithm

1.3 高斯模糊滤波器

无人机在大雾天气和光照不均的环境下采集的低照度图像存在细节轮廓不清晰、曝光不足和效果较差的特点，因此需要对采集的低照度图像进行平滑操作，即平滑滤波.

在数字图像处理技术领域，卷积运算就是使用卷积核对低照度图像的每个像素进行操作运算. 需要对卷积核的权重参数进行初始化. 将卷积核作用于低照度图像，进行从上到下和从左往右的滑动进行运算.如式（1）所示.

式中：(x,y)表示目标图像的像素点坐标；G(x,y)表示卷积运算之后的像素值；r表示卷积核的半径；s(x,y)表示低照度图像的初始像素值；f(u,v)表示卷积核在坐标(u,v)位置的像素值.

高斯模糊函数是以高斯分布的去噪滤波函数，指的是去掉图像的高频部分，从而达到图像平滑目的. 一维高斯分布的概率密度函数如式（2）所示.

式中：w表示高斯卷积核的期望值；σ2表示高斯卷积核的方差值.

1.4 局部亮暗区域的划分

无人机在巡航工作时会出现采集图像从中心向边缘的亮度逐渐变暗，中心与边缘的亮度差异较大. 为了便于后期图像算法的处理，因此需要对低照度图像进行亮暗区域的划分，并通过调整修正系数，使采集的图像亮度进行统一.

在进行亮暗区域划分之前需要将低照度图像转换到YUV颜色空间，颜色空间的转换能够更好地保持原有的色彩结构，可以很大程度上不伤害原有的图像色彩关系.

在欧洲国家，YUV（即YCrCb）颜色空间由一个亮度分量Y和两个色度分量U和V可组成不同的颜色.Y表示明亮度，也就是灰阶值；而U和V表示的则是色度，可以用来描述图像的色彩和饱和度，作用是指定图像像素的颜色. RGB颜色空间转换到YUV颜色空间如式（3）所示.

可以看出YUV颜色空间是通过RGB颜色空间线性转换得到的，因此不会丢失原图像的信息，YUV颜色空间具有将颜色中的亮度信息提取出来的优点，对光照强度的变化适应性强. 因此需要将Y亮度分量进行提取，进行亮暗区域的划分.

主要步骤如下：①首先将原始图像转换到YUV颜色空间，进行Y亮度分量的提取；②获取Y亮度分量的直方图，设置均值点像素值128；③计算亮度分量的像素点偏离均值点（128）的像素值，小于均值低点定义为暗区域，大于均值点定义为亮区域.

1.5 局部亮暗区域的修正

本文是将低照度图像进行Y亮度分量进行提取，然后进行亮度的调整，然后再与U和V色差分量进行融合. 在对Y分量图进行图像变换时，需要使用映射函数将Y分量图矩阵进行变换，转换为亮度调整后的目标图像矩阵.Y分量的像素变换如式（4）所示，经过映射函数变换后的每个像素值都与映射前的同坐标位置的像素值相互对应.

其中：pafter(i,j)表示亮度调整后的像素值；pbefore(i,j)表示亮度调整前的像素值；f( )pbefore(i,j) 表示将亮度调整前的像素值使用映射函数进行变换.

映射函数常用的是线性变换，如式（5）所示，

其中：f(i,j)表示初始图像像素值；g(i,j)表示映射后的像素值；α表示调整的修正系数；β表示调整亮度，也被称为bias偏置值参数.

修正系数表示像素值大小的不同，当乘以alpha系数，当alpha系数较大时，亮度的差异越大，即对比度得到了提高，当alpha系数较小时，亮度的差异越小，即对比度得到了降低. bias偏置值表示在原有亮度值进行相加. 当bias偏置值为正数时，亮度提高，当bias偏置值为负数时，亮度降低.

α修正系数的计算如式（6）所示，也就是将划分后亮的区域部分像素A(xi,yi)与设定的均值点（128）进行像素平均值的计算.

其中，(u,v)表示均值点128所在的像素坐标；n表示亮的区域或暗的区域像素值的个数.

经过线性变换后的图像如图3所示，可以看出将线性函数作为映射函数调整对比度时，云的区域部分视觉看不清晰了，因此需引入非线性变换函数，又叫作Gamma correction，如式（7）所示.

图3 线性变换的效果图Fig.3 Effect images of linear transformation

其中：R表示亮度调整前的像素值；C表示亮度缩放系数；O表示非线性变换后的像素值.

该函数与线性变换函数不同，对不一样的输入图像亮度值，其变换的程度是不同的. 如图4 所示，当γ<1时，表示当前像素属于暗的区域部分，通过非线性变换映射函数会提高图片亮度，当γ>1时，表示当前像素属于亮的区域部分，通过非线性变换映射函数会降低图片亮度. 可以看出白云和线缆变亮的同时仍然保持了初始图像的对比度，边缘和轮廓比较突显.

图4 非线性变换后的效果图Fig.4 Effect images of nonlinear transformation

1.6 快速均值滤波优化算法

为了提高图像处理算法的效率，减小算法计算的时间复杂度，确保算法计算量的快速收敛，因此需要对快速均值滤波算法进行优化处理.

1）积分图. 积分图理论算法由是在1984年由Crow设计的，目的是在透视变换的应用中提高算法运行速度. 积分图算法能够较快地计算图像区域平方和. 该算法的根本原理就是根据每一张图像建立属于自身的积分图查找表，在图像的预处理过程中就可以依据事先建立的积分图查找表快速寻找，以至于达到对均值卷积运算的线性时间，使得卷积运算的时间与窗口尺寸大小无关. 该算法被应用到了基于NCC 的快速匹配、目标识别和SURF角点检测、边缘提取、快速滤波器等各方面.

积分图算法的不足：①对积分图算法的存储空间有了更高的要求；②如果处理的目标对象有大的分辨率，容易导致内存数据的溢出.

积分图是由初始图像进行计算得来的，人为设定初始图像的尺寸是W×H，那么积分图的尺寸大小是（W×1）×（H+1）. 积分图中任意位置坐标（x，y）的像素值，表示在初始图像的坐标（x，y）的左上角坐标的像素值的总和. 和表的建立公式如式（8）所示，平方和表的建立如式（9）所示.

式中：img（x，y）表示初始图像；（x，y）表示积分图中像素的行列坐标.

2）卷积核分离. 根据卷积核分离的理论基础能够对队列原理进行更大的提速. 行列拆开之后，等同于滑动窗口均值滤波作用在了行和列. 在窗口滑动的过程中，相邻的窗口周边的很多元素是重叠的，如图5所示，8、5、10 和5、10、7 其中5 和10 就是重叠的. 滑动窗口的作用过程就相当于“队列”不断进出的过程，当滑动窗口向右进行1个像素移动时候，等同于队列中最左边的像素出队列，队列中最右边的像素进队列，现在位置坐标像素的滤波结果就是目前队列中元素的和再进行平均计算，但前后队列中的元素不需要重复的求和运算，减小重复性的计算来提高计算效率.

图5 队列的滑动窗口示意图Fig.5 Schematic diagram of sliding window of queue

故对第i+1 个窗口进行和运算，Sum[i+1]能够通过第i个窗口的和Sum[i]与最左x[i-r]最右x[i+r+1]的元素计算得到，如式（10）所示，然后就会得到与滤波器大小无关的算法.

其中：Sum 表示求和运算；r表示滤波器半径；i表示第i个窗口；x表示被滤波的元素.

程序中将掩模的尺寸大小设定为3×3，优化之后的均值滤波运算的时间对比如下.

OpenCV 函数运行时间：0.268 4 ms；未经优化的函数运行时间：70.625 1 ms；积分图优化后的函数运行时间：38.074 9 ms；卷积核分离优化后的函数运行时间：43.629 8 ms.

将掩模尺寸大小设定为30×30，算法运行时间如下.

OpenCV 函数运行时间：4.709 ms；未经优化的函数运行时间：63.062 2 ms；积分图优化后的函数运行时间：38.086 3 ms；卷积核分离优化后的函数运行时间：45.367 3 ms.

可以看出：①卷积核分离方法与积分图方法都做到了算法执行时间与滤波器尺寸无关；②积分图的算法比卷积核的分离方法运算效率高.

2 图像质量评价指标

为了对本文的图像增强算法的有效性进行验证，本研究使用仿真环境为Matlab 2015b，本文选用了无人机在夜间拍摄图像、雾雪天气拍摄图像以及夜间城市灯光图像进行仿真对比实验，检查其是否达到标准. 本论文将三组图像分别使用MSRCR 算法和本文图像增强算法进行处理，最终得到的处理后效果再与SSR、MSR和MSRCR算法进行对比，并从主观视觉和客观质量两个方面进行分析验证.

2.1 主观评价

主观评价是一种较简单但是可行和重要的图像质量评价方法，接下来使用本文算法与SSR、MSR 和MSRCR 算法进行图像增强，得到的主观效果如图6 所示. 通过对比分析，可以总结出以下结论：①SSR 图像增强算法容易使测试图像颜色的失真性差，降低测试图像的对比度，并且容易出现测试图像进行过增强；②MSR 常见的缺点是图像边缘得到的锐化能力不够强，图像的阴影边界较为模糊，图像的局部颜色会出现扭曲现象，图像的纹理信息不够清晰，图像的亮光区域部分的轮廓细节没能够得到良好的改善，对图像的亮光区域敏感度较小等；③MSRCR 图像增强算法虽然在一定程度上能够将图像的颜色进行一定的保真，但是图像的边缘轮廓信息不够清晰，容易出现光晕，图像质量较差. 并且图像的视觉效果不好；④本研究改进的图像增强算法视觉效果良好，颜色特征和亮度信息适中，图像的轮廓细节信息和对比度都有所提高，与现有的SSR、MSR 和MSRCR 图像增强算法相比较，本文改进的图像增强算法在视觉上有更好的效果.

图6 低照度彩色图像增强算法效果图Fig.6 Effect images of low illumination color image enhancement algorithms

2.2 客观评价

主观的视觉评价在一定程度上能够对图像增强后的质量效果作出评价，但是评价的可靠性会受到主观色彩的影响，为了能够更好地对本文算法的有效性进行验证，选择了峰值信噪比、平均梯度和信息熵对测试图像进行了客观的评价.

1）在数字图像处理领域，峰值信噪比（PSNR）主要是对图像的质量进行客观评价，主要是衡量图像的噪声和图像失真的情况. 当峰值信噪比越大时，代表图像的噪声越少，图像的失真程度越小，图像的质量更好，如式（11）所示.

其中：MSE表示目标图像的均方差；MSR（R）、MSE（G）和MSE（B）分别表示目标图像的R、G、B颜色分量的均方差；I（i，j）和k（i，j）分别表示图像增强算法前后图像的像素值；m和n分别表示目标图像的宽和高.

2）平均梯度（meangradient）反映了测试图像的边界和影线的灰度差异，更好地体现了图像的细节和轮廓纹理信息. 平均梯度的值越大，那么图像的轮廓信息越清晰，灰度的变化率越大，图像的相对清晰度越大.平均梯度的表达如式（13）所示.

其中：m和n分别表示目标图像的宽和高表示图像的水平位置的梯度；表示图像垂直方向的梯度.

3）信息熵是用来表征信息不确定性的指标. 当信息熵就会越大，那么信息的不确定性越大. 图像处理中，还表示目标图像的平均信息量，当信息熵的值越大，那么图像的信息就会越丰富. 信息熵的表达如式（14）所示.

其中：P(i)表示像素i在目标图像中的概率.

本文算法与SSR、MSR和MSRCR算法的客观比较结果如表1、表2和表3所示.

表1 不同算法对夜间拍摄图像的增强算法结果对比Tab.1 Comparison of different enhancement algorithms for night images

表2 不同算法对大雾拍摄图像的增强算法结果对比Tab.2 Comparison of different enhancement algorithms for fog images

表3 不同算法对夜间灯光拍摄图像的增强算法结果对比Tab.3 Comparison of different enhancement algorithms for night light images

3 结论

本文提出了一种改进的低照度图像增强算法. 该算法首先对采集的低照度图像用高斯模糊函数进行图像去噪，以便对图像边缘进行平滑，然后划分图像的亮暗区域，将无人机采集的RGB图像转换成灰度图像，然后计算灰度像素的均值和方差，通过计算亮度系数划分亮暗区域，最后计算修正系数并进行亮度修正. 根据滑动窗口的像素均值与设定的均值点进行计算得到修正系数，完成图像亮度的修正，并采用三次快速均值滤波进行去噪.

将本文图像增强算法的结果从主观视觉和客观评价指标两个方面与现有的SSR、MSR和MSRCR算法进行对比分析，实验结果表明本文的算法能够有效地改善图像局部亮度、提高图像对比度和保留轮廓边缘纹理信息.