基于简单线性迭代聚类优化的无人机图像去雾算法及其在风电场中的应用

刘厦，孙哲，仇梓峰*，胡炎

基于简单线性迭代聚类优化的无人机图像去雾算法及其在风电场中的应用

刘厦1,3，孙哲2，仇梓峰1,3*，胡炎3

（1．中国电子科技集团公司第五十四研究所，河北省 石家庄市 050081；2．海装驻邯郸地区军事代表室，河北省 石家庄市 050081；3．中国电子科技集团公司航天信息应用技术重点实验室，河北省 石家庄市 050081）

针对电力巡检过程中无人机(unmanned aerial vehicle，UAV)载荷因受雾气颗粒影响而导致UAV图像不清晰的问题，提出一种基于简单线性迭代聚类(simple linear iterative clustering，SLIC)优化的UAV图像去雾算法。通过雾天成像物理模型、暗通道先验定律、同质滤波与SLIC算法，改善电力巡检图像中白色区域及不均匀光照的影响，提升UAV图像去雾处理的效率，并对大气光强度参数进行自适应计算，以防止去雾过程中复原失真。实验结果表明提出的算法可有效恢复电力巡检图像的原始细节，并通过主观视觉评估及融合多种客观评价指标的对比，说明该算法相对于传统算法的优越性。

风电场；电力巡检；图像去雾；同质滤波；简单线性迭代聚类(SLIC)

0 引言

电力线路是输送电能的重要组成部分，对电力线路进行定期的巡检十分必要[1-2]。目前，已出现将无人机(unmanned aerial vehicle，UAV)遥感技术应用于电力巡检的案例[3-6]，可以大幅提高巡检效率和安全性。在无人机对电力线路进行高空巡检时，必须保证其携带载荷能够在电力线路所经过地带的复杂环境中采集到清晰的图像数据，以免影响后续目标的检测和识别。但在雾霾天气中存在较多的雾气颗粒，UAV的成像系统会受到颗粒的反射、散射、吸收自然光的影响，从而造成UAV图像质量的下降，严重影响了后续巡检任务的完成[7]。因此，在电力巡检领域中，对UAV图像进行去雾算法的研究具有重要意义。

对图像进行去雾处理是计算机视觉中的一个重要任务，目前去雾方法主要分为基于图像表面增强和内在物理大气模型2种方法[8]。前者对图像中的显著区域进行突出，并通过增强多种色彩信息来实现图像去雾，主要方法有直方图均衡化增强算法[9]、小波变换去雾算法[10]、视网膜大脑皮质论去雾算法[11]等，此类算法未考虑有雾图像的内在成因，虽然具有较快的处理速度，但会丢失图像的细节信息[12]。后者对图像的内在物理大气模型进行研究，主要分为基于多幅图像的去雾算法及基于单幅图像的去雾算法，此类算法对雾霾天气下的成像原理进行剖析，去雾效果良好，得到了广泛的应用和研究。

基于多幅图像的去雾算法主要取决于附加信息的深度或对同一场景的多次观察。FANG等[13]根据散射光的不同偏振特性，使用2个或多个具有不同偏振度的相同场景图像来恢复场景深度图像。KOPF等[14]采用图像的景深信息进行除雾。NARASIMHAN等[15]提出了一种基于物理大气散射的模型来恢复图像内在结构。基于多幅图像的去雾算法依赖于图像之间的附加信息，未对图像雾气的成因进行深入分析，存在一定的局限性。

基于单幅图像的去雾算法结合先验统计知识，并将雾度和其他杂质作为图像退化的主要原因，利用大气环境下成像的概念，根据大气散射生成退化模型。FATTAL[16]通过考虑表面投影和光透射的不相关性来估计场景透射率。MENG等[17]通过使用上下文正则化加权L1范数限制边界的传递函数来建立模型。HE等[18]提出了一种暗通道先验(dark channel prior)方法，认为大多数没有雾块的自然图像通常在色彩通道的一个小像素内包含一些亮度值，称为先验暗通道。基于单幅图像的去雾算法深入分析了图像中雾气存在的原因，涌现出多种有效可行的去雾理论方法，其中暗通道先验方法具有较强的实用性。

暗通道先验方法将现有知识与软消光算法相结合，可以简单而有效地恢复大部分雾度图像，但当场景中有白色物体存在或接近大气光学特性时，去雾效果将有所降低。基于HE的去雾算法，研究人员提出了颜色转移算法、双边滤波算法、贝叶斯优化方法等多种改进方法[19-21]，但是在电力巡检时场景多变，输电线路、风力发电机图像中常出现大片白色区域，现有基于先验暗通道的衍生算法均表现不佳，有必要对其进行改进优化。

针对电力巡检中的复杂图像，并考虑去雾过程中白色区域的影响，本文提出一种利用同质滤波算子来改善UAV图像，并采用简单线性迭代聚类(simple linear iterative clustering，SLIC)优化导向滤波计算方法的去雾算法。

1 图像去雾处理模型

1.1 雾天成像物理模型

在天气中存在雾霾因素时，物体表面上的光在传播到UAV载荷的过程中会被漂浮在空气中的雾霾颗粒散射，并伴随传输过程而不断衰减。基于此规则，在雾天成像中描述图像退化过程的大气散射物理模型表示为

式中：()为UAV载荷拍摄到的原始有雾图像；eg为衰减退化模型，代表光传播在透射悬浮颗粒中的衰减退化过程，可表示为

其中()为待复原的清晰图像，()为大气透射参数率；L为大气光模型，代表整体大气全光路的散射作用，可表示为

1.2 暗通道先验模型

暗通道先验模型[22]是一种基于大量室外无雾图像统计数据的定律：在绝大多数图像的局部区域中，总有一些像素存在至少一个低值的色彩通道，可表示为

式中：c()为原始图像中的色彩通道；()为以为中心的像素区域；dark()为暗通道像素值，存在于Î{,,}中的最小值。

暗通道先验方法通过以下2个假设条件进行去雾：1）假设图像传输和暗通道信息的图像在局部小尺度上是一致的；2）假设大气光为恒定值。根据式(1)将两侧算子最小化，可得

将式(5)除以大气光强度参数值，并计算其暗通道，可得

由暗通道先验定律可知，无雾条件下的暗通道值()接近于0，大气光强度参数值通常是一个相对较大的值，则由式(6)可得出大气透射参数率：

式中c为去雾控制阈值，本文设置为0.11，可有效防止()趋于0时导致的雾图噪声化。

1.3 SLIC超像素分割

SLIC算法[23]根据像素颜色与距离相似度进行分割，具有效率高且生成的超像素块大小均致、轮廓规则等优点，广泛应用于无人机、遥感检测等图像分割中。原始的SLIC超像素分割算法步骤为：1）根据图像大小划分网格并初始化聚类中心；2）在相邻区间中移动聚类中心到最小梯度位置；3）在每个聚类中心附近空间相邻区域内，由距离测量公式设置最佳匹配像素；4）计算新聚类中心误差，满足阈值后强制连通性。其中所涉及的距离测量如下：

2 基于SLIC优化的去雾算法

2.1 改进的同质滤波算法

为了消除白色区域的影响并增强图像细节，将基于频域的同质滤波算法[24]用于初期图像处理，可保证高亮显示的图像质量，同时增强图像细节。

图像的同质滤波建立在基于入射光和反射光的图像模型上。将图像函数(,)表示为照明函数(,)和反射函数(,)的乘积，图像模型及其取值范围如下：

通过对式(12)取对数、傅里叶变换频域、选取滤波函数来控制右侧分量，可得滤波结果：

式中：(,)、(,)、(,)分别为(,)、(,)、(,)的频域函数；(,)为滤波函数，常用高斯型、巴特沃斯型滤波函数，但其参数较多且计算复杂。

本文提出一种改进的同质滤波函数：

式中：(,)为频率点(,)到滤波器中心点的距离；和的取值范围分别为0.7££1.4和0.01££0.5。改进的同质滤波算法取=1.06，=0.35，由此得到的滤波效果如图1所示。

图1 同质滤波效果对比

由图1可知，使用同质滤波算法对原图的光照补偿均有一定的增强效果，但是图1(b)增加了很多噪声；而在图1(c)中，其白色区域亮度得到较大改善且提升了整体亮度及清晰度，证明了改进的同质滤波算法的优越性。

2.2 基于SLIC的导向滤波改进算法

1.2节中使用软抠图算法对()进行细化，使时间复杂度有所增加，可使用导向滤波算法[25]提高处理速度和()计算的准确度，并结合降维的SLIC算法对导向滤波算法进行优化改进。

导向滤波是一种可对边缘进行保持的平滑滤波器，可以对背景进行有效平滑并保持图像的边缘细节，其滤波表达式如下：

式中：表示输出图像；表示导向图像；表示输入图像；为窗口半径；为窗口像素；为正则化系数；a和b为窗口常系数；w表示滤波窗口，w的约束方程为

通过对约束方程取最小值来使输入、输出图像之间的偏差最小，得到的常规系数a和b分别表示如下：

导向滤波窗口w位于局部小区域中，类似于SLIC中聚类中心附近的超像素块。本文将SLIC算法中的超像素块代替w，对每个超像素区域进行式(20)与(21)的计算，并降低SLIC的特征维度，如式(22)、(23)所示。

式中：表示SLIC的超像素块；为每个像素点与聚类中心的距离；D为灰度特征距离；D为空间特征距离；g和g分别为、点的灰度颜色空间坐标。

由图2可知，利用基于SLIC的导向滤波改进算法对()的计算进行优化，使细节轮廓清晰化，接近于原始图像。

2.3 优化后的图像去雾算法

图3 基于SLIC优化的UAV图像去雾算法流程图

3 实验结果及分析

3.1 主观评估

对输电线路进行电力巡检的UAV图像去雾处理结果如图4所示，图4(a)是在雾霾环境下拍摄的原图，图4(b)—(d)分别为使用本文算法、HE算法[18]及PEI算法[19]对原图进行去雾后的图像。由图4可看出，HE算法对原图的对比度有所增强，但部分区域存在光晕及块效应；PEI算法减弱了光晕效应，但整体颜色偏暗；本文算法的处理效果整体通透，复原了真实场景颜色，且去除了白色区域的影响，使得输电塔的边缘细节更为清晰。

图4 输电线路去雾处理结果

为进一步验证本文算法的适用性，对电力巡检中的风力发电机图像进行去雾处理，如图5所示。由图5可知，HE算法对近景区域的去雾效果不佳，且去雾后的整体明亮度降低；PEI算法在一定程度上改善了原图的雾度，但是图像白色区域附近存在细节信息丢失，天空区域也存在一些噪点；而本文算法考虑到白色区域的影响，复原后的图像去雾效果较为彻底，风力发电机细节清晰，视觉效果良好。

3.2 客观评估

去雾算法的客观评估是基于数学模型得到的量化指标，可以对实验结果进行更加准确的衡量。本文采用对比度、色偏度及信息熵3个指标对3种算法进行评估，各指标的计算公式如下：

式中：为对比度，表示图像细节的表达能力；()表示像素点的亮度；为像素点个数；为色偏度，表示颜色的偏离程度；、分别为空间中、的均值；为空间中的均方差；th为偏离阈值；N为信息熵，表示图像信息的丰富程度；为灰度级数；()为灰度级的分布概率。

以上3个指标中，与N越大、越小，表明图像去雾后的整体质量越优。使用本文算法、HE算法及PEI算法对图4、5中的图像各指标进行计算并统计，结果如表1所示，其中粗体为各指标的最佳值。

由表1可知，与HE、PEI算法相比，本文算法显著提升了原图的对比度，并有效降低了非一致性颜色偏离程度；同时本文算法的信息熵值均最大，说明可明显去除电力巡检UAV图像的雾气，并复原图像中的大量细节信息。3种算法的去雾处理时间如表2所示，可见本文算法可有效提升去雾算法的计算效率，降低处理时间。

表1 3种算法的去雾性能客观评估

表2 3种算法的去雾处理时间

4 结论

针对无人机在电力巡检过程中采集图像的特点，使用同质滤波、SLIC、导向滤波等算法，对单幅图像去雾算法进行了适应性优化，有效解决了UAV图像中白色区域及不均匀光照对去雾过程的影响，并通过对多种参数的优化加快了去雾算法的处理速度。实验结果表明：在多种电力巡检场景下，所提算法在主观视觉评估和客观参数指标上均比传统算法表现好。下一步，将结合多样化及晴天条件下的电力巡检过程，对复杂背景下的UAV图像进行更加深入的去雾研究。

[1]宋慧娟．基于混合现实的人工智能在电力巡检中的应用[J]．电网与清洁能源，2020，36(2)：75-79．

SONG H J．Application of the artificial intelligence based on mixed reality in power patrol inspection service[J]．Power System and Clean Energy，2020，36(2)：75-79．

[2]孙旭日，李延真，彭博，等．基于生成对抗网络和深度残差神经网络的变电站异物检测[J]．电网与清洁能源，2020，36(9)：68-75．

SUN X R，LI Y Z，PENG B，et al．Substation foreign object detection based on generative adversarial network and deep residual neural network[J]．Power System and Clean Energy，2020，36(9)：68-75．

[3]杨东升，王道浩，周博文，等．泛在电力物联网的关键技术与应用前景[J]．发电技术，2019，40(2)：107-114．

YANG D S，WANG D H，ZHOU B W，et al．Key technologies and application prospects of ubiquitous power internet of things[J]．Power Generation Technology，2019，40(2)：107-114．

[4]彭福先，张玮，祝晓军，等．基于激光点云精确定位的输电线路无人机自主巡检系统研究[J]．智慧电力，2019，47(7)：117-122．

PENG F X，ZHANG W，ZHU X J，et al．Autonomous patrol and inspection system of unmanned aerial vehicle for electric transmission lines based on precise positioning of laser point cloud[J]．Smart Power，2019，47(7)：117-122．

[5]仇梓峰，王爽心，李蒙．基于无人机图像的风力发电机叶片缺陷识别[J]．发电技术，2018，39(3)：277-285．

QIU Z F，WANG S X，LI M．Defect detection of wind turbine blade based on unmanned aerial vehicle-taken images[J]．Power Generation Technology，2018，39(3)：277-285．

[6]毛天奇，王传策，李云，等．基于SGC算法的复杂背景无人机巡检图像输电线提取方法[J]．智慧电力，2018，46(12)：105-111．

MAO T Q，WANG C C，LI Y，et al．Transmission line extraction method based on SGC stereo matching algorithm for UAV inspection image under complex background[J]．Smart Power，2018，46(12)：105-111．

[7]王丹，李建岐，廖斌．基于优化去雾算法的配网开关状态视频识别技术研究[J]．电力信息与通信技术，2017，15(10)：31-37．

WANG D，LI J Q，LIAO B．Research on video recognition technology of distribution switch based on optimized defogging algorithm[J]．Electric Power Information and Communication Technology，2017，15(10)：31-37．

[8]禹晶，徐东彬，廖庆敏．图像去雾技术研究进展[J]．中国图象图形学报，2011，16(9)：1561-1576．

YU J，XU D B，LIAO Q M．Image defogging：a survey[J]．Journal of Image and Graphics，2011，16(9)：1561-1576．

[9]KIM J Y，KIM L S，HWANG S H．An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]．IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4)：475-484．

[10]XIE C H，QIAO W W，ZHANG X X，et al．Single image dehazing algorithm using wavelet decomposition and fast kernel regression model[J]．Journal of Electronic Imaging，2016，25(4)：43-58．

[11]肖胜笔，李燕．具有颜色保真性的快速多尺度Retinex去雾算法[J]．计算机工程与应用，2015，51(6)：176-180．

XIAO S B，LI Y．Fast multiscale Retinex algorithm of image haze removal with color fidelity[J]．Computer Engineering and Applications，2015，51(6)：176-180．

[12]GAO Y K，CHEN H Y，LI H B，et al．Single image dehazing using local linear fusion[J]．IET Image Processing，2018，12(5)：637-643．

[13]FANG S，XIA X S，HUO X，et al．Image dehazing using polarization effects of objects and airlight[J]．Optics Express，2014，22(16)：195-211．

[14]KOPF J，NEUBERT B，CHEN B，et al．Deep photo：model-based photograph enhancement and viewing[J]．ACM Transactions on Graphics，2008，27(5)：116-125．

[15]NARASIMHAN S G，NAYAR S K．Contrast restoration of weather degraded images[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(6)：711-724．

[16]FATTAL R．Single image dehazing[J]．ACM Transactions on Graphics，2008，27(3)：1-13．

[17]MENG G，WANG Y，DUAN J，et al．Efficient image dehazing with boundary constraint and contextual regularization[C]//2013 IEEE International Conference on Computer Vision．IEEE，2014：1-13．

[18]HE K M，SUN J，TANG X O，et al．Single image haze removal using dark channel prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12)：2341-2353．

[19]PEI S C，LEE T Y．Nighttime haze removal using color transfer pre-processing and dark channel prior[C]// 2012 19th IEEE International Conference on Image Processing (ICIP)．IEEE，2012：3-15．

[20]FENG C，ZHUO S，ZHANG X，et al．Near-infrared guided color image dehazing[C]//2013 IEEE International Conference on Image Processing．IEEE，2013：1-13．

[21]BUI T M，TRAN H N，KIM W，et al．Segmenting dark channel prior in single image dehazing[J]．Electronics Letters，2014，50(7)：516-518．

[22]YUE B X，LIU K L，WANG Z Y，et al．Accelerated haze removal for a single image by dark channel prior[J]．Frontiers of Information Technology & Electronic Engineering，2019，20(8)：1109-1118．

[23]CONG J，WEI B，YIN Y，et al．Performance evaluation of simple linear iterative clustering algorithm on medical image processing[J]．Bio-medical Materials and Engineering，2014，24(6)：3231-3238．

[24]SHAHAMAT H，POUYAN A A．Face recognition under large illumination variations using homomorphic filtering in spatial domain[J]．Journal of Visual Communication and Image Representation，2014，25(5)：970-977．

[25]QU J，LI Y，DONG W．Fusion of hyperspectral and panchromatic images using an average filter and a guided filter[J]．Journal of Visual Communication & Image Representation，2018：52-63．

Unmanned Aerial Vehicle Image Dehazing Algorithm Based on Simple Linear Iterative Clustering Optimization and Its Application in Wind Farm

LIU Sha1,3, SUN Zhe2, QIU Zifeng1,3*, HU Yan3

(1. The 54th Research Institute of CETC, Shijiazhuang 050081, Hebei Province, China; 2. Military Representatives Office of NED in Handan, Shijiazhuang 050081, Hebei Province, China; 3. Key Laboratory of Aerospace Information Applications of CETC, Shijiazhuang 050081, Hebei Province, China)

In order to solve the problem that the unmanned aerial vehicle (UAV) image is not clear due to the influence of fog particles, a UAV image dehazing algorithm based on simple linear iterative clustering (SLIC) optimization was proposed. Through the physical model of fog imaging, the prior law of dark channel, homogeneous filtering and SLIC algorithm, the influence of white area and uneven light in power inspection image was improved, the efficiency of UAV image dehazing was improved, andthe adaptive calculation of atmospheric light intensityparameters was carried out to prevent the distortion in the dehazing process. The experimental results show that the algorithm can effectively restore the original details of the power inspection image. Through the comparison of subjective visual evaluation and fusion of a variety of objective evaluation indexes, it shows the superiority of the algorithm compared with the traditional algorithms.

wind farm; power inspection; image dehazing; homogeneous filtering; simple linear iterative clustering (SLIC)

10.12096/j.2096-4528.pgt.20006

TK83; TP391.41

国家重点研发计划项目(2017YFB0503003)。

Project Supported by National Key Research & Development Program of China (2017YFB0503003).

2020-03-17。

(责任编辑 尚彩娟)