基于Cycle-GAN的绝缘子图像生成方法

王金娜，苏杰，杨凯，翟永杰，刘洪吉

(1.华北电力大学 自动化系，河北 保定 071003;2.国网河北省电力有限公司检修分公司，河北 石家庄 050070)

绝缘子是高压输电线路重要绝缘控件与支撑部件，同时也是故障多发部件，其安全性关乎整个电网的安全，因此绝缘子检测任务至关重要。伴随智能电网建设的全面推进及电网规模的不断扩大，检测任务量日益庞大，在线检测技术需求随之加大。深度学习作为图像识别和目标检测的技术手段在智能电网建设中具有重要应用研究价值，而在绝缘子检测中的瓶颈之一就是训练样本缺少问题。近年深度学习模型在绝缘子等电力部件检测领域的成果[1-3]普遍在私有数据集上取得，极少或没有公开数据集可供学术研究，很大程度限制了研究进展，样本缺少问题不可忽视。

样本不足是当前深度学习在众多领域应用中面临的难题之一，如何在少量样本基础上训练出良好的学习模型是未来重点研究方向之一[4-5]。当前主要以迁移学习、度量学习以及人工样本数据扩充的方式缓解样本不足问题。其中，迁移学习[6]要求以关联大型数据集作为辅助提升小数据集学习效果，对不易寻求关联数据集的应用领域存在限制；度量学习[7]从少量样本学习到一个嵌入空间，容易导致过拟合且运算过程复杂；人工样本扩增指对现有样本进行一定人工操作得到新的样本，较前2种方法，人工样本更简单可控，且适用领域较广，具有重要应用价值。文献[8]提出采用人工虚拟样本扩充真实样本集，结合平行执行可有效优化学习模型，同时指出人工样本用于扩增数据具有较高可行性及广阔应用前景。

基础人工图像样本扩增是对原始图像进行几何变换，例如通过平移、翻转及弹性形变等操作获取新样本以缓解样本不足[9-10]和过拟合现象[11]等问题，后衍生出矩形擦除[12]、图像融合[13-16]以及生成对抗网络(generative adversarial networks, GANs)生成[17]等获取新样本的方式。其中：几何变换具有操作简单、易于实现的特点，但不能有效扩增样本特征多样性；图像融合多采用图像处理算法对原图进行微小变动或将目标与背景合成为新样本，相较于GANs，在样本生成前期工作量大且样本多样性依赖人工设定；较前2种方法，具备强大生成图像潜力的GANs对人工样本扩增技术具有重要研究价值。

当前，由于GANs在图像生成中表现仍未成熟，较复杂的图像生成仍旧依赖庞大数据量和较高硬件计算水平[18]，因此无需大量一对一样本训练的循环一致性生成对抗网络[19](Cycle-GAN)成为生成复杂图像样本可供选择的重要模型之一。在Cycle-GAN的应用中，文献[20-21]采用Cycle-GAN有效缓解了样本类别不平衡问题；在输电线路部件检测应用中，文献[22]采用Cycle-GAN辅助探究了迁移学习的有效性，但并未对Cycle-GAN生成的图像用于扩充的样本要求、生成样本是否筛选及其用于扩充的具体效果进行进一步探究。同时Cycle-GAN在绝缘子等输电线路部件样本问题中的研究也极少，对于当前绝缘子检测存在的样本问题，Cycle-GAN在样本扩增应用方面的应用探究十分必要。

针对上述问题及分析，本文首先对Cycle-GAN原理进行介绍；随后分析绝缘子图像样本特点，提出基于Cycle-GAN生成绝缘子图像样本的方法，通过设计样本替代和样本扩充实验，进一步探究了基于Cycle-GAN生成的绝缘子图像样本用于数据集扩增的具体效果，证明了本文方法的可行性并分析了采用不同生成图像扩充量对网络性能的影响；最后针对Cycle-GAN用于样本扩充存在的问题进行了分析并对下一步研究工作进行了展望。

1 循环一致性生成对抗网络

Cycle-GAN是基于GANs的衍生模型，相较于初始的GAN[23]模型，将输入的噪声数据改为了图片数据；相较于pix2pix[24]模型，在实现对应风格域之间图像风格转换时不需要准备成对图像，结构简单且对样本要求相对较低，适用于当前样本集条件。其对抗思想基于初始的GAN模型对抗训练策略，Cycle-GAN的提出是用于实现图像的风格迁移。

最初提出的GAN模型主要由1个生成器和1个判别器构成。生成器通过学习真实数据和来自判别器的反馈信息，由自由噪声生成“伪”图像输入到判别器以骗过判别器；判别器则通过学习不断提升判别真伪的能力，以区分来自生成器的伪图像；二者经过反复对抗学习，直到判别器难以区分生成器生成的伪图像和真实图像，即视为达到纳什均衡，此时可认为生成器生成了真假难辨的图像数据。其网络模型结构如图1所示，损失函数L为

(lnPD(x))+Ez～Pz(z)[ln(1-PD(G(z)))].

(1)

式中：z为随机噪声，x为真实数据，G和D分别为生成模型和判别模型;G(z)为生成模型生成的数据;PD(x)为输入到判别模型的数据为真实数据的概率；x～Pdata(x)表征x服从真实数据分布；z～Pz(z)则为z服从随机噪声分布；E(·)为期望值。

图1 GAN模型结构Fig.1 GAN model structure

在初始GAN模型的基础上，Cycle-GAN首先以给定图像作为输入，在保证生成图像质量的同时改善GAN的不稳定问题；其次，Cycle-GAN采用1对GAN模型构成循环训练与生成结构，网络模型结构如图2所示，损失函数为式(5)，其中式(2)和式(3)分别为网络框架中GAN结构的损失函数LGAN1和LGAN2。

图2 Cycle-GAN模型结构Fig.2 Cycle-GAN model structure

LGAN1(G,PY,X,Y)=EY～Pdata(Y)(lnPY)+

EX～Pdata(X)[ln(1-PY(G(X)))].

(2)

LGAN2(F,PX,X,Y)=EX～Pdata(X)(lnPX)+

EY～Pdata(Y)[ln(1-PX(F(Y)))].

(3)

式中：G(X)和F(Y)分别为生成器G和F的生成图像函数；DX和DY为分别属于X域和Y域的判别器函数，且PX和PY分别为DX和DY判断图像来自X域和Y域的概率(其他依次类推)。

循环一致损失分别由生成器G和F生成的图像经互相重建，获取其生成图像的重建图像和真实图像的一致性损失，采用L1距离作为度量，即

Lcyc(G,F)=Lcyc1(G,F)+Lcyc2(G,F)=

EX～P data (X)[‖F(G(X))-X‖L1]+

EY～P data (Y)[‖G(F(Y))-Y‖L1].

(4)

式中Lcyc、Lcyc1、Lcyc2为损失函数。

最后，将上述损失函数加权求和，得到Cycle-GAN损失函数，即

(5)

式中λ为大于零的实数，作为一致性损失项的权值。式(5)前2项为内部GAN结构损失，由于二者网络结构完全相同、权重相同，因此可将其权重设置为1，损失函数仅需调整λ值来控制重建一致性重视程度。

2 基于Cycle-GAN的绝缘子图像生成方法

2.1 方法流程

根据对某省公司提供的无人机航拍绝缘子局部图像样本分析可知：绝缘子种类多样并且角度多变，受光照影响较大，绝缘子本身颜色变化范围较大，无鲜明风格，从绝缘子着手进行样本分析不但会加大风格划分难度，多样的背景也会削弱风格特征；而绝缘子图像样本中，背景占比大且主要以天空和地面为主，风格鲜明，因此可从绝缘子背景入手进行风格域的划分,进而实现后续图像生成。航拍绝缘子图像的背景可主要分为4个风格域：植被稀少的黄色调地面背景、植被丰富的绿色调背景、以天空为背景的蓝色背景以及在气候条件较差的情况下采集到的以灰色调为主的天空背景。以此为基础，采用Cycle-GAN完成绝缘子样本的生成。

本文绝缘子图像生成方法流程示意如图3所示，其中图3(a)为Cycle-GAN生成器训练阶段，图3(b)为绝缘子图像生成阶段。结合Cycle-GAN在风格迁移中的循环一致性特点，将绝缘子图像样本分为4个域，使用Cycle-GAN分别对4个域进行不同域间的风格迁移以生成新的绝缘子图像，不同域间绝缘子样本可互相迁移。本文以蓝、灰、绿和黄色调背景分别迁移为例进行后续阐释与实验。

2.2 风格域划分

如图3(a)所示，在训练Cycle-GAN前，首先要对绝缘子图像数据集进行不同图像域的划分，根据绝缘子图像背景特征进行分类，获取用于图像域转换的训练数据集。由于绝缘子图像中背景在图像中区域占比较大且色彩特点鲜明，因此基于不同色调背景训练样本域的创建，选择以图像颜色特征作为分类依据，以图像检索[25-26]的方式实现绝缘子图像域的划分。

图像处理中较常用的颜色空间是RGB和HSV， HSV色彩空间相较RGB更符合人类对色彩的认知，因此本文采用HSV色彩空间。色彩直方图作为图像特征，其算法简单，运算速度快，且具有尺度、平移和旋转不变性等优势，故采用HSV颜色直方图，结合相似性度量对4种色调背景的绝缘子图像进行域的划分。HSV颜色空间的3个分量分别代表颜色H(hue)、饱和度S(saturation)和值(value)，本文中绝缘子图像主要依据背景色调进行域的划分,故选取色彩分量H值的色彩直方图作为图像特征，可有效提升运算速度和抗噪声能力。

图3 绝缘子图像生成流程Fig.3 Insulator image generation process

图像间相似性度量采用直方图间欧式距离，通过设置合理的直方图划分区间数目bins，从4种背景色调选取具代表性的图像作为中心样本，其余图像则通过色彩直方图相似性度量判断其所属类别实现分类。设图像A和图像B，相似性度量为

(6)

式中hAn、hBn分别为图像A和图像B在色彩分量直方图中第n个划分区间的值，且n=bins。所获取fsim值越小，表明图像相似性较高。对绝缘子图像进行4种域的分类,创建用于Cycle-GAN生成图像训练的子样本集。参与分类的绝缘子图像共 2 000张,bins设置为10，经分类分别得到黄色调背景样本284张、绿色调样本668张、蓝色调背景样本313张以及灰色调背景样本735张，对应错误率分别为0、0、0.96%及0.40%。当增大bins时，分类错误率随之降低，而运算速度也会随之下降。

2.3 Cycle-GAN结构

本文采用模型参考ZHU等提出的Cycle-GAN网络结构，生成器编码部分由3组卷积层构成，转换部分采用9层残差块，解码部分由3组微步幅卷积层构成。网络结构细节如图4所示，其中每层网络下方的结构及运算细节介绍文字中，字母C表示卷积层，本文卷积层结构采用Convolution-InstanceNorm-ReLU结构；残差块由字母R表示，结构采用文献[27-29]提出的Resnet结构；微步幅卷积层则由U代表，采用fractional-srtided-Convolution-InstanceNorm-ReLU结构。字母后首位数字表征该层采用的卷积核尺寸，s-x表示步幅为x，末尾的数字则代表卷积核数目，例如C3s-2-64表示该组卷积层卷积核尺寸为3×3，卷积核数目为64，步幅为2。判别器第一组卷积层不采用InstanceNorm运算层。

生成器网络结构如图4(a)所示，输入绝缘子图像尺寸为256×256×3，经3组卷积层运算，输出尺寸为64×64×128，通过转换部分9层残差块运算，最后经由3组微步幅卷积层，得到256×256×3的生成图像。判别器由5组卷积层构成，真实图像和生成图像作为输入，尺寸固定为256×256×3，经由5组卷积层运算，最后输出图像判定为真实图像的概率值，网络结构如图4(b)所示。

图4 本文Cycle-GAN结构Fig.4 Cycle-GAN structureproposed in this paper

2.4 分类网络

分类网络对含绝缘子的图像和不含绝缘子的图像进行分类，分类网络结构如图5所示。其中，卷积层采用结构为Convolution-BatchNorm- LeakyReLU-Dropout，由字母C代表。网络由4组卷积层和1层全连接层构成，输入的图像尺寸恒为256×256×3，输出为类别标签1和2，1即判定图像含绝缘子，2即判定图像不含绝缘子。

图5 分类网络结构Fig.5 Classification network architecture

3 方法验证与分析

3.1 数据集

实验所用绝缘子图像样本共2 500张，含玻璃、陶瓷和复合绝缘子等3类图像，其中500张作为测试样本，2 000张用于训练Cycle-GAN及分类网络。

参照图3(a)所示的训练流程，随机选取子样本集中10%作为测试集，其余样本用于训练。当2组Cycle-GAN迭代15 000次时，测试图像生成效果较佳，保存生成器参数用于绝缘子图像生成。参照图3(b)所示的生成流程，对4种色调背景的绝缘子图像进行风格域转换。经训练Cycle-GAN，共生成绝缘子图像2 000张，生成图像用于样本扩充。4种不同色调背景绝缘子生成图像如图6所示，其中第1列和第3列为真实图像，第2列和第4列为对应域生成图像。

图6 部分生成图像示例Fig.6 Some examples of generated images

对于分类网络训练和测试部分，将含绝缘子的图像作为正样本，不含绝缘子的图像作为负样本，正、负样本比例始终保持1比1。

3.2 验证环境及验证内容

验证实验平台的硬件为GPU-GTX1080Ti，操作系统为64位ubuntu18，算法基于Tensorflow框架，版本为1.10.0，编程语言为Python3.5.2。

实验旨在验证和探究采用本文方法生成的绝缘子图像样本对网络性能的具体影响，分2部分内容：①样本替换实验。以2 000为正样本量基数，按基数的10%逐次递减真实图像占比分别训练分类网络，获取网络测试准确率及常用网络性能评价指标Fmeasure值，测得结果作为无替换组；作为对照，以2 000为正样本量基数，按基数的10%逐次递减真实图像占比的同时，采用生成图像替换真实正样本，使训练网络的正样本量始终保持2 000，获取测试准确率和Fmeasure值，测得结果为替换组。②扩充实验。分别以1 000、1 250、1 500为真实正样本量基数，按基数的10%逐次扩增生成图像用于训练网络获取测试准确率和Fmeasure值，得到3组实验结果以分析不同扩充比例对网络性能的影响。最后采用3个经典分类网络进行扩充实验进一步验证实验结果。迭代1 000次后获取网络测试准确率及Fmeasure进行对比分析。测试准确率和Fmeasure均取后200次迭代结果平均值，其中

(7)

式中:P为准确率，表征分类的有效性；R为召回率，表征对正样本测试的完整性。

3.3 实验结果与分析

3.3.1 样本替换实验

选取样本最高替换比例为50%，确保网络训练真实样本占主导。数据结果保留2位小数，见表1。

表1 替换实验结果Tab.1 Substitution experiment results

从表1结果可得:随着真实样本占比的减小， 无替换和替换数据的网络性能均随之下降,其中无替换组结果表明训练样本量会直接影响网络性能；替换组数据则表明生成图像并不能完全替换真实图像，准确率均不低于无替换组的准确率；Fmeasure则在真实样本占比不低于55%时，替换组的Fmeasure均不低于无替换组的Fmeasure，表明适量扩增生成样本能够缓解真实样本不足带来的性能损失。将数据结果绘制成折线图，如图7所示。

图7横坐标表示样本量以2 000为基数的真实正样本占比，图7(a)显示在真实样本占比为60%左右时，替换样本对网络性能下降缓解幅度较大；图7(b)显示在真实样本占比约55%以上时，替换样本组的Fmeasure值都有提升。

综上所述，生成图像可一定程度上替代真实图像用于样本扩充具有可行性，但生成图像不能完全替代真实图像，不同生成图像和真实图像数量之比对网络性能好坏有不同影响。

3.3.2 样本扩充实验

扩充实验的设置旨在探究生成图像扩充比例对网络性能的影响，实验结果保留4位有效数字，结果如图8所示。图8(a)和图8(b)分别给出了3组初始测试数据比例，3组数据测试结果与真实正样本基数1 000、1 250、1 500一一对应。

图7 替换实验结果Fig.7 Substitution experimental results

图8 扩充实验结果Fig.8 Expanded experimental results

由图8(a)可知：随着扩充比例的增大，准确率呈现先减小再增大再减小的趋势。生成样本扩充比例在20%至50%时，测试准确率均有提升；扩充比例从30%到40%阶段准确率提升幅度较大，3组峰值均在这一范围，其中基数为1 000和1 250的峰值均超过基数为1 500的峰值；比例低于20%或高于50%时，测试准确率存在下降趋势。由图8(b)可知：Fmeasure呈现先增大后减小趋势，性能提升峰值在30%到50%；随着基数增加，Fmeasure提升幅度随之增加。因此，在确保Fmeasure不下降的情况下，扩充比例设定在40%～50%时，网络性能提升效果较佳。

为进一步验证结果，分别采用ResNet50、Inception_v3及DenseNet121以真实正样本基数1 000进行样本扩充实验，实验结果如图9所示。

图9 经典网络扩充实验结果Fig.9 Expanded experimental results of classic models

由图9(a)可看出:随着生成样本扩充比例的增大，3个网络的测试准确率均呈现先降低后提升最后再呈现下降的趋势。其中，扩充比例在30%～60%时，ResNet50和DenseNet121测试准确率均高于未扩充初值;Inception_v3测试准确率则在扩充比例超过约45%时超过初值,且3种网络准确率测试峰值均落于40%～50%范围内。图9(b)则显示：3种经典网络的Fmeasure值变化趋势较缓，呈现出同测试准确率类似趋势；扩充比例在40%～70%时，Fmeasure均较初值有所提升，且扩充比例在40%～60%之间时Fmeasure值较高。综上，若采用Cycle-GAN生成的绝缘子图像样本直接用于样本扩充，当扩充比例在40%～50%时可缓解样本不足问题，且可以有效提升网络性能。

4 结论

本文将视角从绝缘子本身转变到背景色彩特征，对绝缘子图像进行了4种色调风格域的划分， 利用训练过的Cycle-GAN实现了绝缘子图像样本的生成，并对生成图像的具体扩充效果进行了验证与探究。实验表明：本文方法用于绝缘子样本扩增具有可行性，当扩充比例在40%～50%时，扩充效果较佳，生成样本对真实样本的可替代性能够一定程度上缓解输电线路绝缘子样本缺乏问题；但难以避免的不逼真生成图像及GAN生成过程中添加的噪声信息均可能对特征学习产生负面影响。不合理的生成样本扩充量不但会增加运算负荷，也可能对网络训练产生反效果，目前GAN生成图像筛选并无统一标准；因此，下一步工作将针对绝缘子生成图像的筛选方式进行进一步探究，避免人为筛选造成的主观因素影响，提升生成图像整体质量，为后续远距离航拍绝缘子标注数据的生成和工程应用奠定基础，有效缓解绝缘子样本不足问题。