一种基于图像目标检测的无人机相机精准对焦拍照方法*

刘高 饶成成 王昊

(1.广东电网有限责任公司机巡管理中心，广东广州 510163;2.南方电网数字电网研究院有限公司，广东广州 510700)

0 引言

随着我国电网系统不断扩建和扩容，传统的人工巡检方式已经不能满足维护电网系统正常稳定运行的需求。为了提高巡检的效率和质量国内各电网公司已经开始逐步推广无人机对输电线路的巡检作业方式；无人机巡检虽然在很大程度上提高的巡检的效率，降低了巡检成本以及减少了野外作业的风险，但是无人机巡检过程中会生成海量的关于输电线路部件的图像数据，如果通过人工的方式对这些数据进行辨识那么也是一项巨大的工程。因此，研发智能化的识别输电线路部件缺陷图像的算法具有非常重要的意义，在数字图像处理领域中基于深度学习思想的对象检测框架已经成为了主流的技术；数据的质量直接关系到机器学习模型的识别性能，高质量的数据往往可以带来较高的缺陷识别率。

目前我们通过无人机搭载的摄像机对输电线路进行巡检，在我们预先设置的位置和角度上进行拍照，只保存单帧图像没有录制视频，所以不能进行时间序列上的分析，这给精确缺陷检测的工作带来了很大的难度；此外由于无人机巡检都是俯视拍摄，这样巡检图像往往都有很复杂的背景；虽然无人机可以根据GPS信息大体的定位到作业对象如杆塔等对象的坐标信息，在图像识别领域内从特征工程的角度来讲，在早期研究者将目光集中在了图像的低层次特征(如边缘、轮廓)上，如对缺陷部件防震锤的识别，可以使用hough圆检测算法获取到防震锤的圆形部分[1]；刘营军等在文献[2]中提出了通过图像中的纹理特征来检测直升机巡检图像中的绝缘子部件；付晶等在文献[3]中提出利用层次模型与或图对目标进行分解表达。从实际应用的角度来讲，这些方法在一定程度上提高了巡检的效率，但是在缺陷识别的准确度和时间效率上仍然存在很多局限性，因为以上的方法都是来自于特征工程的方法，这种方法的局限性在于这些特征都是由人工设计他们对缺陷的表达能力是有限的，不能从复杂的背景中检测识别出输电线路上的部件。

近年来深度学习技术的出现打破了特征表达能力不足的这种限制，在图像识别和分类这个领域取得了举世瞩目的成就，将图像分类任务的精度提升到了与人类相当的水平。因为在深度学习中特征提取的步骤是通过机器自动完成的不在受人工的控制，特征表达器的节点达到了几百万个甚至上亿个[3]。目前，Faster Rcnn[4]模型在图像识别和分类领域是最优的模型，但是其在检测效率上远远落后于SSD模型。王万国等在文献[4]利用Faster RCNN模型识别输电线路中的部件，分析了不同参数对间隔棒，均压环和防震锤的识别效果进行了分析，然而文献中没有进行部件缺陷的判断，而且分析中所使用的图像数据都是经过人工截取得到的，在定位的角度来说缺少了全局信息。我们可以利用深度学习模型强大的特征表达和回归能力检测出复杂场景下物体对象，可以获取到图像中物体的尺度和位置信息利用这些信息对无人机上的云台进行控制，实现相机镜头的自动对焦拍照获取高清图像数据用于做后续的对输电线路部件检测，本文中所提出算法的流程图如图1所示。

图2 SSD物体检测模型

1 自动对焦拍照算法

1.1 自动物体检测模型

在基于图像的物体对象检测领域内存在两种主流的框架：基于背景差分技术的模型，基于深度神经网络框架的模型。属于背景差分模型的技术有混合高斯背景建模，贝叶斯背景建模，码书模型等，属于深度神经网络的技术有SSD、YOLO、RCNN、faster RCNN等，而基于神经网络的模型又可以被分为两个类型，SSD和YOLO为单阶段网络模型，RCNN和faster RCNN为二阶段网络模型。单阶段网络模型的检测速度要远远快于二阶段网络模型，所以目前能够对输电线路部件进行实时性检测的只有SSD和YOLO模型，两个模型在网络的整体结构上是一致的，SSD模型是在YOLO初级模型的基础上加入了多尺度和多种层次信息融合的思想，故我们以SSD模型为例对基于深度神经网络模型的物体检测框架做简要的介绍。

SSD物体识别模型的工作原理为：(1)输入一张待识别的图像和在训练过程中所标识的每一个识别目标的真实边框；(2)通过卷积神经网络的方法来评价不同尺度的特征图上每一个位置的不同纵横比例的默认边框小集合，例如8×8的特征图如图2中右图所示；(3)我们预测每一个默认边框的形状偏移和与每个待识别目标类的相似信度。

1.2 自动对焦拍照

为了让无人机在飞行过程中获取到高清质量的图像，无人机在飞行过程中需要对云台进行实时控制，保持被检测的物体出现在图像的视场范围内，并对目标物体进行准确的对焦和测光最后进行拍照。一般情况下相机的自动对焦和光测算法都是针对整幅图像，无法根据需要拍摄的特定物体进行对焦和测光，如果在大光比，复杂场景下出现对焦和测光错误的情况时常发生，进而生成质量较差的图像。

要准确的获取到高质量的图像我们必须设计一套可靠、准确的视觉目标识别跟踪算法，识别出图像中的目标信息，才能进行无人机云台的自动控制、对焦和测光。我们利用无人机搭载的物体检测模型实时的对无人机实时运行飞行过程中获取到的图像进行分析处理，获取到其中待识别物体的尺度和坐标信息，并根据这些信息控制无人云台的转动和相机镜头的自动对焦光测拍照得到高清的图像数据用于后续的缺陷检测。

2 实验结果和分析

在本文中我们所使用的图像数据均来自于大疆精灵4系列无人机巡检输电线路时候所拍摄的图像。我们共计收集了5988张图像对其中的23个类别部件进行了标记，再在其中随机的抽取具有玻璃绝缘子、复合绝缘子、连接金具、均压环和屏蔽环五种部件的子集进行一下三种影响模型识别性能因素的测试实验，以及研究这些因素与模型最终识别精度的相关性。SSD模型的识别结果如图2所示，其中，标号1代表的是玻璃绝缘子，标号2代表的是复合绝缘子，标号3代表连接金具，标号4代表均压环，标号5代表屏蔽环。在实验过程中我们使用的硬件配置为i7第八代12核，显卡为GEFORCE GTX1080TI。

表1 不同卷积核尺寸下模型识别率

我们从总体样本五个样本子集，样本容量分别为500、1000、2000、4000、5500。为了使模型在测试时有更好的泛化能，我们通过旋转图像的方法来扩充样本的数量，将图像按逆时针方向旋转90°、180°、270°，并对目标的坐标进行对应的转换即将旋转后的坐标变换为从左上顶点为原点的坐标系中。

由于在整体的架构上SSD模型是端到端的检测思想；所以在研究卷积核的大小对神经网络检测方法检测精度的影响中，我们可以使用同样的方法得出卷积核大小与SSD模型检测精度的相关性。我们将SSD模型网络的第一个卷积层的卷积核大小设置为7、5、3、1，其它参数保持不变，通过5000次的迭代训练，500条样本数据进行测试计算模型的检测精度。实验结果如表1所示。

我们可以从表1中观察到，对于不同的部件在相同迭代次数和参数下模型对它们的检测率是不相同的；随着模型卷积层卷积核尺寸的增大，模型对该部件的检测率逐渐提高。导致以上现象的原因是在训练样本中包含绝缘子数量最多，再次说明训练数据丰富可以产生泛化能力好的模型；卷积核的尺寸越大可以捕获图像中更多的结构信息，这样可以产生更有区分度的特征进行分类。从整体上来看，模型的识别精度和识别率与卷积核的尺寸呈现正相关性。

3 结语

随着互联的发展各种数据都以几何式的增长，硬件技术的发展使得运算和存储设备的性能有了极大的提升，基于以上两方面的原因促使了大数据和人工智能时代的到来。智能输电线路部件缺陷巡检技术出现，并代替原有的人工巡检已经只是时间问题。在本文中，我们利用实际无人机巡检数据，通过人工挑选和标注了输电线路上五种常见的输电线路对象，在不同样本容量，不同图像分辨率和不同卷积核的大小的情况下对SSD模型进行了训练和测试，从横向和纵向上对比了这三种参数对模型识别精度的影响。从实验结果上我们可以看到随着样本容量的增大，图像分辨率的提高，卷积核尺寸的增大模型的检测精度都有所提高，并且利用实时物体检测的尺度和位置信息对云台进行控制和对镜头的焦距进行对焦光测拍照可以有效的提高无人机所获取到的图像质量。