无人机河湖巡检中RCNN识别算法应用研究

唐桂荣， 许 健， 钱苏平， 付 港， 钱晓军

(1.泰州市水利局， 江苏 泰州 225300； 2.泰州姜堰区水利局， 江苏 泰州 225500；3.南京师范大学计算机科学与技术学院， 江苏 南京 210023)

江苏省跨江滨海，河湖众多，水网密布，共有大小河流和人工河道2 900多条，陆域水面面积达1.73万km2，水面所占比例之大，在全国各省中居首位。近年来随着经济发展与人口增长，河湖治理工作量显著增加，水体污染等问题频发，制约了江苏现代化社会的可持续发展。

为进一步加强全省河湖管理与保护，健全长效机制，陆续出台并实施的以河道定期巡检为抓手的河长制工作方案，在发挥巨大作用的同时也产生了诸如“人治主义”“短期效应” “被动应对”等问题。其主要不足可概括为以下几点：①人工巡查费时耗力，且因为绝大部分河湖位于农村等自然地理条件相对比较恶劣的地区，加之河道自身的不利因素，如蜿蜒曲折、水质状况差等，给人工巡检带来诸多不便和局限，造成巡检效果差、费用高、效率低；②对巡检中发现的问题采用人工报表向上报告的方式，工作强度大，问题发现不及时，处理流程长，监督不方便，事后无跟踪；③原来的河湖管理留存工作有一些纸质的资料档案，没有建立相应的数字化档案，不方便查阅。

以上这些问题成为制约水利环保事业发展的瓶颈。为解决上述问题，开发出一款河湖巡检图像智能处理平台迫在眉睫。而国内外不少学者都在进行河湖管理和计算机视觉的有关研究工作，刘琼等[1]曾研究了利用卷积神经网络对训练样本进行特征提取并使用全连接网络对特征进行分类，运用该方法可以解决河道物体识别的问题；徐露露[2]从正交实验设计的角度出发,提出了用正交实验设计选择CNN的超参数的方法，可以有效地对图像的各个参数进行正交组合，从而获得大量训练样本，解决了样本训练源不足的问题；Mahmood等[3]描述了如何利用无人机航拍图像生成3D地图，实现水利设施的长效管理，并详细讨论了图像的精细验证方法；Pierdicca等[4]介绍了一套结合GIS和AR技术，实现流域治理的智能化终端设备，并指出该设备经过实地监测检验，有效的提高了相关部门开展大范围水利监测的效率。

基于前人们的研究成果，结合实际的河湖管理情况，本文研发出以区域卷积神经网络算法RCNN(region convolution neural network)为核心的无人机河湖巡检图像智能处理平台。希望通过这个平台提高河湖管理信息化管理水平。

1 系统结构设计

1.1 系统开发平台

以Microsoft Visual C++ 2019，OpenCV 3.0作为开发工具，SQL Server 2014作为支持数据库，使用iMAG app开发平台作为移动端开发工具，采用快速原型模型(Rapid Prototype Model)法来快速实现需求、验证算法，以4台浪潮服务器构建1个简单的服务器集群，提供网络、数据库、集成开发环境等服务。

1.2 系统功能架构

基于RCNN的无人机河湖巡检图像智能处理平台采用C/S模式和B/S模式混合型结构，系统的主要业务应用功能均在B/S模式下实现。系统功能架构如图1所示。

2 水面漂浮物识别技术

无人机航拍图像中场景复杂，阳光在水面的照射、水面污染物与陆地某区域颜色相近、非河流区域的颜色与河流区域相近、河岸线曲折且河岸绿藻生长与岸边植物颜色相似等问题都影响了对污染物的识别。河道作为绿色漂浮物、大面积油污、废弃船只等污染物的载体，对图像内河道是否分割完全成为能否进一步识别河道内污染物的关键。因此，本文制定了先提取河道，再基于河道进一步识别水面污染物的总体技术流程。

2.1 基于混合图像分割算法的河道提取

图像分割是实现目标检测、目标识别、目标跟踪的关键基础。对彩色图像的分割因其划分像素的依据不同，对应的图像分割算法也不同。本文运用k-means++聚类算法进行图像分割，该算法可以使得初始簇中心尽可能相互分离，以避免迭代运算陷入局部最优解[5]。然而复杂背景下仅仅以聚类方式基于颜色信息进行图像分割会造成图像“过分割”现象。

为了使分割结果更接近理想分割图像，通常需要基于“过分割”的结果进行区域合并。而使用区域合并方式则需考虑到区域相似性度量准则、区域合并机制、区域合并状态值等因素[6]。

2.1.1 区域相似性度量

根据每个连通域与邻域间的颜色差异度、边缘相邻度、边缘跳跃度和邻接关系，获取区域相似度，所述区域相似度的计算公式为

2.1.2 区域合并机制

之后选择待合并的区域对，根据区域合并标号选择机制，为区域合并后的标号选择提供决策，所述选择机制公式为

(2)

式中：S(i,j)为第i个区域和第j个区域合并后选择的标号；wCDi为第i个区域的标号；BCDij为在CDj邻域中比CDi面积大、区域标号j个和相同的区域集合；CDi为第i个区域集合；OBJ为目标物集合。

图1 系统功能架构图

2.1.3 区域合并状态值

依据每次迭代后的区域剩余率、色散度和边缘跳跃度，获取得到合并状态值，所述合并状态值的计算公式为

(3)

式中：Bestmerge,Kr为合并状态值；EKr为区域边缘差异度；Kr为区域剩余率；JKr为区域色散度。

最后由所述合并状态值，从Maxiter次迭代后的所有合并状态值中选出最小值，并将所述最小合并状态作为最佳合并状态，同时输出所述最佳合并状态下的连通域集合和区域标号集合。

2.2 基于RCNN的图像识别算法

在对图像已经进行河道分割的基础上，本文使用基于RCNN的识别算法对图像中污染物进一步识别。

RCNN(区域卷积神经网络)是对CNN(传统卷积神经网络)的改进，主要由输入层、卷积层、池化层、全连接层和输出层构成[7]。其工作原理主要依据多个卷积层和多个池化层构成了多个降采样层，再分别链接到输入层的输出和全连接层的输入上，层层进行传递信息，最后由回归器输出结果。

其具体实现主要分为以下5个步骤：

(1)生成候选区域集：卷积神经网络采用选择性搜索算法，在通常情况下会生成2 000个左右的图像特征区域，这些候选集的大小、位置都不相同，也可以重叠。

(2)调整候选集：通过第一步生成的图像特征区域候选集大小和尺寸并不是相同的，无法直接作为神经网络的输入，再将提取到的候选集通过各异性缩放到了统一的大小，在缩放之前会对原始的图片边缘进行填充形成缓冲带。

(3)卷积网络提取特征：将上一步获得的2 000个大小统一的图片作为预训练好的图像分类模型的输入来提取图像特征。

(4)特征分类：第三步的神经网络提取特征后与SVM分类器相连，并且需要将所有提取到的特征分别输入到每个类别对应的SVM分类器上。最后每个SVM分类器都会得到图像对于该类别的得分和置信度，置信度最高的类别为改图像区域对应的预测类别。

(5)BoundingBox回归：第一步生成候选集区域的偏差是比较大的，无法作为最后目标检测框，所以需要对重叠比较大的候选区域进行线性回归来得到最后精准的检测框。流程图如图2所示。

图2 基于RCNN的水面漂浮物识别流程图

3 应用实例

目前泰州市姜堰区境内有22条区级以上河湖，长度合计约379.8 km(湖面面积约670 hm2)，水利部门大约每10d要对这些河流进行一次巡检。前期主要使用人工巡检方式，存在着效果差、费用高、效率低等不足，并且没有建立数字化档案也给后续巡检工作带来诸多不便。而本文研发出的软件系统能够实现从问题发现、问题上报、问题分配，到问题处理、问题反馈这样一个相对完整的问题处置闭环，解决以往人工巡检模式中存在的一些弊端。

3.1 系统运行机制

系统初步建成了泰州市姜堰区内河湖信息基础感知体系，通过结合无人机巡检、地理信息存储、数字化图像拼接、目标图像分类识别和污染问题反馈等运行机制，推动了区域内水利、环保综合业务精细化、数字化、智能化管理，提升科学决策调度管理水平。系统功能界面见图3。

图3 系统功能界面

系统运行机制主要有以下几个步骤：

(1)对无人机巡检中拍摄的所有照片加载唯一编号、日期、地理坐标、飞行高度等信息后，存储于平台软件系统数据库中，通过图像处理平台，把原始数字影像转变为任何专业的基于GIS的系统平台软件都可以读取的数字正射影像和数字高程模型数据，见图4。

图4 照片地理信息存储到系统数据库

(2)对无人机巡检采集得到的数字化图像进行拼接处理，将一次飞行得到的数百张有重叠部分(包括不同时间、不同视角、不同摄像头)的图片经过几何校正、基于SURF (speeded up robust features) 的特征点提取与匹配、图像配准、变换矩阵计算、图像融合后，拼成一幅大型的无缝高分辨率图像，见图5。

图5 图像拼接

(3)对拼接得到的图像通过基于混合图像分割算法进行河道提取，之后再利用改进的区域卷积神经网络(RCNN)的选择性搜索(selective search)算法[8]对图片生成多个候选区域，然后通过贪心策略去计算相邻候选集之间的相似度,再通过相似度的大小去合并候选集，直到产生目标个数的候选集，从而筛选出理想目标图像。通过使用无监督学习得到的相对较优权值对卷积神经网络进行逐层优化，使得神经网络前向计算得到的特征基底较随机初始化得到的特征更接近全局最优点，从而得到相对误差最小的训练样本，从而进一步筛选出最理想目标图像，实现目标图像分类识别。

(4)对发现的部分水体污染问题，反馈至环保治理小组，通过分析污染可能的原因，给出诊断，结合地方政府或管理部门对河道的水质及功能的要求，提出治理方案和建议，供地方管理部门作为决策依据。

4 结 论

研发的系统实现了区域内河湖管理数据的“采集、巡查、传输、识别、流转、分析、决策”全过程管理。

通过4G或者5G信号传输，在无人机拍摄后3～5 min内就可以传回到指挥控制中心，由中心的GPU图像处理工作站根据设定好的程序立即进行智能判读分类，经过系统人工审核确认后转送问题流程处理系统，立即告知所在河段的负责人，附上相应的图片和问题的描述,并要求在系统规定的时间里对问题的处理结果进行反馈，引入KPI考核体系，对长期累积的图像、问题的描述等进行大数据分析处理，提出针对性的可行方案，供领导辅助决策。