无人机河湖巡检中 BPT 结点区域合并算法应用研究

刘建龙 ，钱晓军 ，闵克祥 ，顾 昊 ，刘建华

（1. 江苏省秦淮河水利工程管理处，江苏 南京 210022；2. 南京师范大学，江苏 南京 210023）

0 引言

江苏省河网密集，湖泊众多，水域面积占比在全国各省份中位居第一。水路交通是江苏省经济迅速发展的重要因素之一，但经济增长的同时，生态环境破坏尤其是水体恶化问题日益突出，严重制约了经济可持续发展甚至威胁了人类生命健康，为河湖治理工作带来极大挑战。

为应对日益复杂的河湖管理工作，打赢水污染攻坚战，全国各省份贯彻落实中央《关于全面推行河长制的意见》，结合当地实情陆续推出了一系列河湖巡检实施方案，均通过人工实施完成，流程大致包括人工规划、巡检、识别（筛选）、记录和存档。前期以人治为主的河湖巡检方案在取得一定成效的同时也存在以下几点不足：1） 人工成本过高，资源不可重复利用。整个巡检方案包含 5 个步骤，每个步骤均需人工完成，工作量较大，且人工实施方式存在一次性的局限，无法重复利用。2） 人工方式存在主观性。人工规划、巡检、识别（筛选）均需要科学合理地规划及判断，特别是人工识别（筛选），受人为主观影响较大。3） 人工巡检方式受地理环境因素限制较大。部分河湖处于道路泥泞、河流曲折的农村山地区域，且人工巡检视野受限，无法全方位查看河湖情况。4） 人工方式不利于河湖巡检数据的保存。通过纸质档案、人工记载的方式保存河湖巡检数据，存在工作量大、易遗失等不足。

上述问题制约水利环保事业的发展，对此，国内外不少专家学者将计算机视觉技术应用到河湖管理工作中。Faster - RCNN 作为较典型的目标检测模型常用于对河湖违规（法）行为的检测与分类。陈娜等[1]采用 Faster - RCNN 算法识别巡检视频中的河湖“四乱”行为，蔺志刚等[2]将该算法应用到非法采砂行为识别中。语义分割作为另一类计算机视觉算法，适用于河湖巡检中需要精确定位目标物边界的任务。雷佳明等[3]将 DeeplabV3+（深度学习语义分割网络）应用于水面漂浮物的提取任务。孔瀚民[4]通过在 U-net（U 型网络）中添加残差模块的方式提高了河道及绿藻的分割精度。与地面拍摄的普通影像相比，无人机航拍图像比例尺更大、场景更复杂，其复杂性表现为域内异质性与域间同质性均较高，单阶段的图像分割算法容易形成误分割率、过分割率均较高的结果[5-7]。为保证航拍图像的分割精度，一种包含初始分割与区域合并的混合图像分割框架受到了众多研究者的关注。唐桂荣等[8]将 RCNN（基于区域的卷积神经网络，Region - CNN）与区域合并相结合应用于水面漂浮物分割。杨瑞等[9]公开了一套包含 20 类目标物的河湖巡检数据集，并针对河湖巡检场景提出了一种包含马尔可夫随机场与区域合并的混合图像分割算法。在区域合并过程中，过分割区域的合并次序对合并效率、最终分割结果至关重要。为此，本研究在形成低误分割率的过分割区域基础上，采用 Liu 等[10]提出的 BPT（二叉划分树）选择最优的过分割区域合并序列，根据前期采集、标注的河湖巡检数据，结合河湖管理实际情况，研发无人机河湖巡检图像智能处理平台（以下简称平台），平台依托无人机数据快速采集能力，以分水岭算法形成低误分割率的河湖过分割区域，再通过构建、遍历 BPT，选择最优的过分割区域合并序列，形成完整的河湖目标区域，实现对河湖漂浮物的快速巡检。

1 平台设计

1.1 系统开发

平台的系统开发工具采用 Visual Studio 2017 和Visual Studio Code，底层支持数据库采用 SQL Server 2014，SQL Server 具有易用性、适合分布式组织等优点，可以很好地为系统提供数据存储和备份服务。将Android studio 作为移动端开发工具，采用快速原型模型（Rapid Prototype Model）法快速实现需求，有效减少由于软件需求不明确带来的开发风险，同时通过4 台服务器构建“一主三从”的服务器集群，提高了系统的性能、扩展能力、可用性和管理性。同时采用数据库主从同步的方式确保数据的一致性。

1.2 功能架构

基于 BPT 结点区域合并算法的平台采用标准的分层架构模式，结构清晰，平台系统功能架构如图1所示，实现了河湖管理事务中数据采集、巡检、传输、识别、分析、流转、决策的闭环处理机制。基础数据采集功能模块存储了整个平台所需的基础数据和快速巡检功能模块所需的地理信息；航拍数据传输功能模块则实现了无人机河湖巡检过程中图像或视频的实时回传；图像智能识别功能模块中的核心算法是基于 BPT 结点的区域合并算法，通过该算法从无人机图像中提取的地物信息，为事件处置流转、大数据分析等功能模块提供了数据支撑；智慧决策功能模块则进一步根据大数据分析功能模块的分析结果辅助决策。

图1 平台系统功能架构

2 区域合并算法

无人机拍摄的河湖图像环境复杂，同时无人机受无人机抖动、光照强度变换、拍摄角度、飞行高度、河湖漂浮物与陆地某区域颜色相近、非河流区域的颜色与河流区域相近、河岸线曲折且河岸绿藻生长与岸边植物颜色相似等因素的影响，对河湖漂浮物的识别准确率较低，容易造成误识别现象。针对上述问题，本研究结合初始分割与区域合并进行图像分割，以提高河湖漂浮物识别的准确率和效率。

2.1 初始分割

初级图像分割算法可以将原始图像分割为均匀区域，其中分水岭算法是一种基于地形地貌的图像分割算法，将图像视为地形图，图像的灰度值对应地形高度，高灰度像素（局部最高值）对应地形图中的山峰，低灰度像素（局部最低值）对应地形图中的山谷。水总是流向山谷，称为集水区，集水区之间的山脊称为分水岭，如果分水岭上有水滴，流向两边分水岭的概率是相等的。将这种思想应用到图像分割中，就是在灰度图像中寻找不同的集水区，分割的对象是由不同集水区组成的区域。使用分水岭算法进行图像的初始分割，通常情况下会得到低误分割率的过分割区域，效果如图2 所示。

图2 分水岭算法分割效果

2.2 区域相似性度量

对于采用分水岭算法形成的过分割区域，需要采用一定的方法度量相似度，将相似度较高的过分割区域对进行合并，以提高目标提取的完整度。针对只采用 1 种区域信息进行相似性度量的不足，本研究采用多种区域信息，即区域面积与灰度，则相邻区域Ri与Rj的相似性度量S（i，j）定义为

式中：A（i，j）表示相邻区域的面积相似度；c（i，j）表示相邻区域的灰度相似度；f（i，j）表示公共边缘强度；ρ1，ρ2，ρ3分别对应相邻区域的面积和灰度及边缘等信息的权重。

具体内容如下：

1） 面积相似度。定义如下：

式中：Ai和Aj分别表示相邻两区域的面积；A（i，j）越大，表示相邻两区域面积相差越多，而小区域通常是没有意义的，需要与相邻的大区域合并。

2） 灰度相似度。用灰度直方图表示每个区域的灰度分布，简单有效。首先将灰度空间均匀量化到k个 bin（一个灰度级统计）中，分别计算每个区域的灰度直方图并进行归一化，得到相邻区域Ri与Rj的颜色直方图Hi和Hj。定义如下：

式中：α和β分别为相邻直方图Hi和Hj对应的 bin；Ri与Rj的颜色分布越相近，c（i，j）越大。

3） 公共边缘强度。定义如下：

式中：tij为Ri与Rj公共边界上的像素占比；Ni和Nj分别为Ri与Rj的像素个数；Zi和Zj分别为Ri与Rj公共边界周围像素的均值。f（i，j）与边缘的强弱成反比，边缘越弱，f（i，j）越大。

2.3 区域合并规则

通常选择区域相似性度量最大的相邻区域进行合并，可能会产生错误合并的现象。因此，基于区域相似性度量提出区域合并规则，依此确定可以合并的相邻区域。在每一次区域合并开始时，依次检查以下2 个条件，将满足条件的 1 对或多对区域进行合并，合并步骤开始时，假设共有n个区域：

1） 尝试将小区域Ri与相邻区域Rj进行合并，合集Ф={Ri，Rj|Ai<μ，Aj<μ}，μ为小区域面和阈值，合并区域为

在过分割图像中，区域合并前将小区域合并为更有意义的大区域，合并步骤开始后，如果集合Ф为空，不能使用式（5）对任何区域对进行合并，则检查条件 2）。

2） 选择满足以下条件的最相似区域对Ri与Rj作为要合并的区域：

式（6）表明：Rj是所有相邻区域中与Ri最相似的，同样，Ri是所有相邻区域中与Rj最相似的，因此，应当合并Ri和Rj。

但当所有区域对都不能满足上述条件时，选择满足以下条件的区域进行合并：

式（7）参照大多数区域合并算法中使用的区域合并准则[11-12]，选择区域相似度最高的 2 个区域进行合并。

2.4 BPT 结点分析与区域合并

BPT 记录区域合并过程，叶子结点代表每个初始分割后的区域，非叶结点代表区域合并过程中新生成的区域。对于初始分割后的n个区域，在整个区域合并过程中，将 2 个区域合并为 1 个新区域的总次数为n-1。因此，BPT 中共有n个叶子结点和n-1 个非叶子结点，可通过分析非叶子结点获取合适的分割结果。BPT 区域合并示例如图3 所示。

图3 BPT 区域合并示例

深入观察自然场景图像后发现，图像中的河流或河岸边的水浮莲通常与背景之间的对比度较大且边界线较长。因此，如果 BPT 中 1 个结点表示的区域与相邻区域有很大的不同且边界线较长，那么该区域可能表示图像中的 1 个目标。定义结点的重要性指标Di如下：

式中：Li（Rj）表示Ri与邻域Rj的边界线长度；θi是当Ri作为初始分割区域或合并区域生成时，与Ri相邻的区域集合。

基于上述分析，BPT 结点的选择流程如下：1） 选择重要性指标最大的结点，标记并加入集合T中，之后标记父结点和所有后代结点；2） 再选择未标记结点中重要性指标最大的结点，执行以上操作，直到BPT 中所有结点都被标记；3） 最后得到 1 个 BPT 结点集合T。图像目标提取算法如图4 所示。

图4 图像目标提取算法

3 算法应用

遵循双重实验方法评估算法性能，首先，使用本研究的目标提取算法，即基于 BPT 结点的区域合并算法，与对比算法自适应区域合并[13]（ARM）在公共数据集上进行实验；其次，基于河湖巡检（RLI）数据集验证2 种算法在复杂场景图像中的目标提取性能，具体内容如下：

1） 从MSRA SOD[14（]微软亚洲研究院公开的显著性目标检测数据集）选取 200 幅自然图像进行实验，并与ARM 算法进行对比。为保证对比公平，通过分水岭算法获取 ARM 算法与本研究算法相同的初始分割结果，并调整 2 种方法中的参数以获得最佳分割结果。实验分割结果示例如图5 所示。

图5 实验分割结果示例

与 ARM 算法得到的分割结果相比，本研究算法可以更好地保留有意义的目标轮廓，但不能有效处理一些场景较复杂的图像，例如最后 1 组示例，目标自身颜色差距较大。由于 ARM 算法仅根据像素差异进行区域相似性度量的性质，在区域合并过程中，自身颜色相差很大的目标会被分成多个区域，ARM 算法得到的结果不令人满意。

2） 为验证本研究算法在复杂场景图像中有更好的性能，从私有数据集选取 200 幅复杂场景图像，并与 ARM 算法进行对比实验。同样使用分水岭算法进行初始分割，并调整参数获得最佳分割结果。实验分割结果示例如图6 所示。

图6 实验分割结果示例

对比分割结果发现，本研究算法可以较好地提取复杂场景图像中的目标。但当目标物有大面积物体覆盖时，本研究算法提取目标的性能不是很好，如图6最后 1 组图中目标河道表面漂浮着大面积绿藻，分割结果中河道与绿藻是分割开的，但实际上绿藻属于河道的一部分。

为更客观地比较实验结果，使用文献[15]中的分割覆盖（SC）的度量客观评估分割性能，定义如下：

式中：G为标签；S为分割结果；N为图像像素数；Si为分割结果中的一个区域；Sj为最终图像分割结果S中的第j个区域；gi为正确分割区域g中的第i区域；O为交并比。式（9）中g表示S的覆盖，式（10）定义了 2 个区域之间的重叠程度，因此，SC值越大，图像分割质量越高。

随机选取 6 张图像，计算实验结果的SC值，统计每张图像的平均处理时长，对比结果如表1 所示。从视觉效果、性能指标 2 个方面对比，本研究算法的SC值均高于 ARM 算法，消耗时间均低于 ARM 算法，表明本研究算法可利用较少的时间，获得高于 ARM 算法的图像分割质量。

表1 算法性能对比

基于 BPT 结点的区域合并算法作为平台的核心算法，目标提取精度、图像处理效率均优于目前已有的同类算法，应用于图像智能识别模块，对无人机河湖巡检图像中的地物信息进行提取，有利于河湖巡检事件的高效分析、决策，增强平台的实时性。

4 结语

通过区域相似性度量、区域合并规则和 BPT 结点分析，将基于 BPT 结点的区域合并算法应用于无人机河湖巡检图像中的目标信息提取，实现了对河湖漂浮物快速高效的巡检。实验结果表明：本研究算法具有较好的图像分割性能，可以实现目标在无人机影像中的精确、高效提取，将该算法应用到无人机河湖巡检图像智能处理平台中，能够提高平台模块功能的实时性，但对于目标本身对比度较大的情况，分割效果较差。今后将充分挖掘区域信息，并改进区域合并准则，实现更好的区域合并效果，达到更好的分割性能。