基于深度学习的河道水面漂浮物检测研究
2021-11-03高强
高强
（武夷学院机电工程学院 福建省武夷山市 354300）
1 引言
无人清漂船在进行清漂作业时，因智能化和自动化程度不高，往往需要时时刻刻开启清漂作业动作，无法对清漂垃圾进行有效定位和识别[1,2]。随着机器视觉技术的不断发展，视觉导航技术可有效应用在清漂船中，该技术采用在清漂船中添加摄像系统，可使清漂船获取外界的有效特征来进行自主导航[3,4]。若采用视觉导航的清漂船可对作业对象，即河道中的主要垃圾，包括塑料瓶、购物塑料袋、团聚浮萍等进行有效定位和识别，则可大大提高清漂效率。但河道中的水面漂浮物，常常存在着目标物过小，容易出现目标物特征的定位和识别效率不高的现象，甚至是特征丢失，无法对目标进行定位和识别。因此对河道水面漂浮物的定位和识别展开研究，可大大提高无人清漂船的智能化，有着十分重要的应用价值。
目前针对水面垃圾漂浮物定位识别的相关研究较少，主要使用的技术方法有：传统目标特征提取和基于人工神经网络(CNN)的目标特征提取[5-7]。如牛培文[8]使用改进的背景差分方法，并结合HSV 颜色空间转换和形态学对水面漂浮物进行分割提取；李森浩[9]通过建立改进的背景建模方法，得到水面区域的二值图像，然后通过提取水面漂浮物的颜色特征、边缘特征和区域特征来进行目标提取和分类。这些使用传统目标特征提取技术的主要思路是依据目标的颜色、区域、纹理等特征进行定位分割，然后使用分类器进行识别，其主要缺点是模型的鲁棒性较差，需要额外的人工处理数据才能得到良好的识别结果。使用人工神经网络提取目标特征技术则可以有效解决这些缺点。唐小敏[10]等针对无人机监视河道的情况，提出SSD 深度学习网络，对漂浮物数据局进行训练和检测，得到较高精度的识别率；李国进[11]提出一种改进的人工神经网络，该网络在对目标进行识别中，精确对漂浮物的像素点进行标记，可对各类漂浮物进行精确有效识别。
针对无人清漂船对水面漂浮物的定位和识别问题，本文采用改进的Faster R-CNN 算法，搭建深度学习网络模型对自建河道中的水面漂浮物数据库进行训练和精确分类识别。实验结果表明，该神经网络可对河道水面上漂浮的浮萍、常见塑料瓶和白色购物塑料袋进行定位，并做出有效识别，有效验证本文搭建深度学习网络模型的有效性。
2 改进的Faster R-CNN算法
Faster R-CNN 目标识别算法是在R-CNN(Regions with Convolutional Neural Network) 和Fast R-CNN(Fast Regions with Convolutional Neural Network)基础上发展而来，Faster R-CNN 通过特征层的共享和区域建议网络(Region Proposal Network)来产生建议结果图框的方式提高了目标特征识别效率，缩短了代码运行时间。Faster R-CNN 的主要工作流程是原始图像进入由卷积层组成的主干特征提取网络中，并生成共享的特征图(Feature Map)；共享的特征图随后进入RPN 和池化层(ROI Pooling)，在RPN 中，会得到特征候选区域；在池化层中，会依据特征图和特征候选区域而统一为一个尺寸，并使之进入坐标回归层；在坐标回归层中，完成特征区域的调整和特征分类，并使之输出结果。
表1：不同特征提取器下的实验结果数据
表2：不同网络组别的AP 值对比
一般而言，搭建好的Faster R-CNN 在进行数据训练时，原始图像的尺寸是固定的，这使得Faster R-CNN 输出结果的鲁棒性不是很好。本文在进行数据训练时，原始图像的尺寸大小设置为700×660、765×590、1205×920，图片训练数据选择为随机，提高输出结果的鲁棒性。
2.1 RPN的优化
RPN 的主要作用是处理特征提取网络的结果特征图，其主要工作流程为：特征图经过3×3 的卷积核，得到特征向量；在上一步的卷积过程中，再进行1×1 的卷积，得到两个全连接层，一个连接层为分类层(classification layer)，用来给出预测目标的分类概率，另一个为回归层(regression layer)，用来给出预测目标特征候选区域的参数，包括矩形框的中心点坐标、长度和宽度。这些参数非常重要，在Faster R-CNN 中，候选区域的尺寸主要以128×128、256×256、512×512，比例大小主要以0.5 倍、1 倍、2 倍而出现，因此排列组合可以得到9 个候选区域。对于河道中常见的漂浮物，从清漂船中安装的摄像设备角度来看，标准塑料瓶、垃圾袋的尺寸大小一般是固定的，且其为小目标区域，因此将候选区域尺寸中的512×512 删除，并依据目标的外形特征，增加1:3 和3:1 的比例，最终形成10个候选区域。实验证明，本文选取的候选区域参数可以很好的对漂浮物进行定位，从而提高了本文提出学习网络的识别效率。
2.2 ROI Pooling
池化层的作用是将特征候选区域和特征图结合起来，依据大小不一的原始图像和特征图对特征候选区域进行池化处理，使得特征候选区域的大小是同一固定的，池化层的出现使得原始图像的尺寸可以是大小不一的，并大大减小了图像在固定为大小一致时出现的信息缺失。最后经过Softmax 函数来确定好分类，并依据SmoothL1 函数得到候选区域的确定位置。Softmax 函数和SmoothL1 函数的计算公式分别如下：
在公式（1）中，xi表示i 的输出结果，N 表示i 的总个数。
在公式（2）中，x 指的是候选区域与输出区域的减法运算结果。
3 实验验证分析
为验证本文搭建学习网络对水面漂浮物的有效提取和识别，使用自建水面垃圾漂浮物数据库进行神经网络的训练和测试，数据库中70%的数据用于训练，30%的数据用于测试。实验训练和测试平台选择为2019 版本的MATLAB 软件，运行硬件环境为Core i7-11700KFU（3.6GHz）、8G 内存，操作系统为Windows10。
3.1 训练和测试数据库的制作
本文通过拍摄位于武夷学院校内朱子研究院旁的河道中水面漂浮物来完成数据库的制作。水面漂浮物包括水上浮萍、塑料瓶和白色塑料袋三种类型，基本涵盖水面上的主要垃圾类型，拍摄时间均匀分布在10 点到17 点之间，且在不同的天气状况和日照情况下均有拍摄。数据库中的漂浮物总体数量和类型保持稳定。
本文在对数据库中的图像打标签时，使用如下的标签规则：
（1）当图像中仅仅只有一个一种类型的目标时，使用一个矩形框将目标圈起来；
（2）当图像中有多个一种类型的目标时，使用多个矩形框将目标分别圈起来；
（3）当图像中有多个不同类型的目标且目标不相互重叠时，使用多个矩形框分别将目标圈起来；
（4）当图像中有多个不同类型的目标且目标相互重叠时，可以使用多个相互重叠矩形框将目标圈起来。对原始图像进行打标签时，本文使用MATLAB 软件自带的训练图标签制作APP(Training Image Labeler)，该APP 可为多种不同类型的目标对象制作特征兴趣区域(ROI)，并将图像信息和ROI 导出为mat 文件。
制作好的数据库中有原始图像1700 张，每张图像大小分别设置为700×660、765×590、1205×920，使用5389 个矩形框将目标标注出。数据库中70%的数据，即1190 张图像用于训练；30%的数据，即510 张图像用于测试。
3.2 检测结果和评价
在进行特征提取中，需要使用到特征提取器，主流的特征提取器有ResNet 和DenseNet。本文分别使用两种主要的特征提取器对数据库中的训练图集进行训练，同时对测试图集进行测试，结果使用平均准确度(Averrage Precision)[12]，即AP 值来进行表示。AP 值的含义是特征分类与目标所在位置的评价结果，其计算方式的主要流程是：以准确度(Precision)为笛卡尔坐标系中的Y 轴，以召回度(Recall)为坐标系中的X 轴，根据这个值在坐标系中绘制曲线，曲线围成的面积就是平均准确度，其计算公式如下：
在公式（3）中，P 表示准确度，TP 表示所有正结果的正输出值，FP 表示所有负结果的正结果的输出值。在公式（4）中，FN 表示所有正结果的负结果的输出值。
实验结果如图1 中图像所示。图像a 为河道水面中浮萍、塑料瓶和塑料购物袋图像的的输出结果，图像b 为多个浮萍和塑料购物袋图像的输出结果，图像c 为多个塑料瓶图像的输出结果，图像d为多个塑料瓶图像的输出结果。从输出结果图像来看，本文提出的改进算法可对单个目标、多个目标、多个重叠目标的特征进行精确的定位和识别，。
图1：测试实验结果图像
同时，本次实验得到的评价结果如表1 所示，对水面漂浮物中的浮萍、塑料瓶和塑料购物袋的识别结果使用AP 值来表示，同时给出处理时间，时间单位是ms，运行时间较少，符合自动清漂船的实时要求。为验证本文针对水面漂浮物提出的深度学习网络，本文使用Faster R-CNN 算法进行实验，对比ResNet 的特征提取器下的结果，得到表2。从表2 可知，对浮萍的AP 值，本文提出的改进算法比未改进提高了5.2%，塑料瓶的AP 值提高了1.3%，白色塑料袋的AP 值提高了2.3%，验证了本文提出改进算法的有效性。
4 小结
针对使用视觉导航的无人清漂船在进行清漂作业时，无法对水面漂浮物进行有效定位和识别的问题，本文对Faster R-CNN 算法进行改进，通过增加原始图像的尺寸数量和优化RPN 中候选区域类型的方法，搭建深度学习网络模型，并使用自建数据库对该模型进行训练和测试实验。实验结果表明，该模型可有效对常见的水面漂浮物进行定位和识别，且其平均准确度较高，有较好的鲁棒性，满足视觉导航的实时性，本文提出的深度学习模型有效可行。
