基于声光联动的非法采砂船自动监测方法

曹 荣，周佩日，王文强，刘 威，刘福宇

（1.镇江市水利局，江苏镇江 212000；2.镇江市水政监察支队，江苏镇江 212200；3.江苏禹治流域管理技术研究院有限公司，江苏南京 210001）

近年来，长江流域的河砂过度开采问题使得长江流域防洪工作难度增加，河床稳定性降低及河道结构发生改变，使得长江流域的生态系统受到了严重的破坏，一旦洪水来临，将危及两岸人民的安全。因此，我国有关部门必须加强对非法采砂船的监督与管理。声光联动技术以视频监控和声呐识别为主要技术手段，包括水上红外检测和水下音频检测2 个部分，将获取到的音频信息与红外图像相结合，从2个方向同时对采砂船进行监测，同时利用自动识别技术进行报警，可以将信息及时传递给相关工作人员，促使有关人员及时阻止采砂船继续进行河道采砂作业。

音频信号识别是最近20 年来国内外人工智能领域研究的重要方向之一。目前，在这一领域中的人声语音识别技术、动物声音识别技术已经日臻成熟并得到广泛应用。在船只声纹特征判定方面，已经形成了成熟的方法：依据船舶发动机、船型，在船舶设计、建筑过程中，利用测试水池的方法进行声纹采样，并建立声纹库，随后进行船只特征判定应用。另一方面，对于水面、水下目标的音频特征提取和识别，也已经在沉船打捞、潜航器跟踪等方面得到了广泛应用。水声目标识别技术是水下信息获取和分析的重要支撑技术,由于水中目标的辐射噪声组成复杂，因而其难点在于目标信号的信号分离和特征提取［1］。

红外图像目标识别技术可以依靠观测到的图像来获取感兴趣目标的所属类别，为解决实际问题提供支撑。红外图像目标识别方法一般分为特征提取和分类决策2个阶段，一般来说，涉及的特征包括几何外形、局部纹理和像素分布特征等，在分类过程中，根据提取到的特征选择或者设计分类器，之前的典型代表为支持向量机分类算法［2］。深度学习理论的出现和发展为红外图像目标识别提供了重要手段，文献［3-6］就针对红外图像目标识别问题设计了深度网络模型并进行了应用。特别地，文献［3-4］均以某卷积神经网络为基础对红外图像进行特征提取，将各个卷积层输出的特征图进行处理，获取相应的深度特征矢量；文献［5］提出了一种全新的基于深度学习的判别算法，建立了目标状态感知任务专用的卷积神经网络框架，并在局部标注以及自适应阈值等方面进行了创新。

1 自动识别采砂船系统设计

1.1 项目概况

镇江市管理部门为了加强对苏南运河流域非法采砂行为的管理，维护苏南运河生态环境，保证河床及河道的安全稳定，选择将声光联动技术应用到自动识别采砂船系统中，使得该系统可实现全天候、全方位的对管辖流域进行监督与管理，同时，为了进一步增强系统的完善性，在自动识别采砂船系统中设置了声光联动报警装置，当发现存在非法采砂行为时，自动识别采砂船系统可利用水政执法APP将报警信息、监控画面传递给执法工作人员［7］。

1.2 自动识别采砂船设计概述

自动识别采砂船系统整体主要包括3 个模块，分别为智能杆及船舶监控平台、水下侦听器及非法采砂智能预警识别平台。智能杆及船舶监控平台的主要功能是对水面上的船舶进行监控；水下侦听器的主要功能是通过监控水文的状况来判断是否存在非法采砂船在非法开采河砂，当智能杆及船舶监控平台未能够及时发现非法采砂船时，水下侦听器便可利用水下声纹检测设备监控水体的声波，并判断是否存在异常声波，同时判断异常声波的位置信息、时长等因素，并将信息反馈给非法采砂智能预警识别平台，当系统平台判断为非法采砂行为时，立即启动声光联动报警装置。

2 声光联动技术在自动识别采砂船设计中的应用

自动识别采砂船系统识别非法采砂船的方式主要有2种，一种为水上智能识别，另一种为水下声波识别。水上智能识别主要利用的是红外热成像监控技术建立水上红外线热成像视频监控子系统对水上船只进行监控，水下声波识别主要是通过建立水下声纹检测子系统来实现对非法采砂行为的监控。

2.1 红外热成像视频监控子系统

红外热成像视频监控子系统主要利用的是红外热成像技术监控水面上是否存在异常温度区域，根据异常区域的形状判断异常区域是否为非法采砂船，当发现存在异常信号时，智能杆识别船只信息，并将信息传递给非法采砂智能预警识别平台。

该子系统在采砂船识别过程中应用了目标检测技术，目标检测的主要目的是在输入图像中找到目标的位置同时给出目标的类别属性。在深度学习出现之前，传统的目标检测算法主要是以手工设计特征为主，但这些特征泛化能力较弱，在复杂场景中表现较差。基于深度学习的目标检测算法使用卷积神经网络对特征进行学习，同时利用神经网络将原始信息转化为更加高维和抽象的特征，以此来增强特征的表达能力和泛化性能，因此在复杂场景下的性能表现较好。

基于深度学习的目标检测算法根据算法流程特点大致可以分为两阶段（Two-stage）目标检测算法和单阶段（One-Stage）目标检测算法两类。Onestage 目标检测算法的代表有SSD 系列、YOLO 系列和Anchor-Free 系列，其中YOLOv3 算法采用了Darknet-53 网络作为基础特征提取网络，提升了算法的整体性能，同时在算法中引入FPN 结构，分别提取了3个不同分辨率的特征层作为最终预测的特

征层，提升了算法对小尺寸目标的检测精度，拥有较快的检测速度和较低的背景误检率［10］。

2.2 水下声纹监测子系统

水下声纹识别主要是通过建立水下声纹检测子系统来实现对非法采砂行为的监控。水下声纹检测子系统主要利用倾角冲击传感器、浸没传感器及水下拾音器获取水下声纹信息，并通过声纹信息判断是否存在可疑目标，若发现可疑目标，则将信息反馈给非法采砂智能预警识别平台。该子系统采用水听器采集水声数据，将数据传输到边缘计算模块，接着边缘计算节点的水声信号处理模块会对信号进行处理，处理之后传输至目标特征判断模块，目标特征模块通过信号变换算法提取信号的声学特征，与预先建立的采砂船声纹特征库内的特征进行匹配，当匹配程度达到设定阈值后，发送提醒信号。其中，在水声信号处理模块中，进行采样接收参数的设定，接收水听器采集的信号之后，根据设定的参数，对采样数据利用FFT 算法进行时-频域变换。

3 实验分析

3.1 水上智能识别

针对红外热成像视频监控子系统，采用YOLOv3目标检测算法以及像素统计和阈值控制对采砂船识别效果进行验证分析。

3.1.1 实验流程

采砂船检测算法主要包括2 个过程，分别是轮船检测和采砂船判断。在轮船检测中，主要是对江面上的轮船进行YOLOv3 目标检测，得到包含轮船的预测框，在目标检测过程中，训练采用的网络结构使用GooLeNet 模型，收集多个轮船标记样本；在采砂船判断中，主要是对轮船红外特征进行分析，采砂船的红外图像在靠近中间的区域会有一个竖形发亮的位置，像素值会高于轮船的其他位置，所以对江面监测到的轮船预测框内的像素进行竖向的统计，归一化处理后判断该轮船是否为采砂船。

3.1.2 实验结果及分析

利用算法得到的轮船检测结果以及对轮船红外特征进行分析之后得到采砂判定结果。在进行轮船检测过程中，针对初步得到的预测结果进行得分排序筛选，经过实验分析发现上述算法对于采砂船识别有着较高的准确率，整个过程检测速度较快，这对于采砂船识别有着实际的工程意义，能够在一定程度上提高作业过程的精度和速度。

3.2 水下声纹识别

水下声纹识别算法通过抓取采砂船工作时的声纹特征，对声纹数据进行特征提取，由人工结合机器学习算法进行标定，抽取采砂船声纹特征，建立声纹特征库。

3.2.1 实验流程

主要包括水听器、水声信号处理模块、目标特征判断模块，其中，水听器置于水下，水声信号处理模块和目标特征判断模块为软件模块，安装在边缘计算模块中。

对采砂船的监控方式为水听器接收水下声学信号并通过信号缆传输给边缘计算模块中的水声信号处理模块，由水声信号处理模块处理后，交由目标特征判断模块进行目标特征识别判断。

在本实施测试中，边缘计算模块布设于岸边固定点位，水听器通过采用与边缘计算模块连接，信号、电源正常即可开始正常的监控活动。

当水听器监听到可疑目标的水声特征，将水声信号传输至边缘计算模块，对水声信号进行预处理操作，并将处理后的信号传输给目标特征判断模块，用多层卷积、递归分析采集多环境声纹特征参数，建立采砂船声纹特征库。

3.2.2 实验结果及分析

结合采砂船特征数据库将不同工况、环境下的内河采砂行为特征进行持续监测并判断采砂行为符合度的数值化标定，通过水声信号处理模块进行处理后，由人工结合机器学习算法进行标定，抽取采砂船声纹特征。采砂船数值判定基于采砂船特征数据库和采砂船处理算法处理后的声纹数据，根据制定的标准化数值分类系统对信号活动强度进行分级，形成不同级别的采砂活动强度分类，可在内河这种水流湍急、泥沙含量较高的环境下进一步应用，经过实验分析发现上述算法对于采砂船采砂识别有着较高的准确率，并且整个过程检测速度较快，这对于采砂船声纹识别有着实际的工程意义。

4 结 论

综上所述，非法采砂行为使得我国河道流域的生态环境受到了严重的破坏，同时也扰乱了河砂行业的市场环境。我国有关部门为了加强对非法采砂行为的治理，将声光联动技术应用到自动识别非法采砂船系统中，利用音频信号和红外监控视频数据分析方法对非法采砂船进行监测识别，实验证明该算法的识别效果显著。将该系统应用到实际工程中能够实现对管辖流域的24 h监督，并能将非法采砂船和可疑船只详细信息传递给有关部门工作人员，以便于有关部门工作人员及时处置，从而实现长江河道砂石资源科学、绿色、可持续利用，保障长江防洪、通航、生态安全以及国民经济健康可持续发展。