基于深度学习的图像识别技术在非法采砂监管中的应用

2021-05-31汤文华陈灿斌向舒华申寒冬

中国农村水利水电 2021年5期

汤文华，陈灿斌，向舒华，申寒冬

（1.湖北省水利水电科学研究院，武汉430070；2.厦门兴康信科技股份有限公司，福建厦门361016；3.湖北省水利水电科技推广中心，武汉430070）

0 引言

非法采砂对长江河势稳定、防洪、通航安全以及生态环境等存在极大的危害［1-3］，一直以来都是长江水域治理的顽疾，虽然主管部门严厉打击此类违法犯罪多年，但不法分子仍然为了暴利而趋之若鹜。非法采砂船大多为“三无船只”（无船名船号、无船籍港、无船舶证书），昼伏夜出，流动作案，并选择易于逃跑或藏匿处盗采。即使是安装有AIS等身份识别设备的采砂船，也会在作案时关闭AIS 或更改AIS 信息以逃避管理部门的追查。此外，通过追踪执法部门的人员和船只，非法采砂人员还能够及时了解执法行动，在必要时中止盗采行为，迅速逃窜或藏匿，极易导致关键证据的灭失，使得执法难度越来越大。为解决河道非法采砂监管的痛点、难点，必须引入基于深度学习的图像识别等新技术，以提升监管效能。

1 图像识别在非法采砂监管中的技术实现

深度学习是建立在计算机神经网络理论和机器学习理论上的系统科学，程序在处理相关任务时，会通过自

我学习而不断完善，提高处理性能。近几年，基于深度学习的图像识别技术获得了飞速的进展，在人脸识别、医学图像分析、遥感图像分类、交通视频监控和字符识别等方面都有比较成功的应用［4，5］。为实现非法采砂智能监管，需将船舶图像输入神经网络模型中，对图像的各种特征进行识别、提取、分类，并且不断训练学习。利用训练好的模型从实时视频中快速有效的提取船舶目标并跟踪目标，自动判别船舶类型和身份，对船舶异常行为进行告警，从而成为非法采砂监管上的一个有力的技术手段，缓解监管难题。

1.1 船舶图像采集平台

对于深度学习应用型系统，计算力和数据量是影响应用效果的两个关键因素。在计算力满足条件的前提下，需要将海量高质量的素材数据喂给神经网络模型进行训练，模型效果会随着素材数量的增多而变好。反之，数据集数量不够、标注质量不高，都会严重影响最终检测结果。

为采集高质量、多时段（白天、夜晚）、多天气（晴天、阴天、雨天）、多角度的图像素材，需要搭建实时的船舶图像采集平台，产生庞大的数据量。数据包括通过高清摄像机抓拍的过往船舶图片和录制的船舶运动视频等。为了采集夜间素材，还需配备红外激光摄像机和热成像摄像机。

船舶图像数据在现实作业环境中会受到水上环境、天气、光线变化的干扰，对一定范围内的船只聚集、异物遮挡情况作出错误判断。因此在广泛收集素材的基础上，还需要由专人做素材审核，以确保素材标注的质量。标注目标时，方框大小和位置应合适。只要是能被分辨的目标，即使被部分遮挡或是小目标，都应该被标注。被遮挡太多或者人眼无法分辨的，则不做标注，这样使模型更有通用性。

1.2 船舶目标检测

基于深度学习神经网络的目标检测算法有多种，我们采用基于回归思想的Yolo V3算法［6］。该算法综合性能较好，可实现45 帧/s 的运算速度，在准确性和对小目标的检测效果上也都能满足船舶目标实时检测的要求。

利用深度学习在大数据目标检测领域的优势，神经网络可以大量学习标注过的素材，逐渐提取图像从浅层到深层的特征，反复优化，最后得到效果较好的模型。对于给定的单张静态二维图像，模型能够对图片中感兴趣的目标进行识别，并输出目标在原图片中的位置坐标（一个矩形区域），通常以（left，top，width，height）的形式给出。经实践证明，推理优化后的目标检测模型可以准确快速地检测出图像中的所有船舶，包括密集目标、小目标和遮挡目标等。

深度网络的训练过程需要大量的数据进行参数拟合。训练样本是具有标注的图片，将大量带标的训练样本放入网络中，网络根据设定好的优化函数，以标注作为监督信号，让网络学习图片的低层特征到高层语义特征，而后再在某个高维的特征空间，让网络拟合训练数据集的分布。具体地，首先将带标注样本做增广和归一化。接着将处理后的图片矩阵输入网络，网络通过设定好的运算路线预测出船舶目标，然后再计算预测位置和标注位置之间的损失，利用损失计算梯度，回传优化网络参数，而后再反复继续训练。最终的理想状态是损失最小化，也就是预测结果和真实结果趋于一致。

深度网络的测试过程相对训练过程而言相对简捷。测试过程就是一个真实的预测过程，将测试图片做归一化后就直接输入网络中，让网络预测出船舶位置，如图1。而如果想要计算网络的准确率，则需要测试图片也有标注，利用预测结果和真实结果进行比较，计算出网络的准确率。

1.3 多目标跟踪

对于视频画面的多目标跟踪，就是在船舶目标检测的基础上，将视频中不同帧内的同一运动目标关联起来，从而计算出目标的位置、速度、加速度以及运动轨迹等运动参数。

视频信息具有时序性，前后两帧画面中的目标具有关联性。对每帧画面进行检测，得到所有感兴趣的船舶目标，并且将第N帧和第N+1 帧中的同一目标关联起来，赋予同一个ID。一个目标从进入视频检测

范围到离开，该目标的ID不变，由此实现目标跟踪。

实际环境中，目标速度过快会导致第N+1 帧与第N帧的目标位置对比关联出现误差。为此，我们采用卡尔曼滤波算法来进行目标的轨迹预测，根据目标前几帧的轨迹来预测它下一帧的位置。优化后，对画面中的所有目标都能进行稳定的跟踪。

目标跟踪一方面关联了不同画面中的同一目标，为船舶图像拼接提供条件，另一方面，船舶的运动参数也是其行为分析的重要数据。此外，基于视频的目标跟踪，在一定程度上能够弥补雷达的盲区，保证每一个过往船舶都能被跟踪、识别，不发生遗漏。

1.4 船舶分类模型

采砂监管的监控对象主要是采砂船和运砂船，因此需要利用船舶分类模型将他们从航道上航行的货船、渔船、客汽渡船、公务船等多种船舶中甄别出来。

船舶分类模型采用模板匹配技术和神经网络模型相融合的识别分类算法。首先，对采集到的船舶图像提取分类标识性特征量，将特征量与数据库中所有种类的船舶模型进行模板匹配，排除相似度较低的船舶分类。然后，将图像信息输入到各个分类的神经网络中进行分析，最后对得到的输出结果进行判断和比较，得出最佳匹配类型。

在神经网络模型方面，我们采用残差网络ResNet（Residual Network）作为目标分类卷积神经网络。ResNet以其独特的残差结构（Residual Unit）大大地加深了网络的深度，从而大大加快神经网络的训练速度，极大提升模型的准确率。在对图像进行的多层卷积运算中，低层卷积提取船舶的特征点信息，如轮廓、触点、边缘等，高层卷积提取整个画面的高层语义信息，再应用全连接神经网络，对提取的卷积特征做线性变换，使船舶特征变换至高维子空间，最后对高维子空间特征做分类。基于上述原理的神经网络模型识别速度快，分类准确率高，抗类间干扰性较强。

分类的过程主要是让神经网络去学习图片的特征过程，网络的学习过程实质上是一个从特殊到普遍的过程。将训练样本放入网络中，让网络去拟合出图片的分布情况，在某个高维的特征空间中计算出分类超平面。而后在测试的过程中，网络首先将图片映射到该高维特征空间，而后利用其在空间中的位置到分类超平面之间的相对关系对其类别进行判定。

相对其他任务，目前在图片分类任务上，深度网络能很好地拟合图片的分布情况，且分类准确率一般都很高。

1.5 重点船舶信息库

采砂监管重点关注采砂船和运砂船，抓拍的船舶图片经过分类识别后，自动为这两类船舶建立船舶图像库。图像库也收录从其他渠道收集到的重点船舶图片。

利用船舶分割模型对图像进行目标背景分离，得到目标图像，去除江水及岸边背景的影响，然后利用机器学习的方法进行特征提取，形成船舶特征库。

对于正常开启AIS 的采砂船和运砂船，将AIS 档案资料与船舶图像资料关联起来；对于没有AIS信息的船只，则采用人工补齐资料的方式形成完整档案记录。

1.6 船舶身份识别

当目标被分类为采砂船之后，需要继续将该图片的船舶特征与船舶特征库进行匹配，以判定船舶身份。从图片中提取的图像特征在一定程度上可以当做图片的特定标识，通常用一个多维向量或者一串128 位二进制数字表示。通过图像特征对比，可以评价图片相似度，从而通过一张图可以找出相似的其他图片，即所谓“以图搜图”。当两张图片所提取的特征点的匹配点超过一定数量时，则认为这两张图片相似。

从成千上万张图片源中查找与目标相似的图片，比对速度是十分关键的。用图像特征构建出一个二叉树，为这些特征创建索引，可以提高特征对比速度。采用多GPU 并行运算的方式，可加速图像处理，处理速度大大提升。

当特征库里存在匹配结果时，可以得到目标采砂船在数据库里登记的各种信息，包括之前是否有非法采砂的行为；当数据库里不存在匹配结果时，表示该采砂船是未经登记的非法采砂船，自动对该船进行非法采砂标记，形成报警记录。

2 非法采砂智能监管系统技术实现

从系统的角度，整个非法采砂的智能监管除了基于深度学习的图像识别之外，还需要多传感器目标融合、光电联动跟踪、多摄像机接力跟踪、目标行为分析、违法取证，最终在基于地图服务的可视化服务平台上进行展示、报警和回放。

雷达站部署雷达、摄像机，并与中心机房专线直连。一个雷达站搭配一台AIS基站，实现周边30公里内AIS数据的接收。至少有一个雷达站部署红外热成像，实现夜间的监控。CCTV监测点部署抓拍摄像机和联动摄像机，如果要实现夜间监控，则需配置红外激光摄像机。

2.1 多传感器目标融合

多传感器目标融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述目标信息，从而提高系统决策的正确性。雷达可以主动监控较大范围水域里的运动目标，获取船舶实时位置，记录其完整的历史轨迹信息；AIS 基站可以接收几十公里水域内船舶主动发送的身份信息；图像识别可以获得船舶的类别和身份信息。采用目标融合技术，将雷达目标、AIS 目标和图像识别目标在时间、空间上进行统一校准后再作相关处理，形成一个目标，取得比单个数据源更一致、更准确、更有用的信息，并能与船舶数据库匹配，获取历史资料。

2.2 多摄像机接力目标跟踪

由于单台摄像机监控范围有限，也可能出现目标被遮挡的情况，所以需要使用多台摄像机，满足大范围的目标跟踪。对某一重点目标的持续跟踪以单摄像机跟踪为基础，在超出单摄像机视野覆盖范围后，由下一台摄像机自动接力跟踪。

光电联动跟踪是单摄像机目标准确快速跟踪的一种有效方法，即智能跟踪算法根据雷达目标的坐标信息，引导摄像机对船舶进行联动追踪，通过对摄像机焦距、倍率、角度和调整速度的控制，实现跟踪画面运动平滑，目标比例合适，始终保持目标居中显示，达到良好的视觉效果。多摄像机接力目标跟踪由统一的后台算法来调度指挥，将单摄像机按先后顺序逐个跟踪监控目标，实现跟踪目标的准确交接。跟踪算法为适应目标及场景的各种变化，实现长时稳定的跟踪，需要进行快速目标定位，提高实时性与准确性，以及对目标姿态变化、遮挡等情况的适应性。

2.3 目标行为分析

在实现目标检测后，持续记录目标的运动轨迹（二维坐标点集合），并基于此作进一步的行为分析及事件检测，是智能监管的关键环节。行为分析不仅可以对合法登记的采砂船的作业合法性进行判断，还可对无证船、伪装船的盗采行为进行识别。通过分析目标轨迹点数据，可以判断目标是否经过抓拍线、是否进入指定区域（禁采区、可采区）、是否越过电子围栏（越界报警），或者是否存在逗留、聚集、徘徊、速度或航向突变等行为。在监控过程中，这些行为模型根据所观察到的行为进行自我学习和更新，从而不断适应监控场景中运动行为的变化，正确地判断当前行为正常与否。对存在非法采砂行为的船只，自动将其标记为疑似非法船只，通过联动抓拍、录像、跟踪以及记录其运动轨迹，形成证据链，为采砂监管执法提供技术支撑。