河道违采事件预警系统的设计与实现

罗淑君，陈嘉靖

(华北水利水电大学信息工程学院，河南 郑州 450046)

水利行业监管缺失问题积弊很深、强监管任务极其繁重，长久之计是必须推动强监管常态化、规范化、法治化，向更高层次、更高水平迈进[1-2]。“黄河流域生态保护和高质量发展”是重大国家战略。

近些年，针对各自监控范围或对象，水利工作人员建立了许多监控中心，通过监控中心的水利视频监控系统可足不出户对进行远程监控，从而对水资源开发、利用、管理、保护，实现水资源的合理调配[3]。通过实时监控各个水利设施的情况，实时观测水资源的现状，可提高水资源的管理水平；同时，改善观测、测量工作人员的工作环境，提高工作效率，真正做到无人值守、少人值班。另外，水利视频监控系统还可为防汛抗旱的指挥调度提供及时、准确的决策依据[4]。

对于水利行业而言，AI视频检测技术已在闸门开闭检测、决堤和漫溢检测、人体检测、水文监测方面发挥重要作用[5-6]。通过对水源地、河流防洪地区和水库等关键点的实时视频监控，智能系统能及时对可能或正在发生的汛情、险情、灾情进行动态监视和分析报警，充分发挥视频技术在水利信息化中的作用。

1 卷积神经网络

AI技术在个别省份或地市针对某一种技术在水利领域、黄河监管中已有应用。程诚[7]等结合实际运行情况，设计能够较准确地获取水资源管理对象的实时水文水资源等关键信息的智慧图像处理平台。李柯[8]等适用太阳能供电将视频传送会监控中心。关晓慧[9]对监控中心视频数据进行了采集编码及分析。牟舵、刘斌[10]等人结合实际运行情况，系统能够稳定地对水资源管理对象进行长时间的监控，能够较准确地获取水资源管理对象的实时水文水资源等关键信息，在水利业务管理与科学决策等方面具有较大的应用价值。基于此，本文对监管方案进行建设分析。

1.1 前端系统建设方案

将AI芯片放置在摄像机端，数据即时处理，然后输出到后端服务器。AI视频系统主要包括前端感知、传输、后台显示、控制、综合管理平台。前端感知的多维度、全天候、立体化和智能化是构成智能视频系统的重要基础，目前主要以网络摄像机为主。

目前，黄河流域生态保护、安全防控的前端视频监管对实时性、隐私保密性、传输稳定性等要求越来越高，“AI+前端”的解决方案开始逐渐受到行业欢迎。但也存在很多问题：AI芯片成本较高，AI摄像设备较贵，是普通高清摄像头的5～10倍；设备使用与工作环境关系较大，容易损坏和不稳定，维护较难；一旦监控内容设定完成，若有变动需要逐台设备更改，升级较为麻烦；AI视频设备监控内容有限，不能随业务变化而加入。对已存在的监控系统，需要进行摄像头更换。

1.2 后端系统建设方案

将摄像头采集到的视频信息发送到后端中控系统或者云端，然后再利用服务器强大的计算能力对其进行分析、处理。

通过网络视频监控+后端数据分析，实现了数字化MPEG4/H.264/265视频流的传输、播放、存储、分析等。在该方案中，视频监控的功能实质性没有变化，主要是实时浏览、历史图像记录与回放、云台镜头控制。但视频监控的本质内涵是从视频监控源中分析和抽取反映所监控现场人、车、物、事件、场景等的“关键信息”，从视频流到视频监控内容“关键信息”的转变是视频监控新一轮发展演变的核心。在视频监控从采集、传输、存储、交换到应用各个环节中，基于深度学习的人工智能技术解决产生“关键信息”问题，云计算与大数据技术解决“关键信息”存储、挖掘分析等问题，而系统架构则解决“关键信息”传输、存储、交换、应用等过程的数据格式与接口协议问题，系统架构是实现大数据、云计算和人工智能技术在视频监控系统中应用的关键。

“AI+后端”的解决方案一直是主流，其优点是可以针对不同的场景进行算法优化和识别方案的选择，具有较强的可扩展能力；对摄像头视频处理加工能力要求不高，常规主流摄像装置即可达到要求；可方便后端识别服务器集中维护升级等。当然，该解决方案也存在很多问题：后端AI计算服务成本较高，解决方案整体成本要高于前端AI，且随着芯片技术的进步，其价格差别也越来越明显；由于大量视频信息的传输需要高性能网络支持，因此该方案对网络性能的依赖性强，容易出现网络瓶颈问题，发生卡顿现象；由于采用集中方式构建方案拓扑体系，检测速度与AI服务器性能直接相关，一旦AI服务器发生异常，则所有监控点都会出现问题。

2 视频检测技术

智能检测处理流程如图1所示，检测服务器的主要作用是将视频中的信息进行提取和识别分析。前端的数据采集传送至后端，后端对视频进行预处理，主要包括图像的剪裁，只保留有效检测区域，再使用视频识别算法背景减除法对视频进行目标识别跟踪，确定目标的主要检测范围。然后使用YOLOv5算法[11]对视频进行目标检测，并对视频中的行为进行识别分析，综合检测内容比对行为是否违规，如果违规则需要进行报警。在整个过程中使用到的主要算法包括视频检测算法以及YOLO目标检测算法。

图1 智能检测流程图

2.1 背景减除法

背景减除法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，减少动态场景变化对运动分割的影响，已提出的许多背景建模算法，可以概括为非回归递推和回归递推两类。非回归背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。

2.2 YOLO目标检测算法

YOLO算法利用整张图作为网格的输入，直接在输出层回归boundingbox的位置和boundingbox所属类别。首先输入一个图像，将图像划分成S×S的网格，然后对于每一个网格，预测出B个边框的目标置信度和边框区域在多个类别上的概率。根据预测出的S×S×B个目标窗口，首先从所有的检测框中找到置信度最大的那个框，然后挨个计算其与剩余框的IOU，如果其值大于一定阈值(重合度过高)，那么就将该框剔除；然后对剩余的检测框重复上述过程，直到处理完所有的检测框。

3 AI视频监管平台

本着水利系统的高清化、智能化、实用化等原则，考虑到两种方案价格差距并不明显，因此，优化形成了一套混合方案。该方案中，前端设备全部使用水利高清前端，做到高清监控，系统能做到主动预警与自动弹出报警信号给监管人员，监管人员迅速查看报警点视频；同时前端与后端配合实现水位监测、积水深度识别、漂浮物监测、水岸异物(垃圾)的监测，盗采河砂船只监管等智能分析功能。

基于AI视频硬件系统的部署和水利大数据平台的开发，优化方案所设计的AI视频监管平台大致可分为两地三层架构，如图2所示。所谓两地，是指在视频监控地和水利大数据工程实验中心，共同部署硬件平台。在视频监控地采用摄像监控装置和前端数据预处理装置完成视频数据的采集和基本处理，从而在获得数据的同时提高工作效率；在水利大数据工程实验中心，通过专用网络接收视频采集所获得的视频数据后，利用视频服务器在水利大数据平台完成视频数据的存储、转发、实时识别和显示等功能，进而面向AI视频处理过程形成水利视频AI分析的3层结构。

图2 系统架构示意图

第1层是前端层，完成数据的采集和预处理，可以采用AI视频监控设备和普通视频监控设备；

第2层是中间层，一是实现前端数据的获取、存储和展示，二是实现向识别层转发视频数据，三是接收识别层所反馈的识别信息和监测结果，并与水利大数据平台结合完成视频、音频、数据、文字等多信息融合、“四乱”监测报警等功能；

第3层是识别层，采用视频服务器的API获取视频数据，利用高性能计算服务器完成视频数据的处理、识别和监测等，并通过RPC及时反馈结果到中间层。

该优化方案从黄河视频监控系统的具体情况出发，考虑到现在已经在运行的各类监控摄像装置和技术需求，以信息融合为导向，基于边缘计算理论，建立多层的AI视频大数据监控平台。在该优化技术方案中，主要有以下几点技术集成优势：

(1)技术指标适用性强。在该体系下，可以充分运用AI前端架构和后端架构的优势，形成优势互补。一方面，通过后端识别服务器，可以较好地扩充识别和检测的功能，而不受AI摄像机功能的制约；另一方面，通过AI前端摄像机的布置，使得系统具有明显分布式特征，降低了系统对网络通信带宽的要求，分担了部分识别服务器的计算量，提高了系统的整体性能。

(2)建设费用综合优势。该方案可以采用扩展方式逐步进行建设。一方面，对于现有的大量普通摄像头，可以通过后端识别服务器，补充智能检测部分功能；另一方面，对于新建检测点，当有运动检测、车辆检测、人体检测、越界检测等的传统智能检测功能时，直接部署AI摄像头；当有些涉水检测功能没有集成与AI摄像头中时，可以选择在后台识别服务器上进行二次开发。

(3)检测内容广泛。由于采用前、后端混合架构，可以将检测算法的实现分布在AI摄像头和后端服务器端，检测内容可以多样化。

(4)下一代技术结合。由于AI视频识别技术不断提高，AI芯片越来越便宜，加之物联网、通信技术的发展，因此项目的可持续性也是本架构的考虑方面。一方面，通过不断替换、更新、新建监控点，从而完善整个黄河流域的监控系统。另一方面，若不仅能在识别服务器端设计智能监控算法，还能在AI视频摄像头进行智能算法的二次开发，则可对识别检测等算法进行升级和优化，提高系统的整体性能，为AI新技术的应用奠定基础。

4 AI视频监管系统的应用

4.1 河道污染漂浮物智能检测技术

针对河道污染漂浮物及污染范围问题，前端摄像头对监控区域进行实时监测，当发现有漂浮物时，算法判断为发现目标，此时调取事先设置好的预案进行报警，同时对目标进行抓拍取证并将数据信息进行上传。在具体算法上，主要利用图像处理技术和AI视频分析技术综合完成智能检测。

考虑到水库电站前堆积物的形成过程是一个由无到有的过程，因此采用背景建模方法检测堆积物。该方法通过构建静态背景模型，当有新的堆积目标进入到预设的检测区域内时，算法就可以把新目标从背景图中区分出来，将目标的轮廓形态检测出来。该算法首先利用高斯平滑滤波器对图像进行高斯平滑滤波，去除噪声干扰；然后，通过PBAS(Pixel-Based Adaptive Segmenter)背景建模方法，把小水纹、反射光线、树影等判别为静态背景，构建当前场景的背景模型；再次，把运动的堆积物判别为前景二值图像，对二值图像进行连通区域检测得到前景目标位置；最后，通过使用GrabCut图像分割算法，把目标堆积物从水面图像中分割出来。背景建模示意图所示。

对于堆积物图像的智能识别问题，由于堆积物图像形态变化较大，传统分类识别难以实现。因此，本课题利用卷积神经网络(CNN)来判别疑似堆积物。通过对搜集的上万计水面图像和可能堆积物图像进行标注后，输入CNN网络，进行训练。并利用训练结果进行视频识别，并配合用户规则做出进一步判断，降低误报率。

4.2 盗采智能检测技术

针对盗采智能检测问题，前端摄像头对水面实时监测，当发现有船只、车辆或路人通过禁行区域时，算法对画面进行实时分析，并将报警信息、抓拍图片和行驶轨迹上传至管理平台，为管理人员提供有力证据。盗采船只(车辆/行人)智能检测算法主要分为目标检测、图片聚合、特征提取、检索比对等步骤。算法具体步骤：首先，通过码流分析和解码，获得关键帧的静态图片；其次，根据船只(车辆/行人)特征，与图片进行实时比对；最后，若比对命中则实时推送报警。对于视频算法，还可加入多帧比对分析，使性能更佳。

5 结语

(1)本文提出的基于卷积神经网络的视频监管平台的实践表明，该系统的性能稳定，能够较为准确的对盗采行为进行识别并报警，提高水资源的管理水平；同时，改善观测、测量工作人员的工作环境，提高工作效率。

(2)虽然上述关键技术已投入使用，但仍存在以下问题：①视频图像中运动对象是需要检测的感兴趣目标，所以智能视频检测常以检测图像内容的变化为主，对于水利监控而言，由于画面同时包含水面，而水面在动态变化，因此提高了视频检测的难度。②水利视频监控系统在夜间的应用较频繁，因而智能视频检测需要针对光线条件不是很好的状况进行特别设计。