河北省河湖智能视频监控体系关键技术研究与实现

刘 廷，张成哲，郭珊珊

（河北省水利规划设计研究院有限公司，河北 石家庄 050021）

0 引言

党中央、国务院高度重视水安全和河湖管理保护工作[1]，2019 年水利部印发的《加快推进新时代水利现代化的指导意见》中明确指出，构建“天空地”一体化水利感知网，扩大感知范围，并完善全面互联高速可靠的水利信息网，提升新技术应用和装备水平[2]。2022 年以来，水利部多次针对推进智慧水利建设提出明确要求，对智慧水利和数字孪生流域建设做出相关部署[3]。河湖监管具有监管对象种类多、空间分布各异、交织作用因素众多等特点，通过传统的人工巡视手段很难进行精细化监管。AI 智能视频监控已在公安、市政、交通、制造等行业广泛应用，且技术已经很成熟，因此，结合河湖监管应用场景，研究河湖智能视频监控在河湖监管中的应用可极大促进智慧水利的发展。

王战友等[4]以河湖漂浮物智能识别为例，通过河湖漂浮物数据采集、标注、增强，以及深度学习算法建模与优化、终端部署应用漂浮物模型等步骤，最终形成基于边缘计算的河湖漂浮物智能识别系统。逯艳杰[5]针对河湖生态监管、水域岸线管理等重点环节，探索了基于图像智能分析技术的高点视频监控解决方案。陈娜等[6]以河湖“四乱”巡检为切入点，运用面向小目标的多尺度 Faster - RCNN 目标检测算法，对监管范围内河湖“四乱”目标进行检测报警，构建了河湖“四乱”闭环监管流程。汤文华等[7]针对河道非法采砂，研究基于深度学习的图像识别技术，结合智能追踪技术，形成足够的证据链证实非法采砂的事实。综上所述，当前河湖智能视频监控在河湖监管工作中主要以单一算法研究或局部区域应用为主，未有大范围或多场景的综合应用，因此，以河北省级河湖智能视频监控体系建设为例，探讨监控体系构建过程中的关键技术、技术架构和主要实现成果，为视频监控在智慧水利中的应用提供思路框架和技术参考。

1 河湖视频监控现状与问题

截至 2022 年 12 月底，河北省已建成重点水工程防汛视频监控系统省级平台，省级平台部署在省政务云上，实现全省 1 538 个水利视频监控点位的全部接入，均为低点监控。监管对象主要包括全省各流域的河湖雨水情、汛情及重点水利工程的工情等。随着信息化、智能化水平的提高，现有视频监控系统已不能满足当前水利业务的管理需求，主要表现在以下几方面：

1） 监控点位设置不足。目前，水利行业建设的视频监控站点主要以低点监控为主，主要分布在部分重点河湖的关键节点上，如重点水工建筑物、险工险段、水文断面等位置，覆盖面远远不能满足河湖视频监控全覆盖需求，并且受地方财力、技术水平及信息化建设重视程度等人为因素影响，造成视频监控设备参差不齐、后期设备运维无法保障等问题，致使许多视频监控点位形同虚设。

2） 智能化水平不高。河北省河流线长面广，由于降水量少、降雨集中等原因，大部分河流仅在汛期存在狭窄的水流，大片的滩地长时间处于干涸状态，另外，由于城镇化活动的逐年扩张，乱占、乱采、乱堆、乱建等河湖“四乱”现象严重，虽然全省已建立相对完善的河（湖）长巡查监管制度，但受巡查人员数量、素质及巡查频率等因素影响，河湖“四乱”等问题依旧屡屡发生。河湖违法事件发生后，需要人工根据违法事件发生的时间，调取周边的监控视频对违法事件进行追溯，这种河湖视频监控应用场景单一，主要以实时监控为主，缺乏基于大数据、AI 技术的智能分析能力。因此，如何利用 AI 算法提高河湖视频监控智能化水平，实现由事后被动应对向事前主动预防转变是河湖智能视频监控体系亟待解决的问题[8]。

3） 信息化资源共享程度较低。水利行业包括水旱灾害防御、水利工程管理、河湖管理、水资源管理等多种业务，多年来，各级各业务部门针对各自业务相继建设了多套视频监控系统，但由于水利行业部门分散管理、业务条块分割[9]的管理体制，造成视频监控往往只能服务于单一业务，无论是硬件设备还是监控数据资源共享都较困难，重复投资、信息孤岛现象严重。另外，视频监控技术已广泛应用于住房和城乡建设、环境保护、林业等各个领域，各行各业在河湖管理范围内也建设了大量视频监控设备，因此，整合共享行业内和行业间的视频监控资源，将会提高视频监控资源的利用效率，发挥更大的社会和经济效益。

2 河湖智能视频监控体系关键技术

随着视频监控在水利行业应用需求的不断深入，针对现状水利视频监控系统存在的不足和实际应用中面临的问题，研究并应用构建河北省河湖智能视频监控体系的关键技术尤为重要。

2.1 河湖视频监控一张图技术

河北省河湖视频监控一张图以河湖基础和视频监控专题等数据为基础，综合运用 GIS、物联网等技术，基于一张图对多源多时空河湖视频监控数据进行可视化综合管理与分析，并以标准服务接口实现河北全省各级水利行业视频监控资源的整合应用与共享。河北省河湖视频监控一张图作为河北省水利一张图的重要组成部分，遵循水利部和河北省水利行业相关标准建设，一张图服务端采用国产 GIS 平台，对全省河流、湖泊、水库、蓄滞洪区、重点引调水工程、水闸、河湖管理范围、河湖“四乱”、非法采砂等水利数据发布标准的 REST 地图和数据服务，满足河湖智能视频监控系统调用需求。客户端采用 Leaflet 地图开发框架，以河北省天地图为底图，通过调用各类地图、数据等服务完成一张图展示，同时集成视频插件，按照实时流传输协议（RTSP）获取视频流，实现一张图对视频监控的实时调用。

2.2 GIS 空间分析技术

河北省河湖水系纷乱复杂，分级管理，河道线长面广，蜿蜒曲折，为避免省、市、县不同层级项目重复建设视频监控资源，高效整合林业、环境保护等部门已有视频监控资源，最大限度地实现河湖智能视频监控全覆盖，河北省河湖智能视频监控体系在建设过程中基于高精度数字地表模型（DSM）数据，综合运用缓冲区分析、通视分析、叠加分析、可视域分析、空间连接等 GIS 空间分析技术，合理优化视频监控点位，相关分析如下：

1） 缓冲区分析与叠加分析。河北省河湖智能视频监控体系采用远程摄像机高点覆盖方案，由于河湖沿线周边通信铁塔众多，为保证河湖监测最大覆盖程度，在选择视频监控点位时，根据远程摄像机视距范围，以河道中心线矢量数据为基础进行缓冲区计算，将缓冲区计算结果与通信铁塔点位数据进行叠加分析，从而筛选出河湖周边可供选择的视频监控点位，作为可视域分析的备选点位。

2） 可视域分析与通视分析。利用缓冲区分析计算得到的备选视频监控点位和河北全省高精度DSM 数据，通过 GIS 平台进行三维可视域分析，得到各视频监控点位的通视情况；再结合全省河湖监控范围，计算视频监控覆盖率；对没有达到视频监控覆盖率目标的监控对象，分析视频监控的覆盖情况，给出针对性的调整建议，调整或添加相关视频监控点位；点位调整完成后，对调整后的视频监控点位再次进行可视域分析和覆盖率计算，直到视频监控覆盖率达到目标为止。

3） 空间连接。确定视频监控点位后，在 GIS 平台中将视频监控点位分别与河流、水库、湖泊、蓄滞洪区、引调水工程等图层进行空间连接，得到与每个视频监控点位相关联的水利要素，并将空间关联关系存储到空间数据库中，便于在河湖视频监控一张图中关联查询与展示。

2.3 多源数据融合技术

保障河湖生态安全是河湖智能视频监控体系的三大关键任务之一。目前河湖生态安全以河（湖）长制人工巡河、动态遥感监测为主，因此，如何融合河湖视频监控、人工巡河、动态遥感监测等多源数据，实现多源河湖监测数据的互联互通至关重要。基于河湖智能视频监控体系的河（湖）长制多源数据融合技术介绍如下：

1） 根据人工巡河和河湖动态遥感监测成果，将空间位置信息与河湖智能视频监控点位进行关联，利用视频监控对人工巡河和动态遥感监测成果进行远程确认，认定为“四乱”事件的，可通过视频监控对相关事件的处理过程进行实时跟踪监控，并记录事件的处理过程。

2） 在河湖智能视频监控系统集成全河北省河长制河段、河长、行政区划等数据，当河湖视频监控系统通过 AI 智能分析技术发现河湖“四乱”事件时，基于视频监控点位位置及摄像头相关参数反算河湖“四乱”事件发生的具体位置坐标，并与行政区划数据进行空间叠加，关联得到相关河段及河长信息，利用系统推送功能将疑似事件推送给相关河长进行实地核查，待“四乱”事件确认后，通过视频监控系统进行追踪纪录。

2.4 AI 智能分析技术

AI 智能分析以获取的视频、图片资源为基础，通过格式转换、二值化、图像滤波、边缘检测、校正算法、分割算法等图像处理技术，进行颜色、直方图、梯度、纹理等分析，提取图像中车、物、行为等关键目标的特征属性，并进行相关语义描述，基于深度学习算法，判断识别区域内是否有垃圾堆放、非法采砂车辆等违规目标，并对检测出的物体或行为进行进一步分类，最终识别出目标区域的异常行为或状况，智能推送相关告警信息，从而破解“发现难、制止难、查处难”问题。视频监控可实时、直观、不间断、上下联动、多层次同步监控，日间通过可见光摄像头，夜间通过热成像摄像头，能及时发现和智能研判非法采砂、垃圾倾倒等行为，以及垃圾堆、漂浮物等物体，解决调查取证难等问题。AI 智能处理流程如图1 所示。

图1 河湖智能视频监控体系 AI 智能处理流程图

智能分析中心由以下 3 种服务组成：1） 智能任务调度服务。实现智能任务和后端解析资源的统一调度。2） 算法关联服务。实现不同算法的统一管理，根据场景需求，通过智能分析中心灵活调度、加载各种算法。3） 智能管理服务。主要包含加载智能算法、创建分析流水、抽取视频图片及智能识别分析等功能。通过各种服务的协同，能够实现对图像非结构化数据的智能分析，提取出图片、结构化数据和特征值，为智能分析应用提供各类智能解析服务。

2.5 视频取流技术

河北省河湖智能视频监控体系按照一级平台架构设计，包含1个省级平台、12个地市分级节点，为减少省、市用户提取实时视频流对网络带宽的占用，同时满足用户异地登录访问就近取流，采用视频业务流与信令流相分离的调度方式，可有效减少传输带宽的占用，提高视频的流畅性。具体取流过程如下：

1） 地市用户进行视频调阅时，码流直接从地市平台的流媒体发送给河湖智能视频监控系统下沉的媒体网关，再发送给地市客户端；

2） 省水利厅用户进行视频调阅时，码流直接从地市平台的流媒体发送给河湖智能视频监控系统未下沉的媒体网关，再发送给省水利厅用户客户端。

3 河湖智能视频监控体系技术架构

河北省河湖智能视频监控体系围绕保障河湖防洪、生态、供水等安全，坚持“全面覆盖、智能监管、资源共享、业务协同”的总体思路，依托物联网、人工智能、云计算等先进技术，构建全省统一的河湖智能视频监控体系。整套业务应用基于 B/S 架构，纵向分为基础设施层（IaaS）、数据服务层（DaaS）、平台服务层（PaaS）、应用层（SaaS） 4 个部分，监控体系架构如图2 所示。

图2 河湖智能视频监控体系架构图

河北省河湖智能视频监控体系以视频监控为基础，视频资源传输网为通道，基础视频、设备管理、算法库管理、智能分析、一张图应用服务等能力为支撑，建成以预警研判、告警督查、视频巡河、统计分析等辅助决策功能为核心的综合智能服务体系，全面服务河北省防汛、生态、供水安全。该体系整合了视频监控点位、设备等基础视频监控能力数据，河流、湖泊、水库、蓄滞洪区等水利空间数据，以及违章建筑、非法采砂等河湖“四乱”数据，为河湖管理提供算据支撑；实现水利、林业、环境保护等部门之间视频监控资源的共建共享；制定了适用于水利行业的多场景、多算法调度管理流程；利用 WebGIS 技术实现了河湖智能视频监控一张图可视化展示及河湖违法事件关联查询等功能。

4 河湖智能视频监控体系主要实现成果

4.1 视频资源传输网

河北省河湖智能视频监控体系采用“一网两中心”的部署架构，其中，“一网”指视频资源传输网，“两中心”指省级和市级 2 个视频监控中心。采用有线+无线的组合传输方式，构建覆盖全省的数据传输链路网，满足省、市、县多级应用视频传输需求。因通信铁塔机房内有各运营商传输设备，因此采用电信级传输专线组建河湖智能视频监控有线传输专网；对于无运营商传输资源的站点，采用无线或有线光纤传输的方式组建传输网络。河湖智能视频监控体系网络基础设施采用扁平化、双核心架构模式搭建，市级视频监控平台部署 2 台高性能核心路由交换机和 3 台接入交换机，实现共享网络与其他网络的互联，以及平台服务器、存储和安全等设备的接入，网络拓扑如图3所示。

图3 河湖智能视频监控体系通信网络拓扑图

4.2 智能分析中心

智能分析中心包括算法库和分析管理 2 个部分，其中算法库按照算法有集成到后台服务器和前端摄像头 2 种不同计算方式，河北省河湖智能视频监控体系采用前端算法+平台算法相结合的架构[8]，根据算法适用场景选择不同的计算分析方式。目前，河北省河湖智能视频监控体系共支持 10 种算法，其中：1） 水位、流速、工程车辆检测等识别算法，内容相对简单，采用算法集成到前端摄像头的方式，由前端进行分析计算；2） 非法采砂、垃圾堆、违章建筑、垃圾倾倒、水面漂浮物、游泳、钓鱼等识别算法，相对复杂，由后台服务器进行分析计算。分析管理方面，针对多场景、多算法管理调度问题，系统支持算法调度、关联、编排等功能。

4.3 视频监控一张图

河北省河湖智能视频监控一张图汇聚全省河流、湖泊、水库、蓄滞洪区、重点引调水工程、水闸、河湖管理范围、河湖“四乱”、非法采砂等水利基础和专题数据，通过建立水利要素与视频监控点位之间的关联关系，实现水利要素与视频监控点位的关联查询，在地图上点击视频监控点位，可实时打开视频监控，同时一张图模块支持按照行政区划、所属流域、在线情况、告警类型和趋势等多种维度进行统计分析，为防洪、生态、供水等业务，提供清晰、准确、实时的可视化服务。

4.4 河湖智能视频监控系统

针对河湖管理需求，河北省河湖智能视频监控系统核心功能包括：

1） 预警研判。河湖预警研判模块支持对预警事件的实时推送，以排序列表的形式推送各事件的预警统计结果，依据推送信息对预警事件进行研判，包括告警推送、跟踪、处置、抓图，一级实时画面、告警录像、地理位置查看等功能。

2） 告警督查。针对系统发出的河湖预警事件，告警督查模块可以按全部、待研判、待签收、待处置、待关闭 5 种处置状态分类显示处理进度，同时可查看具体处置流程，监督各地市及时处理。

3） 视频巡河。视频巡河模块以目录树的形式汇聚前端采集设备，可按照行政区划、河流水系 2 种模式对前端点位进行查找，具备基础的实时预览、视频回放、历史抓图查询、前端设备控制及电视墙多监控画面显示等功能。

4） 统计分析。监控系统具有提醒及告警等信息的统计、分析功能，可采用表格、折线图、饼状图等多种形式展示；支持按时间、状态、周、月、季、年等多种维度进行统计；支持系统日志的查询，可按行政区划、流域等统计各区域的告警数量及处理效率。

5 结语

河北省河湖智能视频监控体系面向全省范围，针对河湖防洪、生态和供水等多类场景，采用“监控设备+ AI 算法+业务平台+水利一张图”的综合技术路线，以水利视频专网为通道，以 AI 智能算法库为支撑，以河湖视频监控一张图为载体，集成垃圾、垃圾倾倒、非法采砂、违章建筑等 10 余类识别智能分析算法，实现了水利及其他相关部门视频监控资源的整合共享，并通过视频监控方式，在满足河流、湖泊、水库、引调水、滞洪区等区域覆盖的同时，可对破坏河湖防洪、生态和供水等行为留存监控记录，方便事件追溯与追责，实现对破坏河湖防洪、生态和供水等行为的早发现，早制止，早处置，为全省数字孪生流域和数字孪生工程建设提供信息化基础设施与数据保障。河北省河湖智能视频监控体系于 2021 年 12 月上线，截至 2022年 12 月底，已注册用户 1 147 个，共推送疑似河湖违法事件 177 733件，预警研判 8 057 件，通过对河湖的全覆盖、智能化监管，建立起更加完善高效的河湖管理机制，对当前频繁发生的河湖生态问题起到持续、全面、实时、精准的监督和整治作用，使河湖生态得到有效保护，有力促进了经济社会发展。

河北省河湖智能视频监控体系虽然在一定程度上提高了河湖防洪、生态、供水等方面的管理效率和精细化管理水平，但距离真正实现水利智慧化仍存在许多需要改进的地方，如通过完善数据共享交换机制实现与河长制管理平台数据的无缝对接，以及共享其他相关部门的视频监控资源，合理优化巡河时间等方面仍需要进一步完善。