水利视频智能分析算法研究与应用

王海华，王红艳

（宁波弘泰水利信息科技有限公司，浙江 宁波 315000）

0 引言

为贯彻落实水利部“工程补短板、行业强监管”水利改革发展总基调以及新时期治水理念新要求，宁波市水利局以水利现代化建设需求为引领，开展智慧水利建设，并列入全国智慧水利先行先试地区[1-2]。

过去，我国水利行业建设的视频监控系统基本是由人员值守查看监控画面，由人员根据视频内容进行判断，并对异常行为进行分析和处理，传统的人员监控方式面向大量视频实时监控的需求是有局限的。近几年，随着人工智能技术的快速发展，人脸识别、车牌识别、视频结构化等技术在视频监控领域得到了广泛应用，但是常见的视频分析算法无法满足水利工程管理的需求。因此，为了更好地满足日益增长的水利视频智能化监控需求，亟需研发一套适用于水利行业的水利智能视频分析服务系统，将已建水利视频监控系统、视频资源与业务应用充分耦合。

日常巡河工作作为发现河湖问题的重要方式之一，具有不可替代的作用，但人工巡河存在无法全时段覆盖、人工费时费力、效率较低等难题，导致视频信息无法真正发挥使用价值，需要利用高新技术手段，通过智能视频巡河的方式，以机器换人力，辅助解决巡河难题[3-5]。

依托智慧水利建设，为提高河湖管理效率，深化水利强监管，提高问题发现与处置能力，开展水利智能视频分析研究与应用。选取宁波市甬新河为试点河道，基于河道沿线视频监控数据，获取试点河道状态变化信息，研究视频智能分析算法、构建视频智能分析服务、打造智能巡河应用场景，为业务平台提供“河道日常巡查与保洁”“违规涉水活动取证”“违规闯入取证”“违规排水取证”等应用场景，充分发挥水利视频监控系统应用价值，实现智能化监控，从而提高河湖监管履职效率及智能化水平。

1 总体框架

水利智能视频分析服务系统通过对视频进行智能分析，发现并保存影响安全的视频或数据，及时预警，从而在一定程度上节约人力资源，逐步实现水利自动化和智能化。

水利智能视频分析服务系统总体框架见图1：

图1 水利智能视频分析服务系统总体框架

（1）视频数据层

将已有视频监控系统中所产生的数据收集、整编，其中主要包括历史视频图像数据、实时视频图像数据、智能行为信息数据、船只信息数据、漂浮物信息数据、统计分析数据、视频分析服务数据、预警规则数据、视频分析发布数据、视频分析共享数据、报警数据以及其他基础数据等，将作为智能视频分析服务平台的数据基础支撑和数据基本来源。

（2）数据服务层

视频基础服务主要包含了视频基础处理分析的服务，这些服务是从所有具体的应用中抽象出来的，服务粒度较小，通用性较强，非常适合通过组合与装配形成某个应用服务层的服务，这些服务同时也可以直接由某个应用进行调用，完成其所需要的某项功能。

水利智能分析服务主要包含了与水利业务应用紧密相关的各类服务，这些服务可以由各类上层应用直接使用，服务的功能粒度较大，上层应用可以对这些服务做简单的组合来满足自身的需求。

（3）服务管理层

建设统一的智能视频分析服务平台，统一管理各类分析服务，开放各类分析服务的接口，提供具有水利视频特色的服务接口，能够使用户灵活地依据水利行业需求编排服务，很好的监视、控制服务的运行状态和质量。

2 智能视频分析算法

2.1 智能算法框架

智能算法框架见图2：

图2 智能算法框架

智能算法框架分为三层：

（1）基础框架设施层

基础框架提供远程服务、智能算法构建/运营、智能算法调度等功能，为从数据标注、算法开发、算法部署、远程服务搭建、算法调度、以及到算法运维等一系列符复杂、高难度的流程，提供了完整、稳定、便捷的基础框架。

（2）智能算法层

基于前沿的视觉深度学习，构造像素级场景分割、目标检测、目标识别智能算法，针对各个应用场景，组合成复杂、高效、稳定的业务逻辑，支撑应用层的功能实现。

像素级场景分割：快速检测定位特定区域，例如水体。

目标检测定位：定位特定目标对象（例如垃圾、行人）。

目标识别：识别物体的属性与活动。

视觉智能深度学习：各项算法的基础架构，设计灵活、性能稳定、预测准确。

（3）应用层

采用高效、低成本的远程调用方式，提供少量场景参数，自适应调用智能算法，实现各项智能应用。

水上漂浮物检测：检测水上垃圾、水上丢弃物品，发出警报。

非法水上活动检测：检测游泳、钓鱼等危险非法水上活动，及时发出警报。

排污口检测：检测排污口是否有水排出，发出警报提醒工作人员及时响应处理。

周界入侵检测：自定义周界，检测行人进入禁止区域、危险区域，及时警报/提醒。

2.2 算法构建

2.2.1 多层级分辨率像素级水体分割算法

水利智能视频分析服务算法涉及广泛的水体上目标检测，需要精确的像素级水体分割算法，使得能在多种复杂场景下的水体精确分割。像素级水体分割算法在各种层级分辨（4层级分辨率）下分析分割的信息，同时获取丰富的像素和区域信息，同时采用多分辨率信息汇集模块，交换各个层级分辨率的信息分析路径下分析信息，大大地增强不同路径下的像素和区域信息表达，达到精确的像素分割，多层级分辨率像素级分割智能算法单元见图3。

图3 多层级分辨率像素级分割智能算法单元

另一方面，通过76层的深层网络结构（见图4），提取更丰富的分割信息，完成精确的水体像素分割，有效用于漂浮物检测、非法水上活动检测[6]。

图4 4层级76层像素级水体分割深度模型

2.2.2 二级精细定位的少样本目标检测算法

漂浮物检测、排污口排水检测和非法水上活动检测涉及到精细的目标检测算法（远距离下目标有可能较小），而且存在样本少的特点。根据这些特点，设计二级逐步精细的定位检测深度模型结构，适应少样本下的更精确的目标检测。

（1）第一级深度模型结构，采用50层的深层主干深度模型结构提取图像特征（见图5），并通过逐层上采样模块构造多尺度特征，每个尺度特征负责不同尺度的检测目标，高分辨（大尺度）的特征检测小的目标，低分辨（小尺度）的特征检测大的目标。不同的检测目标通过第一级深度模型结构，粗略估计目标区域。

图5 50层第一级4尺度的目标粗略定位检测的深度模型

（2）第二级深度模型结构根据第一级结构估计粗略目标区域，在该区域上进一步提取目标特征，通过5层线性回归层的深度模型（见图6），进行精细的目标区域估计和置信度估计。另一方面，正样本较少的情况下，通过增加大量负样本来优化第二级深度模型，优化少样本下的检测精度。

图6 5层线性回归层的深度模型

2.2.3 大数据驱动难/易样本自适应人体检测算法

水利视频监控系统的前端监控点分布在各种场景下，存在很多复杂的因素影响检测，例如摄像头的角度、高度、距离、复杂的背景（各种植物、车辆、水体等背景）等等因素。因此采用以下两方面进行解决：

（1）海量的人体标注数据。

（2）自适应的难易样本检测算法。

自适应的难易样本检测算法的核心在于难易样本决策模块（见图7），通过难易样本决策模块的决策，把复杂因素下的图像经过超深层的检测网络，从而保证在复杂因素下的样本检测精度。另一方面，通过海量的人体图像数据训练网络，共50万图像数据，包括夜间、白天、街道、人行道、交通等多种场景下图像数据，通过数据驱动的训练方式，使得自适应人体检测深度模型在各种场景下具有更高的检测精度。

图7 难易样本决策模块

3 智能巡河场景应用

选取了宁波市甬新河（甬新闸-紫诚路，8.6km）为试点河段，依托智能视频分析算法，通过甬新河前端3个铁塔高位视频监控点和16个低位视频监控点，获知试点河道状态变化等信息，实现视频智能分析技术在水利管理多个场景中的应用。

3.1 “河道日常巡查与保洁”场景

以现有及新建的视频监控系统为基础，建立视频监控点间的空间拓扑关系，基于物体识别服务，监测水面、水岸是否有不明物体，如垃圾、水面漂浮物、违章建筑等[7-9]，具有自动巡河与任务巡河两种模式，有助于城市河道、河岸垃圾的发现与清理。

智能巡河系统界面图见图8，沿河摄像头按照固定角度拍摄固定区域，全天候24小时对区域进行监管，对于发现的漂浮物进行记录并生成事件记录，包括发现时间、目标切片、摄像头坐标及位置等内容。

图8 智能巡河系统界面图

3.2 “违规行为取证”场景

智能识别、抓取、记录河道、河岸存在的违规钓鱼、游泳、闯入管理保护范围等违规行为，对各类行为自动归类存档并截取违规图片存入执法监管证据库，为水政执法提供证据。

（1）违规涉水活动设置

违规行为库里预先采集、存储游泳、钓鱼等行为，根据河段不同的管理方式，用户可以自行设置监管的行为类型与重点监管行为。

（2）周界设置

系统提供周界入侵智能巡河设备监管范围图，用户可以设置监管红线与区域，当非法人员、车辆、船只闯入禁区时，系统将采集记录违规行为。

（3）违规涉水活动事件

违规闯入取证应用界面图见图9，以列表形式展示发现的违规涉水活动事件，事件详情包括事件类型、是否为重要事件、事件发现时间、事件图片与视频等内容。

图9 违规闯入取证应用界面图

2020年9月12日15:13分，智能巡河系统于自动巡河过程中，在兴宁东路桥识别到有市民违规闯入河岸并钓鱼，系统预警后告知操作人员进行备案确认，备案确认后将此项涉水活动事件推送给河长制系统，事件交办至河长，由河长进行现场确认并处置，处置结果经河长制系统流转完成后将处置结果同步至智能巡河系统，水利局管理用户通过智能巡河系统能够查看处置流程与处置信息。

3.3 “违规排水监管”场景

基于排水识别、水体颜色识别等服务，实现对沿岸雨排口晴天排水、雨天排污，水下排口偷排等现象进行统一监视预警，违规排水识别检测流程与示例见图10。

图10 违规排水识别检测流程与示例

4 结语

视频图像数据是城市物联感知中体量最大的一类数据，水利视频智能分析算法研究与应用实现了人工智能技术在水利业务场景的应用，为水利行业业务管理部门提供了技术依据和经验参考。依托智能视频分析算法与服务，获知河道状态变化信息，以机器换人力，实现河道智能巡查，提高河道管理智能化水平，日后通过进一步推广应用，可有利于促进水利管理部门在水资源保护、河湖水域岸线管理保护、水污染防治、水环境治理等重要领域的管理发展进步。□