智能算法在河湖视频监控系统中的应用研究

［张楠 张成哲 刘廷 张路杰 曹丽娟］

1 背景说明

随着社会经济快速发展，在很长一段时期内，河湖乱占、乱采、乱堆、乱建（简称“四乱”，下同）问题层出不穷、防不胜防。河湖长制实施后，通过构建责任明确、协调有序、监管严格、保护有力的河湖管理保护机制，解决了一大批涉及“四乱”的重点难点问题，曾长期存在的“有河皆干、有水皆污”局面得到有效缓解，很多省市的国考地表水质断面优良比例不断上升，甚至全部消除了劣Ⅴ类断面。

为贯彻落实水利部推进智慧水利建设的总体安排部署，进一步提升河湖监管效率和水平，有必要采用IVS（Intelligent Video Surveillance）智能视频监控系统，实现河湖“全覆盖、全天候、智能化”监管，逐步替代人工巡河巡湖，推动河湖管理从“先破坏、后查处”向“预防为主、源头治理”方向转变。

2 河湖管理现状

以经过调研的河北省为例，全省境内共有流域面积50 平方公里以上河流1386 条（总长40 947 公里）、水域面积1 平方公里以上湖泊23 个、大中小型水库1 014 座、重要闸涵枢纽15 座、蓄滞洪区13 个。这些监管对象线多面广、分布零散、权属各异，为实现有效监管，目前全省共设有各级河湖长4.6 万余名，每年需开展定期巡河巡湖490 余万人次。这种主要采取人工现场巡查的监管方式虽然取得了较好的社会效益，但从长远来看，在监管效率、成本、时效性和持续性等方面还有较大提升空间。另外在乱占、乱采、乱堆、乱建等河湖“四乱”问题的溯源追责方面也存在较大空白，容易死灰复燃，疲于应付。

3 技术应用难点

近年来，随着人工智能、云计算、物联网等新一代信息技术蓬勃发展，视频监控系统已经从传统的被动监管向主动监管转变，从人工值守向无人值守和智能预警转变。新一代IVS 智能视频监控系统在公安“天网”、交通“电子警察”、林草“森林防火、秸秆燃烧”等方面得到广泛应用。与其他行业相比，水利行业受限较多，在新技术应用方面相对落后。经过调研分析，水利行业开展IVS 应用主要存在以下难点：

（1）监管环境相对复杂，缺少宏观统筹利用。以河北省为例，该省高原、山区、丘陵占全省总面积的56.6%，这些区域往往是暴雨集中地，容易发生山洪、泥石流等自然灾害，另外还分布着省内绝大部分水库、水闸、堰塘等水利工程，在保障防洪安全和工程安全方面责任重大。布设视频监控站点时，受限较多，必须充分考虑水利工程的业务需求和地形地貌，确保布置方案最优。但这些监测站点以低点监控为主，设备分布零散、周边人烟稀少，易受地形和树林遮蔽影响，不仅组网通电难度大，建设投资和运维成本高，而且应用面较窄，很难满足其他行业的共享利用需要。

（2）监管对象种类繁多，监控要求相对较高。水利行业的监管对象十分复杂，涵盖河湖管理、防汛抗旱、水资源管理、水利工程管理、水利政务管理等多个业务领域，具体包括河道内的违章建筑、有水无水、水污染、水尺水位、漂浮物、流量、闸门状态、运输车辆、采砂机械、人员危险行为、工程场区安防等多个方面，形态多种多样，识别难度较大。往往多种监管需求集中在同一个应用场景中，需要对多种智能算法进行集成应用和灵活配置，另外还需要考虑河湖库渠沿线自动轮巡、特定区域定期对比分析、跨行业共享利用和联合执法等深层次业务需求。

（3）智能化水平较低，数据整合难度大。河湖视频监管范围相对灵活，需在河湖管理边界基础上开展涉水事件的分析判断。受自然演变、工程建设和人为活动的影响，河湖管理边界容易发生变化，尤其城区河段人为挤占行洪通道的问题较为突出，难以准确判断事件是否发生在监管范围内，误报率相对较高。另外在河道采砂、跨（穿）河建筑物施工等方面，也需要结合采砂规划、工程建设管理等业务信息，综合判断上述行为的合规性。这就需要不断对数据整合、智能算法和监管规则进行优化调整，提升预报预警的准确性，但目前视频监控在此方面还很难真正实现自动监管和联动分析。

4 行业需求分析

围绕河湖防洪安全、生态安全、供水安全保障需求，按照“全面覆盖、智能监管、资源共享、业务协同”总体思路，依托物联网、人工智能、大数据、云计算等先进技术，构建河湖智能视频监控系统。

针对河湖告警事件，按照“发现-交办-处理-反馈-办结”五个环节进行派单处理；通过电脑、手机APP 等多种方式，为水利各级部门提供违法线索及实时视频数据；通过远程控制，协助部署、组织、调度一线工作人员进行现场检查及处置，实现高效闭环管理。推进河湖常态化、一体化、可视化监管，形成部门联动、上下协同、资源共享的河湖管理工作格局。

5 实现方式研究

针对水利行业现实需求，本文重点开展“高低搭配、远近结合、灵活部署、智能辅助”的河湖智能视频监控系统的创新性方案研究。总体方案如图1 所示。

图1 总体架构图

5.1 前端设备挂载高度研究

为满足广域的“全覆盖”要求，同时考虑项目建设成本，沿河湖周边一般采用高点挂载智能摄像机的方式，部署相对较少的前端设备，来满足最大范围的监管需求，挂高一般为20～40 m，可部署在铁塔顶部，有效避免树木和建筑物遮挡；对于水库溢洪道、闸涵枢纽等重点聚焦监控场景，采用低点定焦摄像头的建设方式，挂高一般为4～6 m，满足特定目标持续监管需求。如图2 所示。

图2 高点监控与低点监控的搭配示意图

5.2 摄像机监控半径研究

前端监控系统通过预置位轮巡采集符合要求的照片后，传给后台开展智能分析识别，自动触发告警。此时摄像机的监控半径由需要识别的物体大小、与自然环境的能见度决定，例如非法采砂违法行为中，需要识别最小物体为工程车辆，在肉眼可见的环境中抓拍的图像，监控图像中能够支持智能分析识别的图斑长宽一般不低于80像素，摄像机焦距越长，同一位置同一物体在监控图像中成像的尺寸越大，智能分析识别的半径也越大。如图3 所示。

图3 常见焦距摄像机覆盖半径

摄像机工程车辆识别半径约为焦距6 000 倍，目前常用焦距的摄像机监控覆盖半径如表1 所示。

表1 不同焦距摄像机覆盖半径

5.3 传输系统组网要求研究

视频监控主要采用“有线+无线”的组合传输方式，满足GB/T28181 要求。经实验验证，当信息（包括视音频信息、控制信息及报警信息等）经由IP 网络传输时，端到端的信息延迟时间（包括发送端信息采集、编码、网络传输、信息接收端解码、显示等过程所经历的时间）应符合：前端设备与监控中心间的端到端延迟时间不大于2 s；前端设备与用户终端间的端到端延迟时间不大于4 s。

选取的高清球形摄像机码流为6 Mbit/s，双光谱云台摄像机码流为6 Mbit/s，因此前端设备安装站点到平台之间的传输带宽需达到10 Mbit/s 以上。联网系统IP 网络的传输质量（如传输时延、包丢失率、包误差率、虚假包率等）应符合：网络时延上限值为400 ms；时延抖动上限值为50 ms；丢包率上限值为1×10-5；包误差率上限值为1×10-4。

5.4 算法功能研究

目前业界主流的算法实现方式主要有两种。

（1）将视频图像传输至后端平台算法服务器中，由服务器统一开展智能分析。优点是可实现新旧摄像头无缝衔接，建设投入较少，施工简单，算法可灵活定义和拓展升级，还能以算法叠加方式实现复杂组合分析，适用于需要同时监管多种目标的复杂场景，应用范围较为广泛。缺点是后端压力较大，对服务器性能和网络带宽要求较高，运行成本较高，且容易出现网络延时丢包等问题，实时性和准确性稍差。

（2）将算法集成到前端嵌入式设备。在前端布设基于“云边端”技术的智能摄像头，通过内嵌算法自行开展智能分析。优点是只传输分析完的结果，对后端服务器性能和网络带宽要求较低，尤其网络流量耗用较低，可利用4G/5G 基站进行无线组网，大幅降低组网难度。缺点是前端处理能力和升级潜力有限，无法完成复杂分析，且前端设备成本较高，旧网改造时很难利旧。一般用在监管目标相对单一，应用场景相对固定的小型系统中，后期难以开展共享利用。

结合河湖智能监管需要，本文提出一种前端算法+平台算法相结合的架构思路，架构更加合理，组网更加灵活，负荷更加均衡，投资更加可控。其中水位识别、流速识别、电子围栏等简单分析可由前端嵌入式设备完成；违章建筑物、非法采砂识别、危险行为识别等复杂分析则交由后端算法服务器实现。

各应用场景需集成的智能算法组合如表2 所示。

表2 应用场景集成智能算法统计表

5.5 信息识别功能研究

系统通过调用高点摄像机进行采集图像资源，热成像摄像机采用区域自动巡航方式进行采集；高清球形摄像机采用预置位的巡航方式进行采集，低点摄像机直接将简单算法结果传输至平台。系统对图像进行结构化处理，开展信息识别，提取图像中车、物、行为等关键目标的属性，并进行语义描述，完全提取视频图像内的有价值信息。

智能分析将获取图像数据进行处理，识别图像特征，判断识别区域内是否有垃圾堆放、非法采砂车辆等违规目标、对检测出的物体或行为进一步分类，最终识别出目标区域的异常行为或异常状态。

（1）图像获取：根据业务需要和业务逻辑，设置预置位抓拍，定时获取前端视频监控系统的视频流或图像，以供后续算法分析；

图4 识别处理流程

（2）基础处理：视频图像按照场景需要，经过一系列基础算法所需的转换，预处理。屏蔽不同品牌、不同型号、不同码流等视频监控设备的差异，进行数据清洗以及过滤垃圾数据。

（3）算法分析：应对不同场景的识别，采用不同的图像基础分析方法进行基础特征分析。判断在该区域内检测是否有疑似异常行为或状况等。算法层分析特征仅仅作为图像识别的局部特征参考，识别的主要特征分量来自于经深度神经网络训练器后得出的特征序列。

（4）检索引擎：根据图像识别的结果，将对应识别结果映射为事件描述。

（5）事件描述：经检索引擎的事件映射，描述层实现从底层识别技术的特征定量到预警事件的定性描述的转换。并将对应事件提交应用层各模块以作相应处理。

（6）事件应用：纳入平台统一管理，应用平台接收到下层预警事件消息后，执行对应的消息分发，存储及事件全生命周期信息化管理，并支持大数据平台的对接。

6 结论

通过建成覆盖所有河湖库的IVS，通过“一网统管、资源共享”，能够有效保障河湖防洪安全、生态安全及供水安全，产生非常明显的经济效益和社会效益，推动河长制“有名、有实、有能”。

河湖IVS 建设涉及多学科交叉融合，加上水利行业集各种不利因素于一身，实施的技术难度非常大，需要进一步联合各方力量，加强算法研究，为各级河湖长及水利主管部门提供更加智能化、定制化的监管手段。