智能视联网技术在胶东调水工程中的应用与实践

吴 奇，魏文政，张昊鹏

（山东省调水工程运行维护中心，山东 济南 250100）

1 工程概况

胶东调水工程是国家南水北调东线工程山东“T”字型调水大动脉的重要组成部分，是山东省省级骨干水网工程，是一项远距离、跨流域、跨区域重大战略性工程。

为及时有效了解现地输水过程、输水情况、闸（阀）站、泵站设备运行情况，建设完成了1 套覆盖输水明渠、泵站、节制闸、分水闸、倒虹、渡槽、交水界面、水库的远程视频监视系统及安防监控系统，实现1 个调度中心、1 个备调中心、6 个管理分中心、13 个管理站对现地运行工况及安防情况的远程视频监视，实现现地无人值班，少人值守情况下对调水工程设施的有效管理[1]。

全线网络为自建局域网，全线安装2 645 个视频监控点位，分辨率均在1080P 以上，同时建有13套视频监控管理平台及配套存储系统。

2 需求分析

胶东调水视频监视系统主要功能为工程运行全面直观的现场图像展示，辅助采集工情、水情信息，管理区域及园区安防警戒。虽然实现了监控全覆盖，提高了工程管理维护和故障处理效率，减少了运维管理人员劳动强度，但缺乏智能识别、多源数据融合、群控联动等功能，没有完全发挥应有作用[2]。针对使用情况，对工程运行管理现状和应用需求进行了梳理，并对网络带宽、存储、网络安全等需求进行了分析。

2.1 应用需求

应用需求包括日常管理辅助和违规行为识别两方面。日常管理方面主要有设置日常巡查视频打卡点；监测渠道坍塌滑坡情况；监控渠道水尺、闸前闸后、弯道处、倒虹及涵洞、渡槽进出口等重点部分水位超限、水位突变异常情况；监测阀门井内渗漏水情况；监测设备运行状态（泵站、闸阀站、机房、配电设施）；监测冰凌检测、冰塞；监测渠道水面漂浮物、水质颜色变化、水藻爆发等。违规行为方面主要有监测无关人员在堤顶逗留和进入工程的封闭区域；监测人员溺水、游泳、捕鱼（钓鱼）、倾倒垃圾；工程管理范围内堆放垃圾、违法建筑；监测载重车辆、运输垃圾及危化品等影响工程和水质安全车辆驶入堤顶路；监测工程管理范围内的钻探、取土、挖坑、擅自建设其他工程的影响工程安全的行为；监测移动式、固定式取水设备自渠道内取水情况；监测砍伐破坏工程渠系绿化树木、草皮的行为；监测破坏现场管理设施、输配电设施、防护网、自动化设施的行为；监测明火、浓烟（渠道烧荒）等。

2.2 网络带宽需求

按现有摄像机每台2M 带宽计算，整体带宽需求如表1。

表1 摄像机带宽需求表

因为智能分析能力不增加现有带宽，现有带宽满足要求。

2.3 存储容量需求

在各运行过程中，积累了大量的数据。这些数据会随着时间的推移，数据量会不断增加，特别是智能分析的逐时、逐日的实时信息有所增加。各泵站中心软硬件设备环境需要提供大容量的存储空间和安全的存储环境，满足后续日益增长的水网大数据的存储需求。

2.4 计算性能需求

需要大量的GPU 计算资源进行算法，来实现边云协同的模型构建，实现大规模视频的在线分析、离线分析、分析任务调度、算法能力开放等功能。

2.5 安全需求

智能化视联网是实时作业运行系统，安全需求主要包括应用安全需求、数据安全需求、运行软硬件安全需求、通信网络安全需求等。

3 视联网技术

目前基于人工智能的视频识别技术在交通、铁路、医学等领域存在广泛应用，在水利行业应用较少。经研究主要用到的智能视联网技术为异常行为与事件智能检测和识别技术、异常事件检测的多源信息融合技术、视联网多视监控视频对象检测和协同跟踪技术等[3]。

3.1 异常行为与事件智能检测和识别技术

基于人工智能的水利视联网异常行为与事件智能检测和识别技术关键在于如何结合智能识别算法模型训练出更适合水利行业应用场景模型，获得更高的识别精度。结合水利行业相关需求，部分功能算法可直接借鉴目前已成熟的算法，如人脸识别算法、车辆检测算法等。相关研究人员已经开始尝试运用机器学习等算法解决如水尺水位识别、阀门井内渗漏水、水域漂浮物识别、冰凌和冰塞识别等实际问题，且已取得较理想的效果。较典型的为水尺水位识别算法，目前针对该算法的研究较多，有基于BP 神经网络和粒子群的静态水尺图像识别、基于YOLO-v3 对象检测算法和基于ResNet 实时水位刻度识别等算法，均取得了较高的识别精度。应用处于探索阶段，需根据实际情况对算法进行改进或者构建新的模型解决实际问题。

3.2 异常事件检测的多源信息融合技术

多源信息融合技术的关键在于融合算法的选择，随着新的基于统计推断、人工智能及信息论的新方法出现，越来越多的方法运用到信息融合技术中。常用的方法有信号处理与估计理论方法、统计推断方法、信息论方法、决策论方法、人工智能方法等。在本课题中，河湖视频异常事件检测的多源信息融合首先要确定选择哪些类型的数据进行融合，采用哪种融合方法对数据进行融合。

3.3 水利视联网多视监控视频对象检测和协同跟踪技术

基于监控视频对象检测和协同跟踪技术的关键技术在于两点：（1）在实际监控场景中背景较为复杂，所需跟踪的目标往往存在形体变化、光照变化等问题，且目标与目标之间、目标与背景之间会发生遮挡，因此如何稳定地追踪运动目标成为难题；（2）利用多相机协同跟踪时，如何解决多相机视角中目标与场景的遮挡等问题。

4 总体设计

4.1 设计思路

基于胶东调水自动化调度系统视频监视系统，依据应用场景和智能分析需求，建立智能分析算法库。算法库以视频智能分析为主，主要包括两部分，①是对行业应用中已相对成熟的算法进行集成[4]，②是对本项目中特殊场景、特定需求的新型算法进行研究。

梳理各类场景（水面、渠道内坡、堤顶路等）所需分析的内容，结合算法对监视画面的要求，对摄像机设定不同的预置位，通过算法调度实现一台摄像机多个预置位循环监视，对每个预置位画面可调用不同的算法，实现不同的智能分析。通过摄像机上下游关系关联，利用策略控制实现各种联动监视场景应用。建设方案技术路线如图1。

图1 建设方案技术路线图

4.2 系统架构

智能视联网系统充分利用人工智能、深度学习、视频图像处理、网络通信、数据分析等技术，按照统筹规划、信息资源共享的总体原则开展项目工程的建设。总体架构如图2 所示。

图2 智能视联网系统架构图

（1）智慧感知层。主要是接入各类视频感知和自动监测终端设备，包括超高清摄像机、普通高清枪机、普通高清球机、激光云台、热成像摄像机等各类设备，移动感知终端包括手机、车载、无线摄像机、船载、无人机、临时布控摄像机、执法记录仪、手持单兵等各类移动视频图像感知设备，以及水位、流量、水质等在线自动监测设备。

（2）网络传输层。各监控摄像机通过业务外网有线传输到视频管理平台，每路视频传输不低于2 Mbps。

（3）基础支撑层。充分利用现有的虚拟化基础设施资源，结合应用系统需求对计算资源、存储资源、网络资源、安全资源、备份资源进行统一的资源配置和优化调度。

（4）视频级联集控平台。提供平台基础应用、水利视频算法模型、算法调度与视频处理、视频运维管理与报表可视化，实现视频级联集控平台功能升级和算法跨级共享应用。具体包括以下应用：

1）运行控制系统承担着对平台资源的实时监控和管理，同时，监视各个算法运行流程和状态，协调调度各个算法所需的资源，实现多种算法的并行计算和灵活的按需调度，确保系统正常运行。

2）视频处理分析系统主要完成对接收视频数据及分析数据的标准化处理，对智能预警事件进行多维度统计和态势分析。

3）智能算法开发系统综合利用人工智能、机器学习、视频图像处理等技术，基于江河湖库水资源保护、河湖水域岸线管理、水生态监测和执法监管，以及水利工程建设和管理等业务需求，构建水利模型和智能算法仓库，对视频数据进行深度开发和有效信息自动提取，提升智慧水利的预测预报、工程调度和辅助决策的算法能力。

4）视频质量控制系统的主要功能是进行视频数据和分析结果的质量检查与质量评价，可视化显示和管理各产品质量检查计划进度及状态信息，提供对质量检查状态及结果的查询、浏览、统计、输出等功能，从而对整个系统的视频质量信息进行统一管理。

5）视频存档管理系统实现对视频信息的存储和治理，是水利视频信息在业务系统间进行共享与服务的技术基础和运行基础，包括视频数据的归档、迁移、检索、同步、整合、资产管理、多维可视化展示等。

6）共享服务系统通过视频信息服务接口开发，实现与其他系统的对接。

7）数字孪生通过集成数字化场景和智能解析成果等信息，实现胶东调水当前总体态势的全场景展示，辅助调水工程业务应用。

（5）业务应用层。面向省调水中心以及市县各级管理部门用户提供专用 PC 客户端、浏览器应用终端、大屏操控终端和移动 APP 应用终端等，方便不同类型用户便捷使用。

4.3 系统划分

本项目新建系统整体分为视频解析平台、视联网基础平台以及无人机、全景AR、工业听诊等前段感知设备3 部分。其逻辑关系结构如图3 所示。

图3 系统划分结构示意图

视联网基础平台负责与已有的主备调中心的视频管理平台对接，通过GB/T28181、ONVIF 协议或SDK 实现对已有视频监控资源的调用。视联网基础平台同时负责本项目新建的无人机、全景AR、工业听诊等感知设备的统一管理。

视频解析平台负责与已有的业务应用系统、数据资源管理系统对接，通过数据资源管理系统获取数据库中的监测数据、业务数据进行综合分析，通过业务应用系统实现分析结果的可视化展示和预测预警。

4.4 安全体系

安全体系包括可靠性、可用性、完整性、保密性、不可抵赖性和可控性等6 个方面。综合利用身份认证技术、数据加密技术、密码技术、访问控制技术、防病毒技术、防火墙技术、漏洞攻击保护技术、入侵防御技术、安全审计技术、操作系统安全技术等不同层次的安全技术，实现安全管理、物理安全、系统安全、应用安全和跟踪审计，分层模型如图4 所示。

图4 安全体系分层模型图

5 结语

智能视联网项目在胶东调水自动化调度系统基础上，对已建视频监控系统、计算机通信网络及配套基础设施等进行了充分利用，所采用的视频融合和智能解析等平台（系统）均属于国内先进且通用的产品或技术方案，建设成本和后期运行维护成本相对长期的人力资源成本较低。随着智能视频分析算法的不断优化，其场景适应能力和识别准确率将不断增强，可向其他类似的水网工程推广应用，提升其智慧化管理水平，本项目的直接及间接效益是十分显著的。