智慧视频识别在水利信息化中的应用 *

董晨龙李 宏李文驹严 华3

(1.成都万江港利科技股份有限公司，成都，610015；2.四川大学智能控制研究所，成都，610065；3.四川大学水利信息化联合实验室，成都，610065)

随着经济社会的不断进步、信息技术的迅猛发展和水利事业的全面推进，大力推进水利信息化已成为一种趋势[1-3]。水利图像视频监控[4]作为水利信息化的重要内容，在水利业务管理方面发挥着重要作用。目前水利图像视频监控系统多采用数字视频处理编码技术，对水雨情、工情、灾情等现场进行图像视频采集录像与传输存储，这类系统存在一个主要问题：“重硬件采集”、“轻数据处理”，无法发挥图像视频信息的内在价值[5-6]。监控系统的分析判断主要依靠人工完成，存在漏报误报率较高、反应不及时、智能化程度不高等问题，导致图像视频信息无法真正发挥使用价值。同时，水利图像视频监控对象常常遇到交通不便、现场环境恶劣、人工管理难度大等情况，传统的图像视频监控系统的通信存在较大的限制。

本文提出了一种智慧视频识别系统，其在国内首次将图像视频处理、模式识别、人工智能等技术应用到水利行业水资源与水利工程的相关数据采集监测系统中。该系统由实时智能图像视频采集与自动分析两部分组成，通过对水源地、河流防洪地区和水库等关键点的实时视频监控，智能系统能及时对可能或正在发生的汛情、险情、灾情进行动态监视和分析报警，充分发挥视频技术在水利信息化中的作用。

1 智慧视频识别系统的设计

本文设计的智慧视频识别系统是一种基于机器视觉的系统[7]，机器视觉系统一般结构如图1所示，主要包含图像采集单元、图像传输单元以及图像分析单元。运用到的技术包括：机器视觉技术、深度学习技术以及近景摄影测量技术。主要工作机理为图像采集单元将场景信息进行实时采集，采集完毕后通过图像传输单元上传至机器视觉分析服务器，图像分析单元结合相关图像处理算法实时对场景图像进行分析，管理人员可以根据分析结果做出更准确的决策

图1 机器视觉系统的一般结构

1.1 智慧视频识别系统组成

本系统在机器视觉系统的一般结构上做了相应的设计与改进，将系统分为智能图像视频采集子系统和智能图像视频处理中心平台子系统两部分，二者通过有线或者无线的方式联通。具体结构如图2所示

智能图像视频采集子系统也称前端子系统，主要任务是通过部署在监控点的嵌入式采集设备接入前端监控摄像机的实时视频。该子系统具有通用智能监控功能以及水利智能图像视频处理功能，并可以对水位、流速、含沙量、天气状况等水文特征参数进行图像预处理。系统能够与智能图像视频处理中心平台子系统进行信息交互，并支持分析信息与告警信息存储、转发、远程设置等功能且系统在野外环境下具有较高的稳定性。

智能图像视频处理中心平台子系统由部署在视频监控中心的高性能服务器与VPN网关等设备组成。通过连接前端子系统能够对前端子系统进行远程设置，能够对前端的分析结果进行管理和显示；能够实现对前端视频实时显示、存储与检索回放；并能支持复杂的多路智能图像视频处理算法；支持复杂的多路水位、流速、含沙量、天气状况、水利场景等特征参数精确计算以及与常用视频监控系统的集成。

图2 水利智能图像视频采集与处理系统结构

1.2 智慧视频识别系统功能指标及性能指标

智慧视频识别系统目前具有五个主要功能，包括：图像增强功能、通用视频监控功能、智能监控分析功能、水利视频专业分析功能和辅助功能。

图像增强功能对野外低质量图像视频进行增强处理，改善图像视觉效果。支持对雾天图像、低照度图像、夜晚图像的图像效果实时改善。

通用视频监控功能包括图像视频采集、存储、回放、检索、转发、显示等功能。

智能监控分析功能能够实现穿越警戒线检测、进入离开入侵区域检测、重要水利设施搬移、烟雾以及视频异常检测。

水利视频专业分析功能包括水位、水色、流速、含沙量等水文水资源要素检测，还包括水面漂浮物检测以及违规行为(钓鱼、游泳等)分析等功能。

辅助功能主要包括用户管理、日志管理、系统参数配置和吿警信息管理等。

系统的性能指标包括：系统支持压缩与原始图像视频检测，支持D1、H264格式视频实时检测；在保持90%的极高检测率的同时，每路具有少于5次/d的极低误报率；在野外恶劣天气环境、低能见度、低光照度等条件下检测水利关键目标；视频传输和智能报警延时小于0.2s；系统的平均无故障工作时间MTBF>30000h；支持16×16像素的小目标检测；支持每秒25帧图像实时增强；系统具有自学习自适应调整功能；系统提供Web Service开放接口。

1.3 智慧视频识别系统工作原理

通过布置在前端的监控摄像机实时对场景进行监控，对场景内包含的物体(水体、堤岸和船只等)做初步判断，并将捕获到的监控视频通过有线或者无线的方式实时传送到数据中心的服务器。当监控摄像机初步判断出目标检测物时，服务器首先增强图像视频数据，并对视频中目标检测物进行识别并将其分为静态和动态目标两类。对静态目标，例如水体、水尺、堤坝等目标的识别，根据图像的多种特征与水文水资源实时数据(水位、水色、流量、含沙量、水质、水生态等)的关系与数学模型，分析计算水文水资源参数；对于运动的目标，如漂浮物、船只等感兴趣目标的行为与轨迹进行跟踪分析，由决策报警模块根据视频图像处理的结果和预定的报警规则，自动启动报警的判断与决策。主要流程如图3所示。

图3 智慧视频识别系统工作流程

在整个过程中使用到的主要算法包括图像分割算法以及卷积神经网络算法。

第一步，教师审阅班级学生习作，将需要面批的学生叫上讲台。第二步，教师就学生习作中的行文思路、表达主旨、篇章结构和遣词用句进行询问，根据学生回答加以引导。第三步，学生根据教师的引导理清思路，并整理出修改意见，最终形成升格作文给教师复评。

(1)图像分割算法

图像分割算法主要使用的是边缘检测方法，边缘检测的实质是提取出图像中前景与背景间的交界线。本系统中边缘检测算法的算子采用Canny 算子，Canny 算子是先对处理的图像进行微分运算，因为图像的边缘处灰度变化较大，所以该处的微分计算值就较高，这样可以通过阈值的判断来提取边缘点，如果微分值大于阈值，则为边缘点，否则就不是边缘点。

(2)卷积神经网络

卷积神经网络是一种前馈神经网络和多层神经网络，由输入层、卷积层、激活函数层、池化层、全连接层及输出层组成。

本系统利用卷积神经网络来识别水位标尺字符，算法实现过程为输入原始数据，经过卷积、激活函数及池化等层层操作，将原始数据中的高层语义概念剥离出来。通过误差函数计算真实值和输出值之间的误差值，反向逐层反馈，更新每层参数，通过前馈运算与反馈运算，最终使模型收敛，实现完成训练的目的。同时，卷积神经网络的性能与所提供的训练样本息息相关，好的训练样本需要同时满足样本数量和样本质量两方面的要求。因此，收集大量高质量的样本是至关重要的，直接影响到最终水位观测结果的准确性。由于在日常的水位观测中，会有气象、光照、风浪等因素的影响，因此，本系统选取了大量具有代表性的水尺图像，形成多幅带干扰的字符图像，通过这些图像整理出多组样本。考虑到在分割的时候去除了很多干扰，所以选取噪声少的样本用来训练卷积神经网络。

2 智慧视频识别系统的应用

2.1 水位自动监测

智慧视频识别系统的水位自动监测系统由前端子系统，传输子系统，中心子系统以及移动端APP四部分组成。前端子系统包括机器视觉分析仪、专用水位标尺、太阳能供电系统以及避雷防雷系统；传输子系统由一台北斗通信机组成；中心子系统是一套机器视觉分析服务器。整个系统的布设如图4所示。该系统能够实现全自动化水位值测读，且测量量程可定制，水位测量精度为≤±1cm，支持自定义采集周期；能够将历史数据存储，并对水势结果进行分析，可实时展示水位信息；当水位超出预设阈值时，能够发出预警信息。

图4 水位自动监测系统组成示意

通过在水位监测点布设水位自动监测系统，利用机器视觉技术，从而实现水位标尺的自动测读[8-9]。水位标尺的自动测读具体实现过程如图5所示。首先采集当前帧水尺图像，对图像进行类型变换、去噪滤波、叠加平滑、二值化等一系列图像预处理操作，再采用Hough 变换算法对水尺图像进行倾斜校正，截取水尺目标区域的图像，对水尺目标区域进行图像畸变校正以及增强处理，提取水位线和水尺顶部边缘线位置，按水尺顶部和水位线的行坐标对水尺目标区域进一步截取，以得到最终的水尺目标。根据水尺刻度线定位和数字字符图像，对该数字字符图像进行预处理，再采用卷积神经网络对分割出的数字字符进行识别，即可确定水位值。实地试验演示如图6所示。

图5 水位自动测读执行流程

图6 水位自动监测系统实地试验演示

2.2 水色自动监测

智慧视频识别系统的水色自动监测系统同样由四大部分组成，其前端子系统中不包含专用水位标尺，其余组成部分均与水位自动监测系统组成相同。整个系统的布设如图7所示。该系统能够实现全自动化水色识别；支持洪水、水质富营养化等事件检测，并且支持事件颜色自定义；能够实现颜色骤变检测，支持色度变化速率自定义；支持自定义采集周期；支持观测画面存档；当检测到水质颜色变化时，会发布预警信息；还具有水色变化大数据分析，能够实时展示水色信息。

图7 水色自动监测系统及漂浮物自动监测系统组成示意

通过在水色监测点布设机器视觉水色自动监测系统，利用机器视觉技术，实现水色的自动识别、事件检测和水色骤变检测[10]。水色检测具体实现过程如图8所示。首先采集当前场景图像，在图像中提取若干子区域样本，对样本图像进行校正，去除图像中的阴影和反光，结合相关颜色识别算法，例如色差法，对提取的样本进行颜色分析，与事先训练好的颜色信息值以及事件信息进行对比，判断水质颜色、判断是何种水质事件以及判断水色是否发生了骤变。实地试验演示如图9所示。

图8 水色检测流程

图9 水色自动监测系统实地试验演示

2.3 漂浮物自动监测

智慧视频识别系统的漂浮物自动监测系统与水色自动监测系统有着相同的系统组成。整个系统的布设如图7所示。该系统能够实现全自动化水面漂浮物检测，若检测到水面漂浮物面积超过限制时，会发布预警信息且能够实时展示漂浮物信息。

通过漂浮物监测点布设机器视觉漂浮物自动监测系统，利用机器视觉技术，实现水面漂浮物的自动检测[11]。漂浮物检测具体实现过程如图10所示。首先采用自适应背景模型创建背景图像，然后利用当前图像与背景图像相差分的技术检测出图像中的变化区域，再从所有变化区域中将对应于漂浮物的区域单独提取出来。用卷积神经网络算法对水面漂浮物样本特征进行训练，建立漂浮物分类器；对检测出来的漂浮物进行特征化，将特征化后的数据输入分类器中，根据输出数据决定其属类。实地试验演示如图11所示。

图10 漂浮物自动检测流程

图11 漂浮物自动监测系统实地试验演示

目前智慧视频识别系统已投入到四川省都江堰灌区人民渠一处运行。图12为四川省都江堰灌区人民渠一处网页端操控界面。由图12可以看出，子画面1～3用于实时显示水位信息，通过多画面对比，能得到更加精确的结果。子画面4～8用于检测水色以及漂浮物，左侧为预警信息流，对漂浮物分类识别后，检测出河流中垃圾含量超标，提醒工作人员采取相关措施。

图12 四川省人民渠网页端操控界面

3 总结

本文以水利信息化为前提，展现了智能视频识别系统在水利信息化中的建设思路及应用效果。智能视频识别系统的使用是为了更好地利用现代通信、计算机网络等信息技术，深入开发和利用水利信息资源，实现水利信息的采集、输送、存储、处理和服务的现代化，全面提升水利事业活动效率和效能，全面实现水利信息化，提高水利行业的科学管理水平。

智慧视频识别系统的研制与建设对于推进河流治理、防汛抗旱工作以及水资源调控具有重要价值；同时对于保障人民群众生命财产安全，有效减轻洪涝灾害和水污染损失，改善民生和维护社会稳定，支撑经济社会可持续发展也具有十分重要的作用。