基于微服务的水利视频云平台关键技术研究
2024-10-10严春燕
摘 要:随着水利视频监控站点的不断接入,对资源分级管理、视频共享、移动工勘和资源扩容等方面均提出更高需求。该文以江西省水利视频云平台为例,在原有视频信息云平台上,整合资源、升级扩容,分析系统总体功能、逻辑架构、技术路线,采用微服务、GIS和AI等技术,实现跨品牌设备接入,为水利系统视频监控工作提供参考借鉴。
关键词:水利视频云平台;微服务;GIS;AI;逻辑架构
中图分类号:TP393.0 文献标志码:A 文章编号:2095-2945(2024)29-0052-04
Abstract: With the continuous access of water conservancy video surveillance stations, higher requirements have been put forward for resource hierarchical management, video sharing, mobile prospecting, resource expansion and so on. Taking the water conservancy video cloud platform of Jiangxi Province as an example, this paper integrates resources, upgrades and expands capacity on the original video information cloud platform, analyzes the overall function, logical architecture and technical route of the system, and uses micro-service, GIS and AI technology to realize cross-brand equipment access, so as to provide reference for video surveillance of water conservancy system.
Keywords: water conservancy video cloud platform; micro-service; GIS; AI; logical architecture
为深入践行习近平总书记“十六字”治水思路,江西水利以数字化、网格化、智能化为主线,数字化场景、智慧化模拟、精准化决策为路径,加快构建具有预报、预警、预演、预案功能的智慧水利体系[1]。视频监控作为重要的监管手段,提高水利设施信息化管理水平与共享能力。然而目前大多数视频监控平台没有充分考虑水利行业监管业务特性;普遍通过人工方式实时监控视频或查看录像及历史图像,无法满足水利强监管要求;无法实现多浏览平台全兼容、跨平台视频资源分享;视频接入端涉及设备厂家、品牌、类型多,视频传输及接入标准不统一。
为及时获取江西省江河湖泊、水库的水位信息,本文设计了基于微服务的江西省水利视频云平台,以“云平台”理念为指导、以“共建共享”为目标,以“云服务”方式接入已建的视频监控设备、自动监测设备及无人机等不同类型设备的视频图片数据,对数据进行统一存储,同时引入AI、数据挖掘等技术,实现对视频图片的自动判别及深入分析,进而实现各监测站点自动预警预报。
1 系统总体功能
系统总体功能主要包括视频地图、视频监控、分级管理和设备管理4大模块。
1.1 监控点在水利“一张图”上集中展示
把视频监控点放在水利“一张图”上展示,点击地图上监控点展示该设备的地理位置,播放实时视频,还可以查看设备历史录像,对播放的设备进行方向调整和镜头缩放。
1.2 监控点操控和视频轮巡
选择多路视频监控设备,多画面显示选择的视频监控设备实时视频,双击任一视频画面时可切换为全屏展示。全屏后可通过伸缩、光圈、焦距、雨刷和去雾等云台功能按钮进行调整。
1.3 视频资源分级管理
采用分级管理的理念,在省、市、县多级部署的过程中,将平台管理权限同步配套给对应层级,给予用户充分的自主管理权限,各级单位管理人员可根据自身管理权限及业务需求,获取平台资源,调用平台服务,建立专属的应用环境,构建独立的视频管理系统;各种业务应用可根据自身需要,按权限获取视频资源[2]。极大减轻系统超级管理员的日常管护负担,实现市、县自治自理的同时,也能充分挖掘市、县基于视频资源拓展水利行业应用的潜能。
1.4 设备接入和维护
设备从点位勘察、接入、维护、下线整个生命周期管理,查看当前总的接入设备数,以及设置存储计划。
2 视频云平台逻辑架构
视频云平台逻辑架构由核心数据层、基础公共服务层、业务服务层、数据表达层、客户端组成,如图1所示。
2.1 核心数据层
基础核心数据是视频云平台的核心,通过核心数据层集中管理核心数据,实现数据有效管控和共享。核心数据层用于存储、查询、更新基础数据、动态数据以及用户数据等核心业务数据,向业务服务层提供基础的高效的查询接口,同时向数据表达层提供查询和更新接口。
2.2 业务服务层
业务服务层包含轮巡、运维管理、工勘管理和系统管理等主要的业务功能。
2.3 基础公共服务
基础公共服务提供审计服务、全文检索服务、日志服务以及运维监控等功能。审计服务为业务审计而存在,主要的审计类型有用户验证/鉴权/授权审计、流程审计等;全文检索服务提供系统的全文检索、检索数据收集等功能;日志服务提供日志搜集、日志搜索分析等功能;运维监控包含链路跟踪和分析、性能监控、系统告警等功能。
2.4 数据表达层
数据表达层面向视频云平台Web端、移动端等客户端提供API接口功能。对外提供Restful接口,实现对Web端、APP端、微信公众号等请求支持,简化系统的架构,不同系统间只需对Json进行解析和序列化即可完成数据传递。
2.5 微服务划分
视频云平台采用微服务架构,通过纵向切分、横向切分2种方式将各个模块合理划分。先从业务维度纵向拆分,将关联较密切的业务以模块方式拆分为一个个微服务,功能较独立的业务以模块方式单独拆分为一个个微服务,再将公共且具有独立功能的维度横向拆分,从而将资源独立分开,不与其他业务进行耦合。
从业务维度视频云平台拆分了用户权限服务、系统管理服务、信息发布服务和工作流服务,再基于公共独立功能维度拆分出了视频云平台系统服务、日志管理服务、基础数据服务和数据同步服务。
3 基于微服务的技术路线
3.1 Spring Cloud分布式服务框架
目前比较成熟的微服务框架主要有Netflix、Spring Cloud和Dubbo等,Spring Cloud是基于Spring Boot的一套分布式服务框架,提供了开发微服务所需的组件[3]。通过服务注册与发现方式调用依赖的其他服务,调用过程中采用熔断模式、隔离模式、回退(fallback)和限流等机制对服务进行弹性容错保护,各服务集群通过配置中心动态获取配置信息。
3.2 Restful架构
Restful是一种思想,而不是一种直接技术,它采用Web、IOS和安卓服务为一体的接口。考虑到视频监控云平台具有PC端、移动端等多端展示需求,为此Restful是最好的选择。相比其他常规接口,Restful具有以下4个优势:
1)前后端分离,减少流量。
2)将安全问题集中在接口上,有效防止注入型等安全问题。
3)简化系统架构,减少耦合性,后端只需负责数据处理。
4)服务器性能优化。
3.3 Minio存储
传统存储系统,如NAS系统等,只能简单附加创建日期等常规元数据,随着存储数量的上升,这种存储结构将会出现检索、存取速度缓慢的问题[4]。
而Minio是一种对象存储服务,能够采用并发、异步和分布式方式,处理大量数据请求,适合存储大容量非结构化数据,比如日志文件、视频、备份数据和虚拟机镜像等,能够有效解决响应缓慢甚至系统崩溃的现象。因此,对于视频云平台来说,Minio是目前性能最好的对象存储。
数据安全。Minio使用纠删码和校验保护数据免受硬件故障和无声数据损坏等多重保护措施。Minio对每个对象单独编码,存储服务一经部署,通常情况下不需要更换硬盘或者修复。
文件修复。得益于Reed-Solomon 纠删码,Minio可以更加灵活的对文件进行修复。相比一般的Raid方式,Minio可以在非常小的粒度下对文件进行修复操作,灵活性有了很大的提高。
衰减保护。硬盘上的数据可能会神不知鬼不觉地损坏,也没有错误日志。针对这一问题,Minio采用HighwayHash算法计算校验和防范位衰减,根据测试结果,其可以实现10 GB/s的处理速度。
3.4 ElasticSearch搜索
ElasticSearch使用Lucene作为其核心来实现所有索引和搜索的功能,每个字段都被索引并可被扩展到上百台服务器,处理PB级结构化或非结构化数据[5],所有功能被集成到一个服务中,可以通过简单的Restful API、各种语言的客户端甚至命令行与之交互。
4 创新亮点
4.1 视频监控与GIS技术相结合
利用地理信息系统(GIS),根据水利工程的流域、行政区域、水利工程项目、水利工程类型和建设时间等多种特性,结合水利“一张图”,对视频、图像及录像资源进行接入、管理、检索、浏览、分享和运维。
4.2 引入AI、数据挖掘技术
收集大量视频及图像资源,利用AI、数据挖掘技术进行智能化分析、智慧化识别,实现问题早发现、早预警,满足强监管要求。
4.3 跨品牌设备接入
平台以统一标准化的接入、管理、转码及流媒体服务解决多品牌多种视频监控设备的接入及播放,实现各品牌摄像头、NVR等设备资源聚合。
5 系统测试
目前,江西省水利视频云平台(图2)已完成6 768路视频监控点接入,通过汇聚省水文、公安以及市县水利局等部门已建成的视频监控点,将监控点的位置、水位情况等信息在水利“一张图”上实时显示,统计各行政区域内在线、离线监控点数量,云台控制监控点全屏、放大、缩小,实现查看实时视频、视频回放及录像等操作,通过监控点名称、行政区域、监控用途、工程和项目等多种检索方式,方便用户快速在地图上定位所需监控点。
6 结束语
江西省水利视频云平台基于水利“一张图”开发,充分运用AI、数据挖掘等新技术,实现了全省共6 768路水利、水文、公安等部门视频监控信号的接入、存储和智能分析,通过视频图像实时获取江西省重要江河湖泊的水位信息,并记录重要堤防、水库的运行情况,显著提升了江西省水安全在线监管、江河调度、工程运行、应急处置能力[6]。
参考文献:
[1] 王隽雄,李阳,王宇菲.推进智慧水利建设急需解决的遥感数据处理问题研究[J].中国水土保持,2021(11):65-68.
[2] 朱松挺,胡翌,陈杰,等.江西水利视频云平台建设探索[J].江西水利科技,2020,46(1):70-73.
[3] 常秀岩.基于微服务架构的PaaS云平台架构设计[J].探索科学,2019(7):203-204.
[4] 邱宇.基于MinI0分布式存储的微服务模块开发应用[J].互联网周刊,2023(22):38-40.
[5] 杨波,王琼,魏军.面向数据中心的日志分析平台研究[J].通信电源技术,2020,37(13):133-136.
[6] 魏超.江西“智慧水利”建设现状与发展对策研究[D].南昌:江西财经大学,2021.