视觉AI中台在水利工程监管中的设计与应用

王 珊，冯燕青，游振州

（1.南京市江宁区水务局，江苏 南京 211100；2.南京市水利规划设计院股份有限公司，江苏 南京 210001）

视觉AI 中台是基于人工智能和大数据分析技术的一项创新性中台产品，旨在帮助用户通过图像和视频分析实现对世界的了解和认知。计算机视觉是计算机科学学科的一个新兴领域，也称之为视觉AI，通过计算机的训练和学习识别图像和视频，使计算机复制人类视觉系统，具有感知能力。这使得前端感知数字设备（如视频监控摄像机、人脸识别摄像机、ORC 识别摄像机等）能够如人类和动物一样，识别和处理图像或视频中的实体。机器视觉是基于使用智能相机和图像捕获技术的“照相机机器人”，能够利用视觉自动进行检查，最终实现利用机器来代替人眼进行测量和判断，从而实现智能化［1］。通过视觉AI，硬件设备和软件系统可以表现出智能行为。

在水利工程监管领域，视觉AI也具有广阔的应用场景。目前各大视频监控设备的原厂商（如海康威视、大华股份、天地伟业等），针对通用场景（如人、车、船等）的AI 识别都积累了一些成熟的算法，甚至将这些成熟的通用算法集成到边缘侧，方便安装、调试和使用。目前视觉AI技术并没有涵盖水利工程监管领域的全场景，当水利工程管理者提出个性化需求时，很难在AI算法市场上找到训练成熟的算法对其进行个性化开发，很难满足项目资金的需求和研发周期的要求。为解决以上难点，本文讨论视觉AI中台的设计方案与应用实践。

1 视觉AI中台的建设目标

目标是形成一套工具体系，把视频图像接入、算法配置、结果集输出、API 接口进行模块化封装，降低应用系统使用视觉AI算法的技术门槛；针对水利工程监管的应用领用通过配置训练成熟的算法（如混凝土运输车识别、渣土车识别、安全帽识别、烟雾识别、抽烟识别等），具有一键导入成熟行业算法的能力；针对个性化研发的算法具有配置功能。

2 技术架构

视觉AI 中台的架构设计参考了T/CESA1037—2019《信息技术人工智能面向机器学习的系统框架和功能要求》，总体架构如图1所示。

图1 视觉AI中台技术架构

本文提出的视觉AI中台是将视频、图片分析中共用的AI相关中间件整合，形成服务于业务的体系结构，从硬件基础到上层应用，主要分为基础设施、视觉处理、算法仓库、对外服务及运维管理。在基础设施层，既能部署各类通用物理计算设备，也能基于虚拟化的设备设施运行；在视觉处理层，主要实现图像识别、视觉解析、行为检测，以及基于规则的视觉认知；算法仓库主要包含算法管理和算法调度2 项功能；对外服务提供标准的API 接口服务和管理，以及原生的SDK 服务组件；运维管理主要实现系统的运行监管和统一管理。

3 流式处理引擎

视频流、视频文件、图片作为输入的数据源，视觉中枢会进行数据预处理，然后将处理后的数据传输给视觉认知，通过调用算法仓库的算法，视觉认知会根据配置的算法进行数据计算分析，通过对外服务将视觉认知的处理结果输出给上层业务应用，见图2。

图2 流式处理引擎

4 算法仓库

参考T/CESA1037—2019 算法服务的标准化概念，算法仓库是一个可以执行算法管理和算法调度的AI算法集合。算法管理具有提供生命周期管理、运行管理、评价管理等功能。算法调度屏蔽底层异构计算资源的差异，灵活服务不同类型的算法，并为这些算法任务的执行提供高效的任务分解和调度。

4.1 算法调度

算法与大数据具有“天然紧密性”，算法仓库在算法的调度框架上，选择业界主流的基于HadoopYarn分布式任务调度框架，通过设计任务框架、整合资源池，提升计算执行效率和资源利用率。Client（TFClient）：负责启动作业及获取作业执行状态；ApplicationMaster（TFAM）：负责输入数据分片、启动及管理Container、执行日志保存等；Container（Worker）：作业的实际执行者，负责启动深度学习框架的Worker 或ParameterServer 进程，监控并向AM汇报进程状态、端口信息、上传作业的输出等。具体见图3。

图3 基于Yarn的算法调度

图4 混凝土运输车识别

图5 渣土车识别

图6 安全帽识别

图7 火焰识别

图8 抽烟识别

4.2 算法管理

视觉AI中台通过配置集成业界成熟的算法，如混凝土运输车识别、渣土车状态识别（满载、空载）、安全帽识别、火焰识别、抽烟识别等智能算法辅助工程的安全监管监督，通过AI技术在水利工程管理上的应用，实现水利工程实时在线监管。

4.2.1 混凝土运输车识别

混凝土运输车识别是基于车型识别功能，系统利用车辆动态视频或静态图像进行数据分析识别车型。系统进行视频车辆的检测，通过预训练的算法，在不掉帧的情况下实现图像采集并处理。

4.2.2 渣土车识别（满载、空载、半载）

渣土车识别（满载、空载、半载）是基于车型识别功能+货箱检测功能，系统利用车辆动态视频或静态图像进行数据分析识别车型。同时系统对货箱进行检测，通过预训练的货箱检测算法，在不掉帧的情况下实现图像采集并处理。

4.2.3 安全帽识别

安全帽识别，系统利用人员的动态视频或静态图像进行数据分析，通过成熟的深度学习的目标检测算法，对提取到的图像采用二分类方法，判断工人是否佩戴安全帽已经成为安全帽佩戴检测的落地应用场景之一。

4.2.4 火焰识别

火焰识别，系统利用采集的动态视频或静态图像进行数据分析，通过深度学习神经网络技术，实时对监控区域内的火焰进行识别，可动态识别出火焰从无到有，从小到大的状态转变。

4.2.5 抽烟识别

抽烟识别，系统利用采集的动态视频或静态图像进行数据分析，通过深度学习结合人体姿态方式，既能识别香烟实物，又支持吸烟动作行为识别。

5 应用案例

在秦淮河流域，通过部署覆盖水利工程的多维度感知体系，结合视频监控、智能AI、BIM等技术手段，研发了基于视觉AI 中台的数字孪生工程管理平台，该平台利用高空铁塔视频监控及工程配套的视频摄像机，实时采集视频和图像。数字孪生工程管理平台依靠视觉AI 中台提供的视频和图像分析能力，形成一些具有水利工程特色的智慧场景应用。

人员管理通过人脸识别算法赋能人员的进出场登记、考勤。在工程建设期施工阶段，实现对安全员、施工员、材料员、预算员、质量员、资料员、监理员、劳务员的到岗管理；在工程运行期，辅助工程管理人员的日常考勤，日常巡查运维。

设备管理，在工程建设期施工阶段，通过配置特种设备的智能识别算法，实现特种设备的进出场自动登记和现场作业规范的远程监控提醒；在工程运行期，通过图像获取设备的仪表参数，运行状态，实现对设备的智能监控。

进度管理，通过车型和装载货物识别算法，通过关联分析粗略估计工程进度和施工量，与工程的形象进度进行比对分析。

安全管理，通过安全帽、火焰、抽烟等危险源识别算法赋能工程的安全管理巡查，自动派发自动巡检工单督促整改。

通过新技术的运用，实现了对工程入场人员的实时监管、设备的远程智能监控、工程进度和质量的智能评估以及安全的专项稽察。满足了各级水行政主管部门对秦淮河流域典型水利工程在建设期和运行期的信息化、智能化、精细化管理要求。

6 应用成果介绍

视觉AI 中台在水利工程领域的应用场景还有待探索创新，目前已经形成应用成果的主要有如下几点：

（1）AI 视频监测，全面提升预报预警能力。关注河道水位、周边有无洪涝灾害，及时通报周边汛情，也需要及时检测河道重点区域的水位变化、降水量及水位异常情况，提供及时准确的汛情预警，避免山洪灾害的发生。传统人力巡检和人工排查需要耗费大量人力精力［2-3］。通过在工程的重点部位部署视频自动监测设备，在满足基本视频监控的同时通过采用先进的AI视觉智能水位分析、流速流量分析、报警联动等技术，对河湖水面、河湖岸线等进行24h实时AI智能监测。

（2）多功能预警，自动触发多种警情预报。水利工程管理监测站安全警戒功能能够在全天候、全方位实时监控基础上，设置阈值，自动触发报警信息，同时可通过设备的语音提示及时发现报警画面，并可以远程喊话处理警情。

（3）算法的更替和创新。算法是图像识别技术得以应用的核心依据，同时也是视觉AI中台在水利工程监管领域发挥功能的最重要保障。综合当前实际情况来看，在部分环境下算法的精准性还未能达到最高的标准，对人以及车的识别精准率较低，在未来发展的过程中，关键任务是全面提升图像识别算法的准确率。

另外，为进一步提升视觉AI 中台的服务价值，还需要及时地联动用户打造更具实用性的产品。行业用户可以建立在自身发展需求的基础上不断落实算法及性能的研究，通过行业的共同努力能够切实反馈视觉AI中台实际应用情况，也可以进一步总结具有创造性和建设性的意见［4-6］。

7 结 语

视觉AI 中台建设为后续水利工程管理中人工智能的发展搭建了坚实的设施基础和能力基础。在未来的建设中，进一步实现面向水利工程管理的视觉AI智能应用的算法接入和能力开放标准，为水利工程管理业务提供丰富的、可自主调用的、可基于场景的和数据监控的人工智能能力和资源，提供多来源算法沉淀、数据集服务、能力迭代闭环的开放平台，供各水利工程管理业务单位使用。