基于机器视觉的水闸动静一体化位移监测系统

2022-09-28方卫华徐孟启

江苏水利 2022年9期

方卫华，胡丰，孙勇，马聪，徐孟启

（1.水利部南京水利水文自动化研究所，江苏南京 210012；2.江苏省秦淮河水利工程管理处，江苏南京 210022；3.上海同禾工程科技股份有限公司，上海 200092；4.河海大学计算机与信息学院，江苏南京 211100）

1 概述

近几年来，水闸安全性问题已引发各方的高度重视。水利部不仅开展了大规模病险水闸除险加固建设工作，还于2018年颁布了水利行业标准《水闸安全监测技术规范》（SL—768）［1］，这部规范可为今后的水闸建设及安全监测工作提供了依据。然而受水闸运行状态及环境影响，危及结构安全的不确定因素较多［2］，传统监测手段难以排查全部问题。

目前水闸安全监测很多都是套用大坝安全监测技术，实际上水闸作为薄壁钢筋混凝土及金属组合结构，长期受动水压力作用，在波浪及流动水体的作用下，由于液固耦合作用水闸不仅仅存在与大坝一样的静态变形，同时也存在振动等动位移、动渗流和动应力。位移监测由于测值直观、影响因素少，一直是安全监测的首选项目。众所周知，结构振动过程中的振幅与频率能反映结构的健康状况［3］。相对于静态监测而言，动态监测在模态分析、损伤识别方面具有更高的优势，将动静位移结合可以更好地分析结构由于动静力影响导致的安全风险，更精准地实现预测预警。目前在桥梁、高层建筑的结构健康监测中就采用了振动监测方法［4］，但在水闸结构长期监测中还较少应用。目前常规的电测振动传感器均是接触式传感器，安装布设和运行维护存在困难。

随着科学技术的发展，机器视觉技术已成为一种新的结构振动量测方法［5］，机器视觉通过算法将图像转换为位移数据从而实现非接触长期监测。本文将结合以上技术，提出一种基于云边端协同的水闸振动监测系统设计方案，以实现高精度、自动化、智能化监测。

2 系统设计及关键技术

2.1 基本原理

本系统采用机器视觉监测原理，即摄像机固定在水工结构端部的稳定基点上（如无稳定基岩则采用双金属标结合倒垂修正），待监测水工结构的测点上设置靶标（靶标数量根据测点需要确定），当被测物体发生位移时，靶标坐标也随之变化，从而通过机器视觉技术可对靶标进行跟踪计算，以得到相应位置物体表面的位移。基本原理如图1所示。

图1 机器视觉位移测量原理

2.2 机器视觉算法

2.2.1 图像预处理

图像在拍摄过程中，受各种因素影响不可避免会产生噪声，极大影响了图像质量。故在特征提取前，需要对图像进行预处理，主要手段包括：直方图变换和图像平滑。

直方图是图像最基本的统计特征，是图像亮度分布的概率密度函数，反映图像的清晰程度。直方图均匀分布时，图像最清晰。直方图均衡化就是将给定图像的直方图变换为均匀分布的直方图，本系统采用直方图变换。

图像平滑可消除图像中的各类噪声。如椒盐噪声是图像中常见的一种噪声，由信号的脉冲强度引起，表现为黑色和白色像素随机出现在图像上，可通过中值滤波方法来消除。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，这种滤波器的优点是运算简单而且快速，在滤除叠加白噪声和长尾叠加噪声方面显示出了极好的性能。中值滤波器在滤除噪声的同时又能很好地保护细节信息（如边缘、锐角等），本系统采用实用和计算复杂度小的中值滤波进行图像平滑处理。

2.2.2 搜索靶标区域

将滤波平滑后的图像经过图像分割得到二值图，并进行筛选，找到感兴趣区域（ROI），这个步骤称为搜索靶标区域。主要手段包括：图像分割、ROI筛选。

图像分割是将图像分割为互不相交的区域，可通过图像二值化来实现。若一幅图像只含两个灰度级，则称这幅图像为二值图像。二值图像具有存储容量小，计算速度快，便于进行布尔运算、提取目标物的几何特征的优点。图像二值化不等同于图像黑白化，实质是一种模式分类方法，即将用L个灰度级表示的图像用两个有特殊含义的灰度级来表示，一个灰度级表示背景，另一个灰度级表示前景。

图像经过二值化后，即可根据目标物的几何特性、拓扑特性等进行形态学分析，筛选出感兴趣区域（靶标区域）即ROI筛选。

2.2.3 特征提取匹配与位移计算

通过二值图筛选出靶标区域后，便可利用特征提取匹配算法得到特征点坐标，进而计算出目标的真实位移。特征点可以选择图像亮度变化剧烈的点或图像边缘曲线上具有曲率极大值的点，常用的特征点检测算法有Harris算法、Susan算法等［6］。

2.2.4 算法流程

按机器视觉方法测量靶标位移算法流程如图2所示，最终位移结果发送至云端保存。

图2 算法流程

2.3 关键问题及解决方法

2.3.1 日夜连续监测问题

采用可见光／红外双光相机，同时采用夜间补光定位方式，相关相机技术指标为系统分辨率：1/100 000FOV（视场范围）；图像传感器分辨率：不低于3 840×2 160；系统精度：±1/50 000FOV（视场范围）；测量距离：0～400 m；防护等级：IP65；工作温度：-40～80℃。

2.3.2 图像处理速度问题

为提高图像处理速度，采用嵌入式系统边缘计算方式，智能嵌入式系统与相机采用一体化设计，内置AI算法能自动修正转角及距离影响，无需测距与调平；自动进行温度补偿修正；去雾算法，克服水闸运行水雾以及天气大雾影响；利用边缘计算设备先将图像转换为位移数据，再将位移数据通过网络上传至云端，减少传输带宽要求。

2.3.3 温度漂移问题

全面考虑相机系统结构的各部件热影响以及温度对红外传感器的影响，从仪器设备选型、配套温度控制装置以及恒温保证装置设计、温度补偿修正算法等方面入手，系统解决本变形监测系统的温度漂移问题。

3 监测系统架构

3.1 系统整体设计

水闸振动监测系统包含硬件及软件部分，为实现自动化的监测及预警，监测系统采用分层架构，分为传感层、采集传输层和数据管理层，如图3所示。传感层为硬件层，类似于人类的感官系统，通过传感器采集各种物理量及环境量，包括位移、应力、振动、噪声、水情、雨情传感器等；采集传输层为中间层，连接硬件层和软件层，包括通用数据网关和云数据服务接口部分，传感器数据首先汇总到通用数据网关，然后再由网关将数据传送到云数据服务接口；数据管理层是软件层，类似于人类的大脑，不仅保存数据，还要对数据进行分析及预测，通常部署在云端。

图3 监测系统分层架构

3.2 机器视觉测量仪软硬件集成

机器视觉智能测量仪为装有嵌入式系统的边缘计算设备，软硬件均采用分层架构。硬件架构包括通讯层、传感层、计算层及电源层，如图4所示。软件架构如图5所示，将嵌入式系统软件从下至上分为HAL（Hardware Abstraction Layer）层、基础算法层、测量算法层与业务层，实现软件与硬件的解耦，便于集成与测试。

图4 测量仪硬件架构

图5 嵌入式系统软件架构

HAL层负责实现硬件的虚拟化，包括CMOS感光芯片的驱动，通过MIPI协议，实现高清视频图像的传输；IRIS光圈驱动实现对镜头光圈的控制；通过FLASH抽象库，实现片上存储空间的驱动，用于测量数据的存储；通过WIFI/网口Ethernet芯片驱动实现网络通讯功能。其他上层模块只需要调用HAL层的软件接口，就可以实现嵌入式系统硬件的调用与集成。

基础算法层，提供上层多种基础算法，包括矩阵计算、FFT、卷积神经网络、特征算子、图像放大、缩小、旋转等线性变换。实现基础算法复用，降低开发、测试与维护的成本。

测量算法层，是在基础算法层的基础上，进行图像处理，获取最终的微变形数据。包括图像预处理、图像分割与ROI区域选取、特征匹配、位移计算等重点算法。

业务层，主要处理程序的业务逻辑，实现现场调试、参数配置、测量流程控制、数据上传等逻辑，用户通过界面与该层进行交互。

本次监测研发系统最高采样频率为60 Hz，监测距离为0～400 m。机器视觉智能测量仪和靶标通过定制支架安装在既有观测墩上，现场布设红外补光灯确保夜间及雨雾天气下观测不受影响。

3.3 数据管理平台

数据管理平台部署在云端，由虚拟主机和数据库组成，包含数据管理与数据分析程序，可实现以下功能：

数据分析。对原始数据进行分析整理。剔除异常数据，建立异常数据档案，由人工判断产生原因。将正常数据保存至数据库，并对数据做傅里叶变换，得到时域与频率分布曲线。

数据可视化。为实现数据的可视化，建立Web端数据显示界面，可在浏览器中输出位移、加速度等物理量变化曲线，可视化界面如图6所示。

图6 数据可视化界面

监测与预警。通过数据监测，可实时获取水闸的振动频率和振幅，得到结构刚度的变化趋势，掌握水闸的健康状态。建立分级预警管理制度，预警等级根据测项的实测值占最终控制值的占比分为三级（70%）、二级（80%）、一级（100%）3个级别，当处于不同预警等级时，采取相应的应对措施。

4 室内及现场测试

4.1 室内测试

室内测试选择在高精密三坐标机器，采用高精密丝杆（参考螺旋测微器设计）驱动标靶做二维运动，标靶位移由本系统和二维激光变形监测装置同步测量。为尽量逼近室外环境，率定室不设空调，窗口敞开，经过一个完整年周期试验测量。由于激光DIC测值精度为0.01 mm，所以以此为基准，每天测量一次，共获得365对本装置与激光测值。计算误差得到水平方向为0.28 mm、竖直方向0.36 mm。

4.2 现场测试

选择典型水闸，要求其位于水闸工程上下游水头变化幅度尽可能大、频次尽可能频繁，以检验本系统动态测量能力；选择尽可能水雾或大雾天气比较多的地方，以检验环境因素对本系统的影响；选择已经安装运行稳定变形监测系统，以检验本系统的测量精度。

综合以上方面，选择的典型工程特征如下：工程为Ⅰ等工程，主要建筑物挡潮泄洪闸、堵坝、岸墙、翼墙组成，挡潮泄洪闸总净宽560 m，闸底板高程-0.5 m，共设28孔，闸孔净宽采用20.0 m。挡潮闸垂直水流方向总长697 m，顺水流方向长502.5 m。工程于2005年12月29日开工，全部工程于2007年4月22日完工。经过水位变化3个月的测量与已有引张线-静力水准变形监测自动化系统同步监测，采用误差传导公式得到本系统水平方向测值精度计算中误差为0.88 mm、竖直方向测值精度计算中误差得到0.96 mm。图7为10月4—5日夜间（18：00—次日06：00）时间段内1～6号靶标水平和竖向位移与江水位对比情况，靶标水平位移以顺江流向为正，靶标竖向位移以向上为正。

图7 试测位移变化曲线

由图9可知：（1）水平方向上随着涨潮和潮水有倒，在压力差作用下，闸体产生向上游的位移，当潮水达到最高水位时，闸体的水平位移也几乎同步达到极值，随后伴随退潮，压力消散，闸体水平变形恢复；（2）竖向方向上，涨潮时闸体有上浮的趋势，当潮水达到最高水位时，闸体的竖向位移也几乎同步达到极值，随后伴随退潮，压力消散，闸体竖向变形恢复。

由此可见，本系统能精准捕捉水闸变形，发现常规监测难以发现的变形规律。

4.3 综合技术指标及系统特点

4.3.1 综合技术指标

根据室内外试验结果综合分析，考虑到各类误差传导，确定本系统的综合技术指标如下：

（1）监测物理量：同时测量竖向与水平二维位移；（2）最高采样频率：60 Hz；（3）位移测量精度：水平1 mm，竖直1.2 mm（视场范围）；（4）测量距离：0～400 m；（5）防护等级：IP65；（6）工作温度：-40～80℃；（7）系统功率7～10 W；（8）通讯接口：Ethernet（支持POE供电）。

经过与相应科研项目要求对比发现，本技术指标全面达到或超过任务书要求。

4.3.2 系统特点

非接触式测量，安装调试方便，不受现场恶劣环境干扰，不影响水闸的正常运行，适合在大中小各类型水闸中使用。

测量精度高，有效测量精度可达1/50 000视场角，对水闸可实现亚毫米级位移监测。

实时数据提取，利用边缘计算设备，可直接提取水闸位移及振动数据，避免了图像网络传输造成的延时。

实现静动力全监测，由位移监测数据不仅能得到水闸的动态响应，还能获取水闸长期沉降及变形情况。

自动化智能化监测，从位移测量到分析预警全过程均由智能程序实现，无需人工操作。