基于图像相关和相机位姿的结构变形测量系统

赵 芳，刘少平，邹 宇，杨永波，孙 敏

(武汉中岩科技股份有限公司，湖北武汉 430074)

0 引言

在土木工程领域，变形是反映其结构安全性能的一项重要指标[1-4]，已成为结构健康监测、负载评估的必要项目之一。因此，研究开发一种高精度的结构变形测量系统具有重要的现实意义。

结构变形测量系统主要分为接触式测量系统和非接触式测量系统。接触式变形测量系统主要采用应变片、位移传感器或光纤光栅传感器等，这类测量系统需提前在被测对象表面或内部布设传感器，准备工作复杂，容易受到环境因素影响。非接触式变形测量系统主要包括激光位移传感器、全球定位系统(global positioning system，GPS)、光学测量设备等，GPS在实际工程中使用广泛，具有采样频率高、较好的实时性、远距离测量等优点，但易受电磁干扰，短期测量精度不足[5-6]；光学测量设备主要是通过视觉传感器获取被测物图像，再利用图像处理与分析技术计算获得被测物变形量，该方法具有远距离、非接触、测量精度高、低成本等特点，近年来成为结构变形测量的研究热点[7-10]。目前，典型的基于视觉的变形测量系统主要包含图像采集设备和辅助标定设备，其中辅助标定设备一般含有特定标志和已知物理尺寸等信息。将辅助标定设备固定于被测结构上，通过辅助标定设备的像素长度和实际物理尺寸建立空间位移与像素位移之间转换关系，得到标定系数；选取辅助标定设备上的标志点作为标记，通过图像采集设备获取特定标志的图像像素位移，结合标定系数即可得到被测结构的实际位移。该类测量系统需配备安装辅助设备，费时费力，也不适用于跨江河、峡谷等条件下无法安装设备的远距离测量场景，且测量精度易受辅助设备的安装精度、标志特征属性及本身尺寸精度的影响。

通过对现有各种结构变形测量系统的研究与分析，本文开发了基于数字图像相关亚像素定位算法和相机位姿的结构变形测量系统。该测量方法是依据被测物表面的灰度特征，采用梯度法对被测目标点进行跟踪，以确保图像追踪具有亚像素定位精度，再结合相机位姿和小孔成像模型中的几何关系实现像素位移到实际位移的转换。该测量方法无需在待测表面设置任何辅助标志，测量简单、快速。另外，该测量方法考虑了被测目标点在视场中的真实仰角和视觉传感器存在的滚转角，有效解决因观测调平不足引起的测量误差，测量精度更高，测量前无需严格调水平，极大提升系统现场使用方便性。通过测试验证了本系统远距离实时测量的准确性。

1 测量原理

本文通过CCD相机拍摄结构变形过程中数字化灰度图像，采用图像相关方法跟踪被测目标点在图像中的位置变化，结合相机的固有内部参数(镜头焦距和像素实际尺寸)和相机的位姿参数(相机到被测目标点的距离和相机的俯仰角、滚转角)，基于小孔成像模型的几何关系，计算得到被测目标点的实际变形量。

1.1 图像相关算法

图像相关算法实现被测目标点在图像中位置追踪的具体思路为：在变形前图像上选择被测目标点(x,y)，然后以点(x,y)为中心从变形前图像上选取(2M+1)×(2M+1)像素大小的参考图像子区，将此参考图像子区与变形图像进行相关运算，选定相关系数为极值的以(x′,y′)为中心的(2M+1)×(2M+1)目标图像子区，由点(x,y)和(x′,y′)来确定目标的整像素位移(u,v)，再采用梯度法实现亚像素的精确定位。

本文选择相关函数为标准化协方差函数，该函数的相关系数矩阵呈单峰分布，且相关峰更尖锐，定位精度更高[11-13]。该函数的表达式如式(1)所示。

(1)

本文选择的亚像素方法为梯度法，相对插值和拟合法，该方法具有计算效率高、精度高、稳定性好等特点[13-15]。对变形后图像子区g(xi′,yj′)进行一阶泰勒级数展开：

g(xi′,yj′)=g(x+u+Δx,y+v+Δy)=g(x+u,y+v)+Δxgx(x+u,y+v)+Δygy(x+u,y+v)

(2)

式中：u、v分别为图像变形前后x、y方向整像素位移；Δx、Δy分别为整像素对应x、y方向亚像素位移。

对于Δx和Δy的求解，采用标准化协方差函数的平方[式(3)]衡量变形前后图像的相似程度，利用最小二乘法计算得到Δx和Δy，该梯度法亚像素定位精度可达0.005像素[13]。

(3)

1.2 位移计算

通过图像相关算法计算得到的位移是以像素为单位的图像位移，为了得到像素代表的实际位移，本文利用相机位姿参数和小孔成像几何关系实现像素位移到实际位移的转换。

在实际测量过程中，考虑相机存在一定的滚转角，图像坐标系横轴OX与水平面不重合，如图1所示，绕图像中心(xc,yc)调整后的图像坐标(x′,y′)按式(4)所示的转换关系进行计算：

(4)

式中：β为相机滚转角，通过惯性传感器测得；(x,y)为被测点在相机成像面上的图像坐标；(xc,yc)为图像中心坐标；(x′,y′)为绕图像中心旋转β后的实际图像坐标。

基于图像相关的测量结构变形计算如图2所示，假设被测目标点为A，A在相机成像面上的投影为a(x1,y1)，由式(4)求得X轴平行于水平面的图像坐标系下a点坐标为(x1′,y1′)，被测目标点A与相机光心O连线与水平面夹角即为被测目标点A初始状态的真实俯仰角α1，由几何关系得α1满足式(5)。当被测目标点A产生竖直方向位移D移动到A′，图像对应地检测到像素位移aa′和a′(x2,y2)，同理由式(4)求得X轴平行于水平面的图像坐标系下a′点坐标为(x2′,y2′)，被测目标点发生位移后处于A′位置时其被测真实俯仰角为α2，由几何关系得α2满足式(6)。

(5)

(6)

式中：l为像素实际尺寸；f为相机镜头焦距；(xc,yc)为图像中心坐标；(x1′,y1′)为被测点在初始状态的图像实际坐标；(x2′,y2′)为被测点发生位移后的图像实际坐标；θ为相机的俯仰角，通过惯性传感器测得。

由几何关系式(7)可计算得到被测点的位移值D。

(7)

式中：L为被测点到相机的距离，通过激光测距仪测得；α1和α2分别为被测点在初始状态和发生位移后的真实俯仰角。

2 测量系统构建

2.1 硬件系统

为了便于携带、运输及现场快速安装，本系统采用模块化设计，主要包括测量单元、控制分析单元以及支撑单元。系统结构如图3所示，测量单元主要包括相机、惯性传感器和激光测距仪，其中，惯性传感器固定安装在相机的上方，激光测距仪通过支撑架与相机垂直安装，通过相机采集被测目标点的视频图像，通过惯性传感器和激光测距仪获取相机的位姿信息，用于位移的标定计算。控制分析单元用于控制测量单元的数据信息采集、数据的处理与分析，并显示输出测量结果。支撑单元主要包括三维云台和工业三脚架，用于调整测量单元的姿态，使得被测目标出现在测量视场中。

为了实现高频振动工况下能够获取被测目标的高清图像，本系统相机选用Mikrotron CAMMC2586，该相机具备高速高分辨率性能，在2 500万像素分辨率下帧频达80 fps，4通道的CXP线缆的传输速率可达25 Gbit/s。采用CXP相机与图像采集卡的组合模式，实现高质量图像的高速率采集与实时传输，提高测量效率。惯性传感器选用SANG3000双轴倾角传感器，该传感器具有高精度和高稳定性等特点，输出精度可高达0.000 5°。本系统研制的激光测距仪基于相位式测距原理[16]，在500 m的工作距离，其测距精度达mm量级。本系统整体硬件实物装置如图4所示。

2.2 软件系统

为了简化程序，采用模块化的设计方法，软件核心模块如图5所示。通过图像采集模块触发相机采集被测物图像，获取原始图像；图像预处理模块对采集的原始图像进行增强等处理，获得高质量图像；利用图像相关算法动态跟踪被测物图像上的目标点，得到被测目标点的像素位移；标定计算模块实现被测目标点的图像像素位移到实际位移的转化，并将测量结果按时间戳进行显示和保存。

软件主界面如图6所示，包括菜单栏、工具栏、参数设置区、视频图像实时显示区、位移曲线实时显示区、位移测量结果显示区。建立工程文件后，该工程文件将自动建立2个子文件，data文件用于储存测量过程中所有测量点的实时位移值，image文件用于储存测量过程中被测物的序列图。

2.3 系统工作流程

本系统的现场工作流程如图7所示。

(1)相机参数设置：根据被测物的工作距离选择相应的镜头，并调整相机使得被测目标点清晰地出现在视场中。

(2)图像预处理方法选择：本系统提供图像增强和图像防抖功能，可以根据实际测量环境进行相应选择。

(3)被测目标点选取：在视频图像中选取被测物表面上的被测目标点。

(4)相机位姿参数获取：通过激光测距仪自动获取相机与被测点之间的距离L，通过惯性传感器自动获取相机的滚转角β和俯仰角θ。

(5)位移计算：基于被测点的序列图像和位姿信息自动计算位移，并实时输出位移曲线。

3 精度试验

为了验证本变形测量系统的测量精度，开展了不同工作距离下的精度测试。如图8所示，精度测试试验装置包括变形测量系统、精密运动平台、LED灯等，将LED灯固定安装在精密运动平台上，通过精密运动平台精确控制LED灯在竖直方向发生位移，其行程为50 mm、定位精度为1 μm。测量系统中相机镜头焦距f=50 mm、相机采样频率为20 Hz，子区尺寸设置为81×81像素、计算步长为5像素。通过精确控制运动平台获得被测目标LED灯位移的真实值，通过本测量系统获取被测目标LED灯位移的测量值，分析对比被测点位移的真实值与测量值，来验证本系统的测量精度。

分别将本测量系统布置在距LED灯不同工作距离下进行测试，调整相机位姿，使得被测目标点出现在相机视场中，通过激光测距仪和惯性传感器分别获取不同距离测试条件下相机的位姿参数，如表1所示。在测试过程中，将第1帧目标图像作为参考图像，将精密运动平台的初始位置设置为位移起始零点，然后分别控制精密运动平台移动至5、10、15 mm，测量系统采集实时图像并输出位移，不同工作距离下测试结果如图9所示。

表1 测试参数

对测量数据分别利用式(8)和式(9)进行误差分析，分析结果如表2所示。

表2 精度试验测试结果误差分析

平均偏差为

(8)

均方根误差为

(9)

式中：Mi为本变形测量系统的测量值；Ti为精密运动平台的位移值；i为测量值个数。

由以上图表对比分析可知，本结构变形测量系统的测量值和实际值保持高度一致，随着工作距离增大，测量误差也随之增大，在216.3 m的工作距离下其测量误差不超过1 mm。

4 实际应用

为了验证本系统对实际结构变形测量的有效性，对起重机械主梁进行了挠度测量试验。该测试在某炼钢厂房实施，如图10所示，在起重机械主梁上中间位置起吊额定载荷过程中，利用本系统实时测量主梁中间位置的挠度，加载卸载全过程测量数据曲线如图11所示。测量系统中相机镜头焦距f=50 mm、相机采样频率为20 Hz。通过激光测距仪获得被测目标与相机的工作距离为101.3 m，通过惯性传感器得到相机的滚转角为2°37′、俯仰角为9°05′。采用经纬仪法测量起重机械主梁中间位置处的挠度值为8 mm，本系统实时测量结果稳定在7.4～8.7 mm，与经纬仪测量结果一致，但本系统能够实现主梁挠度的动态实时监测。试验结果验证了本系统对实际结构变形测量的实用性和可行性，也体现了系统的优越性。

5 结论

本文设计了基于图像相关和相机位姿的结构变形测量系统，采用基于梯度的亚像素定位算法自动跟踪计算被测目标点的图像像素位移，再依据相机的位姿参数标定计算得到被测目标点的实际变形量。该方法在自动跟踪和标定计算过程中，无需在被测物表面设置任何标志或标定板，测量简单、快速，同时考虑了相机滚转角和被测目标点的真实仰角对测量精度的影响，提高了测量精度。本系统集成了远距离、非接触、高精度、实时、快速和使用方便等优势，可广泛应用于桥梁、起重机械、建筑等土木结构的变形监测中。

本文进行了精度测试，在216.3 m的测量距离下，其测量精度优于1 mm，验证了该系统用于远距离结构变形测量的可行性及其测量精度的可靠性。起重机械挠度试验验证了本系统对实际结构变形测量的实用性，但在实际应用过程中，因受地面震动、大气湍流等环境因素影响，其测量结果和精度也会受到一定影响，后续还需开展抖动消除等研究工作来增强本系统的现场适应性。