基于机器视觉技术的振动台试验变形位移测量方法研究

陈若珠，赵 珊

(1.兰州理工大学 甘肃省土木工程防灾重点实验室，兰州 730050; 2.兰州理工大学 电气工程与信息工程学院，兰州 730050)



基于机器视觉技术的振动台试验变形位移测量方法研究

陈若珠1，赵 珊2

(1.兰州理工大学 甘肃省土木工程防灾重点实验室，兰州 730050; 2.兰州理工大学 电气工程与信息工程学院，兰州 730050)

在振动台试验中，结构的变形位移是试验关注的重要数据之一；将机器视觉技术运用于振动台试验的变形位移测量上，是对传感器测量法的一个补充，从另外一种渠道力争为振动台试验提供更多的数据来源；该方法首先给定振动台一个激励信号，同时对固定在振动台台面上、粘贴有人工标志的弹性结构试件进行视频采集；然后将视频分帧成一系列静态图片，对静态图片进行图像灰度化、图像增强等图像预处理并对人工标志进行识别；接下来，在识别出所有人工标志的基础上采用最小二乘椭圆拟合法进行目标定位并进行像素标定；目标点的像素位移结合像素标定系数，最终完成变形位移的测量；最后通过振动台的固定位移试验和正弦信号激励试验证明了该方法在振动台试验中的可行性。

机器视觉技术；振动台试验；弹性结构试件；人工标志；变形位移

0 引言

在振动台试验中，结构的变形位移是试验关注的重要数据之一，及时掌握此参数具有一定的实际意义[1]。对振动台结构物变形位移的测量，最常用的方法是采用传感器进行接触式测量。将机器视觉技术运用于振动台试验的变形位移测量上，是对传感器测量法的一个补充，从另外一种渠道力争为振动台试验提供更多的数据来源。

从20世纪中期至今，机器视觉技术己进入高速发展时期。将其应用于土木工程，提供结构试验、监测的实时动态的空间信息数据流，从而实现结构诊断评估智能化，是当前发展的热点[2]。韩国世宗大学土木及环境工程学系的Lee等人，通过机器视觉技术，结合摄像机，对由于振动激励而产生的位移响应的结构进行近距离监测[3]。葡萄牙国家土木工程实验室的Martins L L等提出利用机器视觉技术进行吊桥三维位移测量的基本研究方法及其发展趋势[4]。近年来，在中国内地，基于机器视觉和图像处理技术的结构检测技术也在不断发展[5]。天津大学的张子淼等采用一种新的算法，并通过一台数码相机和5个预设参考点计算出监测结构的位移和转角。监测结果表明，运用此方法，位移测量精度可以达到0.1 mm，转角测量精度可以达到0.2°[6]。清华大学的候杰运用了机器视觉技术，并提出把神经网络技术应用于测量系统的标定。最后，采用BP神经网络技术消除成像平面位置及光学畸变对位移测量精度的影响[7]。

本文研究了基于机器视觉技术的振动台试验变形位移测量方法，并以兰州理工大学三向六自由度地震模拟振动台为例阐述了该方法在振动台试验中的应用。

1 测量方法概述

人类从外界环境中获取的全部信息，80%是通过视觉功能获取的，因此赋予机器人类的视觉功能对于智能机器的发展是极其重要的，由此形成了一门新的学科—机器视觉技术。机器视觉主要研究用计算机来模拟人的视觉功能，用图像来创建及恢复现实世界模型，最终用于实际检测、测量和控制。

本文中，基于机器视觉技术的结构变形位移测量方法基本框图如图1所示。

图1 本测量方法基本框图

具体如下：在振动台的弹性结构试件表面相应位置粘贴人工标志；采集振动台试验过程中弹性结构试件的视频数据并进行分帧；对分帧后的连续静态图像进行预处理，主要包括图像降噪、灰度处理、图像分割等。在此基础上，对人工标志进行识别及定位，获得图像空间中人工标志的位置坐标；通过标定图像像素与实际物象坐标的关系，即可得到物象坐标下各个目标点的位移。目标点的位移减去台面的位移即为目标点的变形位移。

2 人工标志及图像采集设备简介

2.1 人工标志

在图像处理过程中，测量标志的材料和形状将直接影响其成像的质量与图像处理结果和精度，设计合理的人工标志可以保证和提高测量精度与可靠性。其中回光反射标志是近年来实施高精度工业摄影测量和视觉测量，贴附在被测物体表面上的一种人工标志。在同等光源的照射下，它以反射的亮度比漫射白色标志高出数百上千倍为特点[8]。

实验表明，标志的成像大小在20～40个像素比较有利于数字图像处理和定位算法的实现[9]。圆形标志以其独特的形状一直广为使用，因此本文采用在白色回光反射材料上打印实心黑色圆形图案作为人工标志。结合试验环境及设备因素，选取5个半径为10 mm的实心圆作为一个人工标志，如图2所示。圆形标志点a、b、c、d组成了一个边长为60 mm的正方形，正方形的中心为圆形标志点o。其中o为目标点，a、b、c、d为标定点。本文选取A、B、C、D、E、F、G、H共8个人工标志粘贴在试件表面，粘贴时尽量使边ad、bc垂直于地面。人工标志具体分布见图3。

图2 人工标志 图3 人工标志分布情况

2.2 图像采集设备

由于条件限制，本文采用的图像采集设备是普通数码摄像机，型号是SONY HDR-SR12E。它的帧速率为25帧/秒，即采样频率25 Hz。SONY HDR-SR12E数码摄像机的具体性能参数见表1。

表1 SONY HDR-SR12E性能参数

3 关键技术环节

3.1 图像预处理

由于目标图像信号在生成和传输过程中常受到各种噪声源的影响和干扰也会使图像的质量变差，这样不仅影响图像的视觉效果，而且还会影响目标信息的获取及进一步处理，因此在目标提取和目标定位等处理之前，选取适当的方法对图像进行一系列预处理将直接提高数据的精度。本文涉及的图像预处理的基本内容如图4所示。

图4 图像预处理

3.2 人工标志识别

通过对图像进行以上预处理之后，人工标志与背景可得到较好的分离，但二值图像仍较复杂，这时目标识别便显得尤为重要。具体步骤如下：

1)二值形态学运算是针对象素值为1的像素点进行的，而本文的圆形标志点是黑色，故首先对二值图像取补。

2)统计局部连通域性质，将面积明显小于或大于圆形标志点面积的连通域清除，并将边缘像素数明显少于或多于人工标志点边缘像素数的连通域清除。

3)由于正常情况下振动台试件在整个变形过程中变形位移不会过大，因此可根据连通域的质心位置进行圆形标志点的识别。

4)圆形标志点在图像中虽呈椭圆状，但仍接近于圆形。此时可以对每个连通域进行椭圆拟合，求取椭圆的长轴与短轴之比，保留比值在接近于1的某一范围内的连通域。

对图像施加以上约束，可识别出所有圆形标志点。

3.3 圆形标志点定位

识别出所有圆形标志点后，需要对每一个标志点进行定位，得到每个标志点的像素坐标。目标定位方法有多种，其中形心法、灰度重心法和拟合法是最经典的算法[10]，应根据实际情况选用。本文选取最小二乘椭圆拟合算法对圆形标志点进行定位。

二次曲线拟合的一般方程为：

(1)

如果满足：

(2)

式(1)就代表一个椭圆，其代数距离平方和为：

(3)

分别对上式关于B、C、D、E、F取偏导数，令每个式子为零，可以得到一个包含5个方程和5个未知数的方程组，利用矩阵求逆方法可以求得椭圆方程的参数。

为了抑制图像噪声的影响，提高定位精度，可对边界进行两次拟合。即第一次拟合后，将每个边界点代入式(1)，计算残差。然后将残差大于2倍验后单位权中误差的点去掉，再对剩余的点进行二次椭圆拟合。

3.4 像素标定

根据相机成像原理，当被测物的几何参数位于同一平面内，摄像系统光轴与被测物所在平面垂直，且与像平面平行时，被测物与其所成的像是相似关系。这时从图像中提取出需要的参数，乘以放大倍数，便可得到对应的实际参数，其中放大倍数可以通过像素标定得到。

在拍摄结构变形的过程中，镜头光轴和人工标志所在平面的夹角决定了人工标志在镜头中的成像情况，一般有以下3种：

1)镜头光轴与贴有人工标志的结构表面垂直，摄像机底边与水平面平行，此时在图像中abcd为规矩的正方形；

2)镜头光轴与贴有人工标志的结构表面不垂直，但摄像机底边与水平面平行，此时直线ad与bc都与图像坐标系的Y轴平行，但是ad的长度比bc大；

3)镜头光轴与贴有人工标志的结构表面不垂直，摄像机底边与水平面也不平行，此时直线ad与bc都不与图像坐标系的Y轴平行，但是ad的长度比bc大。

可以把第一、二种情况看成是第3种情况的特殊情形，因此取第3种情况进行研究。在以下的算法推导过程中，假定线段ad平行于线段bc。要做到这一点，就应尽量避免数码摄像机在拍摄结构物变形过程中镜头光轴与水平面夹角过大。

图5为人工标志在结构物变形前后的位移示意图，abcdo是变形前的人工标志，a1b1c1d1o1为变形后的人工标志，a(x1,y1)、b(x3,y3)、c(x2,y2)、d(x4,y4)、o(x0,y0)为变形前圆形标志点的中心坐标，o1(xt,yt)为变形后相对应于o的中心坐标。线段L1L2垂直于线段ad、bc，线段L1L2方向即为o的横向位移方向。经过图像预处理等手段可以求得目标点o在变形前后以像素为单位的横向位移H、竖向位移W(即结构物在该点处的横向位移H、竖向位移W)，根据人工标志点的坐标及变形前后的位置关系，可以求出横向位移方向的标定系数δh、竖向位移方向的标定系数δw分别为：

(4)

其中：Lad、Lbc、LL1L2分别表示线段ad、bc、L1L2的实际长度，即60 mm。lad、lbc分别表示线段ad、bc的像素长度。表示标志点b到线段ad的距离。此时，实际横向位移为h、竖向位移为w可表示为：

(5)

图5 人工标志几何位移示意图

在运动过程中，目标点的位移是由台面的位移和目标点的变形位移共同决定的，而人工标志G、H最接近台面，因此本课题假设标志点G、H的位移等于振动台台面的位移。设G、H点的横向位移分别表示为hG、hH，竖向位移分别表示为wG、wH，则目标点A、C、E的横向变形位移h′、竖向变形位移w′可以表示为：

(6)

而目标点B、D、F 的横向变形位移h′、竖向变形位移w′可以表示为：

(7)

4 验证试验

试验前，将摄像机固定在三角支架上，调节水平调节器，使摄像机接近水平状态。然后，将三角支架安放在振动台台面中心轴的延长线上。摄像机镜头对准贴有人工标志一面，调节摄像机和振动台的距离，直到摄像机能够拍摄到所有的人工标志并使人工标志位于图像的中心区域。

4.1 固定位移验证试验

给振动台输入一系列固定位移信号，通过测量最接近台面的G、H两目标点的位移，验证本方法的可行性，并考察测量的精度。对照图3，振动台的三维坐标系见图6。

试验一：给振动台输入一系列Y方向位移信号，使振动台台面发生横向位移；

试验二：给振动台输入一系列Z方向位移信号，使振动台台面发生竖向位移。Y方向位移信号及Z方向位移信号及G、H点处试验结果如表2所示。

图6 振动台三维坐标系

试验一:振动台Y方向固定位移试验(振动台Y方向位移范围:±125mm)X向位移/mm0000000Y向位移/mm15102060100120Z向位移/mm0000000试验一结果:G点处Y向位移平均值/mm2.335.5610.2120.2559.6499.71118.90H点处Y向位移平均值/mm2.376.5210.9621.0160.54100.94120.50试验二:振动台Z方向固定位移试验(振动台Z方向位移范围:±80mm)X向位移/mm00000Y向位移/mm00000Z向位移/mm15105070试验二结果:G点处Z向位移平均值/mm0.564.519.7349.8569.60H点处Z向位移平均值/mm0.734.798.9549.2768.70

使用本测量方法测得的G、H点位移和振动台台面位移基本一致，测量误差m≤1.52 mm。因此本测量方法应用于振动台试验中是可行的，且基本满足精度要求。

4.2 正弦信号激励下的验证试验

给定振动台Y方向一个正弦波激励，通过对8个目标点处的试件进行变形位移测量，验证本方法的可行性。

由于试验采用的图像采集设备为普通摄像机，振动台在频率大于4 Hz的正弦波激励下，摄像机已无法完全捕捉到试验过程中的关键数据，难以进行后续分析。因此本试验选择在振动台Y方向上施加频率分别为1 Hz、2 Hz、3 Hz且振幅都为10 mm的正弦波激励使振动台发生往复运动，固定在台面上的弹性试件随之发生往复运动。由于试件上方放置有一个惯性质量块，因此试验过程中应该出现以下现象：

(1)正弦波激励的频率越大，试件变形越明显，且目标点处的横向变形位移曲线越接近正弦波； (2)同一正弦波激励下，离振动台台面越远的目标点，其相对于G、H点的横向变形位移应该越大，且目标点的横向变形位移曲线应该越接近正弦波。

图7 人工标志A、B、C、D、E、F目标点处试件的横向变形位移曲线图

本试验中，在1 Hz、2 Hz、3 Hz正弦波激励下测得的人工标志A、B、C、D、E、F目标点处试件的横向变形位移见图7。由于同一激励下的整个运动过程具有周期性，故只选取运动过程中的1秒即25帧图像进行试验分析。由图可得：1 Hz正弦波激励下，8个目标点处的变形位移相差不大，变形位移曲线无明显规律。2 Hz正弦波激励下，8个目标点处的变形较明显，且具有一定正弦波规律。3 Hz正弦波激励下，8个人工标志点处的变形最明显，且明显类似于正弦波。其中：

(1)1 Hz正弦波激励下，A、B点处变形位移在±1.8 mm之间；C、D点处变形位移在±1.5 mm之间；E、F点处变形位移在±1.8 mm之间。未表现出明显规律；

(2)2 Hz正弦波激励下，A、B点处变形位移在±3.2 mm之间，整体具有波峰波谷交替出现的性质，具有一定的正弦波性质；C、D点处变形次之，变形位移在±2.8 mm之间；E、F点接近台面，因此变形较小，变形位移在±2.1 mm之间；

(3)3 Hz正弦波激励下，A、B点处变形最明显，变形位移在±7.4 mm，其波形类似于正弦波；C、D点处变形次之，变形位移在±5.4 mm之间，且波形同样类似于正弦波；E、F点接近台面，因此其变形较小，变形位移在±3.3 mm之间，但仍较类似于正弦波；

以上试验分析说明，本方法能够体现试件的运动趋势，且均满足客观事实，用于振动台试验中是完全可行的。

5 结语

本文研究了利用机器视觉技术对振动台台面上的试件进行变形位移测量的非接触式测量方法，是对传感器测量方法的补充，从另一渠道为振动台试验提供了数据来源。本研究的关键技术是像素标定及目标定位。其中目标定位采用了最小二乘椭圆拟合的方法，达到亚像素定位。试验结果表明，本方法能够准确地捕捉试件的运动趋势，且试验所得目标点处试件的变形位移满足试验的客观事实。

虽然本方法应用在振动台试验中是可行的，但仍有需要进一步研究的问题，具体如下：1)采用更高分辨率的摄像设备，并考虑镜头的畸变现象，达到提高测量精度的目的；2)利用位移传感器同时进行试验，将本方法所得的数据与位移传感器的数据进行对比，完成更精确的误差分析；3)采用多台摄像机协同拍摄，实现振动台的三维变形位移的测量。

[1] 田国伟，韩晓健，徐秀丽，等．基于视频图像处理技术的振动台试验动态位移测量方法[J]．世界地震工程，2011(27)：179．

[2] 许 枫．基于机器视觉的位移跟踪系统的研发及应用[D]．广东：五邑大学，2012．

[3] Lee J J,Ho H N,Lee J H,et al .A synchronized multipoint vision-based system for displacement measurement of civil infrastructures[J].The Scientific World Journal, 2012,1100(10): 1-9.

[4] Martins L L,Rebordao J M, Ribeiro A S. Conception and development of an optical methodology applied to long-distance measurement of suspension bridges dynamic displacement[J].Journal of Physics, 2013, 134(6):1 006-1015.

[5] 姜平安．基于视频图像的结构振动监测研究[D]．杭州：浙江大学，2011．

[6] 张子淼，王鹏，孙长库．单目视觉位姿测量方法及数字仿真[J]．天津大学学报，2011，44(5)：440-444．

[7] 候 杰，钱稼茹，赵作周，等．基于图像处理的二维位移测量系统[J]．清华大学学报，2010，50(6)：86-829．

[8] 臧欢欢．基于摄影与目标自动识别的隧道断面测量 技术研究[D]．长沙：中南大学，2012．

[9] 王成亮．基于普通数码影像的近景摄影测量技术研究与应用[D]．长沙：中南大学，2006.

[10] 俞 缙，吴亮清．基于椭圆拟合的人工标志中心定位法[J]．郑州轻工业学院学报，2009，24(4)：75-78．

Measuring Method Research of Deformation Displacement in Shaking Table Test Based on Machine Vision Technology

Chen Ruozhu1，Zhao Shan2

(1.Gansu Province Key Laboratory of Disaster Prevention in Civil Engineering, Lanzhou University of Technology,Lanzhou 730050,China; 2.College of Electrical and Information Engineering,Lanzhou University of Technology,Lanzhou 730050,China)

The deformation displacement of the structure in shaking table test is one of the important measurement parameters.Using the machine vision technology to the measurement of the deformation displacement in shaking table test is a complement of sensor measurement,providing more data sources from another channel.This method firstly gives vibration table an excitation signal,and collects the video for the elastic structure specimen with the artificial marks fixed on the vibration table.Secondly,to do image preprocessing such as image gray, the image enhancement about this video image sequences ,and the artificial marks recognition.Next,the least-squares ellipse fitting method is adopted to complete object localization on the basis of identify all artificial marks and the pixel calibration.Then,the deformation displacement will be calculated by the pixel displacement and the target pixel calibration coefficient.Finally,the feasibility is proved through the experiment when the fixed displacement signal and sine signal are applied to the shaking table.

machine vision technology; shaking table test; elastic structure specimen; artificial landmark; deformation displacement

2015-12-10；

2016-01-08。

陈若珠(1963-)，女，山西人，高级工程师，硕士生导师，主要从事智能控制理论与应用、模式识别方向的研究。

1671-4598(2016)06-0056-04

10.16526/j.cnki.11-4762/tp.2016.06.016

TP274

A