基于双目视觉的三维振动测量方法研究*

孙猛超, 李铁军, 史家浩, 李赛雷, 郑凯文, 刘今越

(河北工业大学 机械工程学院,天津 300131)

0 引 言

当前巡检机器人对设备运行状态的检测，通常是通过用红外测温装置检测热缺陷以及基于可见光图像分析的开关、仪表等设备的自动识别[1]。存在普适性差、智能水平低和难以对设备的运行状态做出准确的评估等问题。三维的振动信号可以为设备的安全评估和健康检测等提供丰富的有效信息。根据振动测量方法与被测对象是否接触可以分为接触式测量和非接触式测量。在实际的检测环境下的接触式测量方法存在布线、成本和通用性差等问题无法在实际中应用。而机器视觉测量技术作为一种新的测量技术，其以非接触、高效率、高精度、无负载效应等特点受到越来越多研究者的关注[2]。

近年来，基于机器视觉的三维振动测量技术开始崭露头角。崇爱新等人[3]通过在轨旁的设施上部署的参考标靶、轨腰上部署的待测编码标志，用链式双目相机三维测距算法完成了钢轨的位移测量。黄鹏程等人[4]通过在待测物体上粘贴多个圆形发光标志点来实现对目标物体的三维振动测量。陈忠等人[5]通过双目高速摄像机连续采集散斑动态变形图像实现结构全场振动的测量。歹英杰等>人[6]通过双目拍摄目标靶振动图像，根据目标点像素位置信息获得目标点空间坐标，进而求出动目标空间位姿。刘巍等人[7]将便携式合作靶标安装在工作台上，利用双目视觉测量合作靶标以准确表征机床运动位置信息。上述所提的方法都能实现对目标物体的三维振动测量，但是都需要在目标物体上粘附特殊标志或者对目标物体的表面有着较高的要求[8～11]，难以满足巡检机器人对设备运行状态的检测要求。

为了解决智能巡检机器人对机电设备的状态检测问题,针对双目视觉测量三维振动时存在需要物理目标附着、实时性差和特征点假匹配等问题,提出一种基于特征点的三维振动信息提取的方法。通过追踪被测目标像素特征点对被测目标进行实时的三维振动测量。利用双目视觉原理将特征点像素位移的变化装换成实际的位移变化，从而得出目标物体三维振动。最后构建了一个智能巡检机器人对机电设备的状态检测实验平台，对所提算法进行了验证，实验结果表明本文所提方法具有较好的准确性。

1 理论与方法

1.1 相机标定与极线校正

双目相机安装在机械臂末端。由于存在安装和制造误差的存在，需要对相机进行标定和对采集的图像进行极线校正。相机在测量前还需要进行镜头校准，镜头校准采用文献[12]的方法，再利用MATLAB工具箱对双目相机进行标定。极线校正可以使两幅图像的极线相互平行[13]，就好像产生了虚拟的平行式立体视觉模型[14]。极线校正的过程如图1所示，校正前两个相机的光心并不平行，两相机光心的连线叫基线，像平面与基线的交点为极点，像点与极点所在的直线为极线，左右极线与基线构成的平面为空间点对应的极平面。校正时假设极点的位置在无穷远处，两个相机的光轴平行，使得两幅图像对应极线处于同一水平上，即将成像面从Πl0和Πr0变换到Πl1和Πr1的过程，此时极线相互平行。本文采用Bouguet算法对图像进行校正。

图1 极线校正示意

1.2 特征点的提取

尺度不变特征变换(scale-invariant feature transform，SIFT)是在计算机视觉领域中检测和描述图像中局部特征的算法[15]。SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向并得出128维的特征点描述子。

算法将图像进行高斯卷积操作与降采样，来获取不同尺度的图像。再将相邻的高斯金字塔图相减得到的新图像，对新图像的每一个像素点进行如下操作：将一个像素点和它同一平面相邻的8个像素点和上下层的9×2个像素点共26个进行比较，当这个像素点在上、中、下三层图像构成的魔方形状空间中为极大值或者极小值时，认为此点是初步特征点。但是极值点是通过离散空间得到的，离散空间和连续空间得到的极值差别还是很大的。所以，需要对尺度空间函数进行三维二次曲线拟合，使极值点达到亚像素级的精确定位。

为了获得准确的关键点的特征信息，对特征点的方向进行定义，对高斯差分金字塔中的像素点梯度表示为

(1)

梯度幅度

m(x,y)={[L(x-1,y)-L(x-1,y)]2+

[L(x,y+1)-L(x,y-1)]2}1/2

(2)

梯度方向

(3)

将梯度方向360°每10°作为一个方向在区域半径中统计幅度和方向，以直方图的形式表达方向的数量，主峰值作为该点的主方向。将特征点邻近区域分成4×4个区域共16个区域，并且在每个区域统计梯度信息生成8维的直方图。这样就将一个特征点的描述子通过128维的向量表达出来。

1.3 特征点的选取与匹配

通过计算匹配特征点之间的欧氏距离来判断两帧之间的特征点是否为同一点。将所有匹配特征点的欧氏距离进行排序，选取欧氏距离较小的多个特征点(本文为20个,选取的特征点需要满足位于双目相机的共同视野范围内)并读取这些特征点在图像中的坐标位置；并以这些特征点为中心，半径为a个像素形成一个基圆(a为被测目标的最大像素位移的5倍)，后一帧图像在这个基圆内获取并匹配特征点。这样不需要遍历图像的所有特征点即可完成特征点的匹配，大大缩短计算时间。

1.4 错误匹配点的剔除

为了消除匹配时的错误匹配，由于本文所采用的方法是摄像头不动，将采用方差阈值的方法消除假匹配点公式如下

(X1-X)2+(Y1-Y)2≤a2

(4)

式中X1,Y1为一个特征点的某幅图像中的像素坐标，X,Y为该特征点在另一幅图像中的像素坐标，α为设定的阈值。

1.5 像素位移转换成工程位移

双目立体视觉是基于视差，通过三角法原理获取物体的三维信息,即由左右两个摄像头的成像平面和被测物体组成的三角形。两相机的位置关系可以通过标定得到，因此可以通过双目公共视野的物体成像坐标计算出物体在世界坐标系下三维坐标。图2为双目立体成像原理。

图2 双目立体成像原理

两摄像机投影中心之间的距离为基线距离B。两摄像机在同一时刻同一平面观看世界坐标系中的一点P，分别在各自的成像平面形成坐标PL(XL,YL)和PR(XR,YR)。又因为两摄像机在同一平面，所以YL=YR=Y。由几何三角关系可得如下关系式

(5)

由此计算出，特征点P在摄像机坐标系下的三维坐标

(6)

由于像素坐标系和成像平面相差一个缩放和一个原点平移,P点的像素坐标系与成像平面的关系为

u=α×X+cx，v=β×X+cy

(7)

可得

α×(XL-XR)=ul-ur

(8)

将式(8)代入式(6)中，得到如下表达式

(9)

式中 (u0,v0)为图像的主点坐标；(ul,vl)为Pl在像素坐标系下的坐标；ur为Pr的横轴像素坐标值；fx为f×α；fy为f×β。

由于上面已经获得了目标图像中的特征点每一时刻的像素坐标,因此可以通过双目测量原理得出每一时刻目标的实际坐标，从而得出目标物体的三维振动信息。

2 实 验

将实验室的一个房间作为实验环境，模拟巡检的场景。规划出一条机器人巡检的路径和机械臂到达测量目标点的位置。对获取的图像进行图像校正、特征点匹配，获取目标物体的振动信息与加速度计和激光位移传感器进行验证。

2.1 实验系统

实验将小型空气压缩机作为测量对象，实验系统包括移动机器人地盘、UR5机械臂、雷达、自制双目相机、计算机2台、三轴加速度计、激光位移传感器和小型空气压缩机。实验布局如图3所示。

图3 实验系统

在UR5机械臂末端安装自制的双目相机，加速度计采用的是粘附式粘贴在空气压缩机上。三轴加速度计型号为Kistler—8396A2D0DTTA00，双目相机型号为A5131MU210，激光测振仪型号为OFV—505/5000高性能单点激光测振仪，测量时采样频率均为120 Hz，为本次实验相机图像采集的帧率均为120 fps，分辨率为1 280像素×1 024像素。小型空气压缩机型号为550W—30L，功率为550 W，存储罐30 L，气压0.7 MPa，排气量40 L/min。雷达安装在小车前端，型号为YDLIDAR G4，搭载移动机器人上的笔记本为神州K650。

2.2 实验分析

移动机器人地盘搭载着机械臂、双目相机和雷达等，移动机器人地盘按照预先设定的巡检轨迹通过雷达定位，准确的到达测量目标的附近；机械臂将双目相机移动测量位置。为了消除机械臂和移动地盘的抖动带来的测量误差，将机械臂和移动地盘的电机处于断电状态。获取图像后对图像进行校正，再进行特征点分提取与匹配，最后计算出特征点的三维坐标来获取被对象的振动信息。实验时，保持空气压缩机始终在压缩空气状态下。并用双目相机、三轴加速度计和激光测振仪同时记录测量信息。左右相机分别采集3 600帧图像，时长为30 s。

将双目视觉采集的X方向的振动位移信号跟激光位移传感器采集的信号进行波形匹配，结果如图4所示。从图中可以看出，视觉测量的结果和激光测振仪测量的振动信号波形重合度很高。将双目相机采集的三维振动信号与加速度计采集的加速度三维振动信号进行快速傅里叶变换(fast Fourier transform，FFT)，结果如图5所示。

图4 激光测振仪与视觉X位移对比

图5 快速傅里叶变换

2.3 实验结果评价

对于X方向的位移用公式来判断激光位移传感器测量出的位移波形和视觉测量出来的相关性。公式如下

(10)

式中ρy1yc为离散化形成下的相关系数，可衡量信号y1(n)和yc(n)波形在同一采样数据窗N内的相似程度。ρy1yc在0～1变换，ρy1yc=1为完全相关，ρy1yc=0为两个数据之间完全没有相关性。视觉测量的空压机X方向的位移和激光位移传感器测量的波形相关性如表1所示。加速度计测量出的三维振动频率和双目测量出的三维振动频率的对比如表2所示。

表1 位移传感器与视觉的X方向位移波形相关性

表2 加速度计与视觉测量的频率对比

3 结 论

本文所提方法能在无物理目标附着的情况下进行实时的三维振动测量，与激光位移传感器在位移为40 μm左右的波形下重合度达到95.15 %以上，与三轴加速度计的幅频值对比获得99.97 %以上的准确率。实验验证了该方法的可行性和准确性。相较于传统的双目视觉三维振动测量方法，在测量目标物体时对目标的轮廓没有特殊要求，也不需要对目标物体粘附特殊的标志。