基于双目立体视觉的坝体形变测量方法

罗 奕

（中国煤炭科工集团西安研究院，陕西西安,710054）

0 引言

坝体形变是坝体在某一时间段内发生的位移速度比较缓慢的向水平方向、垂直方向沉降的变形。目前，坝体的形变监测主要采用大地测量方法，用传统或现代的测角测距仪器、光学或电子水准仪以及全球定位系统GPS等进行周期性测量。GPS技术具有全天候、自动化监测、精度高的优点，可用于大坝的动态实时位移监测、振动频率测试和安全运行报警系统。

但是GPS技术不能可视化的显示坝体图像、观测点必须对空开阔，不能少于4颗卫星，而且成本较高。为了克服GPS技术的不足，本文采用计算机双目立体视觉测量技术实现了坝体形变的实时测量，利用相机拍摄坝体图像，通过对坝体特征点数据的处理，获取坝体的形变数据。该方法能实时的显示坝体的形变数据，并且能可视化的输出坝体真实图像及模拟图像。

1 测量原理

坝体形变测量方法采用照相机作为监测设备，为此本文采用双目立体视觉技术来实现对坝体形变的测量。测量模型图如图1.1所示。

图1.1 坝体监测模型图

双目立体视觉技术的基本原理是采用从两个不同视点观察坝体，从而获取在不同视角下的物体图像，再通过成像的几何原理计算图像像素间位视差，最终获取坝体的三维信息。双目立体视觉模型原理图如图1.2所示。

图1.2 双目立体视觉模型原理图

在模型图中，假设空间任一点P，则C1与C2上的图像点p1与p2已经从两个图像中分别检测出来，即已知p1与p2为空间同一点P的对应点，并且假定C1与C2相机已经标定，它们的投影矩阵分别为M1与M2。于是有：

其中，(u1,v1,1)与(u2,v2,1)分别为p1与p2点在各自图像中的图像齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的齐次坐标；(k=1,2;i=1,…,3;j=1,…,4)分别为Mk的第i行第j列元素。按照相机的线性模型公式，可在上式中消去ZC1和ZC2，从而得到关于X，Y，Z的四个线性方程：

由于空间点P是O1p1和O2p2的交点。因此，联立两个方程便可求出空间点P的坐标(X,Y,Z)。

2 坝体形变测量方法采用的主要技术

该方法主要结合计算机视觉和计算机图像处理的方法实现坝体形变情况的实时监测及可视化输出。首先应对相机进行标定，以获取相机的参数；再采用人工制作的检测目标物作为监测对象；最后对检测目标物上的特征点进行检测获取坝体的形变数据。

2.1 相机标定

相机标定的程精确与否，直接影响到坝体实时的测量精度，通过标定确立相机图像像素位置与坝体场景点位置间的关系。这一过相机需要标定的模型参数分为内部参数和外部参数，如表2.1所示。

如表2.1所示。

表2.1中，ax、ay、u0、v0、g是线性模型的内部参数，故ax、ay分别为u轴和v轴尺度因子，或称为有效焦距(即ax =f/ dx，ay=f/dy，其中dx、dy分别为水平方向与竖直方向的像元间距)，而u0、v0为光学中心，g是u轴和v轴不垂直因子；R和T是旋转矩阵和平移矩阵，称为外部参数，外部参数随着相机的位置而改变，因此必须要通过实验与计算获取；对于非线性模型的内部参数，除了线性模型的内部参数ax、ay、u0、v0和g外，还包括径向畸变参数k1，k2和切向畸变参数p1，p2。

2.2 特征点的选择

利用双目立体视觉采集的左右图像，必须要对左右图像进行匹配才能进行计算。由于坝体环境复杂，坝体特征点难以实现准确的匹配，因此本文在坝体上设置检测目标物，通过计算检测目标物的特征点来分析坝体形变情况。

采用人工设置特征点的原因是因为规则物体的特征信息比较明显，例如圆形，三角形和矩形等。本文制作的检测目标物如图2.1所示，白色矩形为检测目标物的背景，黑色矩形为检测的目标，通过黑色跟白色的色彩对比度，可以提高对黑色矩形四个顶点检测的准确率。

2.3 特征点的检测及匹配

图2.1 本文自制的检测目标物

经相机采集到的坝体图像传输到处理系统的过程中，通常是含有干扰和噪声等因素影响的，故不能直接进行特征点检测，因此要先对图像进行预处理。我们一般会采用图像平滑、、图像锐化、直方图均衡化增强等图像预处理方法，从而使图像在增强了图像的特征信息的同时去除图像噪声。在经过图像预处理后的图像，通常角点的信息较比明显，因此采用Harris角点检测算子检测图像上的特征点，再利用立体匹配的方法，将左右图像对的特征点进行匹配，获取一系列匹配点，具体处理的过程如下所示。

2.3.1 图像预处理

图像预处理的目的是使经处理后的图像，便于后期的特征点检测。因此图像预处理利用自适应中值滤波算法来消除图像在采集及传输过程中所产生的噪声和干扰信息；利用直方图均衡增强因光线等因素影响而导致图像偏暗的显示效果；利用Wallis算子对图像进行锐化处理，增强特征图像的特征信息以便于检测。

2.3.2 角点检测

本文对黑色矩形的4个顶点检测采用了Harris角点检测算法。Schmid的实验结果表明，Harris角点检测法具有较好的效果。在本方法的应用中，Harris角点检测算法需人为给出一个阈值T，在角点检测运行中，合适的阈值设定可以得到理想的角点，通过多次试验，本文给阈值设定了一个合理的值，Harris角点检测算法的步骤如下：

Step1：计算图像像素点在水平和垂直方向上的梯度，以及两者的乘积，得到M中4个元素的值：

Step2：对图像进行高斯滤波，得到新的M。离散二维零均值高斯函数为

表2.1 相机模型参数

Step3：计算原图像上对应的每个像素点的兴趣值，即R值。

Step4：选取局部极值点。Harris方法认为，特征点是局部范围内的极大兴趣值对应的像素点。

Step5：设定阈值，选取一定量的角点。

2.3.3 特征点匹配

基于特征的匹配方法的优点是计算量、小匹配点少。通常一幅图像中的某一特征基元在另一幅图像中可能会有多个候选匹配对象，可真正同名的结构基元只有一个，因此很可能会出现歧义匹配。在这种环境条件下，需要根据物体的某些约束条件知先验识和来消除误匹配，降低匹配工作量，提高匹配准确度、精度和速度。我们常用到的约束原则如下：(1)极线约束；(2)唯一性约束；(3)连续性约束；

(4)相似性约束；(5)顺序一致性约束。极线约束是匹配过程中一种很重要的约束准则，如图2.2所示，I1、I2是相机获得的两幅图像，P1、P2是空间物体点在这两幅图像中上的投影点，O1、O2分别为两个相机的光心位置。物体点P与两个相机的光心O1、O2组成一个平面，这个平面称之为极平面。极平面与图像平面相交得到一条直线，我们称这条线为极线。图像平面上的每一个像素点均对应着另一个图像平面上的一条极线。当物体点P在I1光心O1和投影点P1确定的射线上移动时，即深度发生变化时，I1上的投影点P1会相应地在右极线L1上移动。所有极线都会穿过一点，我们称这点为极点，极点其实就是光心O1、O2的连线与两个图像平面的相交点e1、e2。

图2.2 极线几何约束

我们在图像I1上取一任意点P1，如果我们知道它在图像I2上对应点的位置，我们就可以用立体视觉的方法计算出空间点的三维坐标。因此问题的关键在于如何对图像I1中的点P1找出它在图像I2中的对应点P2。

由于对于位于直线O1P上的任意点P＇，在I1上的投影都是P1，所以P＇在I1上的投影也应该在直线L1上，因此对于I1上的任意点P1，我们在I2上搜索P 1的对应点时，并不需要在整幅图像中搜索，只需在I2上由对应于P1点的极线搜索。这使得原来的搜索范围由二维降低到一维，大大减少了匹配搜索的时间，从而提高了匹配效率。

本文采用Hartley提出了改进的八点算法对基础矩阵进行精确估计。

由此可见，只要知道8对匹配点，即可得到一个由8个线性方程组，在相差一个常数因子的意义下求出F矩阵。如果匹配点对的数目多于8个，则可利用虽小二乘法求解。将 个这样的方程叠加而得到一组线性方程组

其中

3 监测实验及结果分析

监测设备采用两部麦典MD901摄像头，采用CMOS传感器类型，传感器像素为30万像素，自制的标定模板及特征点如图3.1所示。

图3.1 标定模板及检测目标物图像

3.1 摄像头的标定

利用两个相机同时采集了16张不同位置不同角度的标定模板图像，通过标定程序计算出摄像头的参数如下：

(1)内部参数：

左摄像头内部参数：

有效焦距：[axay]=[ 721.95894 721.22351]

光学中心：[u0v0]=[ 300.92704 300.92704]

畸变系数：kc= -0.17300

右摄像头内部参数：

有效焦距：[axay]=[ 722.05612 722.20932]

表3.1 特征点的空间坐标及与左摄像头的空间距离

光学中心：[u0v0]=[ 300.26608 299.32395]

畸变系数：kc=-0.20545

(2)外部参数(右摄像头相对左摄像头的位置关系)：

平移向量：T=[-490.09857 4.99563 7.32671]T

3.2 图像采集

图3.2为实验系统采集的左右图像对经过相机参数修正后的图像。

图3.2 左右摄像头分别采集到的图像

3.3 特征点的计算

利用公式(1.3)和(1.4)及摄像头的标定参数把特征点的图像坐标转化为三维空间坐标，并计算每个特征点与左摄像头的欧式距离。计算结果如表3.1所示：

从表3.1的数据显示可见，测量距离与实际距离之间存在着一定的误差。

人工改变仿真坝体的位置，采集图像如图3.3所示，经计算后获取的坝体表面拟合图及坝体形变的矢量图如图3.4所示。

图3.3 仿真坝体改变位置后的左右图像

图3.4中，坝体拟合图显示了根据坝体的表面特征点拟合出来的坝体表面图。坝体形变矢量图直观的显示出坝体的位移变化。

4 总结

图3.4 坝体拟合图及坝体形变矢量图

本文设计了一种基于双目立体视觉的坝体形变实时监测方法。该方法采用双目立体视觉的测量原理，结合图像预处理、图像分割、角点检测、块配准和立体匹配的方法，计算设置在坝体上特征点的三维空间坐标，从而获取坝体形变信息。本文利用人工制作的检测目标物作为坝体特征点，有效的解决了坝体不利于直接进行立体匹配的缺陷。仿真实验表明，该坝体形变实时监测方法能实时显示坝体形变数据，并且其可视化的输出结果能够直观的显示坝体形变状态。系统建立综合性的监管平台，依托智能的软件系统，当坝体位移出现异常时，及时预报预警，提醒相关部门尽快启动相应的处理措施及预案，保障水库安全。

[1] 郭川,黄玖,周彧.利用GPS技术监测水坝变形[J].河北水利科技,1999,20(1):30-32.

[2] 汪伟,李郝林.基于数码相机图像的三维重构[J].上海理工大学学报,2005,27(5):429-432.

[3] 党乐.基于双目立体视觉的三维重建方法研究[D].陕西西安:长安大学,2009.

[4] Janne Heikkila ,Olli Silvén.A Four-step Camera Calibration Procedure with Implicit Image Correction[A].IEEE Computer Society Conference on Computer’ Vision and Pattern Recognition(CVPR’97) [C] ,San Juan ,Puerto Rico,1106-1112.

[5] 张旭明,徐滨士,董世运.用于图像处理的自适应中值滤波[J].计算机辅助设计与图形学学报,2005,17(2):295-299.

[6] Schmid C,Mohr R, Bauckhage C.Evaluation of Interesting Point Detectors[J].International Journal of Computer Vision, 2000,37(2):151-172.

[7] 赵万金,龚声蓉,刘纯平,沈项军.一种自适应的Harris角点检测算法[J].计算机工程,2008,34(10):212-217.

[8] 孙龙祥,程义民,王以孝,孙启彬.深度图像分析[M].电子工业出版社.1996.

[9] Hartley R I.In defense of eight-point algorithm[J].IEEE TRANS,PAMI,1997,19(6):580-593.