受电弓滑板磨耗检测中多视觉传感器标定方法研究

伍川辉，邓 越，于 涛，陈国俊，李恒奎

(1.西南交通大学机械工程学院，四川 成都 610031; 2.轨道交通运维技术与装备四川省重点实验室，四川 成都 610031;3.青岛四方机车车辆股份有限公司，山东 青岛 266031)

0 引 言

随着城轨交通的快速发展，高速列车已经成为了人们出行和解决交通阻塞的首选方式。而受电弓作为高速列车的关键电气设备，它的状态直接影响高速列车的行车安全。受电弓滑板直接与接触线进行滑动接触，在运行过程中可能因为滑板磨耗、滑板裂纹和中心线偏移等引起安全事故。因此，需要对受电弓滑板进行全面检测以确保行车的安全[1]。

目前，针对受电弓的检测方法主要有人工检测、图像检测、激光检测和超声波检测等方法。而计算机视觉技术具有精度高、响应速度快、分辨率高、非接触式等优点，愈发成为各行各业主要检测技术手段。通过视觉传感器对受电弓弓顶轮廓进行扫描，可以快速获取受电弓表面轮廓，准确掌握受电弓质量状态。但是由于受电弓横向尺度大，使用单一的视觉传感器难以实现对大尺度的受电弓的快速测量。因此，本实验使用到了多组视觉传感器，并构建了多视觉传感器测量系统。多视觉传感器可以融合单个视觉传感器的视觉信息，并通过每个视觉传感器的空间偏移位置得到受电弓在具体现实三维坐标下的轮廓和位置信息，从而实现对受电弓的磨测量[2]。但使用多视觉传感器带来了在对受电弓进行扫描时如何把多个单一视觉传感器统一在相同的空间坐标系下的问题，从而完成受电弓的三维重建和尺寸测量。

在国外，主要是通过增加辅助设备来完成多组摄像机的标定。常见的辅助设备有辅助靶标、激光跟踪仪、平面镜、全站仪等，并已知辅助设备外部参数通过增加约束条件来构建方程组，实现多视觉传感器组合标定[3-5]。胡浩[6]等设计了一种十字架形的标定靶，并在靶标两表面分别贴有环形编码标志点和圆形非编码标志点，并将十字架置于公共视野范围内并摆出各种同步拍摄姿态，然后对采集的图像进行标定运算，在大视场多摄像机的场景下有很高的精度和效率。高金刚[7]在双目标定的立体视觉下，把激光跟踪仪和靶球进行组合，把各个视觉传感器单元统一到激光跟踪仪所建立的世界坐标系中，从而达到了对大尺寸检测系统的标定。鲁亚楠[8]等提出了使用辅助转台标定法，将待标定系统固定到转台上，转动转台并记录旋转角度，然后结合转台坐标系和靶标坐标系相对位置关系求解出各相机的相对位置关系，这种方法适合无公共视场的场景，但是转台制作成本高，不便于现场安装。潘华伟[9]等对于环绕多摄像机系统使用ICP和VR算法相结合的思想，通过在相邻相机视野中自由移动二维平面模板并计算相邻相机的位置关系，最后将所有相机统一到同一个世界坐标系。但存在计算过程复杂、需要多次迭代的缺点。

综上所述，当前的多视觉传感器组合标定存在着一定的问题，如辅助靶标昂贵、计算精度低、计算速度慢、算法复杂等。因此，本文的主要工作内容为：提出了一种二维靶标和三维靶标组合标定的标定方法，通过对交叉视角的多视觉传感器进行标定，并进行试验检测，结果表明该标定方法的准确性和可靠性。

1 受电弓磨耗检测系统

由于受电弓的横向尺寸大，导致了单台视觉传感器的测量范围无法完全覆盖弓体，因此采用三台视觉传感器对受电弓进行轮廓测量，该设备具有实时性高、准确性高、测量精度高、易于操作和不易受外界环境干扰等优点，其布局图如图1(a)所示。单个视觉传感器是由一个摄像机和一个线结构光源组成，其模型图见图1(b)，当受电弓经过监测点时，触发光电开关，该视觉传感器从2口发射线结构光，而线结构光与受电弓表面相交处会形成一条特征曲线，这个特征曲线是光条纹调制曲线，会携带物体表面的几何特征。然后通过与激光器成一定角度的摄像机1进行拍摄激光条图像，并输出到计算机图像处理设备，就可对滑板轮廓光条的中心特征点进行提取，然后通过PC端对点云数据进行滤波、精简、聚类等后序的一系列处理，重建受电弓滑板的三维模型图，从而完成对受电弓滑板磨耗测量。

图1 磨耗测量系统和视觉传感器模型

因为每台视觉传感器只能测量受电弓的部分轮廓，要想还原整个的弓体轮廓，必须将三台单视觉传感器转换到同一坐标系下，并在同一坐标系下建立全局测量模型。因此，当列车入库时，只需要使用三台视觉传感器采集受电弓的点云数据，然后利用全局测量模型对受电弓轮廓图像进行投影变换和坐标变换，这样即可还原出受电弓的形状，从而实现对受电弓的磨耗测量。因此本文主要重点是对受电弓三维重建过程中建立全局测量模型的研究。

2 多视觉传感器系统组合标定方法

要对系统参数和点云数据测量模型的求解就必须要掌握常见的坐标系和坐标变换。常见的坐标系有像素坐标系、图像平面坐标系、摄像机坐标系和世界坐标系，四个坐标系之间的转换关系如图2所示。

图2 常见坐标系及其转换关系

在受电弓轮廓检测系统中，多视觉传感器的标定过程即为建立数学模型并求解系统参数过程。其关键在于建立世界坐标系和二维图像平面坐标系的对应关系以及各个视觉传感器的位姿关系[10-11]。因此标定过程可分为：相机内部参数标定、结构光平面方程参数标定和摄像机外部参数标定。相机内部参数指的是相机基本参数，每台相机的内部参数是固定的，它不随安装位置的变化而变化；而摄像机外部参数随着相机之间的安装位置变化；结构光平面是指所拟合激光平面的方程参数。具体的待标定矩阵如表1所示。

表1 预测模型初始参数设置

受电弓滑板轮廓检测系统视觉传感器的标定示意图如图3所示，3台视觉传感器安装在统一的横梁上。要实现对三台摄像机拍摄的特征点数据进行点云重构，需要对三台摄像机进行高精度的组合标定。其中，摄像机1和2有公共视野，摄像机2和摄像机3有公共视野，因此可以把2摄像机作为全局摄像机，摄像机2的坐标系oc2xc2yc2zc2为全局坐标系，其他位置都置于该全局坐标系下。假设摄像机1坐标系oc1xc1yc1zc1到全局坐标系oc2xc2yc2zc2之间的刚体变换矩阵为，摄像机3坐标系oc3xc3yc3zc3与全局坐标系oc2xc2yc2zc2的外部参数为。

图3 多视觉传感磨耗测量系统（单位:mm）

2.1 摄像机内部参数标定

摄像机标定过程实质上是求解空间坐标系到摄像机图像坐标系的变换矩阵的过程。单个相机作为多视觉传感器的基本单元，其内参的标定直接影响着整个测量系统的精度。

摄像机内部参数的标定原理图如图4所示。图中有四大坐标系，分别是世界坐标系：OwXwYwZw，相机坐标系：OcXcYcZc，图像坐标系：OuXuYuZu，像素坐标系：Ouv。世界坐标系向摄像机坐标系的变换是刚体变换，摄像机坐标系到图像坐标系的变换是投影变换，图像坐标系到像素坐标系的变换为物理尺度变换下的二次变换。

图4 摄像机标定示意图

假设在理想的线性模型中，世界坐标系中的一个点坐标为P(Xw,Yw,Zw)，在摄像机坐标系下的坐标为P(Xc,Yc,Zc)，在二维图像里的坐标为P(x,y)，像素坐标为P(u,v)。在线性模型下，有如下的计算公式：

式中：s——比例伸缩因子；

M1——投影变换矩阵；

M2——旋转平移矩阵。

通过上式可以看出，待测量的Xw，Yw，Zw的坐标可以通过刚体变换矩阵，然后再通过投影矩阵转换到图像坐标系下的坐标。

但是上面求坐标点的实际位置只是理想的数学模型，由于镜头会产生微小的畸变和变形，所以，使用小孔成像原理得到的线性模型会产生较大的误差。我国对于相机畸变的研究相对较少，对于大视场区域，李佳萤等[12]通过相机主点为中心并按距离加权原则将相机视场分为若干区域，通过多组共线四点坐标建立交比畸变不变性畸变系数求解模型，实现了分区域相机畸变矫正。而本实验使用三组摄像机对整弓进行拍摄，每台相机视场区域相对较小，因此只需要引入各个非线性的畸变修正系数，建立摄像机的非线性模型：

式中：r——图像任意点到图像平面主点距离r2=x2+y2；

xcorrected、ycorrected——畸变后的实际图像坐标；

k1、k2、k3——径向畸变系数；

p1、p2——切向畸变系数。

在至少3个不同方向获取二维靶标图像，即可求出摄像机内参M和旋转平移矩阵。再将式(2)得到的实际图像坐标进行二次变换得到像素坐标，然后结合世界坐标系下的点在左右视觉传感器投影点公式即可求出该点在世界坐标系中的位置，最后将得到的世界坐标代入式(1)即可求得摄像机非线性模型表达式。

2.2 结构光平面方程参数标定

本系统所使用的是用相机拍摄激光断面，从而获取受电弓滑板表面的轮廓数据。因此除了对相机进行标定外，还需要对线结构光的激光平面进行标定。目前，国内外关于线结构光的标定方法有很多，比如：拉丝法、交比不变法、锯齿靶法和基于平面的点阵靶标法[13]。考虑到立体靶标的制作成本高，因此使用二维棋盘并基于交比不变法对线结构光平面标定。其原理图如图5所示。

图5 结构光平面标定原理图

如图，Ai、Bi、Ci3个点共处于L2直线上，线结构光平面投射到靶标上的直线为L1，与L2交于点Qi。在二维靶标一角上建立局部世界坐标系，则可以得到Ai、Bi、Ci坐标，并且可以通过坐标变换得到对应的图像平面上的坐标ai、bi、ci和L1和L2交点的图像坐标qi。通过交变比不变原理可知任意4个共线点在二维平面标定板上的交比等于在图像平面的投影点的交比，由此可得：

根据公式(3)，可以获得光平面与二维靶标相交轮廓线上的特征点Qi的局部世界坐标。要获得多个标定特征点，只需要在线结构光范围内移动二维靶标即可，但求出的特征点是二维靶标坐标系下的特征点，因此需要把特征点转换到相机坐标系进行后续求解。

假设Qi在局部世界坐标系下的齐次坐标矩阵为Qi=[XiYiZi1]T，在相机坐标系下的齐次坐标矩阵为Qc=[XcYcZc1]T，由2.1可得到特征点Qi在相机坐标系下的齐次坐标矩阵：

理论上，获取线结构平面上三个不共线的三个特征点就可确定一个空间平面，设线结构光在相机坐标系下的方程表示为：acxc+bcyc+cczc+dc=0，然后将所求的m个特征点带入该方程，并以特征点到该平面的欧氏距离的平方和为目标函数，即：

式中：ac,bc,cc,dc——线结构光平面方程系数；

di——点到该平面的距离。

优化目标函数，使特征点到拟合平面的欧氏距离平方和最小，得到线结构光平面方程参数，求得摄像机坐标系下的线结构光平面方程。

2.3 摄像机外部参数标定

前面两节已经完成对摄像机内部参数、线结构光平面的标定，这样就完成了单台摄像机测量系统的标定。接下来需要对受电弓磨耗测量系统多视觉传感器进行外部参数标定，即确定每台视觉传感器的位姿关系。多视觉传感器的标定示意图如图6所示。

图6 多视觉传感器标定示意图

三台视觉传感器测量系统中，使用公共视场下的每个三维靶标的最高台阶进行标定，在相邻摄像机视角下分别获得了激光光条图像，得到的图像是各个摄像机坐标系下的坐标，因此，需要通过摄像机相互映射关系来分别计算左右摄像机到全局坐标系下的空间位姿变换矩阵，得到相邻摄像机之间的相对位置。摄像机针孔关系模型：

由于两个空间坐标系可以通过一个旋转矩阵和一个平移矩阵进行空间变换，假设在三维空间有一个点P(Xw,Yw,Zw)在视觉传感器1和2的视角下坐标分别为Pc1(xc1,yc1,zc1)、Pc2(xc2,yc2,zc2)，已知世界坐标系变换到两个相机坐标系的旋转矩阵分别为R1和R2及平移向量t1和t2，得到下面关系：

整理可得下式:

从相机1的坐标系变换得到相机2坐标系方程为：

由此可知，从相机1到相机2的旋转矩阵和平移向量分别为：

式中：R——旋转矩阵；

T——平移向量。

两个矩阵构成了两坐标系的刚体变换，为使下式的目标函数得到最小的、，求得两坐标系变换矩阵后用下面式子进行优化：

3 实 验

受电弓磨耗测量系统是由3台CCD摄像机和3台线结构光源组成。首先需要对每台视觉传感器内参进行标定，标定实物图见图7（a）。采用了5 mm×5 mm的高精度棋盘靶标，并把视觉传感器激光光条遮挡，摄像机从不同方向拍摄平面棋盘格靶标，获取多组标定图像。拍摄过程中需要保证靶标平面能在相机视野内能清晰成像，标定结果见表2。

表2 受电弓滑板磨耗系统标定参数pixel

图7 受电弓磨耗检测系统标定图像

当完成对摄像机内参标定进行后，即可对线结构光平面进行标定，使用一套相机并开启线结构光光源，标定图如图7（b）所示，并在摄像机视角范围内拍摄9组激光光条图像。借助激光光条的亚像素提取方法，提取光条中心线以获得特征点，再结合2.2节激光平面方程标定方法，计算激光平面系数，标定结果如下：

当完成对摄像机内参和激光平面标定后，通过2.3节方法，求得相邻摄像机外部参数。相邻摄像机标定参数如表3所示。

表3 摄像机外部参数标定结果

当完成对受电弓滑板磨耗检测系统标定后，将该系统安装在检测架上，并通过测量三维靶标特征点之间的间距进行验证。首先将三维靶标放在测量平台上，在传感器测量视角下移动任意位置。通过检测系统动态测量不同位置下边缘特征点的坐标来计算靶标台阶在XYZ三个方向的边长，即各个台阶的长宽高，并与靶标的长宽高的真实数据进行对比，来判断检测系统准确性并计算绝对误差。每个阶梯的水平截面都是 30 mm×30 mm的正方形，垂直方向的尺寸分别为30 mm、15 mm、5 mm，具体尺寸如图8所示。通过线结构光源对该凸台靶标XYZ三个方向进行扫描，测量3个台阶XYZ方向的尺寸数据，并且测量3次，避免随机偶然误差，测量结果见表4，发现该凸台横向、纵向和垂直方向的测量误差均控制在0.5 mm以内，满足受电弓磨耗测量系统的要求。

表4 测量距离与真实距离误差对比mm

图8 受电弓磨耗检测系统标定图像（单位：mm）

当完成对受电弓磨耗系统进行标定后，得到受电弓表面的点云数据，然后通过一系列的点云数据滤波、点云数据拟合拼接等过程，构建出完整的受电弓滑板的点云图，如图9所示，从而验证出该碳滑板磨耗测量系统具有较高的准确性和实用性。

图9 滑板轮廓重建（单位：mm）

4 结束语

1）本文针对受电弓碳滑板磨耗测量问题，使用二维靶标和三维靶标相结合的标定方式，提出了对多视觉传感器组合测量的测量方案。

2）本文详细推导摄像机内部参数、线结构光平面方程、摄像机外部参数的计算方法，建立了多视觉传感器的全局测量模型，解决了受电弓滑板磨耗测量中多视觉传感器全局标定问题。

3）基于线结构光测量技术，使用该测量系统测量三维凸台靶标尺寸和真实尺寸进行对比，结果表明了该标定方法切实可行。

4）使用该系统得到了受电弓滑板表面的点云数据集，并经过后序处理成功对滑板轮廓进行了重构，并得到了滑板磨耗数据。