基于线结构光的天轮偏摆监测机器视觉系统设计

李 瑶，涂兴子，吴 娟，陈华新，朱丽鹏 ，寇子明

(1.太原理工大学 机械与运载工程学院，山西 太原 030024； 2.矿山流体控制国家地方联合工程实验室，山西 太原 030024； 3.平顶山天安煤业有限公司，河南 平顶山 467000)

深井提升系统中的天轮在运行工作中，长时间频繁使用且所承受的重载力较大。在这样交复的重载荷下，天轮会出现偏摆过大的故障，严重时会导致重大生产安全事故[1]。目前，大部分通过检修工人的肉眼观察和听有无异响来完成天轮的巡检，大多是经验判断所得，会有很大的误差[2]。同时，国内外学者大多数通过安装传感器的方法对天轮进行偏摆监测，但天轮是转动运动体，因此会存在安装位置不合理，破坏天轮结构等问题，从而使得测量结果误差较大，可靠性低[3]。

线结构[4]光测量方法与其他非接触测量方法相比，它具有较强的抗干扰能力、信号处理可靠，测量范围宽，高效率、维护方便等优势。该线结构光视觉测量系统具有较好的柔性、速度快、非接触、量程大、精度高等特点，在自动控制、快速设计产品以及控制加工质量等方面应用广泛。对于测量物体表面形状、获取空间位置信息以及获取三维运动信息，线结构光测量已成为一种有效测量方法[5]。

因此，本文提出了基于线结构光的机器视觉非接触式天轮偏摆实时监测方案，非接触式测量的方法避免了天轮本身安装传感器不合适的困难，并且操作简单、安装设备方便、精度高。本系统能及时地了解和掌握天轮的运行状态，对保证深井提升系统人员安全和生产安全具有重要的意义。

1 监测系统方案设计及测量流程

1.1 方案设计原理

基于线结构光的非接触式测量方法的原理如下：线激光器发射激光，照射在物体表面上，会形成线结构光光条图像，含有物体的位置信息[6]，如图1所示。图像由摄像机拍摄，可以得到图像中结构光条纹点的像素坐标，通过坐标变换将它转换为特定参考坐标系下的坐标。然后将不同位置下的结构光光条纹中特征点进行坐标比较，来获得待测物体的偏摆振动位移。

图1 测量原理图

1.2 监测系统方案测量流程

线激光非接触式测量方法流程如图2所示：首先在非接触式测量系统上进行系统标定，系统标定指相机与结构光光平面的标定。相机与结构光光平面的标定主要是指求解出相机与光平面的内、外参数矩阵以及畸变参数矩阵[7]。然后对拍摄到激光器发射出的激光图像进行激光提取，并对激光平面进行最小二乘法拟合得到光平面方程。

系统标定需要使用实验平台和靶标图像(通常使用棋盘格)，拍摄多幅不同位置下含有线结构光的棋盘格图像，对激光条纹进行图像激光提取处理以得到激光光条的中心线，同时获得激光光条中心线上点的像素坐标。经过坐标转换之后，得到在相机坐标系下中心线上点的相机坐标，运用最小二乘法对这些点相机坐标进行拟合得到结构光平面的光平面方程。完成系统的标定后，多次拍摄待测物体的线结构光图像，基于标定参数和光条像素坐标，经过转换，得到不同光条图像中相同特征点对应的世界坐标，对世界坐标进行比较来获取待测物体的偏摆振动位移。

图2 方案测量流程图

2 相机与结构光光平面标定

相机标定是机器视觉领域一项重要的算法，是人类在视觉领域深入研究的基础算法[8]。相机标定的目标就是要将相机的内外参数矩阵A、R、t计算出来，相机的内外参数矩阵是像素坐标转换世界坐标所必要的参数矩阵，内外参数矩阵的精度也就是标定的精度决定了非接触测量精度。像素坐标与世界坐标的转换关系为：

相机与结构光光平面的标定方法是通过标定板来标定的一种二维平面标定法，与相机标定方法相似。首先通过摄像机从不同角度下采集包含有靶标与光条的图像，然后通过Matlab软件自带的相机标定模块将图像中的特征点提取出来，再计算出特征点在像素坐标系下与世界坐标系下对应的数学关系[9]，并且每幅图像都存在类似的约束关系如图3所示，最后计算出对应的参数矩阵完成相机与结构光光平面的标定[5]。

图3 线结构光与摄像机、图像坐标系

本文应用张正友标定法进行标定[10]，将打印的棋盘格作为靶标图像贴在硬纸板上，固定相机和激光器的位置，移动标定板，不考虑运动的参数，具体操作步骤如下：

1)打印棋盘格，平整地将棋盘格贴在硬纸板平面上，以此当作标定板，同时保证各个角点清晰。

2)多次调整标定板，通过摄像机拍摄包含有靶标与光条图像，本文采集了14幅图像进行标定。

3)对多幅靶标图像通过Matlab软件自带的相机标定模块检测与提取特征点。如图4所示，为标定时相机与标定板的相对位置。

4)通过Matlab软件求解光平面标定的内外参数矩阵。

图4 相机标定位置图

3 结构光图像处理与光平面方程拟合

3.1 结构光图像处理

在采集结构光光条图像的过程中，通常因为周围背景、外部环境等原因会带来干扰噪声[11]。为了便于获取结构光光条图像，本文会对摄像机拍摄的激光照射的天轮图像中的结构光光条图像进行图层平面提取、激光提取等处理。

彩色图像通常由红色平面(Red)、绿色平面(Green)、蓝色平面(Blue)三组RGB图像组成[12]。本文运用的图层平面提取算法是一种颜色平面抽取算法，可以在彩色图像(如图5所示)中提取到三个不同的颜色平面如图6所示，运行算法后得到的是灰度平面。然后对灰度图进行激光提取处理，将图像中的其他背景去掉，只留下结构光图像，如图6(a)所示。

图5 原图

图6 提取图

3.2 结构光光平面方程的拟合

靶标与结构光如图7所示，将相机与激光器固定位置之后，光平面方程的参数值是固定不变。通过相机拍摄含有靶标与结构光光条的图像，光条直线就是结构光光平面与靶标平面相交所得的，通过移动靶标拍摄不同位置下的图像，得到多条结构光平面上的光条直线。

图7 靶标与结构光

运用Matlab自动提取像素点程序拾取光条直线上的特征点，将其像素坐标通过标定的内参数转换成在相机坐标系下的坐标，进而拟合求得光平面方程aX+bY+cZ+d=0。像素坐标与相机坐标的转换关系为：

拟合的光平面与特征点的位置分布如图8所示。

图8 光平面与特征点位置图

4 验证方案

使用以上算法，将结构光光平面上两点像素坐标转换为世界坐标，并且计算两点坐标之间的差值，该差值应与两点的真实距离相同，将世界坐标系下两点之间的计算距离与其真实距离进行对比，误差大小即为测量精度，线结构光图像与其上两点如图9所示。以图9为例，对图像光条上的A、B两点进行验证，方法如下：

图9 线结构光图像与其上两点

1)将靶标位于多个不同位置，拍摄多幅含有激光光条的图像。

2)用上述算法标定求解的内外参数矩阵和光平面方程，随机选取A与B两个像素点，将A像素点(ua，va)和B像素点(ub，vb)分别代入所得的光平面方程：aX+bY+cZ+d=0以及内参数矩阵方程中，其中，A为摄像机的内参矩阵，联立方程计算出相机坐标系下的坐标：

3)应用上面计算得到的相机坐标系下的坐标和标定求解的外参矩阵，将A、B像素点在世界坐标系下的对应坐标点Aw、Bw求出来。

4)将Aw、Bw两点间的距离算出来，和测量的实际距离进行对比。经过多次拍摄、计算和测量，将不同距离的五组点的计算值与实际值进行对比，获得误差结果见表1。

表1 误差验证结果

5 Labview软件平台搭建

天轮机器视觉监测系统软件是在Labview平台创建的。上文研究了图像处理算法，确定了监测系统图像处理算法以及测量方法，同时对被测天轮进行了参数设定和程序设计。以下基于编写调试好的图像处理算法进行天轮监测系统软件的搭建。

5.1 软件需求与功能模块设计

本文设计的机器视觉监测系统软件的目的就是对深井提升系统中的天轮的偏摆进行计算，所以监测软件要实现如下的功能：①远程操控相机，实现启动相机、采集图像和关闭相机等操作；②传输、保存和显示采集的图像；③进行图像处理以及计算，得到偏摆量。

确定软件的要求后，开始设计软件的功能模块：

1)相机操作模块。此功能模块用于控制相机的启闭及获取图像。启动相机对天轮实时成像，操作人员可选择单张拍照或者连续视频的方式获取图像，并设计了文件保存功能，方便后期查看调用图像数据。

2)偏摆量计算模块。此功能模块主要对采集到的图像进行处理并计算和显示偏摆量。该模块会循环对采集到的图像进行处理和计算，同时实时输出显示并保存结果。

5.2 软件界面的设计

本文创建的监测系统软件由一个主界面组成，主界面包括采集的原图显示、灰度图显示、激光提取图显示、相机选择、运算的启停以及运算时间显示、偏摆测量参数显示及曲线图等。

6 实验方案与结果分析

6.1 实验方案

由于深井提升系统的天轮通常位于高达十几米甚至几十米的位置，不易安装实际的监测设备。因此，本文使用简易提升装置的导向轮当作研究对象，来模拟实际天轮工作情况[3]。线激光照射在运转天轮上，相机实时采集的图片传输到Labview软件中的图像模块进行图像处理[13]，然后通过嵌套在Labview中的Matlab程序完成线结构光提取以及偏摆测量，并将测量数据实时显示形成曲线图并保存，从而达到实时监测天轮偏摆故障的目的。

为了验证实验的准确性，本文在进行实验时加入了位移传感器来验证偏摆量。为了防止传感器灵敏度受到其他信号的干扰，位移传感器的固定应用了特别制作的全包式支架[14，15]。

6.2 结果分析

在视频采集的同时，偏摆量计算模块实时处理并计算所采集到的图像，并将计算结果保存到txt文件中。为了更好的显示图像处理的数据结果，本文运用Matlab程序处理保存到txt文件中的一组天轮偏摆数据进行绘图，同时与位移传感器采集的数据进行对比。

天轮偏摆实验的图像监测数据和位移传感器数据对比如图10所示。

图10 实验结果对比图

本文设计验证实验的目的是对偏摆监测系统的监测数据进行误差判断，所以对数据进行误差分析时，计算图像监测数据和传感器数据之间的差值，得到的误差分析如图11所示。

图11 误差分析图

根据误差分析，实验结果的误差偏移最大值为0.21mm。实验结果平均误差为0.0735mm，因此，该监测方案结果可靠性较高，误差较小。

7 结 语

基于线结构光的机器视觉非接触式天轮偏摆实时监测方案中的监测设备放置在和天轮处于同一平面的井架上，然后通过无线传输方式将数据实时传输到地面，便于工作人员查看。这种方法避免了天轮高速运转时传感器安装不方便的问题提高了测量精度，同时也消除了深井井架的振动影响带来的偏差。通过实验方案的验证，证明本文提出的基于线结构光的机器视觉非接触式天轮偏摆实时监测方案具有一定的可行性。但该系统中的测量精度不太稳定，主要原因为相机标定和激光提取处理中存在一定的误差，因此，该方案还需要进一步改进与完善。天轮偏摆振动不仅包括端面跳动还包括径向跳动，下一步将主要对天轮径向跳动监测进行实验设计研究。