非接触目标相对姿态测量方法研究
2019-05-08
(上海工程技术大学 机械工程学院,上海 201620)
0 引言
在当前工业应用、航空航天、无人驾驶等场景中,运动物体姿态测量问题得到越来越多的关注[1-2]。非接触目标就是在空间中不能直接获取目标当前相关信息,而需要利用光电、电磁、视觉等传感器技术来获得相关信息[3]。在空间技术中提出对于一些不规则以及非合作、损坏、报废航天器进行回收需要对该物体当前状态信息进行获取,以及接下来运动状态进行分析,从而达到将其进行回收的目的。视觉测量在目标相对位置和姿态参数测量中具有重要作用,相关研究不断深入[4-6]。孙长库等提出一种基于IMU(Inertial measurement unit)与单目视觉融合的姿态测量方法,将IMU姿态测量值与单目视觉测量值进行数据融合实现了快速以及高精度姿态测量[7]。孙增玉和高越提出一种基于特征信息融合的非合作目标相对位姿测量方法,以航天器自有的特征信息作为识别目标,采用椭圆轮廓和特征角点相结合的方法对非合作目标特征进行识别,解决了位姿测量中无合作标志器提供理想特征信息的问题[8]。游江等提出基于机器视觉的空间目标姿态自动测量方法,并对其中较为关键的目标靶自动分割及特征点自动排序问题进行研究[9]。
本文以卫星航天器作为非接触目标研究模型,利用双目摄像机、高精密电控角位移台和电控旋转台、运动控制器建立物体相对位姿测量系统。利用黑白棋格标定板对左右工业相机进行标定,通过公式计算出相机内参数和外参数,将卫星自身特征作为采样识别目标,采用边缘检测和角点提取方法对非接触目标进行特征角点提取,在相机坐标系中得到相应坐标,结合先前所标定相机参数,将相机坐标系得到数据转换至世界坐标系并结合刚体运动学原理对目标物体进行姿态解算。实验表明该方法可以满足精度要求。
1 测量系统组成以及工作原理
该测量系统由两台CCD工业相机,高精密电控角位移平台,高精密电控旋转平台,运动控制器,图像处理以及姿态解算软件等组成。非接触目标姿态测量的基本原理为利用被测物体上特征点的空间位置和其光学成像位置间对应性求解物体的六自由度姿态参数[10]。利用C#编写上位机软件界面,通过运动控制器实现对高精密电控角位移平台和高精密电控旋转平台进行控制,运动控制器利用串口输出PWM(Pules width modulation)对角位移平台和旋转平台各个不同角度进行运动,记录运动数据作为实验标准参考值,同时在运动过程中驱动两台CCD工业相机进行图像采集,将采集图像进行图像处理提取所需要相关数据。双目立体视觉测量原理是通过两台左右相机通过标定获取内外参数后,同时采集物体在不同视角下的图像数据[11],根据图像之间的像素匹配关系,结合相机内、外部参数,基于视差原理,提取被测目标在特征点,将相机坐标系中得到参数转换成世界坐标系参数。利用刚体运动学关系,通过多个特征点姿态估计优化算法和坐标转换解算出当前目标的相对姿态参数[10]。图像采集和姿态解算由上位机软件处理,系统功能如图1所示。
图1 系统功能框图
2 非接触目标的特征提取与匹配
2.1 双目相机标定
双目立体视觉测量的原理是通过左右两个工业相机将物体放置于视长所能采集范围之内根据相互之间的位置关系来重新构建被测目标的三维坐标[12]。因此,如图2所示,首先对左右相机模型分别进行标定,找出世界坐标系、图像像素坐标系、图像物理坐标系、摄像机坐标系之间的关系,通过相关转换公式计算出相机内外参数,图中XW-YW-ZW用来表示客观物体空间位置信息的绝对坐标系,Xc-Yc-Zc表示相机坐标系,O0-u-v用来表示图像物理坐标系,O1-X-Y用来表示世界坐标系中某个三维点在图像平面上的投影坐标系。分别将左右相机进行标定后,根据线性摄像机模型原理,通过坐标系之间转换获取相应转换矩阵关系。
图2 相机坐标系的建立
本文利用黑白棋盘作为相机的标定板,结合张正友标定法同时对实验的两个摄像机进行标定,拍摄多张不同角度的标定板图像,利用相关公式检测需要提取标定板的角点,再根据本身投影之间的映射关系,通过如下矩阵从而获取相机的外参、内参和畸变系数,优化标定结果:
(1)
其中:fx=f/dx,fy=f/dx;Q为3×4投影矩阵,Q1中fx,fy,u0,v0这4个参数叫做摄像机内部参数,Q2是由摄像机相对于世界坐标系的方位R,T决定,是相机标定所得到的外部参数。
本文采用的黑白棋盘格式为大小为30 mm*30 mm,角点数为7*7,标定板规格如图3所示。
图3 标定模板
2.2 非接触目标特征提取与匹配
将嫦娥2号探月卫星作为本次实验的被测目标如图4所示。对被测目标的外形特征进行分析,可以清楚地发现卫星本体和太阳能帆板都具备边缘检测和角点提取的特征,发动机喷嘴和通信天线具有圆面特征。本文利用Canny算子进行边缘检测,之后利用Harris算子对被测目标太阳能帆板末端进行角点提取,提取目标模型的特征角点,计算出角点在各个坐标系中的对应位置坐标,再结合刚体运动学原理对所提取角点进行分析,旋转变换计算出相对应的姿态变化角度。Harris算子的优点是只用到灰度的一阶差分以及滤波操作简单,可以的点特征均匀而合理,相对比其他算子更加稳定,可以克服一定程度光源不佳的影响。
图4 被测目标模型
将被测目标放置于搭建的视觉姿态测量系统中,同时保证卫星整体能够同时被左右工业相机都拍摄到,并且在运动过程中不能超出图像采集的范围之内。将被测目标太阳能帆板最外侧4个角点,作为本次实验所提取和识别的特征角点。角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点[14]。因此,首先利用摄像机进行图像采集与灰度化处理,利用灰度计算函数获取图像中每个像素点在摄像机像素坐标系下的坐标值以及其灰度相关信息,利用条件随机场算法(CRF)对灰度信息进行滤波并对图像进行处理。分割图像相关部分,提取出只包含卫星本体以及太阳能帆板部分,利用Canny算子对卫星本体以及太阳能帆板进行边缘检测,将卫星边缘提取出后,进行二值化处理。利用Harris算子提取出主要角点并计算出相应坐标系下的值。
Harris算子的主要思想是,当目标物体所需提取角点处,图像灰度会有明显区别,此处灰度梯度不是连续的,同时在此临近区域内的梯度将会有两个或者两个以上不同值。Harris算法定义一个与自相关函数相关联的二阶矩阵M[8]。该矩阵描述了局部领域内梯度分布情况。
根据算法为采集目标图像每一个像素点构建数学模型,如式(2)所示:
I(xi,yi)]2
(2)
式中,(Δx,Δy)T为给定的位移;(xi,yi)为窗口函数w内的点,此处窗口函数为高斯窗。为了减小计算量,利用一阶泰勒级数进行公式简化,图像位移近似值如式(3)所示:
I(xi+Δx,yi+Δy)≈I(xi,yi) +
(3)
式中,▽I=[Ix,Iy]T为图像的空间梯度值。将其带入公式2,可以得到式(4):
(4)
矩阵中的两个特征值可以用来描述两个主要方向上信号的变化,如果特征值都很大,那么该点就是角点;如果所提取图像灰度没有发生变化,那么窗口内就不存在这角点;如果提取图像在某个方向移动时,图像灰度发生较大的变化,但是另外一个方向没有发生变化,那么图像内的目标是被测目标边缘。
Harris算子为了抑制噪声,用高斯平滑,避免了求一阶导时出现大量由噪声产生的极大值。算法中利用高斯窗口函数,降低了由于左右两台摄像机角点位置匹配误差较大问题,获取角点准确位置,提高整体姿态解算精度。
3 姿态解算算法
将在世界坐标系中,利用Harris算子提取出被测目标特征角点将物体特征点在左右两个不同摄像机种所采集到的投影坐标点在图像坐标系中点定义为(Ul,Vl),(Ur,Vr),左右摄像机通过标定获得的投影矩阵分别为ML,MR,世界坐标系为(xw,yw,zw),则:
(5)
(6)
(7)
由最小二乘法解得空间位置坐标(X,Y,Z)。
根据三维物体在空间中刚体运动学原理,坐标系之间旋转变换关系表示形式为旋转矩阵R以及一个平移向量t来表示[15],其中旋转矩阵R为式(8)所示:
(8)
旋转矩阵共有9个参数,但是只有3个自由度。将绕X,Y,Z坐标轴旋转角度分别定义为偏航角α(yaw)、俯仰角β(pitch)、滚转角γ(roll)来表示:
(9)
由公式(9)可以得到被测目标的偏航角、俯仰角和滚动角为:
(10)
4 实验设计及分析
本文以嫦娥二号卫星1:65模型为被测目标;RAP系列精密电控旋转平台通过步进电机驱动,实现角度调整自动化;PSAG15系列电控角位移平台通过步进电机驱动,实现倾斜角度调整自动化,运动控制器搭建整体测试系统,从而验证此方法的测量精度,如图5所示。双目摄像机放置于模型约2.5 m处对目标进行测量[16-18]。
图5 试验系统组成
高精密电控旋转平台和高精密电控角位移平台可以让目标在空间内进行三维运动,物体在X,Y,Z这3个轴上分别旋转从而使得偏航角、俯仰角和滚动角发生变化。在上位机设定旋转平台和角位移平台所运动曲线,将曲线通过运动控制器输出驱动平台进行相应的动作,并记录下运动的角度变化作为实验的标准值以提供与视觉所测量数据作为对比。相机以1Hz为采样频率对被测目标进行图像提取并进行图像处理,通过Harris算子提取目标特征角点,将相机坐标系下采集坐标通过相应的公式转换为世界坐标系下的相应坐标,从而准确的获取特征角点的三维坐标信息,如图6所示。再根据物体刚体运动学原理和旋转矩阵求解被测目标当前姿态变化角度。实验测量数据通过计算后结果如表1所示,通过实验数据得到当物体按照一定频率工作,相机采样相关数据后,物体的相对姿态的测量误差小于±0.56°。
图6 特征提取
序号设定值测量值角度/(°)角度/(°)偏航角α俯仰角β滚转角γ偏航角α俯仰角β滚转角γ100-50.0020.041-4.9928200-100.0030.051-10.0253010-150.00469.9928-14.3251408-10-0.00068.2315-9.47325050-0.00154.72630.135660000.0020.10230.257870-550.0025-4.62814.77980-10100.0081-9.56879.562490-512-0.0018-5.263412.55811000-12-0.00590.2013-11.4568
5 结论
本文设计利用双目工业CCD相机和高精密电控角位移、旋转平台设计一种非接触目标姿态测量的方法,根据实验物体自身特点作为特征角点提取依据,在被测目标运动状态下进行非接触式姿态测量。通过边缘处理重构物体特征,再利用Harris算子提取物体特征角点,结合刚体运动学原理,解算出当前物体运动变化姿态角度变化。该方法也可以应用于无人机、航空、汽车、船舶等测量领域,具有较好的应用前景。