基于单目视觉的位置姿态测量系统精度检校方法
2018-12-20朱庄生袁学忠
朱庄生,袁学忠
(北京航空航天大学 惯性技术重点实验室 新型惯性仪表与导航系统技术国防重点学科实验室,北京 100191)
航空遥感在高精度基础测绘、军事侦察、环境监测等领域都起着重要的作用,航空遥感中需要高精度位置姿态测量系统(Position and Orientation System,POS)为载荷提供实时、连续、高精度的位置、姿态信息进行运动补偿,实现遥感图像像质的退化抑制[1]。
高精度POS是航空遥感系统的关键设备之一,为解决高精度POS实时精度[2](POS AV610,航向精度0.03°,俯仰精度、横滚精度0.005°)的检校问题,目前学者们提出的方法主要采用空中三角检校法[3],利用航空测绘相机通过光束法区域网平差计算相机曝光时刻高精度位置和姿态数据,并用其检校POS的位置和姿态精度。由于该方法受天气环境、飞行平台的平稳度等随机因素的影响,无法作为检校基准,主要用于定量分析,而且实现成本高;由于星敏感器可以实现高精度姿态测量[4](航向和俯仰精度 0.0003°~0.003°,横滚精度 0.002°~0.03°),其精度与高精度 POS相当,但星敏感器多用于星载环境,在机载和地面环境使用中,由于受到大气层环境的影响以及地面光污染的影响,姿态精度会进一步降低;伪卫星检校方法[5]是通过在一定空间范围内布置若干模拟卫星信号发射器,模拟全球定位系统的检校方法,该方法主要提供位置精度检校,姿态的检校实现困难且精度低。
随着计算机视觉技术的快速发展,视觉测量技术在工业应用中发挥了重要作用。该技术利用三维空间与二维图像的映射关系,通过相机拍摄的图像计算被测目标的几何尺寸、空间位置及姿态。该测量方法已成为工业中位姿测量研究的热点。
单目视觉测量是指利用一台相机获取一幅图片实现对被测目标的三维测量,单目系统结构简单,同时避免了立体视觉中图像点匹配困难以及需要对测量系统进行现场校准等不足,近几年关于这方面的研究非常活跃,目前在零件检测、形变测量、装备装配、交会对接、组合导航等方面都有广泛应用[6-7]。文献[8]针对大型结构变形测量,优化了正交迭代算法,使用单目视觉方法在3 m距离,实现姿态角0.006°的测量精度;文献[9]针对物体三维测量,提出基于多视图三维重构的位姿求解方法,配合高精度点阵靶标,使用单目视觉在1 m测量距离,实现横滚角0.0003°的测量精度;两篇文献都侧重于视觉算法的研究,使用设计的靶标代替了被测物。文献[10]虽然针对大型装备装配,设计辅助靶标及安装基座,利用精确可控的运动装置标定辅助靶标及安装基座之间的相对关系,但文献在安装上将辅助靶标和运动装置坐标系重合,忽略了安装误差,最终使用单目视觉在3 m测量距离,实现姿态角0.01°的测量精度。
目前大量文献关注于使用高精度合作靶标提高视觉测量的精度,而忽略了靶标和被测物之间的位姿转换问题。实际应用中,靶标和被测物不能完全等同,两者坐标系转换误差严重影响视觉测量的精度,因此本文提出单目视觉检校方案,配备高精度合作靶标,并提出联合标定方法标定靶标和 IMU之间坐标转换矩阵,为高精度POS提供姿态精度检校。
1 高精度视觉测量对靶标精度指标需求分析
高精度视觉测量中影响姿态测量精度的因素主要有相机分辨率、相机内参标定误差、特征点中心提取误差、测量距离、靶标尺寸和靶标加工精度[11]。在相机视场确定时,相机分辨率取最大值;相机内参标定和特征点中心提取目前已有成熟算法[12];当测量距离和靶标尺寸恒定且最优的情况下,靶标加工精度决定了视觉测量的最终精度。下面针对视觉测量的姿态精度要求,对靶标的加工精度需求进行分析。
式(1)为相机小孔成像模型[9]:
式中,u、v为空间特征点在图片投影点的像素坐标,u0、v0为像素坐标系原点,s为尺度因子,f为镜头焦距,ddxy、为像元在x、y方向的物理尺寸,R、T为被测物相对相机的旋转平移关系,为靶标特征点在靶标坐标系的三维坐标,式(1)展开得:
方向余弦矩阵按绕相机坐标系 X、Y、Z轴分别旋转α、β、γ角度构成,将方向余弦矩阵代入式(2),并求欧拉角对靶标的偏导数,可以得到欧拉角和靶标加工精度的关系。三个欧拉角互相耦合,解算的关系式复杂,且误差与角度关系不明显,因为相机横滚角测量精度最高,所以只对横滚角误差和靶标加工精度之间的关系进行分析,取俯仰、航向角αβ==0°,横滚角γ=10°;为简化书写预先消去代入角度参数后值为0的项得:
根据国产POS产品尺寸168 mm×187 mm×135 mm,靶标尺寸设计为150 mm×150 mm;由视场可确定相机成像面尺寸约为6.5 mm×6.5 mm;为了实现对高精度POS的检校,按照检校基准比检校对象优于一个数量级的原则,其姿态检校系统检校精度需优于 1.8″。由式(5)可知,靶标精度必须优于2.4 μm;本文选用加工精度1 μm的标准halcon点阵靶标。
图1 靶标实物图Fig.1 Target physical picture
2 相机与POS设备的时间同步
高频输出是POS的特点之一,POS正常工作频率为200Hz,POS通过全球定位系统(Global Positioning System, GPS)提供的秒脉冲(Pulses Per Second, PPS)基准时间信号与IMU数据采集时刻进行严格对准实现时间同步,时间同步精度为5 μs[14],POS每一包数据都会记录对应的GPS时间标签。
当对POS进行精度检校时,检校系统的输出和POS输出必须进行时间同步。当POS以1 (°)/s的速度转动,时间对准误差1 ms,导致的检校误差即为0.001°。因此,相机和POS之间必须进行高精度的时间同步。
相机提供硬件触发工作模式,即也可以利用GPS的PPS脉冲信号控制相机拍照,实现相机和POS的时间同步。PPS脉冲信号为1 Hz,通过分频处理,控制相机以5 Hz频率输出,并通过程序记录下相机被触发时刻的时间。相机实际成像时刻和触发时刻之间有个曝光时间,曝光主要影响图片亮度,将外界光照调至最优时,曝光时间可以设置为微秒级的恒定值,最后通过匹配时间标签完成数据匹配。
3 基于正交矢量和动态滤波的联合标定法
高精度合作靶标配合相机实现了高精度姿态测量,而本文目的是获取POS的姿态数据,POS主要由IMU、导航计算机和GPS天线组成,IMU为主要位姿传感器。为了将相机测得的靶标姿态数据转到IMU坐标系上,靶标和IMU刚性固连,需要标定靶标坐标系和IMU坐标系之间的位姿转换矩阵关系。
3.1 正交矢量法
孙长库[15]等人利用相机的高精度姿态测量,将相机的姿态数据和IMU姿态数据进行融合,以抑制IMU的角度漂移。在融合过程中,需要标定出IMU和转台之间的相对姿态以及靶标和转台之间的相对姿态,因此提出双矢量正交和三图快速标定法分别标定。
将转台作为目标坐标系,首先将靶标和IMU都安装在转台上,转台分别绕X、Y轴匀速转动,此时转台有X、Y轴的恒定角速率,IMU同时输出X、Y轴的角速率,转台转动初始到结束时刻的姿态变化由相机拍摄靶标获取,靶标姿态变化矩阵化为四元数,可提取靶标在绕X、Y轴角速率;通过X、Y轴矢量叉乘,得到Z轴角速率。可获取转台和IMU之间的姿态关系,靶标和转台之间的姿态关系,但是该方法没有位置信息。
3.2 动态滤波法
在行人导航和增强现实(Augmented Reality, AR)领域,研究人员将IMU和相机固连作为组合传感器使用,为了融合相机和IMU的数据,该领域提出了基于神经网络[16]的标定方法和基于卡尔曼滤波的标定方法[17-20]。基于卡尔曼滤波的方法为了将地理坐标系和靶标坐标系相关联,将靶标如图2所示水平放置,即认为靶标坐标系与地理坐标系水平面重合,两坐标系之间只相差一个航向角,因此只需估计相对位置和一个航向角,导致标定精度有限。
图2 动态滤波标定示意图Fig.2 Dynamic filter calibration schematic
滤波状态量为:
滤波量测量为:
3.3 联合标定法
针对以上两个方法的不足,本文提出基于正交矢量和动态滤波的联合标定法,即先采用文献[15]提出的方法标定相对姿态,再使用扩展卡尔曼滤波方法标定相对位置。标定示意图如图3所示。
图3 联合标定法标定示意图Fig.3 Joint calibration method calibration diagram
① 由正交矢量法标定相对姿态。以转台坐标系B系作为参考坐标系,转台分别绕X轴、Y轴匀速转动,旋转角速度在B系分别表示、;同时IMU输出角速度、。正交矢量叉乘可以得到第三个矢量。为转台坐标系和IMU坐标系之间的相对姿态,则有:
文献[15]提供了该部分的优化方法。
IMU绕转台X轴旋转时,相机在旋转运动的初始时刻和终止时刻分别采集一幅靶标图像,求解靶标坐标系w系的姿态变化量,并从中提取w系 X轴方向的单位向量 u1。同理,绕Y轴可得 u2。u1、u2矢量叉乘可解得靶标坐标系w系和转台坐标系B系之间的相对姿态关系:
由转台和IMU姿态关系、靶标和转台姿态关系,最终可得到靶标和IMU之间的相对姿态关系:
② 动态滤波法(EKF)标定相对位置。由正交矢量法标定出相对姿态后,滤波状态量中就可去掉这一项,此时滤波状态量为:
式中各参数意义同式(6)。状态方程由IMU输出的线性加速度和影响IMU加速度漂移误差的高斯白噪声来驱动,详见文献[17]:
此时量测矩阵H为:
4 实 验
4.1 实验设备
① 相机:选用相机(如图4左)型号为AVT gt2450,500万像素黑白相机,成像分辨率为2448pixel×2050 pixel,最大帧频率15 Hz,镜头焦距25 mm。
② POS:选用实验室自研的光纤POS产品(如图4右),其实时航向精度0.03°,俯仰、横滚精度0.005°。和POS AV610 精度相当。
图4 相机、北航POS实物图Fig.4 Camera (left) and POS (right)
4.2 实 验
4.2.1 IMU-靶标标定实验
实验流程:
① 首先将靶标和IMU固连,分别将 IMU的X、Y、Z轴与靶标平面垂直安装固定(IMU的Y轴和靶标安装示意图如图5所示)。将IMU固定在转台上,固定相机,使标定过程中,靶标始终在相机视场内。
图5 IMU的Y轴检校安装示意图Fig.5 IMU’s Y-axis calibration installation diagram
② 按照3.3节中的①所述,操作转台,采集转台、相机、IMU的数据,对IMU和靶标相对姿态进行标定,实验如图6左图所示。
③ POS工作后,将IMU和靶标在相机视场内做随机运动,采集POS和相机数据,按照3.3节中的②所述方法,标定IMU和靶标之间的转换矩阵,实验如图6右图所示。
图6 标定系统实物图Fig.6 Physical picture of calibration system
因标定精度无法衡量,因此对视觉检校系统精度进行评判。
4.2.2 精度检校实验
因为实际测量中,视觉横滚角测量精度比航向、俯仰精度高,因此使用相机横滚角精度分别检校POS的三轴姿态精度。因检校系统直接输出的是IMU相对相机的姿态,无法和POS输出直接进行比较,因此实验中比较POS的姿态变化量。
① 静态实验
1)实验流程
将IMU和靶标固定在大理石台上,相机固定并拍摄靶标,静止测试15 min,将IMU绕Y轴转动一个角度,静止测试15 min。实验共进行了6组。
2)数据处理
将相机两次测试的靶标姿态经式(17b)转到IMU坐标系下,计算IMU姿态变化量即为检校系统的姿态输出,同时用POS后处理数据计算IMU的姿态变化,比较检校系统和后处理数据精度。
3)数据分析
因为POS后处理精度(航向精度0.005°,俯仰、横滚精度0.0025°)比实时精度高,一般用后处理数据来检校实时数据精度。本文以POS后处理数据作为基准,计算视觉检校系统的RMS值来说明其精度。
图7为视觉检校系统和POS后处理数据做差的结果图。表1为视觉检校系统误差统计结果。实验结果表明,POS后处理的航向角静态STD优于1.6″,视觉检校输出的静态STD优于0.8″,视觉检校系统的RMS值优于2.1″。
图7 视觉检校系统误差Fig.7 Visual calibration system error
表1 视觉检校系统精度实验结果Tab.1 Experiment results of visual calibration system
图8 动态实验图Fig.8 Dynamic experiment diagram
② 动态实验
1)实验流程
将POS通过工装固定在单轴转台(精度0.001°),将靶标和IMU的Z轴垂直安装,相机从上方拍摄靶标,检校POS航向精度。控制转台以0.5 (°)/s的速度从0°转到70°,再从70°转回0°(超过70°靶标会出相机视场)。实验共进行3次,实验如图8所示。
2)数据处理
将相机测量数据经标定出的IMU和靶标间转换矩阵转到IMU坐标系,将运动前静止时刻姿态设为0,计算POS和视觉检校系统的姿态变化量,结果如图9所示。图10为图9中方框部分放大图。
三组实验共有6组动态数据,每一组动态数据每隔1 s取POS后处理数据和视觉检校输出,计算RMS结果,6组动态数据RMS值如表2所示。
实验结果表明,视觉检校系统RMS优于4.40″,可以用于POS的实时姿态精度检校。
图9 POS与检校系统航向变化图Fig.9 Yaw change diagram of POS and calibration system
图10 航向局部放大图Fig.10 Partial enlargement of yaw
表2 航向角误差Tab.2 Yaw error
5 总 结
本文针对高精度POS的实时检校问题,提出单目视觉检校方法。分析了合作靶标精度对姿态测量精度的影响,利用靶标实现视觉高精度姿态测量;提出基于正交矢量和动态滤波的联合标定法,标定出靶标和IMU之间的转换矩阵,实现基于单目视觉的高精度POS姿态精度的检校。实验结果表明,本文提出的视觉检校系统可以用于POS系统的实时姿态精度检校。