空间目标三维重构误差分析与相机参数设计方法

田 阳，宋 新，王 盈

(1. 哈尔滨工业大学深空探测基础研究中心，哈尔滨 150080；2. 哈尔滨工业大学电子与信息工程学院，哈尔滨 150001；3. 上海宇航系统工程研究所，上海 201108)

0 引 言

随着人类航天活动的日益频繁，空间中故障失效的航天器也越来越多，以清理、维修失效卫星为目的的在轨服务技术逐渐成为研究热点[1]，各航天大国纷纷开展了相关的技术研究和演示验证计划，如美国的FREND项目[2]，欧空局的TECSAS /DEOS项目[3]和日本的SDMR项目等[4]。在轨服务通常需对目标航天器进行绕飞监测、跟踪接近、抓捕、对接、维修等操作，而准确获取目标的三维模型，是判别抓捕部位、识别对接和维修部件的关键，直接决定了在轨服务的成败。

目前获取空间目标三维模型的方法主要有两大类[5]:一类是利用激光雷达等主动设备直接对目标进行测量;另一类是利用光学相机等被动设备采集目标序列图像，通过特征提取匹配、 运动恢复结构(Structure from motion,SFM)等技术重构目标三维结构[6]。由于在技术成熟度，获取信息丰富程度和功耗等方面存在较大优势，以光学相机为敏感器的被动方法仍然是主流。相关的研究也较为活跃，如光束平差法[7]，以及光束平差改进算法[8-9]，基于粒子滤波器或扩展卡尔曼滤波器的SLAM算法[10-11]，激光测距和惯性测量信息辅助图像序列估计特征位置的方法等[1,12]。

利用图像序列重构目标模型是一个2D-3D映射问题，需要进行一系列的算法处理，重构精度能否达到要求是任务设计者最为关心的问题之一，也是指导观测方案设计和敏感器硬件选型的重要依据。Weng等[13]理论分析了特征点齐次坐标误差对帧间运动估计和三维重构的影响。Grossmann等[14]针对基于极大似然和极大后验估计的三维重构方法，研究了重构误差传播规律，给出了误差的计算模型。文献[15]分析了相机内参数误差和特征匹配误差对运动参数估计的影响。国内学者周凌翔等[16]假设三维点在图像平面内的不确定性为正态分布，深度不确定性为均匀分布，建立了一种三维点不确定性描述模型，基于该模型给出了误差估计方法。Min等[17]利用矩阵分析的方法给出了基础矩阵的误差计算方法，在此基础上分析了三维点位置误差。文献[18]基于线性化的思想给出了三维点位置不确定性的快速计算方法。此外还有一类通过仿真试验手段分析相机内外参数对重构误差的影响。例如文献[19]通过数学仿真分析了相机的焦距、积分时间及角速度对成像质量的影响；王泽斌[20]利用STK仿真软件生成目标图像，通过比较重构模型与真实模型评估观测距离、抖动、拍照频率、离焦量、积分时间及像元尺寸等参数对三维重建精度的影响。仿真试验方法虽然可以分析确定重构精度，但只能针对特定已知目标，而对估算未知目标重构精度和指导重构任务方案设计意义不大。

在焦距、像素尺寸等相机内参数选取方面，文献[21]针对无人机(UAV)采集图像进行三维重构的任务，给出了相机参数选取方法，首先根据UAV飞行速度，图像重叠区域百分比计算相机视场角，再由重构目标分辨率和视场角确定像素尺寸，最后根据UAV飞行高度给出相机焦距。陈宏宇等针对神舟七号伴飞观测任务，从成像解析度需求出发，给出了宽、窄视场相机设计参数，并建立了观测过程姿态控制方法[22]。类似的工作还有文献[23]，根据火星着陆任务特点，设计了火星降落相机的帧频、积分时间等参数。

在重构观测方案设计方面，与之最为相关的研究领域为相机网络设计(Camera network design,CND)，CND致力于在给定相机内参数基础上，设计拍照时相机位姿，使重构不确定性或其它指标达到最优。CND研究主要思路有两种，一种是以文献[24]为代表的利用优化算法在限定状态空间中搜索最优观测序列；而另一种多与SLAM方法结合，在已经获得初始重构结果的前提下，寻找下一次最优拍照位置[25]。

本文以空间目标三维模型重构为背景，首先梳理三维重构误差传播机理，给出三维重构误差的计算方法；随后通过分析计算，总结相机位置姿态等外参数与重构精度的关系，确定观测距离与拍照间隔等观测方案设计原则；最后给出根据重构精度指标反演相机焦距和像素尺寸参数的方法，并建立一套以重构精度为核心指标的观测方案和相机参数设计方法。

1 空间目标三维重构误差传播机理分析

基于图像序列重构空间目标三维模型一般包括以下几个步骤：1)特征提取和匹配；2)根据相机内参数给出匹配特征点齐次坐标；3)根据齐次坐标值解算基本矩阵，并估计相机位姿参数；4)根据相机位姿和特征点齐次坐标解算特征点三维位置。图1描述了三维重构误差传播规律，箭头实线表示误差传播的路径。可以看到，特征提取与相机内参误差共同影响特征点齐次坐标；而特征点齐次坐标值作为三维重构算法的输入，决定了相机外参数和三维重构的精度。这两个过程彼此独立，因此以特征点齐次坐标为分界线，分别讨论误差传播的情况。

图1 三维重构误差传播规律Fig.1 The illumination of 3D reconstruction error propagation

1.1 特征点齐次坐标误差来源

首先分析相机内参数误差对特征点齐次坐标的影响。根据相机小孔成像模型，特征点齐次坐标可表示为：

(1)

其中:u,v为包含镜头畸变影响的特征像素坐标，s为像素大小，f为相机焦距，u0和v0为成像平面中心坐标。假设s在发射和飞行过程中不受影响，而其他相机内参数f,u0和v0存在标定误差，其标定值为f+Δf,u0+Δu0,v0+Δv0。在特征提取匹配和镜头畸变误差共同影响下，特征点像素坐标为u+Δu，那么计算x轴齐次坐标时引入的误差为

(2)

进一步整理可得

(3)

式中：s/f表示焦距归一化后的像素尺寸，k=Δf/f为焦距误差与真实值的比。对式(3)两边取绝对值以便估计其最大值，有

(4)

在式(4)中，齐次坐标误差上限由三项组成。由于1+k≈1，因此可以认为每一项误差值由分子决定，第一项为相机焦距f标定误差对齐次坐标的影响，这一部分误差和特征点位置相关，对齐次坐标影响最大；第二项为成像中心误差的影响；第三项误差由镜头畸变和特征匹配误差共同组成。考虑到相机内参数可以在轨标定，且标定精度较高，如文献[26]给出的标定方法可使焦距标定准确度优于1/10000，畸变系数准确度优于1%，因此在后续的分析中主要考虑无法消除的特征跟踪误差。已有研究成果表明，目前性能最好的SIFT特征提取与匹配算法[27]，对一般特征跟踪误差约为0.25个像素[28]。

1.2 空间目标三维重构误差估算方法

利用光束平差法重构空间目标三维模型，一般采用如下性能指标函数

(5)

(6)

(7)

式中：Λm=diag(σ2,…,σ2)，这里认为所有特征点齐次坐标具有相同的观测误差方差σ2。本文假设在应用光束平差重构目标的过程中，以第一帧图像对应的相机姿态为参考坐标系，位置为参考坐标系原点，三维点到参考坐标系原点平均距离为1，作为重构尺度约束，此时性能指标变为

(8)

2 空间目标三维重构观测方案设计原则

通过固定相机焦距、图像分辨率、视场角等相机内参数，分析空间目标观测距离、相机指向和拍照间隔等外参数与重构精度间的关系，给出以重构精度为核心指标的观测方案设计原则。

第1.2节中已经给出了一种通过线性化手段近似光束平差法三维重构误差的方法，但该估计结果与特征点观测值相关，带有一定的随机性，更适合估算具体算例中的误差方差。考虑到三维重构的本质是在一个参数估计问题，这里利用克拉玛-罗(Cramer-Rao)不等式[29]，以式(8)为性能指标，给出参数估计误差方差阵的下边界，作为分析观测距离、相机姿态和观测间隔等参数与重构精度关系的工具。

利用克拉玛-罗不等式计算重构误差下界需要指定三维点位置，这里采用椭球体近似描述空间目标的三维结构，并在椭球面上选取一定数量三维点作为分析对象，如图2所示。

图2 三维椭球面及选取的特征点Fig.2 Enveloping surface of space target and selected points

2.1 不同观测距离重构精度分析

首先通过数值计算仿真分析观测距离与重构精度之间的关系。相机内参数参照E2V公司的CCD230-84芯片设定为：像素尺寸15 μm，图像分辨率为4096×4096。考察绕飞轨道高度100～500 m的重构误差，为了保证在最低轨道高度下仍能够采集空间目标的完整图像，相机焦距设定为12.28 cm。拍照间隔为15°，即在绕飞圆轨道上每隔15°采集一幅空间目标图像，共拍摄5幅图像，相机光轴始终指向空间目标的中心。特征点跟踪误差标准差设定为0.25像素。代表空间目标的椭球体三轴设定为[20 m, 30 m, 20 m]，并在可见半球面选取9个点(如图2所示)作为重构精度分析的采样点。事实上使用特征点越多，重构精度越高，但在任务方案设计时，还无法有效估计特征点数量，因此这里仅选取基本覆盖目标表面的9个采样点保守计算重构精度，同时也可使计算量大幅度减少。

图3 不同观测距离下的三维重构误差下限Fig.3 The limit of 3D reconstruction error at different distances

2.2 绕飞观测过程姿态与重构精度的关系

相机参数、拍照间隔等仿真参数设定与第2.1节相同，但相机姿态控制采用两种不同的策略，一是姿态保持惯性空间指向不变，另一种是相机光轴始终指向空间目标中心，比较两种策略对应的重构误差下限。

利用三维重构误差下界数学模型，分别得到两种策略对应的9个采样点三轴重构误差下限的平均值，如表1所示。

表1 不同姿态控制方案对应的采样点重构误差Table 1 3D reconstruction errors of different attitude control law

观测距离由100 m增加至500 m过程中，均有姿态保持的重构精度略高于指向目标中心的结果，精度提高不超过13%。因此可以认为拍摄过程中姿态指向对重构误差影响不大。为了保证绕飞过程中始终能够采集到完整的目标图像，相机应始终指向目标中心。

2.3 拍照间隔与重构精度的关系

分析不同拍照间隔对重构误差的影响，相机参数设定与第2.2节相同，且相机光轴指向目标中心，但拍照间隔设定为15°和5°，分别采集3幅图像，比较两种拍照策略下的重构误差下限。9个采样点Z轴重构误差下限的平均值如表2所示。均采集3帧图像的前提下，拍照间隔为15°时，Z轴重构精度明显优于拍照间隔为5°的情况。

改变仿真设定，在相同的总角度内，按照不同的拍照间隔采集图像，即在30°的绕飞弧段内，以15°间隔拍摄3帧图像，以5°间隔拍摄7帧图像，由表2给出的重构误差下限结果可以看出，以5°间隔拍摄7幅图像的观测方案Z轴精度有大幅度提高，略高于以15°为间隔的拍照方式。

综合以上对观测距离、姿控方案和拍照策略的分析，得到以下空间目标重构任务观测方案设计原则：在相机内参数固定的条件下，应尽量靠近空间目标采集图像；相机姿态对重构精度影响不大，为了保证目标图像的完整性，应保持相机光轴始终指向目标中心；在特征跟踪算法和遮挡关系允许的条件下，应尽量增加拍照间隔，或者选取拍照间隔较大的图像作为重构算法的输入。

3 空间目标三维重构相机内参数选取方法

根据式(5)和Fisher信息矩阵的定义不难发现，相机焦距、像素尺寸等参数是通过影响特征点齐次坐标误差方差而影响重构误差下限的。

(9)

(10)

根据式(7)计算的重构误差也可重写为

(11)

可见k越大，特征点齐次坐标的误差方差越大，重构误差也就越大。因此，可以在确定观测距离和拍照间隔这两个主要观测方案参数以后，通过选取满足重构精度的k值计算焦距和像素尺寸。

图4 观测距离和相机参数设计流程Fig.4 Observation distance and camera parameter design flow

综合以上分析，以重构精度为指标的观测方案和相机内参数设计流程如图4所示。需要说明的是：所计算的子块特征值是不考虑相机内参数的重构误差极限值，所以需要利用式(11)进行重构精度仿真校验并调整焦距设计值。

4 仿真校验

为了测试空间目标三维重构观测方案和相机参数设计方法的有效性，以假想的空间飞行器为目标，开展了观测方案设计、相机参数选取和重构精度估计校验。

假想的空间飞行器为立方星，如图5所示，三维尺寸为1.6 m×1.6 m×1.6 m，期望重建精度1 cm。

图5 空间目标三维模型Fig.5 3D model of space target

表3 不同观测距离对应的焦距和视场角Table 3 Focal length and FOV of different distance

根据表3的给出的结果，观测距离为30 m时，焦距26.6 mm可以保证重构误差下限为1 cm。

接着，利用文献[24]给出的CND方法对上述情形进行仿真，以比较两种方法获得的重构误差极限。CND算法中相机参数设定为：焦距26.6 mm，像素尺寸13 μm。对目标3次成像在30°的绕飞弧段内完成，且两次拍照至少间隔1°。为了减小遗传算法搜索空间，限定相机光轴始终指向目标中心。适应度函数值为式(11)计算的重构误差方差阵最大特征值。遗传算法搜索过程由Matlab优化工具箱中的ga函数实现，其中遗传算法交叉概率设定为0.7，变异概率0.005，适应度函数值随进化次数变化曲线如图6所示。

图6 适应度函数值曲线Fig.6 The value of fitness function

经过90次进化，CND方法给出了重构误差下限极值0.878 cm，最优拍照位置位于0°，1°和30°处。误差极限与每15°采集一帧图像取得的精度极限1 cm十分接近。进一步通过克拉玛-罗不等式分析拍照位置与精度极限的关系发现，相同拍照弧段和相同拍照次数条件下，等间隔拍照策略的重构精度极限最差。因此本文采用等间隔拍照假设设计相机参数和观测距离是保守的。

以上利用参数估计精度极限理论选取的相机焦距是理论上的最小值，还需要进行蒙特卡洛仿真校验，并进一步调整其设计值。根据30 m观测距离对应焦距26.6 mm，利用式(12)计算9个采样点的重构误差，仿真中设定特征跟踪误差标准差为0.25像素，并在观测值上叠加高斯噪声模拟测量结果。50次蒙特卡洛仿真结果为：采样点重构误差标准差最大值为3.47 cm，最小值为1.70 cm，平均值为2.27 cm，在CPU主频3.2 GHz的计算平台上共耗时304.5 s。

如果保持观测距离不变，需要增加相机焦距以满足重构精度要求。根据误差标准差最大值3.47 cm，由式(10)和式(12)可估算焦距应增加至92.3 mm，对应视场角8.25°。再次进行蒙特卡洛仿真校验，得到采样点重构误差标准差最大值为0.93 cm，最小值为0.51 cm，平均值为0.66 cm，已经满足重构精度要求。

利用文献[14]给出的重构误差计算法，设定f=92.3 mm，像素尺寸13 μm，拍照间隔15°，采用与式(8)一致的尺度约束，计算采样点重构误差标准差最大值为0.78 cm，最小值为0.48 cm，平均值为0.58 cm，与本文给出的重构误差计算方法结果十分接近，50次蒙特卡洛仿真计算时间为452.3 s。

最后利用三维重构软件Visual SFM根据空间目标模拟图像进行三维重构，考察重构三维点位置精度，以验证观测方案和相机参数的合理性。共使用拍摄间隔为15°的图像3帧，特征提取与匹配采用SIFT算法，重构结果如图8所示。

图7 模拟目标图像序列Fig.7 The sequence of target images

图8 空间目标三维重构结果Fig.8 3D reconstruction results of space target

定义重构三维点与精确模型的最近距离(点到面)为重构误差，在重构得到的1008个三维点中，重构误差小于0.01 m的三维点数量802个。剔除41个与真实平面距离0.1 m以上的点后，重构误差均值为-0.002 m，误差标准差为0.0147 m，误差直方图如图9所示。从图9可以看出，重构误差标准差与期望值0.01 m非常接近，说明本文提出的观测距离拍照间隔与相机硬件参数选取方法是有效的。

图9 空间目标三维重构误差直方图Fig.9 Histogram of 3D reconstruction error

5 结 论

针对空间目标三维重构任务中的观测方案设计和相机参数选取问题，在分析误差传播机理的基础上，给出了重构精度估计方法；基于克拉玛-罗不等式给出的参数估计精度极限，分析了观测距离、拍照间隔和相机指向等参数与重构精度的关系；建立了以重构误差为性能指标的观测方案与相机参数选取方法。通过对模拟空间目标的重构误差计算及参数设计仿真试验可以看出，本文提出的观测方案设计及相机参数选取方法是有效的，能够满足空间目标三维重构任务设计的需求。