基于序列图像的三维重建方法在空间目标探测识别中的应用研究

陈 凤，张泽旭，王 盈，刘 玉，黄建明

（1.上海宇航系统工程研究所，上海201108；2.哈尔滨工业大学，哈尔滨150080）

基于序列图像的三维重建方法在空间目标探测识别中的应用研究

陈 凤1，张泽旭2，王 盈1，刘 玉1，黄建明1

（1.上海宇航系统工程研究所，上海201108；2.哈尔滨工业大学，哈尔滨150080）

为通过目标探测识别获得空间目标三维结构等更多在轨信息，以更好地完成在轨服务和操控等任务，根据三维重建各种方式及资源需求，对基于序列图像的三维重建方法进行了研究。通过平台对目标进行绕飞/悬停，由高分辨率相机载荷采集目标不同方位的序列图像，然后对序列图像进行三维重建处理，获得目标三维结构、形貌等信息。仿真和地面试验结果表明：在绕飞/悬停路径设计合理的情况下，基于序列图像的三维重建技术可行，能够实现目标结构模型的重建，并可以提供帆板、天线等部位结构信息，可为后续工程应用提供技术参考。

空间目标；序列图像；三维重建；数据处理

1 引言

航天技术的发展对空间在轨服务和操作技术提出了更高要求，为提升操作精度，需要提高目标的探测感知能力，在执行任务之前获取目标的光学特性、材料、无线电特性和三维结构等信息［1］。通过三维重建技术获取目标的三维结构形貌信息，可以为无构型信息的空间目标导航提供先验信息，可以掌握目标本体、帆板以及感兴趣部位的结构尺寸信息，还可以用于目标运动状态的估计。因此，空间目标三维重建技术能够为未来空间在轨服务提供自主导航信息与服务对象结构信息等，为在轨服务的实施提供技术保障。

人类从外界获取的信息有70%～80%是由视觉感知的，其中三维信息使得人们能够感知到更加丰富的细节，但平时三维信息都是二维存储，这样不可避免地会使一些重要信息丢失，已经不能满足认识和研究需求［2］。三维重建技术在这种情况下应运而生，并已越来越广泛地应用于逆向工程［3］、医学诊断、文物和古遗址重建、数字商品的虚拟展示、虚拟数字地图和三维游戏等方面［4⁃5］。

依据信息获取技术手段的不同，三维重建方法一般分为三种：第一种是利用重建软件手工建模，在产品设计方面应用较多；第二种是利用具有测距功能的设备主动重建，主要是通过激光、超声波或者红外线测距设备获取精度较高的三维数据，但是这类设备携带不便，分辨率较低；第三种是利用序列图像的重建方法，主要通过对场景目标采集的一系列图像恢复出三维场景或目标模型。所需的设备简单便捷，只需要一台相机或普通摄像头。相对于前两种方法更快捷、更方便，且能够生成具有照片级别视觉效果的三维模型［6⁃7］。

2 基于序列图像的空间目标三维重建技术

2.1 空间目标三维重建工程实现

空间目标三维重建的研究目前尚处于起步阶段，主要分为主动方法和被动方法：即空间平台载有激光成像雷达（主动）或者相机（被动）敏感器对稳定/失稳空间目标进行绕飞/悬停探测，对获取的激光雷达点云数据或者图像序列数据，采取相应的处理方法进行空间目标的三维重建。

激光成像雷达可以全天候探测，但是由于目标表面材料影响会产生数据空洞，并且受探测器限制其分辨率较低，质量、体积及功耗等资源需求较高，不利于工程实现，重建结果缺少目标表面纹理和局部结构特征［8］。相机载荷相对于激光成像雷达，除了受光照条件的限制，其分辨率高、效果直观，对平台资源需求低，技术成熟，则本文采用相机的主动方式进行空间目标的三维重建：载有高分辨率相机的卫星平台对空间目标进行绕飞/悬停，姿态保持目标指向，高分辨率相机同时采集目标不同方位的序列图像，通过对序列图像的数据处理实现空间目标的三维重建，可以获得目标三维结构、形貌以及感兴趣部位的结构等信息。

由于高分辨率相机为可见光相机，必须满足光照条件才可以对空间目标进行成像，因此在卫星平台进行绕飞/悬停过程中需要考虑光照环境。对于稳定目标通常采取绕飞方式进行观测，不可避免会遇到背阴面，可以根据轨道计算选择另外观测时机对未观测到的目标部分进行成像。对于失稳目标通常采取悬停方式进行观测，此时可以在满足光照条件下选择多个悬停点对目标进行观测，保证从各个方位对目标观测完整。对每次采集的图像序列重建处理后，再将各重建点云进行匹配拼接获得目标完整的重建模型。

对空间目标采取绕飞方式的三维重建如图1，具体实施步骤如下：

1）载有高分辨率相机的平台导引至距离空间目标合理距离的绕飞轨道；

2）平台调整姿态，相机光轴指向空间目标（形心或质心）；

3）初始导航时刻校准，判断太阳方位，在满足光照条件下，随着平台对目标的绕飞，相机开始连续采集，形成图像帧间部分重叠的高分辨率图像序列；

4）图像序列下传至地面，采用基于序列图像的处理算法实现空间目标的三维重构。

图1 对空间目标绕飞方式的三维重建示意图Fig.1 The sketch map of 3D reconstruction by flying around the space target

2.2 基于序列图像的空间目标三维重建方法

通过相机载荷获取空间目标图像序列后，采取的三维重建处理流程框图如图2所示。

2.2.1 特征提取与匹配

在特征提取过程中，考虑到空间目标的自转、形状不规则等特性，以及探测器会受到多种摄动力干扰的情况，相机获取的目标图像通常会发生旋转、平移、缩放以及光照变化等。要实现图像间可靠的匹配，连接点的提取必须能克服尺度、光照变化等不利因素的影响，因此采用尺度不变特征转换（SIFT）特征点提取算法。该算法具备很强的匹配能力，能够提取到比较稳定的特征点，它能够用于解决两幅图像之间存在着平移、旋转、仿射变换、视角变换甚至光照变换等的匹配［9］。

当两幅图像的SIFT特征向量生成后，就可以通过某种相似性度量来建立特征向量之间的对应关系。SIFT是采用欧氏距离作为两幅图像之间的度量准则。在得到SIFT特征向量后，利用k⁃d树进行搜索以便查找每个特征点所对应的最近邻特征点以及次近邻特征点。在这两个特征点中，如果最近邻除以次近邻的距离比值小于某个给定的比例阈值，那么就接受这样一对匹配点，即用特征向量的最近邻距离与次近邻距离的比值作为匹配约束条件［10］。

针对纹理信息较少重复特征较多的非合作目标图像，误匹配率非常高，这对后续的相机位置姿态的求解是非常不利的，为了能够有效地剔除误匹配点，采用计算机视觉领域通用的鲁棒估计算法即随机抽样一致性算法RANSAC。

2.2.2 稀疏点云重建及优化

从运动中恢复结构（Structure From Motion，SFM）的思想是指当物体旋转造成阴影的时候才能感觉到它是三维的，这种现象称为由运动引起的深度效应，即从不同角度观察三维世界中的同一个点，就可以得到其三维信息［11］。

来自同一景物图像序列之间存在一些几何约束关系，这些几何约束关系可以从匹配特征点序列中获得，且与景物的结构无关，仅与相机的内、外参数有关［7］。因此，可以通过对所获得的匹配特征点进行约束，计算得出其约束关系，然后通过射影重建获得相机的内、外参数，同时生成稀疏三维结构点云。

光束法平差作为基于特征的SFM算法的核心环节，用来获得最佳的三维结构和运动参数估计。根据提供初始估计、通过最小化观测和预测的图像点之间的投影误差的方法，光束法平差能同时精化运动和结构参数。最优参数估计的迭代计算一般是通过Levenberg⁃Marquardt（LM）算法来辅助完成［12］。

2.2.3 稠密点云重建

由于稀疏三维点云只是匹配特征点的三维坐标，因此稀疏模型的视觉效果较差，需要进行稠密三维点云重建。主要采用基于面片的多视图立体视觉算法。该算法主要包括匹配、扩散、过滤等操作过程，从匹配特征点构成的稀疏点集开始，对特征点进行扩散，利用可视化约束过滤掉错误的匹配点，最终获得稠密点云数据［6］。

2.2.4 目标表面恢复

获得稠密三维点云后，并不能得到精确的表面纹理等信息，因此需要对获得的三维点云进行表面重建。根据三维点云的数据信息，采用泊松重建方法，重建出场景的表面网格，然后将图像的纹理投影到表面网格上，完成场景的表面重建，生成可视化的三维结构模型。

图2 空间目标三维重建处理流程Fig.2 The flowchart of 3D reconstruction of space target using image sequences

3 空间目标三维重建仿真与地面试验

3.1 仿真试验及结果

利用空间站模型对三维重构方法进行了仿真测试。根据空间站安全距离要求以及目前相机发展水平，设定卫星平台与空间站相距150 m时进行绕飞。为保证150 m处观测到完整目标，根据空间站最大尺寸包络，设置相机视场角45°，采用常规成像探测器，图像分辨率为1024×1024，卫星平台每绕飞5°相机采集一帧图像。在满足光照条件下相机对空间站采集的图像序列如图3所示。

图3 仿真的图像序列Fig.3 The simulated image sequences

对仿真的空间站图像序列进行三维重建后获得稠密点云数据，通过泊松表面恢复和纹理映射后还原出空间站的三维模型，结果如图4所示。可以看出，重建结果能够完整地保留目标信息，建立空间站的三维模型，识别出空间站各舱体、帆板等典型结构信息。

图4 空间站模型三维重建结果Fig.4 The 3D reconstruction results of space station

为验证重建精度，对重建模型中典型部位的结构尺寸进行计算。表1主要给出图5中标注的3块帆板尺寸的测量结果，表2给出图5中标注的2个舱体的尺寸测量结果。由表可见，重建后帆板尺寸最大误差为0.534 m，舱体尺寸最大误差为1.66 m。这主要是因为舱体相比帆板的表面纹理信息少，导致重建舱体的特征点提取和匹配误差较大，使得重建后尺寸误差稍大。可以通过改善相机成像分辨率提高特征提取和匹配精度，进而提高重建尺寸精度。

图5 目标模型典型部位位置Fig.5 The typical part of the target model

表1 帆板重构计算结果Table 1 The 3D reconstruction results of solar panel/m

表2 舱体重构计算结果Table 2 The 3D reconstruction results of cabin/m

3.2 地面试验及结果

利用空间光学动态特性测试系统（图6），模拟空间光照环境下平台对目标绕飞过程中，探测系统以2°为间隔，在不同方位对目标缩比模型采集图像序列。

图6 空间光学动态特性测试系统Fig.6 The dynamic optics characteristic test system of space target

对地面试验采集的图像序列进行三维重建后获得稠密点云数据，通过泊松表面恢复和纹理映射后还原出空间目标的三维模型。重建结果能够完整地保留目标信息，建立目标的三维模型，识别出目标天线、帆板等典型结构信息。

对重建模型中典型部位的结构尺寸进行计算。表3主要给出帆板和天线尺寸的测量结果。由表可见，重建后帆板尺寸最大误差为0.1073 m，天线尺寸误差为0.0786 m。我们利用高精度的激光雷达扫描系统获取目标缩比模型精密点云数据，与三维重建后点云数据进行比较，重建点云精度可达到0.05m，满足后续相对导航测量要求。

表3 帆板及天线重构计算结果Table 3 The 3D reconstruction results of the solar panel and antenna/m

4 结论

本文研究结果表明，通过设计平台合理的绕飞/悬停路径，可以采集到目标不同方位的序列图像，然后采用基于序列图像的三维重建技术获得目标三维结构模型，并能够提供帆板、天线等感兴趣部位结构信息，重建点云数据可以作为基于模型的相对导航测量的输入。

随着平台和敏感器技术的发展，平台可以携带高分辨率相机和激光成像雷达两种载荷对目标同时进行探测识别，通过数据融合的方法对空间目标进行三维重建，能够获取更加精确的空间目标三维信息。

（

）

［1］何英姿，魏春岭，汤亮.空间操作控制技术研究现状及发展趋势［J］.空间控制技术与应用，2014，40（1）：1⁃8.He Yingzi，Wei Chunling，Tang Liang.Research status and development trend of aerospace manipulation control technolo⁃gy［J］.Aerospace Control and Applicant，2014，40（1）：1⁃8.（in Chinese）

［2］彭科举.基于序列图像的三维重建算法研究［D］.杭州：浙江大学.2012.Peng Keju.Research on 3D Reconstruction Algorithm based on Sequence Image［D］.Hangzhou：Zhejiang University.2012.（in Chinese）

［3］呼艳.基于未标定数码图像的三维重建技术研究与实现［D］.西安：西北大学，2011.Hu Yan.Three Dimensional Reconstruction Technique based on the UN Calibrated Digital Image［D］.Xi'an：Northwest University，2011.（in Chinese）

［4］马颂德，张正友.计算机视觉⁃计算理论与算法基础［M］.北京：科学出版社，1998：1⁃93.Ma Songde，Zhang Zhengyou.Computer Vision Calculation Theory and Algorithm Foundation［M］.Beijing：Science Press，1998：1⁃93.（in Chinese）

［5］刘钢，彭群生，鲍虎军.基于图像建模技术研究综述与展望［J］.计算机辅助设计与图形学学报，2005，17（1）：311⁃326.Liu Gang，Peng Qunsheng，Bao Hujun.Review and prospect of image⁃based modeling techniques［J］.Journal of Coputer⁃Aided Design and Coputer Graphics，2005，17（1）：311⁃326.（in Chinese）

［6］彭科举.基于序列图像的三维重建算法研究［D］.长沙：国防科技大学，2012.Peng Keju.3D Reconstruction using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［7］闫世博.基于图像的三维重建及网格化算法研究［D］.上海：上海交通大学，2013.Yan Shibo.3D Reconstruction based on Images and Meshing Algorithms［D］.Shanghai Jiao Tong University，2013.（in Chinese）

［8］唐永鹤.基于序列图像的空间非合作目标三维重建关键技术研究［D］.长沙：国防科学技术大学，2012.Tang Yonghe.Researches on 3D Reconstruction Technologies for Non⁃cooperative Space Targets using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［9］魏梨君，潘阳，张超.结合Harris算子和sift算子匹配方法的三维重建.电脑知识与技术［J］.2009，5（11）：2980⁃2981.Wei Lijun，Pan Yang，Zhang Chao.3D reconstruction based on the combination of Harris operators and Sift matching meth⁃od.Computer Knowledge and Technology［J］.2009，5（11）：2980⁃2981.（in Chinese）

［10］于勇，张晖，林茂松.基于双目立体视觉三维重建系统的研究与设计［J］.计算机技术与发展，2009，19（6）：127⁃130.Yu Yong，Zhang Hui，Lin Maosong.Research and design of 3D reconstruction system based on binocular stereo vision［J］，Computer Technology and Development，2009，19（6）：127⁃130.（in Chinese）

［11］Carlo Tomasi，Takeo Kanade.Shape and motion from image streams under orthography：a factorization method［J］.Inter⁃national Journal of Computer Vision.1992，9（2）：137⁃154.

［12］Kutulakos K N，Seitz S M.A theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199⁃218.

Application Study of 3D Reconstruction Using Image Sequences in Space Target Detection and Recognition

CHEN Feng1，ZHANG Zexu2，WANG Ying1，LIU Yu1，HUANG1Jianming
（1.Shanghai Institute of Aerospace System Engineering，Shanghai 201108，China；2.Harbin Institute Technology，Harbin 150080，China）

The purpose of this paper is to obtain more on orbit information such as the 3D structure of the space target by detecting and identifying the target so as to better complete the on⁃orbit servi⁃cing and on⁃orbit control tasks.According to the resource requirements of various 3D reconstruction methods，the 3D reconstruction method based on the sequential images was studied.The sequential images from different directions of the target was collected by the high⁃resolution cameras of the plat⁃form flying around or hovering over the target.Then the sequential images were processed by means of 3D reconstruction and the 3D structure and geomorphology of the target were obtained.The simu⁃lation results and ground experiments showed that the 3D reconstruction technique was practical with reasonable paths for flying and hovering.It could also be used to rebuild the structural model and provide information of the solar panel，antenna and other parts，which is of great importance for fur⁃ther applications.

space target；sequential images；3D reconstruction；data processing

V19

A

1674⁃5825（2016）06⁃0732⁃05

2015⁃05⁃03；

2015⁃10⁃19

国家自然科学基金（51303055）

陈凤（1974－），女，博士，高级工程师，研究方向为飞行器载荷总体、视觉导航。E⁃mail：58446826＠qq.com