空间临近目标行为辨识方法

王扬洋，林彬，杨夏，张小虎

中山大学 航空航天学院，广州 510275

1 引言

航天技术的日益发展使卫星信息成为一种重要的情报资源。侦察卫星接近目标卫星并进行近距离成像观测，从图像获取其用途、状态等信息，已经成为现代太空中一种获取卫星情报的常见手段。在空间轨道上运行时，卫星时常会遇上其他卫星的接近[1]，这些卫星或正常变轨，或带有侦察卫星信息的任务。如果能对接近卫星的行为进行快速有效的辨识，根据其抵近目的及时采取相应的防护手段，就能够占据主动权，实现对卫星信息的保护。

行为辨识[2]是指依靠已知信息数据对目标的行为进行分析，探究目标行为的特征，建立合理的行为描述模型，从而实时、智能地实现对目标新行为的识别与判断，更好地为下一步的决策提供有效信息。

当前，大多数对于空间目标的视觉研究集中于姿态测量[3]、导航跟踪[4]这两个方面，如张庆君等人提出了一种基于双目视觉的航天器间的相对位置及姿态解算方法，并通过对航天器的运动建立参数模型，分析其解算精度的影响因素[5]；王晓亮针对空间非合作目标影像测量，提出了一种改进的卡尔曼滤波来消除交会对接过程中的噪声，提高了对接段中非合作目标的运动信息的估计精度[6]；李洁、彭琪等人针对非合作目标的关键结构尺寸，提出了一种基于点云轮廓线的提取算法，根据目标的点云外观轮廓线快速估计非合作目标的尺寸、功能[7]；杨博建立了卫星编队模型下的联合观测方程，并基于最优视差角设计一种高精度的编队卫星导航方法[8]；秦同等根据相机和雷达的测量信息构建了相对导航坐标系，在该坐标系下求解可靠视觉特征点矢量，建立相对导航系统，辅助着陆器在自然路标匮乏时精确软着陆[9]；唐青原针对火星接近段导航通信受限的问题，结合火星中心视线矢量方向和附近的星历信息估计探测器的轨道半径，提出了一种火星探测接近段的天文自主导航算法[10]。这些工作为非合作空间目标的视觉研究带来很大帮助，但多针对目标的姿态解算、定位问题，目前针对于卫星行为辨识的研究极少，一般采用人工判定的方法，根据以往经验进行辨识。这样的方式存在如下问题：1)工程实际中需要在轨卫星具备全天候对目标行为有快速决策的能力，而人工的方式只能够进行事后处理，无法满足实时性的需求；2)缺乏统一的具有理论性的辨识准则，在过程中加入了人为误差，因此结果缺乏足够的说服力；3)辨识结果往往只有是否存在侦察行为，但并不能很好地量化表现中间过程。

为了解决这些问题，本文提出一种基于视觉特性的临近目标行为识别算法，利用单相机对临近目标进行连续成像，根据目标卫星在连续帧的姿态变化，对其运动轨迹和视线指向进行分析，以此辨识目标卫星是否存在侦察行为。试验中分别对卫星侦察和非侦察两种状态进行仿真模拟，验证该算法的有效性。

2 基于视觉特性的临近目标行为辨识

一般地，由于单相机拍摄的图像缺乏足够的约束条件，难以直接用于解算目标的姿态[11]。只有结合目标自身模型、深度约束[12-14]等条件时，才能得到较为准确的目标姿态。这种增加约束的方式通常适用于预知信息丰富的合作目标，当对象为非合作目标时，往往无法创建有效的约束。

针对单相机拍摄存在的缺陷，本文根据目标侦察时的视线朝向特性和相机中心透视投影模型对目标的姿态特征进行简化，给出一种基于视觉特性的临近卫星侦察行为辨识方法。该方法针对目标在图像中的视觉特性，将其特征转化为一个或多个可量化的参数。通过观察特征参数在一段时间内的变化，结合侦察行为的特性，对目标的行为进行辨识。其具体实现如下：

1)图像预处理。太空中自然光源有太阳、地球漫反射光、月亮、其他天体等，这些光源或主动发光，或反射光提供有效光源，其中主要光源来自于太阳直射光。由于光学相机成像的角度不一，成像时并不能总是获得太阳直射，光照不均匀会引起目标在图像中的亮度不均匀和图像的整体灰度不一，对此，需要对图像进行预处理，对图像进行整体灰度归一化，减少因灰度不同带来的干扰，有利于后续图像的特征提取和图像分割。

2)遴选目标特征参数。目标的特征包括目标姿态特征以及目标运动特征，通常由特征点、轮廓等信息构成。图像特征点一般指在图像中具有灰度特性或结构特性的点，反映目标在图像中的局部特征；而轮廓是目标的边缘信息，包含目标尺寸、形状等信息。同时，两者也能够相互关联，联合构建特征或者彼此缩小图中搜索特征的范围。准确地提取特征对于目标识别、目标定位以及后续匹配跟踪将起到十分重要的作用。常用的特征点提取算法包括Harris算子、Susan算子、SIFT特征描述子算法等[15]。其中，Harris算子、Susan算子一般用于图像的角点、边缘点等特征检测；SIFT算法则是通过其独特的描述子对特征进行定义，对特征点的检测具有尺度、角度不变性。同样的，轮廓提取的算法多种多样，如Canny算子、拉普拉斯算子、区域阈值分割、区域生长法等[16-17]。对于同一目标，不同的特征选取原则将会带来不同的结果，因此需要根据目标结构特点以及运动特性对目标特征参数进行针对性的选取。

3)建立特征时间序列。单帧图像的特征并不能很好地反映目标的变化，因此需要利用匹配、单应变化等方式对所选的特征进行跟踪，结合时间信息得到特征的时间序列，以此来反映目标在这段时间内运动方向以及姿态的变化。

4)辨识目标行为。针对目标卫星侦察行为在成像时的特征进行相应的分析，结合构建特征时间序列确定其在这段时间内的行为变化。本文对侦察行为的辨识依据为由于目标卫星视线朝向变化所引起的在相机的中心透视投影模型中的特殊变化。对于大部分相机镜头来说，图像投影模型符合中心透视投影模型。当目标卫星上的侦察相机进行拍摄时，卫星视线会时刻指向我方卫星所在方向，使得姿态发生变化；而目标不存在侦察行为时，其姿态基本不发生变化，如图1所示。

图1 不同行为下卫星姿态的变化Fig.1 The changes of satellite attitude with different behaviors

3 特征参数构建方法

为了实现对目标行为从定性到定量的分析，综合特征点、卫星主体外轮廓以及目标的运动轨迹等信息，构建了行为参数L作为特征参数，其定义为特征点沿运动方向所在直线到卫星主体外轮廓两端的距离差。当只存在一个特征点时，行为参数可以被表示为：

L=l1-l2

式中：l1为特征点沿图像中目标运动轨迹与外轮廓的左交点的距离；l2为特征点沿图像中目标运动轨迹与外轮廓的右交点的距离，如图2所示。

图2 行为参数的设定Fig.2 The setting of behavior parameters

目标的运动轨迹由这一帧与上一帧卫星特征点在图像中的运动方向决定，因此，轨迹的准确度取决于特征点跟踪的精度。为了避免由于跟踪算法失准造成的误差，通常选择提取并跟踪多个特征点，利用式(1)计算相应的运动方向。

(1)

(2)

式中：kt为t时刻计算出的运动方向；m为非异常的特征点个数。

最终行为参数L定义为：

3.1 基于灰度归一化的图像预处理

太空中相机的成像需要合适的光照条件，以近地航天器为例，太阳光作为主要的光照来源，对成像有着最大的影响,航天器姿态的不同、航天器与航天器之间的相对位置以及太阳与航天器之间的相对位置都会使成像时太阳的光照角度发生变化。

假设目标卫星为单一平面，目标卫星所在平面作为反射面，当卫星上的点入射光线来源于太阳光照，认为太阳光照为该点的主要成像光源。实际场景中，目标为三维构体，并非单一平面，表面也存在一定的漫反射，根据这一情况将卫星成像分为三种：主要太阳光照区、部分太阳光照区、非太阳光照区。

在主要太阳光照区，可认为目标成像全部的光源为太阳光照，目标整体成像亮度最大；部分太阳光照区中，目标被分为两部分，一部分光源来自于太阳光照，一部分来自于其他光源；非太阳光照区中目标成像光源主要来自其他光照，目标整体成像暗弱。

由于图像受光照影响，目标成像不均匀，且整体亮度不一致，对后续的特征提取和识别存在一定的影响，需对图像的整体进行灰度均值方差变换归一化，通过将不同光照条件下采集到的图像转换到同一灰度均值和方差的标准图像，其转换公式如下：

式中：I(i,j)、M、V分别表示归一化前图像的灰度值、均值、方差；N(i,j)、M0、V0分别表示归一化后图像的灰度值、均值、方差。

3.2 基于最小二乘匹配的特征点跟踪

图像特征点是单幅图像中相对特殊、在序列图像中能重复提取的图像信息。为了使目标的行为参数具有较大的变化范围，特征点的选取应尽量靠近卫星本体轮廓的中心区域。考虑到工程实际对实时性以及准确性的要求，采用基于最小二乘的匹配算法[18]对特征点进行高精度的跟踪。

最小二乘算法实质上是基于模板的匹配算法，当初始模板和待匹配图像之间存在灰度变化和几何变形引起的误差，即辐射畸变和几何畸变时，首先要对图像的几何误差进行修正，使匹配窗口的点能一一对应，再根据最小二乘法对图像修正，使匹配窗口的对应点的灰度误差平方和达到最小。

在二维图像中，几何畸变包括相对位移和图像变形，换算公式可表示为：

(3)

式中：(x,y)为模板图像坐标；(x′,y′)为搜索图像坐标；a0、b0为x、y方向的相对位移；a1、a2、b1、b2为x、y方向的畸变参数。

辐射畸变主要由于亮度变化引起，在图像中体现为灰度值的偏差。只考虑线性辐射畸变，对应两点之间存在如下关系：

g1(x,y)+n1=

h0+h1g2(x,y)+g2(x,y)+n2

(4)

式中：g1(x,y)、g2(x,y)分别表示模板、待匹配图像(x,y)处的灰度值；n1、n2分别表示对应的灰度偶然误差；h0、h1表示线性辐射畸变系数，h0+h1g2(x,y)表示线性辐射畸变大小。根据式(4)，可知误差v为：

v=n2-n1=h0+h1g2-(g1-g2)

(5)

对于图像中所有对应像素点均存在式(5)，联立所有误差方程，根据最小二乘法，令误差平方和最小，分别对h0、h1求偏导后可得：

对g1、g2进行中心化处理，可得：

本文特征点跟踪的具体流程如下：

1)对首帧图像进行二值化处理，计算连通域，选取连通域几何中心为初始特征点，以特征点为中心，在原图像上选取尺寸为5×5像素的窗口作为匹配窗；

2)对待匹配图像进行二值化处理，计算连通域，通过连通域所在位置确定待匹配图像ROI区域；

3)进行初匹配，在待匹配图像ROI区域滑动匹配窗口，求解相关系数，选取相关系数最大的窗口中心作为匹配初始位置；

4)根据下式计算初始几何变形参数，并根据几何变形参数通过式(3)进行修正：

a0=x′-x，a1=1，a2=0

b0=y′-y，b1=0，b2=1

5)采用双线性内插法根据修正后的坐标对待匹配图像进行重采样，获得对应的灰度值；

6)根据重采样的灰度进行辐射畸变修正(初始值h0=0，h1=1)；

7)计算相关系数，当相关系数比前一次小或者几何变形系数小于阈值，停止迭代，转步骤9，否则继续进行迭代计算，转步骤8；

8)根据最小二乘匹配算法计算6个几何畸变参数和2个辐射畸变参数，转步骤5；

9)计算出最终匹配点。

3.3 基于分块阈值的卫星主体轮廓提取

卫星主体部分在太空光照的影响下，不同位置的成像具有明显的灰度差异，使得对目标进行图像分割会缺失部分主体，给完整提取卫星轮廓带来了一定的难度。为了保证算法的稳定性和适应性，采用基于分块阈值的分割方法来对目标主体部分进行轮廓提取。特征点的提取跟踪能提供图像主体所在位置的先验信息，为分块阈值各个部分提供卫星主体所在的大致位置。进行分块后，各个块的灰度相对较均匀，通过Ostu法[19]进行阈值计算，能获得相对可靠的阈值。

当图像分为若干小块后，有的区域存在只有背景或者只有目标的情况，这一类特殊块需要额外区分，不进行分割操作，针对特殊块的区分方法是分别计算背景和前景的平均灰度，通过背景和前景的差值来进行判断，其公式如下所示：

式中：Δm为前景与背景之间的平均灰度差；I1(i,j)、I2(i,j)分别为前景、背景所在位置的灰度值；C1、C2分别为前景、背景所占像素数量。当图像中只存在背景和目标时，背景和前景之间的平均灰度差较小，且由于太空环境的特殊性，背景的灰度值比较低，这一特性也为分割提供了可靠的先验。

基于分块阈值的卫星主体轮廓提取算法如下：

1)将图像分割成若干小块，通过Ostu法计算每个小块对应的分割阈值；

2)根据分割阈值计算各块前景与背景之间的平均灰度差，剔除平均灰度差较小的块；

3)根据分割阈值对各个小块的图像进行分割；

4)对已分割的图像进行整体统合，进行连通域判断。

5)填充孔洞，取最大连通域作为目标卫星主体部分，通过梯度计算获取卫星主体部分的轮廓。

4 目标行为辨识

根据目标卫星侦察行为在姿态上的特性建立相应的辨识准则，如图3所示。利用当前帧与前一帧中特征点在图像中的坐标计算出目标在图像中运动速度与方向，确定运动轨迹。l1为特征点沿目标运动方向与外轮廓的左交点在投影平面的距离，l2为特征点沿目标运动方向与外轮廓的右交点在投影平面的距离。从图3中可以看出，当目标存在侦察行为时，l1、l2基本保持不变；当目标沿图中轨迹运行，且姿态保持不变时，l2基本保持不变，而l1随着目标位置的变化而增大。根据行为参数L=l1-l2可以对目标行为姿态进行辨识，当行为参数L基本保持不变时，目标存在侦察行为，当L逐渐变化时，目标属于正常运行状态。

图3 不同行为下目标在图像中的特征Fig.3 The characteristics of target in images with different behaviors

目标行为辨识的具体流程如下：

1)当发现有临近目标时，自身卫星上的相机先指向目标，让目标处于图像中的边缘，并保持卫星姿态，拍摄目标从一侧边缘到另一侧边缘的序列图；

2)根据特征点P的位置变化计算卫星的运动轨迹；

3)计算卫星运动轨迹在特征点P处的斜率k，以斜率k和特征点P的图像位置建立直线方程；

4)求解直线方程与卫星轮廓的交点s1,s2；

5)求解特征点P分别到交点s1，s2的距离l1，l2；

6)计算行为参数L=l1-l2，根据行为参数的变化判断目标是否存在侦察行为。

5 仿真校验

试验采用BASLER系列acA1440-220uc的相机，型号为FL-CC0614A-2M的镜头，北斗导航卫星模型一个，650 nm点状光斑激光器一台。

5.1 试验设计

试验分别针对特征点跟踪、轮廓提取和算法辨识的有效性进行。试验分为两部分，第一部分针对不同光照条件下特征参数构建，评估光照对图像处理方法和特征参数计算的影响。第二部分通过模拟侦察卫星和非侦察卫星的运行状态，计算特征参数，对两种状态进行辨识。

试验1：固定相机和卫星模型，调整光源条件，使目标卫星成像处于整体暗弱、亮度不均匀、整体明亮3种状态，分别对应非光照区、部分光照区和完全光照区3种情况，模拟太空中成像存在的亮度不一和图像灰度不均匀的情况。

试验2：固定拍摄相机不动，考虑到相机视场角约为20°，相机的成像尺寸为1 440×1 080像素，镜头焦距为6 mm，假定太空中侦察卫星观测距离为10～30 km，根据目标大小不同和距离远近不一，成像大小在200×200像素到600×600像素之间，卫星模型主体大小为50 mm×70 mm。为了保证图像处理效果接近，令目标成像大小约为250×350像素，此时成像距离约5.2 m。试验以5.2 m为半径，选取2组20°的范围，如图4所示。每组试验中，近似等间距布置8个运动点，以模拟目标卫星绕飞的圆轨道。在这8个点分别调整卫星姿态，模拟卫星正常运行和卫星侦察两种状态，具体如下：

1)当模拟目标卫星正常运行时，保持卫星姿态不变，使其沿设定轨迹依次经过8个运动点，并用相机拍摄卫星处于这8个位置的图像。

2)当模拟目标卫星存在侦察行为时，使其沿设定轨迹依次经过8个运动点。通过调整卫星的姿态，保证与其固定连接的激光器所发出的激光点出现在预设定的十字标志丝中心处，以此确保卫星视线始终指向被侦察方向。在每个运动点处调整完姿态后，取下激光器并进行拍摄。

图4 试验场景Fig.4 The experimental scene

5.2 辨识结果

为了使结果显示更加清晰，截取以目标主体为中心的300×450像素区域，不同光照条件下目标的成像如图5所示。

图5 不同光照条件下目标成像结果对比Fig.5 Comparison of target imaging results under different light conditions

经过灰度归一化后，结果显示如图6所示。如图5、图6所示，虽然目标的灰度还存在一定的差距，但经过归一化后，不同光照条件图像灰度有了明显的调整，灰度更为相似。针对归一化处理后的图像进行特征点提取和图像分割，特征点和图像分割结果如图7、图8所示。

在经过预处理后，图像4个特征点提取的平均误差在一个像素以内，而图像分割在不同光照条件下均能较好地提取目标主体结构，且结果基本一致。

图6 不同光照条件下灰度归一化图像Fig.6 Comparison of grayscale normalized image under different light conditions

图7 不同光照条件下特征点提取结果对比Fig.7 Comparison of feature point extracted image under different light conditions

图8 不同光照条件下目标主体分割结果对比Fig.8 Comparison of target contour segmented image under different light conditions

分别对2组试验中拍摄的4组序列图进行特征点的跟踪，结果如图9所示。在图像存在几何畸变的情况下，最小二乘算法仍然可以很好地定位到特征点。跟踪结果的平均误差为0.63个像素，其对行为参数的影响较小，因此误差处于可接受范围之内。

图9 特征点跟踪结果Fig.9 The results of feature point tracking

根据第4章提出的行为辨识流程，分别计算4组图中的卫星运动轨迹和行为参数。为了体现行为参数的变化，将初始时刻的行为参数置为0，其他时候转为与初始时刻的差值。针对2组试验的行为参数变化进行详细说明，如图10所示。当临近目标存在侦察行为时，由于其视线一直指向被侦察方向，因此在图像中其行为参数在观测时间内变化极小，如图中的Investigation标注直线所示；而正常运行的目标，其姿态在较短时间内的变化极小，但由于相机成像特性，特征点到两侧的距离会愈发不对称，而呈现在行为参数上的变化就是绝对值具有明显的增大趋势，如图中No investigation标注直线所示。

图10 行为辨识结果Fig.10 The results of behavior identification

6 结论

本文提出了一种基于视觉特性的临近卫星侦察行为辨识方法，通过行为参数的变化来确定目标的视线指向。经试验仿真验证，该方法可以实时对临近目标的侦察行为进行辨识，为后续决策提供可靠的判断信息。但该方法仅适用于对天侦察，且存在一定姿态变化的侦察卫星，对于对地侦察和姿态不发生变化的侦察卫星难以进行有效判断，后续将针对非合作空间目标的关键部位的尺寸测量与重建展开工作，针对目标载荷变化进行观测识别。