小天体软着陆中的地面特征区域提取与跟踪算法

魏若岩,阮晓钢,庞涛,Ouattara SIE,武旋,肖尧

(北京工业大学,北京100124)

小天体软着陆中的地面特征区域提取与跟踪算法

魏若岩,阮晓钢,庞涛,Ouattara SIE,武旋,肖尧

(北京工业大学,北京100124)

考虑到自主导航过程中的特征区域检测与跟踪问题,提出了一种新的跟踪算法。该算法是基于DIMES框架。首先,对在软着陆过程中拍摄的行星表面图像进行亮度均衡化,对处理后的图像进行二值化;然后,对二值化特征区域进行模板匹配找出高度相关位置点;最后,根据特征区域之间的几何关系确定特征区域的搜索范围,再分别提取这些相关点所代表区域的特征向量,并且与模板的特征向量进行相似性分析从而找到相似性最大的位置点。通过两组小行星表面图片进行分析验证得到了较好的效果。

软着陆;特征跟踪;图像相关;特征向量

0 引 言

光学成像自主导航中的特征区域提取与跟踪是获取导航信息的关键一步[1-3]。关于特征区域的提取主要是以行星表面普遍存在的弹坑作为选取对象,弹坑的椭圆形边缘,以及亮暗两部分的特点在图像中容易识别与跟踪。文献[4]对图像中的弹坑进行了边缘检测,弹坑的亮区相对暗区角度检测,及椭圆形边缘测定等方法实现了特征区域的提取与跟踪;Ding Meng等(2008)提出了一种基于KTL (Kanade-Lucas-Tomasi)的弹坑检测方法,使得弹坑检测成功率达到了90%[5]。但是针对一些星体表面弹坑分布不均所造成的局部区域无弹坑、弹坑过小或者当探测器距离星体表面很近时就需要其他特征区域作为参考。吴伟仁等人提出了以星体表面形成的阴影为特征区域的策略[6];喷气发动机实验室(Jet Propulsion Laboratory,JPL)的Johnson利用图像中纹理的变化特点对特征区域进行选取与跟踪[7]。日本学者Misu等(1999)提出了一种通过比较图像的低频与高频之间的变化程度来选取变化幅度较大的区域的中心点作为特征区域[8]。在文献[9]中实现了利用Shi-Tomasi-Kanade算法对特征区域的提取。目前,特征区域的跟踪算法基本上采用的是模板匹配。但是当有噪声存在或者被跟踪特征与前一张拍摄图像的特征发生角度或大小变化时,一些误差或者差错难以避免。

本文基于DIMES[10](descent image motion estimation subsystem)框架提出了一种基于图像中强光照与阴影区域作为导航特征区域提取与跟踪的算法。DIMES是利用当前状态测量仪提供的状态变化参数(横滚角、航向角、俯仰角、高度)对图像进行矫正,然后利用后一帧图像与前一帧图像进行全匹配从而得到后一帧图像在前一帧图像中的位置。但是该方法的缺点在于如果状态测量仪存在较大的误差会使得矫正不准确,图像间的匹配也将受到影响。在本文的算法中,首先利用状态测量仪提供的状态参数对不同时刻拍摄的图像进行状态矫正;然后根据图像的特点进行亮度调整,设定阈值分别提取出强光照与阴影区域,并且进行二值化处理,提取出二值图像中的所有亮暗连通区域,从中挑出大小合适的区域作为参考特征区域,并且对二值化特征区域进行模板匹配找出高度相关位置点;最后,通过特征向量分析法找到最终的位置点作为要跟踪的特征区域。通过两组实验进行了实验分析,实验表明该算法不但精确率高,运算效率高,而且对图片噪声以及特征区域的大小变化具有较强的鲁棒性。

1 图像的二值化

本文首先对图像进行亮度均衡化。然后设定阈值的方法二值化图像并且从中提取明区与暗区。

1.1 亮度均衡化

图1展示了两张具有代表性的月球表面图片,在月球上的方位坐标分别为27°3′59.16″N 149°29′28.70″E和8°57′52.39″S 15°28′27.35″E。

图1 两幅星体表面图像Fig.1 Two planetary images

为了使得处理后的图像各个像素点间的对比程度不变以保证不影响原图像的细节,处理方法有以下几个步骤:

1)统计该图像的像素值分布情况,计算每个像素级的像素点的个数。

2)考虑到相机拍摄过程中可能存在的椒盐噪声,并且该噪声的像素值主要分布在0～2和153～155之间,所以在原图像中像素值位于0～2,和 153～155区间的像素点的像素值不发生变动。

3)在灰度直方图中,从像素值3向高像素值逐渐加和统计其像素个数,并且计算与整个图像像素点个数的比值,当比值达到5%停止计算,记录当前像素值a,以同样的方法从像素值152向低像素值计算比值,当比值达到5%时停止,记录当前的像素值b,这样便得到一个像素值区间(a,b)。

4)将像素值在区间(a,b)内的像素值扩展到整个区间(0,255),像素值小于或等于a的像素点被赋予像素值为0,而像素值大于或等于b的像素点被赋予像素值255。

图2是经过按照以上规则进行直方图均衡化后的效果图,从中发现图中的很多细节显示的更加明显并且亮暗对比度达到了比较理想的水平,这为后面所叙述的强光照与阴影区域提取方法提供了有力的支持。

图2 经过亮度调整后的图像Fig.2 Images after intensity adjustment

1.2 二值化

根据大量实验得出最佳的提取明区与暗区的阈值为180和25,即当像素值不小于180时则被认为是明区,当像素值不大于25时则被认为是暗区,二值化方法如式(1)所示。

图3展示了利用以上二值化规则得到的结果。

图3 二值化后的图像Fig.3 The images after binaryzation

2 特征区域提取

本文参考文献[11]介绍的基于形态学的连通分量提取方法。

令Y为图像A中的一个连通图,并且p为连通图Y的一个已知的起始搜索点,用下面的迭代公式(2)可以找到连通图Y的所有点,B为一个结构元素(8连通或4连通)。

当Xk=Xk-1时停止对该连通分量的搜索。

图4展示了从图1(b)中提取的最大连通分量。

根据文献[3],参考特征区域应该具有以下特征:

图4 连通分量Fig.4 Connected component

1)特征区域和周围区域有明显的不同。

2)当视角变化时,特征区域没有太大变化。

3)特征区域不能太大或太小。

4)特征区域最好位于当前目标区域附近。

3 特征区域的跟踪

根据文献[10],两个函数相关性定义如下:

令P(x,y)为大小为M×N的图像,S(x,y)为K×L的模板函数,K≤M,L≤N,首先将S扩充为大小M×N的函数Sextend。

则它们之间的相关函数表示为

其中:P*为P的共轭复数,若P为一副图像,则P*为实函数图像,即P*=P。

下面介绍一种利用前一次观测图像上的参考特征区域与目标特征区域之间的几何关系预测当前目标特征区域的搜索范围的方法。

图5 前后两幅图像特征区域间的几何关系Fig.5 The geometrical relationship among the characteristic areas between the connective images

图5(a)是前一次的观测图像的直角坐标系, FP1和FP2是图中的参考特征区域,T为目标区域,由于图像的纵坐标方向与直角坐标系的y轴方向相反,图中的y坐标与在图像相对应的纵轴方向yf关系式为式(5),其中M为图像在纵轴方向的尺寸。令x轴方向为零角度,并且逆时针方向为角度的正方向,θ,β,α分别为FP1到FP2、FP1到T、FP2到T的直线与x轴方向的夹角,θ可以利用公式(6)得出,同理可得出β,α的角度如多项式(7)所示。图5(b)是当前观测图像,参考特征区域FP1和FP2可以根据3.2和3.3节介绍的内容进行跟踪,并且计算出θ′,相应得出角度变化量δ,由于探测器在实际观测过程中拍摄间隔短,所以可以认为图5(b)中的β和α的变化量也为δ如式(8)所示,于是可以得到分别从经过点FP1和FP2并且直线的斜率分别为tanβ′=和tanα′的直线P1T′和P2T′如式(9)和式(10)所示,两条直线的焦点为T′,T′为原目标特征区域T的预测位置,T′在直角坐标系中的位置可以根据式(11)确定,为了防止图像之间发生的扭曲变化,另T′为长宽为K和H矩形区域的中心点,K和H可以根据原目标区域的大小来确定,在该区域进行特征区域的匹配与识别即可找到目标特征区域的所在位置。

图5(a)角度

图5(b)角度

4 仿真实验

由于图像难免会产生噪声,本文采用3×3的中值滤波器对图像进行处理。下面进行两组实验:

第一组的实验对象是图1中的(b)图,在图中挑选7个连通区域(A,B,C,D,E,F,G)作为被跟踪的参考特征区域,如图6所示。

图6 图1(b)特征区域以及目标特征区域提取Fig.6 The extraction of characteristic areas and object area in Fig.1(b)

第二组如图7所示,该图中没有明显的弹坑,并且整体像素值偏大,挑选3个连通区域(A 1,B 1, C1)作为被跟踪的参考特征区域。

两组图像长宽扩大5%,并且顺时针和逆时针旋转5°角,施加高斯噪声和密度为10%的椒盐噪声如图8、图9所示,图8对应第一组,图9对应第二组。

表1与表2分别展示了两组实验的跟踪结果。在表1中,A到E 5个连通区域的跟踪位置与它们的实际位置几乎相同,只有几个像素的差别,符合自主导航的跟踪要求。在表2中3个连通区域均得到了很好的跟踪,所以本算法基于阴影与强光照区域作为特征区域所在区域的选取是可行的。

图7 火星表面某区域的特征区域提取Fig.7 The extraction of characteristic areas in some area of Mars 1

图8 第一组图像(旋转+施加噪声)Fig.8 The first group of images(rotation with noise)

图9 第二组图像(旋转+施加噪声)Fig.9 The second group of images(rotation with noise)

表1 第一组图像的特征区域跟踪结果Table 1 The tracking result in the first group

关于算法的实时性说明:实验平台:双核2.2 GHZ处理器,2 G内存,Matlab环境,在实验中被追踪的所有特征区域的跟踪均在1.5 s内。

表2 第二组图像的特征区域跟踪结果Table 2 The tracking result in the second group

5 结论

本文提出了一种光学自主导航过程中的图像特征区域提取与跟踪算法,该算法通过跟踪图像中阴影与强光照所形成的连通区域而完成,并且通过实验可以得出算法具有以下4个特点:

1)特征区域是基于图像中的强光照或阴影区,比基于弹坑的跟踪更具有普遍性。

2)算法通过目标区域与参考特征区域之间的几何位置关系对目标区域的跟踪。

3)在二值化图形中选择的连通区域大小必须处在一定的范围内,分析得出当连通区域所占原图分比在0.2%与2%之间时都能得到的很好的跟踪,百分比太小会造成跟踪失败。

4)当图像放大一定比例,旋转一定角度,与施加一定的噪声时,该算法具有较强的鲁棒性。

算法还存在一些不足需要今后进一步的研究,归纳为以下两点:

1)算法中的二值化阈值与模板匹配中的像素值阈都是确定值,灵活性较差,今后需要研究出一种阈值的自主调整方法以应对不同的图像状况。

2)为了提高方法的实时性,算法还有待于优化以便于满足探测器在下降过程中跟踪要求。

[1]Yu M,Cui H,Tian Y.A new approach based on crater detection and matching for visual navigation in Planetary Landing[J].Advances in Space Research,2014,53(12): 1810-1821.

[2]Huang X,Cui H,Cui P.An autonomous optical navigation and guidance for soft landing on asteroids[J].Acta Astronautica,2004,54(10):763-771.

[3]Li Sh,Cui P.Landmark tracking based autonomous navigation schemes for landing spacecraft on asteroids[J]. Acta Astronautica,2008,62(6):391-403.

[4]Honda R,Konishi O,Azuma R,et al.Data mining system for planetary images-crater detection and categorization[C]∥Proceedings of the International Workshop on Machine Learning of Spatial Knowledge in conjunction with ICML. Stanford:Stanford CA,2000:103-108.

[5]Ding M,Cao Y,Wu Q.Autonomous craters detection from planetary image[C]∥Innovative Computing Information and Control,2008.ICICIC'08.3rd International Conference.[S. l.]:IEEE,2008:443-443.

[6]吴伟仁,王大轶.月球软着陆避障段定点着陆导航方法研究,中国科学:信息科学,2011,41(9):1054-1063.[Wu W R, Wang D Y.Research of the pinpoint landing navigation method in the hazard avoidance phase of lunar landing[J]. Science China:Information Sciences,2011,41(9):1054 -1063.]

[7]Johnson E A,Mathies H L.Precise image-based motion estimation for autonomous small body exploration[C]∥Artificial Intelligence,Robotics and Automation in Space. 1999,440:627.

[8]Misu T,Hashimoto T,Ninomiya K.Optical guidance for autonomous landing of spacecraft[J].Aerospace and Electronic Systems,IEEE Transactions on,1999,35(2): 459 473.

[9]李爽,崔祜涛,崔平远.着陆小天体的自主GNC技术[J].宇航学报,2006,27(1):21-26.[Li S,Cui H T,Cui P Y. Autonomous GNC technology for landing on small bodies[J]. Journal of Astronautics,2006,27(1):21-26.]

[10]Johnson A,Willson R,Cheng Y,et al.Design through operation of an image-based velocity estimation system for mars landing[J].International Journal of Computer Vision, 2006,74(3):319-341.

[11]Rafael C Gonzalez,Richard E Woods.Digital image

processing[M].[S.l.]:Pearson Education,2002.

通信地址:北京市朝阳区平乐园100号北京工业大学电子信息与控制工程学院1304信箱(100124)。

E-mail:weiruoyan1984@163.com。

电话:18810371412

阮晓钢(1958—),男,博士,博士生导师,主要研究方向为自动控制,机器学习,人工智能等。

庞涛(1976—),女,博士研究生,主要研究方向为模式识别与智能系统等。

[责任编辑:宋宏]

Characteristic Areas Extraction and Tracking Algonthm in the Process of Asteroid Landing

WEI Ruoyan,RUAN Xiaogang,PANG Tao,Ouattara SIE,WU Xuan,XIAO Yao
(Beijing University of Technology,Beijing 100124,China)

A new algorithm is proposed for the landmark tracking in the process of asteroid soft landing that based on the frame of DIMES.Firstly,a method of luminance equalization is used for highlight the shadow areas and light areas,and convert the image into the binary one to find the connection areas.Secondly,find the high correlation location of the binary areas by template matching.Finally,confirm the characteristic areas by the geometrical relationship of different characteristic areas,and extract the characteristic vectors of the high correlation areas,and analyze the degree of similar between areas and the land mark to find the most similarity location.Two groups of the terrain picture of asteroid are examined in the paper and the result is well.

soft landing;characteristic tracking;image related;characteristic rector

TP391

:A

:2095-7777(2014)04-0308-07

10.15982/j.issn.2095-7777.2014.04.011

魏若岩(1984—),男,博士研究生,主要研究方向为模式识别与智能系统。

2014-02-30

2014-11-30

国家重点基础研究发展计划(973计划)资助项目(2012CB720000);国家自然科学基金资助项目(61075110);北京市自然科学基金资助项目,北京市教育委员会科技计划重点项目(KZ201210005001);高等学校博士学科点专项科研基金资助课题(20101103110007);国家自然科学基金资助项目(61375086)