航天地基光学设备图像配准
2020-01-08张建烨刘佳梅丽娜
张建烨 刘佳 梅丽娜
摘 要:文章使用一种基于加速稳健特征和随机抽样一致算法,对航天地基光学设备图像进行配准。配准前,经过三维块匹配滤波降噪和Retinex增强处理,图像质量得到了有效提高。经试验计算,该算法对红外各波段及可见光图像特征点提取配准高效准确,对异源相机成像差异、大气环境变化具有稳健性,能较好地适用于航天试验图像配准,提高航天试验任务执行成效。
关键词:航天试验;图像降噪与增强;红外各波段及可见光图像配准;SURF特征点计算;RANSAC特征点配准
中图分类号:TP391.41 文献标识码:A 文章编号:2096-4706(2020)15-0012-03
Abstract:In this paper,an speeded-up robust features and random sampling consensus algorithm are used to register the image of space-based optical equipment. Before registration,the image quality is effectively improved after block matching and 3D filtering and Retinex enhancement. The experimental results show that the algorithm is efficient and accurate for feature points extraction and registration of infrared and visible images,and it is robust to image differences of heterogeneous cameras and changes of atmospheric environment. It can be applied to space test image registration and improve the performance of space test tasks.
Keywords:aerospace test;image denoising and enhancement;infrared and visible image registration;SURF feature point calculation;RANSAC feature point registration
0 引 言
图像配准(Image Registration)也称为图像匹配,是图像处理领域中的热点研究方向,其主要目的是在同一物体的两幅或多幅图像之间找到一个最优的几何变换处理,使得图像最大程度地相似,达到空间的一致性[1]。
随着航天事业建设发展,试验中光学图像总量猛增,处理和研判工作压力巨大。同时,同一目标不同源相机的大量图像数据往往孤立且缺乏关联,处理效率低下,利用深度不够。将图像配准相关研究引入到酒泉卫星发射中心地基光学测控领域,可以为卫星发射中心测量试验部后续图像融合及指挥评判提供重要支撑。
当前,图像配准应用已经非常广泛,但在航天试验测控中尚未能深入广泛应用。究其根本,是因为航天试验存在测量控制精度要求高、场区纵深大、成像距离远、各类光学设备成像原理及效果存在差异、气象环境多变、景象获取模糊等特点[2]。
加速稳健特征(Speeded-Up Robust Features,SURF)是一种精度高、运算快的主流配准算法,对于结构清晰、特征丰富图像配准的效果出众[3]。为了更好地将SURF引入航天光学测控应用,本文采用三维块匹配滤波(Block Matching and 3D filtering,BM3D)和Retinex降噪增强算法对图像进行预处理,有效提高了航天地基光学设备图像SURF算法的适应性和稳健性。
1 图像预处理
对图像进行去噪和增强可以有效提高配准成效,胡窦明等人针对红外图像去噪增强提出了一种基于自适应中值滤波的去噪增强方法[4]。
针对航天地基光学设备图像特点,经过反复试验,本文采用BM3D算法降噪及Retinex算法增强,可以在保证图像内容细节丰富和准确的基础上较好地提高航天光学设备图像质量。
1.1 BM3D算法降噪
BM3D是一种准确高效的图像降噪算法,在Photoshop等商业软件中被广泛应用。其基本思想是通过与相邻图像块进行匹配,将若干相似的块整合为一个三维矩阵,在三维空间进行滤波处理,再将结果反变换融合到二维,形成去噪后的图像[5]。
1.2 Retinex算法增强
Retinex主要思路是从图像中估计出光照,得到增强图像。Retinex算法的核心是计算出来精确的照度分量和反射分量,在此基础上能够还原出更加真实的原始图像[6]。
2 SURF算法
SURF算法是一種提取局部特征的算法,用于在尺度空间寻找极值点,提取位置、尺度、旋转不变量。其主要思想是将图像之间的匹配转化为特征点向量之间的相似性度量。相较于互信息等算法需要通过整幅图像进行配准,SURF利用特征点进行配准,运算效率更高。同时,SURF配准精度高于一般基于角点特征的配准[7]。
2.1 SURF算法实现过程
2.1.1 构建Hessian矩阵
SURF算法用Hessian矩阵代替DoG算子,进行图像特征点的提取。单个像素点的Hessian矩阵如下式,其中,m(x,y)为像素灰度值,?为求微分。
2.1.2 构造尺度空间
在SURF算法中,使用盒式滤波器(Box Filter)求取尺度空间函数。盒式滤波器尺寸计算公式为:
Filter_Size=3×(2Octave×Intercal+1)
其中,Octave为度数(组数),决定尺寸(Scale)大小,共8度;Interval为层数,决定模糊程度。
滤波器结构保持不变,当滤波器尺寸改变时,对应的高斯尺度计算公式为:
2.1.3 确定候选极值点并消除不稳定点
在尺度空间金字塔构建完毕后,需要对某一特定尺度下的局部极值进行求取。为了使检测到的候选极值点更加稳定,还需要在尺度空间和图像空间中对极值附近的点进行插值,以筛选掉不稳定点。
2.1.4 确定特征点主方向
为了保证旋转不变性,在SURF中,不统计其梯度直方图,而是统计特征点邻域内的Haar小波特征。即以特征点为中心,计算半径为6δ(δ为特征点所在尺度值)的60°扇形,遍历整个圆形区域内的Haar小波响应总和(Haar小波边长取4δ,为响应值赋高斯权重系数,权重从特征点由近到远减小),选择最长矢量方向作为该特征点的主方向。
2.1.5 生成特征点描述符
以特征点为中心将坐标轴旋转到主方向,选取正方形窗口,分别统计子窗口内像素方向的Haar小波特征。再以特征點为中心,遍历整个圆形区域内的Harr小波响应总和,选择最长矢量方向作为该特征点的主方向。
2.2 对特征点进行配准
对计算得到的特征点,运用随机抽样一致性(Random Sample Consensus,RANSAC)算法进行配准。RANSAC算法的本质是一个未知模型与含有野值的数据集的拟合。配准过程为:
选取3对不共线的特征点样本(由于可能存在仿射变换,所以需要至少3对特征点进行计算),并由此计算得到变换矩阵T1;
计算其余特征点与变换矩阵T1间的距离,同时记录在误差允许范围内的样本个数X;
重复上两步n次,当X的值最大且大于预设阈值Q时,对应的内点集合即为最大内点域,此时Tn就是配准的变换矩阵。
3 实验结果
现就航天试验中地基光学设备图像进行实验计算,选取具有试验场区和设备成像特点的3对图像对方法进行验证。所选图像由红外不同波段及可见光不同类型相机获取,成像时段不同、距离不同、气候环境不同,以充分验证方法配准效果。实验首先以BM3D算法和Retinex算法对不同航天光学设备获取的同一物体图像进行降噪和增强,然后利用SURF和RANSAC算法对图像进行配准。
3.1 实验过程
如图1所示为山顶基站配准实验效果,成像时间为上午9:00,天气为薄雾,该基站距离光学设备约7 km,视野中包含了天空、土地和基站设施,由于可见光和红外相机口径不同,成像原理不同,两款相机所呈现的图像有所差异。同时,由于大气环境,图像较为模糊。本文的SURF方法可以准确提取特征点,完成对两幅图像的配准。
如图2为试验场区一处50 m高程无名荒山配准实验效果,成像时间为夜间22:00,天气为晴朗,荒山距离光学设备约15 km,长波红外和短波红外成像在灰度上存在较大的差异。SURF算法尤其适合处理纹理细节丰富的图像,该方法可以准确提取特征点,完成对两幅图像的配准。
如图3所示为场区配套厂房在建建筑配准实验效果,成像时间为正午13:00,天气为浮尘,在建建筑距离光学设备约5 km,由于大气环境及设备特性,彩色电视图像色彩不明显,经BM3D及Retinex算法处理后转为灰度图像,该方法可以准确提取特征点,完成两幅图像的配准。
3.2 计算验证
为验证配准效果,对所有图像计算均方误差(Mean Squared Error,MSE),同时列明配准时间,如表1所示。
经降噪增强,SURF结合RANSEC算法对于航天地基光学图像配准效果良好、运算效率高、稳健性强,可以适用于不同环境下的航天地基红外及可见光图像配准,具有较好的推广前景。
4 结 论
本文给出针对航天地基光学设备的图像配准方法。该方法综合BM3D降噪和Retinex增强预处理,使用SURF结合RANSEC算法,能够较好地处理图像模糊、画面复杂的航天光学设备图像配准。在配准的基础上,还可以进行校准、融合等各种计算处理,以提高航天光学设备综合测试能力。
参考文献:
[1] 章学静.像素级图像增强及配准算法研究 [D].北京:北京理工大学,2014.
[2] 云海姣.针对靶场图像增强算法的研究与实现 [D].长春:中国科学院研究生院(长春光学精密机械与物理研究所),2016.
[3] 宋智礼.图像配准技术及其应用的研究 [D].上海:复旦大学,2010.
[4] 胡窦明,赵海生,李云川,等.一种基于同态滤波的红外图像增强新方法 [J].红外技术,2012,34(4):224-228.
[5] LEBRUN M. An Analysis and Implementation of the BM3D Image Denoising Method [J].Image Process,2012(2):175-213.
[6] 张驰,谭南林,李响,等.基于改进型Retinex算法的雾天图像增强技术 [J].北京航空航天大学学报,2019,45(2):309-316.
[7] 张亚娟.基于SURF特征的图像与视频拼接技术的研究 [D].西安:西安电子科技大学,2013.
作者简介:张建烨(1989.01—),男,蒙古族,内蒙古乌兰察布人,工程师,硕士研究生,研究方向:图像及通信;刘佳(1986. 10—),男,汉族,山东威海人,技师,本科,研究方向:图像及通信;梅丽娜(1996.08—),女,汉族,河南驻马店人,技师,本科,研究方向:图像及通信。