基于传感器几何特性和图像特征的影像配准方法

田上成 张乔 刘保成 崔超

(中国天绘卫星中心, 北京 102102)

1 引言

多光谱成像技术是根据不同地物波谱特性的差异，分波段地记录地物影像，从而利用地物在几个比较狭窄波段内表现出的明显差异，进行判读等信息提取工作。多光谱成像必须在同一时间内，同时用几个不同的窄波段对同一地区进行成像[1]。

目前，依靠单一传感器的单波段探测技术已经具有相当完整的理论和比较成熟的技术。但是，随着科学技术的发展，在很多场合中单波段探测手段已不能满足对复杂背景下的目标探查与识别。“天绘一号”立体测绘卫星搭载的多光谱相机采用蓝、绿、红、近红外集成为一体的 CCD组件，为更好地进行信息提取和判读提供了支持，而保证多波段图像之间的配准是有效判读的前提。因此，解决多光谱数据生产中的各波段成像不同步问题，是保证影像品质的条件之一，这一过程对重新配准的精度要求较高。

2 多光谱传感器几何特性

多光谱传感器各波段波长范围如下：1) B1，蓝波段：0.43～0.52μm；2) B2，绿波段：0.52～0.61μm；3) B3，红波段：0.61～0.69μm；4) B4，近红波段：0.76～0.9μm。

传感器焦距都为650mm，CCD组件沿相机视场中心线(x方向)安装，其中每个波段的CCD探元大小为0.013mm，2排CCD间距54个探元距离即0.702mm，假定CCD探元沿y方向排列，则各波段CCD中心点位置坐标见表1。

表1 各波段CCD中心点位置坐标Tab.1 The coordinates of each CCD center point

根据多光谱传感器特点，在同一时刻不同波段间成像地物沿轨道方向距离约为

式中 H为轨道高度；f为焦距。由于CCD星下点地面分辨率为 9.994m，因此上述距离对应 549.68/9.994=55(行)，从B1到B4间距离为165行。

因此，如果4个波段的CCD采用焦平面坐标相同的成像模型，切出来的各波段景将在竖向有最大165行的差距，需要相应增大切景长度，以使波段间通过图像匹配位移并缩减后保持标准景长度。多波段配准算法，按各谱段 CCD之间的间距计算多光谱相机拍摄地面同一景物的时间差，即多光谱波段间成像不是严格的同一时刻，因此需要进行影像波段间配准，将同一景物不同谱段的图像一一对应。

3 基于传感器几何特性和图像灰度的配准方法

目前多光谱图像配准算法主要基于图像灰度值[2-3]，“天绘一号”卫星多光谱影像波段间的配准，起初系统采用了基于传感器几何特性和图像灰度的配准方法：通过传感器的几何特性分析波段配准误差，由于各波段在焦平面上位置误差导致的配准误差，需要统计不同波段地物图像在 x，y方向的相对误差Δx、 Δy (Δx、Δ y为距离误差)。以式(2)推导出在焦平面上2个方向的误差Δx、Δ y，在焦平面上对CCD中心点坐标进行修正。

式中 x yΔΔ、为探元距离；f为焦距；sH为卫星轨道高度。

在此基础上各波段采用相同的成像模型及参数进行分景定位并切景，在辐射校正后的 1A级产品上进行波段间图像匹配，获得各波段的相对位置距离，据此进行图像剪切调整，采用互相关匹配的方法进行配准，并为了减少匹配所用的时间和消耗的资源，不使用全图像匹配，而采取局部多点取图匹配的方法。步骤如下：

1)读入多波段图像，根据图像大小确定选择的匹配区域数目为M×N(M与图像行数有关，N与图像列数有关)；

2)若 M、N有效，将蓝谱段图像均匀分成 M×N份(逻辑上实现即可)，确定每份图像中心位置，以该位置为中心各取出500×500像素的模板图像；将绿谱段图像向下位移55个像素后，均匀取出M×N份(与蓝谱段对应，逻辑实现)；

3)将待匹配图像与对应的模板图像对分别进行归一化积相关匹配，得到M×N个匹配结果；

4)利用拟合方法剔除其中的误匹配区域，得到h个正确匹配结果；

5)求h个匹配区域的平均横轴、纵轴值，得到两图像位移差d x、d y，据此移动绿谱段图像，实现配准；

6)将另2个波段的图像重复3) ～7) 步骤的工作，第3) 步中的下移55个像素分别变为下移110和165个像素。

这种方法的优点是稳定性高，比较简单，但在有扰动情况下结果会有偏差。在实际生产中波段间的匹配精度不够理想，使影像出现轻微的重影现象而不够清晰。为此，随机抽取了100景影像产品，对其配准情况进行逐一检查。检查的方法如下：以每景的红波段影像为基准，通过目视的方法比较蓝、绿、近红外3个波段影像是否与其完全配准，统计最小单位为像素，结果如图1所示，图中横坐标为波段间影像配准的检查结果分布情况。

由图1可以看出，基于传感器几何特性和图像灰度的配准方法对波段间影像的配准精度不高，配准成功率低于15%。以红波段影像为基准，约90%影像在配准后的波段间仍存在1～4个像素不等的偏差。针对这一问题，利用SIFT算法进行多光谱波段间影像配准精，提出了基于传感器几何特性和图像特征的配准方法，极大提高了影像配准精度，改善了影像品质。

图1 多光谱波段间影像匹配精度统计结果Fig.1 The statistical results of matching accuracy between multi-spectral bands

4 基于传感器几何特性和图像特征的配准方法

基于图像特征进行匹配配准，可以提取各类图像中保持不变的特征，如线交叉点、物体边缘、角点等图像的显著特征，大幅压缩了图像的信息量，使得计算量小、速度快；并且特征点不易受光照、旋转等变换影像，对图像灰度的变化具有鲁棒性[4]。

4.1 特征点的提取和匹配

尺度不变特征变换(Scale Invariant Feature Transform, SIFT)算法[5-6]是一种稳健的提取局部特征的算法，其对平移、旋转、尺度缩放、亮度变化保持不变性，对光照变化、噪声等也保持一定程度的稳定性，具有较强的鲁棒性[7-8]，这为正确匹配提供了良好的条件。考虑到地物对不同波段光谱的反射率、吸收率、透射率不同，相同地物的影像在不同波段会处于不同的灰度值范围，SIFT算法能够克服这种情况，提取出不同波段图像的显著特征，实现稳定匹配。

本文首先根据传感器几何特性对图像做粗配准，然后使用局部多点取图的方法得到各波段图像的匹配部分，利用SIFT算法进行特征点检测并生成描述符(为便于说明，下文称2幅待配准波段图像为图a和图b)。在提取的特征点数量较多时，描述符维数高，直接计算描述符之间的欧几里德距离比较耗时，为了加速特征点匹配过程，建立特征描述符的K-d树。先将所有的特征点放到根节点，再找到特征描述符方差最大一维作为划分维，并找到该图所有特征描述符在划分维分量上的中值，即一半特征描述符的划分维分量小于该值，一半大于该值，将分量小的那一半特征放到左节点下，较大的放入右节点下，并将划分维和中值保存到根节点下，以便后续查找使用。依次在对左右子树进行类似迭代操作，就可以建立K-d树。检测并得到图a、图b中的特征点、，建立图b中的特征点描述的K-d树，查找在K-d树上的最近邻和次近邻特征点、。分别计算与、之间的欧氏距离 H1、H2，γ= H1H2，设定阈值β(β为界定图a、图b中的最近特征点而设定的常数)，若γ＜β则与为一对匹配点对。

消除SIFT算法误匹配的方法较多[9-10]，考虑到实际应用中实时性和生产效率的要求，这里利用匹配点领域灰度相关性来进行精匹配和误匹配点的剔除：以对应的2个初始配准点为中心，取20×20大小区域的图像，计算2幅图像的灰度信息相关系数，设定阈值α(α通过统计实际不同波段图像相似度来设定)，灰度相关系数大于α则匹配正确，灰度相关系数小于α则为无匹配，剔除。

4.2 影像配准

采取局部多点取图方法，基于传感器几何特性和图像特征，首先对4个波段图像进行特征点提取和匹配，并利用匹配点领域灰度相似性度量进行匹配验证，然后基于成功的匹配点，对波段间图像进行调整，从而实现多光谱影像的波段间配准。步骤如下：

1)读入多波段图像，确定选择的匹配区域数目为M×N(M与图像行数有关，N与图像列数有关)；

2)若 M、N有效，将蓝谱段图像均匀分成 M×N份(逻辑上实现即可)，确定每份图像中心位置，以该位置为中心各取出300×500像素的模板图像；

3)将绿谱段图像向下位移55个像素后均匀分成M×N份(逻辑上实现即可)，计算得到每份图像的中心位置，以该位置为中心各取出200×300像素的待匹配图像；

4)利用 SIFT算法对待配准图像进行特征点提取和匹配，得到M×N个匹配结果；

5)利用匹配点领域灰度相关性来剔除误匹配点，得到h个正确匹配结果；

6)求h个点的平均横轴、纵轴值，得到两幅图像的位移差 d x，d y；

7)根据 d x，d y移动绿波段图像，获得与蓝谱段配准的新绿波段图像；

8)另2个波段的图像配准重复3) ～7) 步骤的工作，并且采用并行处理方式各波段同步进行，第3) 步中的下移55个像素分别变为下移110和165个像素。

上述步骤中图像特征点提取和匹配部分的流程如图 2所示。

图2 特征点提取与匹配流程Fig.2 The extracting and matching process of feature point

4.3 算法仿真及结果分析

将基于传感器几何特性和图像特征的配准方法应用于“天绘一号”卫星多光谱影像的生产中，在保证一定生产效率的同时，可以使 1A级产品的质量得到大幅提高，波段间配准的精度有了显著改善。采用新算法，随机抽取了100景DGP影像产品，对其进行单机配准实验，并对图像进行逐一检查，检查的方法同第3节所述，统计结果如图3所示，图中横坐标为波段间影像配准的检查结果分布情况。

由图4可以看出，采用基于传感器几何特性和图像特征的配准方法，能够提高多光谱波段间图像的配准精度，配准成功率达到95%以上。对比图1可见，配准的准确率得到了较大提高。

图3 多光谱波段间影像匹配精度统计结果Fig. 3 The statistical results of matching accuracy between multi-spectral bands

5 结束语

本文针对“天绘一号”卫星多光谱影像中存在的重影现象，在原有算法基础上，提出了基于传感器和图像特征的配准方法。实验结果表明，采用新算法的影像波段间配准准确率达到了95%，有效地解决了多光谱影像的配准精度和图像品质问题。在此基础上，进行多光谱影像亚像素级配准可以进一步提高产品质量，这也是今后研究的重点。为提高影像生产效率，在以后的工作中可以考虑对SIFT算法和K-d树近邻搜索算法进行优化和改进。

References)

[1]乔瑞亭, 孙和利, 李欣.摄影与空中摄影学[M]. 武汉: 武汉大学出版社, 2008.QIAO Ruiting, SUN Heli, LI Xin. Photography and Aerial Photography [M].Wuhan: Wuhan University Press, 2008. (in Chinese)

[2]朱近, 司美玲, 夏德深, 等.用局部灰度极值方法进行多光谱图像配准算法研究[J]. 航天返回与遥感, 2010, 31(5): 32-37.ZHU Jin, SI Meiling, XIA Deshen, et al. Research on Multi-spectral Image Registration w ith Local Gray Extremum Method[J].Spacecraft Recovery & Remote Sensing, 2010, 31(5): 32-37. (in Chinese)

[3]童庆禧, 张兵, 郑兰芬. 高光谱遥感: 原理、技术与应用[M]. 北京: 高等教育出版社, 2006.TONG Qingxi, ZHANG Bing, ZHENG Lanfen.Hyperspectral Remote Sensing[M]. Beijing: Higher Education Press, 2006. (in Chinese)

[4]曹红杏, 柳稼航, 阮萍. 基于SIFT特征的图像自动拼接[J].电视技术, 2008, 32(S1): 146-148.CAO Hongxing, LIU Jiahang, RUAN Ping. Sticking Image Based on SIFT[J]. Video Engineering, 2008, 32(S1), 146-148. (in Chinese)

[5]Lowe D G. Object Recognition From Local Scale-Invariant Features[C]//Proceedings of the International Conference on Computer Vision. Greece: Corfu, 1999: 1150-1157.

[6]Lowe D G. Distinctive Image Features From Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004,60(2): 91-110.

[7]Zhou H Y, Yuan Y, Shi C M. Object Tracking Using SIFT Features And Mean Shift[J]. Computer Vision and Image Understanding, 2009, 113(3): 345-352.

[8]M ikolajczyk K, Schm id C.A Performance Evaluationof Local Descriptors [J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 2005(10): 1615-1630.

[9]陈敏, 邵振峰, 慎于蓝.基于基准点和基准方向的sift误匹配校正方法[J]. 测绘通报, 2012(3): 16-18.CHEN M in, SHAO Zhenfeng, SHEN Yulan. A Method of Correcting SIFT M ismatches Based on Reference Point and Reference Direction[J]. Bulletin of Surveying and Mapping, 2012(3): 16-18. (in Chinese)

[10]张洁玉, 白小晶, 徐丽燕, 等. 基于空间分布描述符的SIFT误匹配校正方法[J].中国图像图形学报, 2009, 14(7): 1369-1376.ZHANG Jieyu, BAI Xiaojing, XU Liyan, et al. A Method of Correcting SIFT M ismatching Based on Spatial Distribution Descriptor[J]. Journal of Image and Graphics, 2009, 14(7): 1369-1376. (in Chinese)