基于典型面元特征的全色与高光谱图像自动配准算法

分辨率差异大的多源遥感图像之间的配准应用越来越广，然而传统的基于点特征的配准算法往往达不到实际应用的高精度要求。针对高分辨率差距的全色图像与高光谱图像，提出一种基于典型面元特征的图像配准算法。算法首先分别对全色图像和高光谱图像采用阈值比例数学形态学分割算法和基于混合像元分解的图像分割算法提取典型面元特征。其次采用基于区域链码多相似性测度和仿射不变距最小距离算法进行面元特征匹配，构建面元关系矩阵和轮廓相似性矩阵提取最优匹配面元对，最后以面元重心为特征点带入仿射变换模型，通过最小二乘求解模型参数，完成全色图像与高光谱图像配准。实验结果表明算法在分辨率极大的图像配准应用中的优越性。

关键词：图像配准；图像分割；面元特征；仿射不变距；高光谱图像；多相似性测度

中图分类号：TP79 文献标识码：A 文章编号：1009-3044（2016）14-0170-04

Automatic Registration Algorithm for Remote Sensing Images Based on Typical Regional Features

YU Ting

（Zhejiang University of Finance and Economics DongFang College，Department of Computer Science and Technology， Haining 314408，China）

（College of Electrical Engineering，Zhejiang University，Hangzhou 310027，China）

The registration of multi-source remote sensing images with largely different resolution is more and more common， however， the traditional point-feature based image registration algorithm can not meet the requirements of practical applications. In view of this situation， an image registration algorithm based on the characteristic of typical surface is proposed. Firstly， the panchromatic image features are extracted by Using the threshold percentage and mathematical morphology segmentation algorithm， and hyperspectral image extraction characteristics of typical surface element based on the decomposition of mixed pixels of image segmentation algorithm. Secondly， based on the principle of multi similarity measure and affine invariant distance criterion， the facial feature matching is carried out， and the surface element relation matrix and the contour similarity matrix are constructed. Finally， the surface element is used as the feature point， and then the model is solved by the least square solution. Experimental results show the superiority of the algorithm in the application of image registration with great resolution.

Key words： image registration； image segmentation； surface feature； affine invariant distance； hyperspectral image multi-similarity measure

多源遥感图像配准是指将同一场景下不同波段、不同传感器、不同拍摄视角获得的两幅或多幅遥感图像进行匹配和叠加，通过最优图像空间变换方法实现待配准图像与参考图像坐标的统一，最大程度减少或消除图像的几何形变。近年来遥感技术迅猛发展，图像配准技术得到广泛的应用，如遥感数据分析、图像融合、图像异常检测、目标检测等。由于不同应用领域的差异性，对配准算法的精度、自动化程度、时间空间复杂度都提出了不同的要求，图像配准技术日益成为几年来研究的热点。

常见的配准算法可以概括为三类，分别是基于灰度的算法、基于特征的算法和灰度特征综合算法。基于灰度的图像配准算法[1]在配准前无需对图像进行复杂的预处理，直接将图像的灰度信息作为相似性测度来度量图像之间的相似程度，易于实现却对灰度特性过于依赖，通常不单独使用 。基于特征的算法[2]通过提取输入图像的几何特征（主要是特征点、特征线、特征面三大类，其中特征点研究最多），在特征空间里提取控制结构进行特征匹配，最优化求解空间变换参数实现图像配准。近年来，分辨率差异大的多源遥感图像之间的配准应用越来越广，然而针对大分辨率差距的全色图像与高光谱图像之间的配准，传统的基于点特征的配准算法往往达不到实际应用的高精度要求。

针对分辨率差异较大的全色与高光谱遥感图像[3]，提出一种高效的自动配准算法，如图1，该算法首先对全色高光谱图像进行图像分割，提取典型区域特征；其次根据区域的几何形状特征，采用基于区域链码和仿射不变距的匹配算法对典型区域进行预配准；最后，在预匹配的基础上通过传统的点特征实现图像精配准。实验结果表明此算法能够有效的实现分辨率差异比较大的图像之间的配准。

1 算法描述

1.1 典型面元特征提取

全色图像与高光谱图像数据特性的差异性要求采用不同的图像分割方法来提取面元特征，前者通过直方图阈值分割与数学形态学的图像分割方法来实现面元的提取；后者通过基于混合像元分解[4]的高光谱图像分割方法提取区域特征。

1.1.1全色图像分割与特征提取

遥感图像的灰度统一性表明图像中的典型的明亮区域与图像背景的灰度有明显差异，这些典型区域易于分割。为此，首先采用直方图比例阈值分割方法进行面元提取，有效的分割全色图像。

假设待配准全色图像为[L×C]，比例阈值[P0]，根据最大互信息理论[3]统计图像的灰度直方图[Fii=0，1，...，255]，[Fi]是指灰度值是[i]的像素的个数；根据[P0]得到灰度阈值[k0]，如式1：

[k0≤i<256FiL×C≥P0>k0

根据图像灰度阈值选择面元特征，在此基础上对全色图像进行二值化处理，如式2：

[I（x，y）=1ifI（x，y）≥k00else] （2）

由于处理过程中会产生杂点噪声，二值化后的图像亮区通常会有大量孤立的细碎面元和空洞现象，为此采用数学形态学[3]的开闭运算对图像进行腐蚀和膨胀，消除噪声和空洞，提取闭合连通区域。腐蚀和膨胀作为数学形态学的基本运算，前者有收缩图像的功能，能够删除图像中微小无意义的碎片；后者能够扩大图像，扩张面元边界，有效填补面元空洞。由此获得的是一系列的闭合面元。最后，为了方便特征匹配，需要选取大小合适的面元作为典型区域（去掉过小与过大的面元）。获得合适的面元后带入特征匹配机制进行配准。

1.1.2高光谱图像分类与特征提取

在充分分析高光谱图像数据特征的基础上，通过混合像元分解算法对图像进行分割，如图2。以高光谱图像的已知特定端元信息为依据对图像进行分类，以类为单位对图像进行典型区域的提取，最后合并所有类的面元特征作为高光谱图像最终的匹配区域。

基于混合像元分解的高光谱图像分割算法首先采用HFC[5]算法确定光谱端元个数，首先计算图像数据的相关矩阵和协方差矩阵，然后分别求解相应矩阵的特征值，按照二元假设理论逐步推导求解比较确定其端元个数。

线性光谱混合模型表示如式3：

[r=MS] （3）

线性光谱模型中的[r]表示高光谱图像的已知像元光谱，[M]表示端元，端元通常可以通过实测的方法或者通过查光谱库获得，本文通过手动方法提取端元。[S]表示丰度值，指的是每个端元M在混合像元谱中所占据的比例，它是线性光谱解混过程所要求解的未知量，通常由最小二乘分解算法来求得。根据丰度值S对高光谱图像进行分类，提取典型区域特征。

1.2典型面元特征匹配

对于全色图像与高光谱图像分割得到的典型面元，首先采用基于区域链码的多相似性测度算法对面元进行粗匹配，通过面元的周长、面积、长短比值作为约束构建关系矩阵。区域关系矩阵采用二进制编码，满足约束条件则表示为1。其次，通过仿射不变距最小距离算法对符合约束条件的典型面元进行精匹配，构建面元轮廓相似性矩阵。通过轮廓相似性矩阵可以获得最佳匹配面元。

1.2.1 基于区域链码的多相似性测度粗匹配

对于待匹配面元，首先需要提取出面元轮廓特征，然后采用一系列的描述子描述他们，建立相应的相似性测度。针对全色图像和高光谱图像分割后的面元特征，选择面元周长、面元面积和面元轮廓弯曲程度的多相似性测度为准则进行特征匹配。（标记区域像素点个数）、轮廓周长（区域链码长度）和中心距边界最大最小距离比（衡量区域边界的弯曲程度）。其中，面积[S]通过计算面元像素点个数可以获得，轮廓弯曲程度用面元中心距边界最长最短距离比例来表示，而面元周长[P]的求解则需先计算区域链码[6]，用链码来表示轮廓，将边界跟踪方向东、东北、西北、西、西南、南、东南八个方向来表示，每一个方向分别用数字 0、1、2、3、4、5、6、7 表示。周长P和区域链码长度[N]之间的换算关系可以表示为式4。

[P=N×1.11072] （4）

如全色图像通过特征提取得到[m]个典型面元，面元的面积，面元周长，轮廓弯曲程度分别表示为[RSi]、[RPi]和[Rdri][（i=1，...，m）]。高光谱图像提取出[n]个面元，面元面积，面元周长，轮廓弯曲程度表示为[ISi]、[IPi]和[Idri（i=1，...，n）]。全色图像和高光谱图像的分辨率比例为[kratio]。如果这两幅输入图像的面元特征要完全匹配，理论上来说面元面积比、面元周长比应该严格与图像分辨率比例相等，同时面元的弯曲程度应当一致。实际配准过程中存在一定的噪声干扰，因此定义匹配准则如式 匹配的面元的面积、周长、弯曲程度应满足下列相似性。

[ε1≤RSiISi×kratio≤ε2] （5）

[ε3≤RPiIPi×kratio≤ε4] （6）

[ε5≤RdriIdri≤ε6] （7）

上式中，[ε1]、[ε2]、[ε3]、[ε4]、[ε5]、[ε6]的约束条件为[0≤ε1]、[ε3]、[ε5≤1]，[1≤ε2]、[ε4]、[ε6≤2]。根据上述匹配准则构建面元关系矩阵[SPDij（m，n）]，[SPDij]为1表示相应的面元满足约束条件。

1.2.2 基于仿射不变距最小距离精匹配

基于区域链码多相似测度建立的面元关系矩阵能够对面元进行粗匹配，然而匹配精度并不高，因此引入仿射不变距[7]，构建面元不变距矩阵，对待匹配面元进行精细匹配。在面元关系矩阵[SPDij（m，n）]的基础上，对面元特征的相似性进行度量，获得最终匹配面元。取七个不变距的前三个不变距作为依据，定义如式 。

[?1=η20+η02] （8）

[?2=η20-η022+4η112] （9）

[?3=η30-3η122+3η21-η032] （10）

[ηpq=μpqμ00γ，p=0，1，2，3，q=0，1，2，3，p+q≤3] （11）

[dij=k=13?iR（k）-?jI（k）2] （12）

上式中[μpq]为[p+q]阶中心距，[γ=（p+q）/2+1]，[?iR（k）]是指输入图像的第[i]个面元[k]阶仿射矩，[?jI（k）]是指待配准图像的第[j]个面元[k]阶仿射矩，仿射不变距距离[dij]越小面元特征越相似。

2 实验仿真与分析

本次实验选取的待配准图像是大小为[326×352]的某一高光谱图像的第65个波段的图像，选取的参考图像则是[2592×2800]的全色图像。

首先采用直方图比例阈值分割方法进行面元提取，采用数学形态学的开闭运算对图像进行腐蚀和膨胀，消除噪声和空洞，提取闭合连通区域。最后，为了方便特征匹配，去掉过小与过大的面元，选取合适的面元从而完成特征的提取。全色图像分割图如图3所示。

对高光谱图像，采用基于混合像元分解方法对图像进行分割，手动提取到三种植被、房屋、平原、山地六种端元，以这六种端元信息为依据对高光谱图像进行分类， 如图4。以类为单位对图像进行典型区域的提取，对提取出的区域进行数学形态学腐蚀和膨胀，去除噪声和空洞，标记图像如图5，最后综合六类的面元提取结果作为高光谱图像最终的区域特征，如图6所示。

对于全色图像与高光谱图像分割得到的典型面元，首先采用基于区域链码的多相似性测度算法对面元进行粗匹配，利用面元的周长、面积、长短比值作为约束构建关系矩阵。其次，通过仿射不变距最小距离算法对符合约束条件的典型面元进行精匹配，构建面元轮廓相似性矩阵，获得最佳匹配面元对，如图7。最后计算各个面元的重心（图7中用圆圈标记），以区域重心为特征点带入仿射变换模型，利用最小二乘法[8]求解模型并通过插值重采样完成配准。

3 配准评价

配准算法优劣与否需要通过评价标准来衡量，常用的评价标准有基于镶嵌图[9]的主观评价标准和基于均方根误差[4]的客观评价标准。本文采用笔者《基于特征的遥感图像配准技术研究》[3]中提出的基于联合熵的新型评价标准对算法进，引入联合直方图，较均方根误差在视觉上更直观，较镶嵌图，直方图统计灰度特性在数据上更具有客观性。配准结果图和评价结果图如图8、9所示。由直方图可见本算法的配准精度低于1个像素的误差，表明算法在分辨率大差异的图像配准应用中的有效性。

4 结论

本文提出的针对分辨率差异较大的全色与高光谱遥感图像的配准算法是基于典型面元特征的由预匹配到精匹配的自动配准算法。整个算法分为大步骤，图像分割和区域匹配。首先分别对全色图像和高光谱图像采用阈值比例数学形态学分割算法和基于混合像元分解的图像分割算法提取典型面元特征。其次特征匹配采用基于区域链码多相似性测度准则和仿射不变距最小距离算法，构建面元关系矩阵和轮廓相似性矩阵，由粗到精最终获得最优匹配面元对。最后，计算各个面元的重心，以区域重心为特征点带入仿射变换模型，求解模型并通过插值重采样完成配准。

通过对全色与高光谱图像实验仿真证明了本文算法的有效性，与传统的基于点特征自动配准算法相比，本算法在分辨率差异极大的图像配准的应用更具优势，配准精度更高；其次，本算法同样能应用于普通图像之间的配准。综上所述，本文基于典型面元特征的全色高光谱图像自动配准算法具有优越性。

参考文献：

[1] Broehan A M. Multimodal Registration Procedure for the Initial Spatial Alignment of a Retinal Video Sequence to a Retinal Composite Image[J].

[2] IEEE Transactions on Biomedical Engineering，2010，57（8）：1991.

[3] Tzimropoulos， Georgios. Robust FFT-Based Scale-Invariant Image Registration with Image Gradients[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（10）：1899.

[4] 余婷.基于特征的遥感图像配准技术研究[D].浙江大学，2013.

[5] 吕金建.基于特征的多源遥感图像配准技术研究[D].国防科学技术大学，2008.

[6] 伍小明.基于核方法的高光谱遥感图像解混技术研究[D].浙江大学，2011.

[7] Hui Li.A Contour-Based A pproach to Multisensor Image Registration[J]. IEEE Transations on Image Processing，1995，3（4）：1809-1813.

[8] Xiaolong Dai.A Feature-Based Image Registration Algorithm Using Improved Chain-code Representation Combined with Invariant Moments[J]. IEEE Transations on Geoscience and Remote Sensing，1999.

[9] 余婷，厉小润. 基于SIFT的全自动遥感图像配准算法[J].机电工程，2012，30（1）：111-115.

[10] 温红艳.遥感图像拼接算法研究[D].华中科技大学，2009.