SAR立体影像匹配的视差图融合方法

王亚超，张继贤，黄国满，卢丽君，丁　昊,3

1. 中国矿业大学环境与测绘学院，江苏 徐州221008； 2. 中国测绘科学研究院，北京100830； 3. 中南大学地球科学与信息物理学院，湖南 长沙410083



SAR立体影像匹配的视差图融合方法

王亚超1,2，张继贤2，黄国满2，卢丽君2，丁昊2,3

1. 中国矿业大学环境与测绘学院，江苏 徐州221008； 2. 中国测绘科学研究院，北京100830； 3. 中南大学地球科学与信息物理学院，湖南 长沙410083

摘要：提出了一种基于视差图融合的匹配方法。首先，基于归一化互相关系数(normalized cross correlation, NCC)，利用多个不同尺寸的匹配窗口分别进行匹配，获取相应的视差图；然后，提出了一种左右一致性(left right consistency，LRC)和信噪比(signal to noise ratio，SNR)相结合的置信测度，用来评价视差图中每个视差的置信水平；在此基础上，提出了一种视差图融合策略，该策略对上述多个匹配窗口获取的视差图进行加权融合，融合时既考虑了视差本身的置信水平，也兼顾了其邻域视差的影响。采用TanDEM-X的聚束立体影像进行试验，结果表明，本文方法能有效减少DEM粗差点，DEM高程精度由11.28 m提高到8.41 m。

关键词：归一化互相关系数；视差图融合；置信测度；雷达摄影测量

雷达摄影测量(radargrammetry，又称StereoSAR)是合成孔径雷达(synthetic aperture radar，SAR)进行三维信息提取的一种重要技术手段，与干涉SAR相比，其对数据成像条件和地表覆盖类型的要求相对宽松。近年来，随着COSMO-SkyMed与TerraSAR-X等高分辨率SAR卫星的投入运行，雷达摄影测量得到了更为广泛的关注[1-5]。雷达摄影测量利用SAR立体影像间的视差提取地面的三维信息，其关键是提取SAR立体视差图，即影像匹配。由于SAR为侧视斜距相干成像，导致SAR影像存有斑点噪声，影像信噪比低，使得SAR立体影像的匹配变得更加困难。

SAR影像匹配方法主要有特征匹配和灰度匹配两种。特征匹配存在匹配点稀疏、匹配点集中在纹理丰富区域等缺点[6-7]，因此，在雷达摄影测量中使用较少。而灰度匹配虽存在匹配搜索耗时、匹配结果易受纹理信息影响等缺点，但通过引入更多的辅助信息和适当的匹配策略，也能取得不错的匹配效果[8-17]。文献[11]对比分析归一化互相关系数(normalized cross correlation, NCC)、互信息等不同的相似测度在SAR影像城区、山区和纹理缺乏区域3种不同场景的适应能力，结果表明NCC在场景适应性与匹配正确率上综合表现最好，同时指出在纹理缺乏区域需用较大的匹配窗口，视差不连续区域采用较小的匹配窗口。文献[12]计算窗口内的灰度变化和视差估计，自适应调整窗口大小，以适应影像不同纹理区域的要求。文献[13]采用自适应权值在保持视差不连续区域匹配正确率的同时，提高了纹理缺乏区域的匹配正确率。文献[14]将影像分割为纹理缺乏区域和纹理丰富区域，在不同区域采用不同的匹配方法。文献[15]为提高纹理缺乏区域的匹配正确率，利用多个自适应窗口的NCC相乘，以提高其置信水平，有效地提高了DEM的高程精度。文献[16]通过外部DEM和金字塔匹配策略约束匹配搜索范围，采用外部DEM和左右一致性约束(left right consistency，LRC)对NCC匹配结果进行误差控制，也取得较为可观的DEM精度。文献[17]利用信噪比(signal to noise ratio，SNR)提取NCC匹配结果中的稳定匹配点，同样取得了较高的DEM高程精度。

综上所述，多数研究致力于匹配窗口尺寸自适应或者像素权重自适应，以满足影像不同纹理区域的要求：纹理丰富区域需要较小的匹配窗口，纹理缺乏区域需要较大的匹配窗口，而上述方法受SAR影像斑点噪声影响，满足影像不同区域阈值的设置较为困难，算法易用性较差。基于此，本文提出一种基于视差图融合的匹配方法，基于提出的置信测度SL，对不同匹配窗口NCC匹配获取的视差图进行加权融合，融合时不仅考虑了视差本身的置信水平，还兼顾了其邻域视差的影响，从而实现了较高精度的匹配。

1方法

本文方法的详细流程如图1所示，方法首先选取多个不同尺寸的匹配窗口分别进行NCC匹配，获取多幅视差图，然后基于提出的置信测度SL，对视差图中的每个视差进行置信水平评价，最后依据置信水平进行多幅视差图加权融合。方法实现过程中，引入外部粗分辨率DEM和金字塔匹配策略，约束匹配搜索范围。此外，由于SAR影像存在乘性斑点噪声，影像信噪比低，滤波方法又易引入虚假纹理信息，而NCC具有一定的抗高斯噪声能力，因此，本文首先对影像进行对数变换。

图1　本文方法流程图Fig.1　Flowchart of the proposed algorithm

1.1NCC匹配方法

NCC匹配方法根据两幅影像上匹配窗口内的灰度信息进行匹配，能适应影像间的灰度线性变化，同时也具有一定的抗噪声能力，与其他相似测度(如互信息等)相比，在SAR影像匹配不同场景的适应性上综合表现最好[11]，其计算公式如下

(1)

1.2置信测度SL

NCC匹配正确率受匹配窗口尺寸影响，不同尺寸匹配窗口获取的视差图精度不同，对获取的多幅视差图进行融合，需要利用置信测度评价视差图中每个视差(匹配点)的置信水平。常用的置信测度[18-21]有MSM(matching score measure)、LRD(left right difference)、LRC、SNR等。

1.2.1LRC

LRC是一种常用的误匹配检测方法，利用双向匹配的视差之差进行置信水平评价，能成功检测出由遮挡等问题引起的误匹配点[18,21]，计算公式如下

(2)式中，dl表示以参考影像为主影像求取的视差；dr表示以待匹配影像为主影像求取的视差；l值越小，其置信水平越高，为正确匹配点的概率越大。

1.2.2SNR

SNR是一种衡量NCC匹配质量的置信测度，能有效地反映影像纹理缺乏区域和重复纹理区域匹配点的置信水平，在SAR立体影像匹配中使用广泛[17,20]，其定义如下

(3)

1.2.3SL

由式(2)可知，LRC取值为一系列离散值(如0，1，…)，其值越小，置信水平越高，但对多幅视差图进行融合时，当匹配点的LRC值相等时，不能对视差进行优选，影响融合后的视差图精度；置信测度SNR取值为连续值，其值越大，置信水平越高，其只利用NCC最大值与NCC搜索范围内平均值进行置信水平评价，没有顾及双向匹配的视差约束。基于此，本文结合LRC和SNR，提出一种新的置信测度SL，其定义为

(4)

1.3视差图融合策略

基于提出的置信测度SL，对不同尺寸匹配窗口获取的视差图中每个视差进行置信水平评价。视差的置信水平受匹配窗口尺寸、匹配窗口内信息量等的影响，不同尺寸匹配窗口获取的视差，其置信水平不同，而直接根据视差本身的置信水平进行融合，则未考虑邻域视差的影响。基于此，本文提出一种视差图融合策略，该策略利用视差本身和其邻域视差的置信水平进行加权计算，比较选出置信水平最高的视差，融合过程如图2所示。

(1) 由不同尺寸的匹配窗口进行NCC匹配获取的视差图记为Di(i=1,2,…,n)，n表示匹配窗口的个数。融合后的视差图记为Df，对于Df上每一位置(xc,yc)，在Di(xc,yc)周围选取一定尺寸的融合窗口W，如图2(a)中矩形框所示，其邻域视差的权重wi(x,y)由其与中心像素的视差之差决定，定义为

(5)

式中，di(xc,yc)表示Di上融合窗口中心像素的视差值；di(x,y)表示Di上融合窗口内像素的视差值；W表示选取的融合窗口；e为自然常数。

(2) 根据融合窗口内各视差的权重wi(x,y)和置信水平，计算位置(xc,yc)的总置信水平ci(xc,yc,di)，其计算公式为

(6)

式中，sli(x,y)表示Di(x,y)位置处的置信水平。

(3)比较多幅视差图(xc,yc)位置处的总置信水平，选取总置信水平最高的视差作为最终视差Df(xc,yc,d)，如图2(c)所示，定义为

Df(xc,yc,d)=argmax[ci(xc,yc,di)]

(7)

图2　视差图融合过程Fig.2　The procedure of disparity maps fusion

1.4误匹配剔除

金字塔匹配策略能有效地约束匹配搜索范围，提高算法运行速度，但金字塔上层匹配结果中的误匹配点，在下层匹配中影响区域会逐渐增大，因此，有必要剔除金字塔匹配过程中的误匹配点。本文采用文献[16]的方法，利用融合后的视差图计算出每一点的高程，并与采用的外部粗分辨率DEM高程作差，大于外部DEM的高程误差的4倍视为误匹配点。与文献[16]不同的是，本文误匹配点的视差由其相邻像素视差的最小值代替，主要是因为立体SAR影像为近似核线影像[8]，其与邻域像素的视差较为接近，而采用外部粗分辨率DEM构建的初始视差受其精度影响，其搜索范围会随着匹配传递而增大。

2试验与分析

2.1试验数据

试验数据采用TanDEM-X卫星升轨聚束地距立体影像，试验区位于四川省南充市下辖的南部县，影像覆盖区域以山地为主，区域高程变化范围约为270～550m。影像方位向分辨率约为1.3m，距离向分辨率约为1.5m，影像中心侧视角θ分别为37.7°和51.6°，如图3所示。

为验证本文匹配方法的有效性，本文选取3个不同尺寸的匹配窗口分别进行NCC匹配，匹配窗口分别设置为7×7、11×11、15×15。试验时先对试验数据进行常数对数变换，然后构建金字塔影像：金字塔影像层数设置为4层，每层金字塔影像的1个像素对应于下层金字塔影像的4个像素，上层金字塔影像是由下层金字塔影像经均值滤波获得。试验采用的外部粗分辨率DEM为SRTM的3弧秒DEM，高程精度标称约为18m。试验过程中依据采用的外部DEM，对于金字塔顶层参考影像上每个像素，利用距离多普勒模型依次进行直接定位和间接定位[22]，从而获得金字塔顶层影像每个像素的初始视差。考虑到SRTM的高程基准为EGM96，与大地高存在高程异常，金字塔影像顶层匹配时距离向搜索范围设置为17像素，金字塔其余各层距离向搜索范围设置为11像素，方位向搜索范围恒为3像素。算法程序基于VisualStudio2008C++编程实现。

注：红色点为试验区实地量测的6个地面控制点图3　试验影像Fig.3　Test images

2.2置信测度的有效性分析

为准确评价本文提出的置信测度的有效性，试验对比分析了几种常用的置信测度，而置信测度LRC没有进行对比，这是由于视差图融合时，多个匹配点可能具有相同的LRC值。试验过程中只根据匹配点本身的置信水平进行视差图融合，以避免视差图融合策略的影响。试验时先对影像进行常数对数变换，然后再进行不同尺寸匹配窗口的匹配结果进行融合。试验结果采用误匹配百分比进行评价。由于原始影像匹配点的真实位置不可知，试验影像为8视处理后的影像，其匹配点的真实位置可以根据立体影像间的几何定位关系获得，几何定位时采用的DEM为国家1∶1万的大地高DEM，几何定位精度约为1个像素，故可以视几何定位点作为匹配点的真实位置。

图4是几种不同置信测度进行视差图融合的结果，图中“窗7”“窗11”“窗15”分别表示试验影像对应窗口NCC匹配结果，“窗7′”“窗11′”“窗15′”分别表示对数变换后的试验影像对应窗口NCC匹配结果。从图4中可以看出：①对数变换后的误匹配百分比均小于变换前的匹配结果，说明本文进行对数变换的有效性；②SNR、LRD和SL误匹配百分比均优于融合前单一匹配窗口获取的匹配结果，表明本文利用多幅视差图进行融合，能有效提高匹配正确率；③SL的误匹配百分比最小，优于SNR，说明本文结合LRC和SNR进行置信水平评价的有效性。

图4　置信测度的有效性分析图Fig.4　performance of different confidence measures

2.3融合窗口尺寸的性能分析

视差图融合策略需要设置的唯一参数是融合窗口尺寸，为测试视差图融合窗口尺寸对匹配结果的影响，本文设置不同尺寸的融合窗口，其变化范围是1～21个像素。试验影像和评价方法同2.2节。需要说明的是：当融合窗口设置为1个像素时，即根据视差本身的置信测度进行视差图融合。

如图5所示，融合窗口尺寸为7时误匹配百分比最小，误匹配百分比与融合窗口尺寸为1时相比减少13%，说明采用考虑邻域视差影响的融合策略，能有效提高匹配正确率。随着融合窗口进一步增大，误匹配百分比随之增大，这主要由于试验影像以山区为主，透视收缩等视差不连续区域较多，而采用较大的融合窗口进行视差图融合时，易受与中心像素视差相等的误匹配影响。因此，在视差图融合过程中，融合窗口尺寸的选取需要考虑整幅影像的视差不连续区域，本文采用的融合窗口尺寸为7。

图5　融合窗口尺寸对视差图融合结果的影响Fig.5　Performance of disparity maps fusion with respect to different fuse window sizes

2.4结果DEM精度分析

为了准确评价本文方法的有效性，本文依据距离多普勒几何定位模型，将融合后的视差图利用几何交会原理[15]生成DEM，如图6所示。采用国家标准图幅1∶1万的大地高DEM作为参考，DEM的格网间隔为5m。本文从像素高差统计百分比和误差统计量2个方面进行DEM精度评价，表1列出了试验生成的DEM高程精度，表中“窗口7”“窗口11”“窗口15”分别表示对应尺寸匹配窗口NCC匹配生成的DEM。

表1统计结果表明：本文方法生成的DEM精度在像素高差统计百分比和误差统计量两个方面均优于单一匹配窗口的DEM，与单一窗口最优DEM(窗口15)相比，高程精度提高了2.9m，DEM误差小于5m的像素百分比提高了6.3%，说明本文匹配方法能有效提高匹配正确率，较大幅度地减少了粗差点，进而提高DEM精度。

从图6中可以看出，采用单一匹配窗口生成的DEM均存在一些明显的异常值区域，而本文方法生成的DEM异常值区域大幅减少。由表1也可知，本文方法生成的DEM误差最大值和最小值都得到明显的降低，大幅降低了DEM的粗差范围，表明本文视差图融合策略能综合利用不同匹配窗口的匹配结果，进而提高匹配正确率。

表1　试验DEM高程差异统计

图6　DEM结果Fig.6　DEMs derived from experiment

本文还利用实地量测6个GPS控制点对本文方法生成的DEM进行平面精度和高程精度验证，本文方法生成的DEM的平面精度：东方向为1.82 m，北方向为2.69 m；高程精度为2.47 m。各个控制点的精度如表2所示。

表2　点位精度评价

3结论

针对影像不同纹理区域的需求，本文提出了一种SAR立体影像匹配的视差图融合方法，该方法根据提出的置信测度和视差图融合策略，综合利用不同匹配窗口的匹配结果，从而提高金字塔每层的匹配正确率，进而实现SAR立体影像的较高精度匹配。该方法避免了窗口自适应机制的权重计算和自适应准则设置等问题。试验结果表明，本文方法能够大幅减少DEM的粗差点，进而提高了DEM精度。然而，由于本文方法利用多个不同的匹配窗口分别进行匹配，导致匹配算法的复杂度比较高，后续研究将通过并行化处理，进一步提高算法运行速度。

致谢：特别感谢DLR提供的TanDEM-X立体数据(XTI_VEGE6692)。

参考文献：

[1]LEBERL F, DOMIK G, RRGGAM J, et al. Radar Stereo-mapping Techniques and Application to SIR-B Images of Mt. Shasta[J]. IEEE Transactions on Geoscience and Remote Sensing, 1986, GE-24(4): 473-481.

[2]TOUTIN T. Evaluation of Radargrammetric DEM from RADARSAT Images in High Relief Areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2000, 38(2): 782-789.

[3]TOUTIN T. Impact of Radarsat-2 SAR Ultrafine-mode Parameters on Stereo-radargrammetric DEMs[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(10): 3816-3823.

[4]CAPALDO P, CRESPI M, FRATARCANGELI F, et al. High-resolution SAR Radargrammetry: A First Application with COSMO-SkyMed SpotLight Imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(6): 1100-1104.

[5]TOUTIN T, BLONDEL E, CLAVET D, et al. Stereo Radargrammetry with Radarsat-2 in the Canadian Arctic[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(5): 2601-2609.

[6]DELLINGER F, DELON J, GOUSSEAU Y, et al. SAR-SIFT: A SIFT-like Algorithm for SAR Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(1): 453-466.

[7]丁昊, 张继贤, 黄国满, 等. 多基线机载合成孔径雷达影像匹配的SANCC法[J]. 测绘学报, 2015, 44(3): 274-281. DOI: 10.11947/j.AGCS.2015.20140257.

DING Hao, ZHANG Jixian, HUANG Guoman, et al. Multi-image Matching of Airborne SAR Imagery by SANCC[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(3): 274-281. DOI: 10.11947/j.AGCS.2015.20140257.

[8]BALZ T, ZHANG Lu, LIAO Mingsheng. Direct Stereo Radargrammetric Processing Using Massively Parallel Processing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 79: 137-146.

[9]GUTJAHR K, PERKO R, RAGGAM H, et al. The Epipolarity Constraint in Stereo-radargrammetric DEM Generation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 5014-5022.

[10]RAGGAM H, GUTJAHR K, PERKO R, et al. Assessment of the Stereo-radargrammetric Mapping Potential of TerraSAR-X Multibeam Spotlight Data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(2): 971-977.

[11]OLLER G, ROGNANT L, MARTHON P. Correlation and Similarity Measures for SAR Image Matching[C]∥Proceedings of the SPIE SAR Image Analysis, Modeling, and Techniques VI. Barcelona: SPIE, 2004, 5236: 182-189.

[12]林宗坚, 刘正坤, 支晓栋. 一种基于统计模型的自适应窗口匹配方法[J]. 测绘科学, 2010, 35(6): 5-8.

LIN Zongjian, LIU Zhengkun, ZHI Xiaodong. A Matching Method with Adaptive Window Based on a Statistical Model[J]. Science of Surveying and Mapping, 2010, 35(6): 5-8.

[13]YOON K J, KWEON I S. Adaptive Support-weight Approach for Correspondence Search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 650-656.

[14]曹晓倩, 马彩文. 基于弱纹理检测及视差图融合的立体匹配[J]. 仪器仪表学报, 2013, 34(9): 2074-2079.

CAO Xiaoqian, MA Caiwen. Stereo Matching Based on Low-texture Detection and Disparity Map Fusion[J]. Chinese Journal of Scientific Instrument, 2013, 34(9): 2074-2079.

[15]MERIC S, FAYARD F, POTTIER E. A Multiwindow Approach for Radargrammetric Improvements[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10): 3803-3810.

[16]贺雪艳, 张路, BALZ T, 等. 利用外部DEM辅助山区SAR立体像对匹配及地形制图[J]. 测绘学报, 2013, 42(3): 425-432.

HE Xueyan, ZHANG Lu, BALZ T, et al. Topographic Mapping in Mountainous Areas Using StereoSAR Assisted by External DEM[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(3): 425-432.

[17]CAPALDO P, NASCETTI A, PORFIRI M, et al. Evaluation and Comparison of Different Radargrammetric Approaches for Digital Surface Models Generation from COSMO-SkyMed, TerraSAR-X, RADARSAT-2 Imagery: Analysis of Beauport (Canada) Test Site[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 100: 60-70.

[18]HU Xiaoyan, MORDOHAI P. A Quantitative Evaluation of Confidence Measures for Stereo Vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2121-2133.

[19]SAYGILI G, VAN DER MAATEN L, HENDRIKS E A. Adaptive Stereo Similarity Fusion Using Confidence Measures[J]. Computer Vision and Image Understanding, 2015, 135: 95-108.

[20]LEE H. Opposite-side Radargrammetry of Magellan Synthetic Aperture Radar on Venus[J]. Geosciences Journal, 2012, 16(2): 165-170.

[21]EGNAL G, MINTZ M, WILDES R P. A Stereo Confidence Metric Using Single View Imagery with Comparison to Five Alternative Approaches[J]. Image and Vision Computing, 2004, 22(12): 943-957.

[22]陈尔学. 星载合成孔径雷达影像正射校正方法研究[D]. 北京: 中国林业科学研究院, 2004.

CHEN Erxue. Study on Ortho-rectification Methodology of Space-borne Synthetic Aperture Radar Imagery[D]. Beijing: Chinese Academy of Forestry, 2004.

(责任编辑：张艳玲)

修回日期： 2016-05-02

First author： WANG Yachao(1986—)，male，PhD candidate，majors in radargrammetry.

E-mail： wyccumt@126.com

中图分类号：P237

文献标识码：A

文章编号：1001-1595(2016)07-0818-07

基金项目：测绘地理信息公益性行业科研专项(201412002)；国家自然科学基金(41401530)；对地观测技术国家测绘地理信息局重点实验室基金项目(K201501)

收稿日期：2016-01-27

第一作者简介：王亚超(1986—)，男，博士生，研究方向为雷达摄影测量。

A StereoSAR Matching Method Based on Disparity Maps Fusion

WANG Yachao1,2,ZHANG Jixian2,HUANG Guoman2,LU Lijun2,DING Hao2,3

1. School of Environmental Science and Spatial Informatics, China University of Mining and Technology, Xuzhou 221008, China; 2. China Academy of Surveying and Mapping, Beijing 100830, China; 3. School of Geosciences and Info-Physics, Central South University, Changsha 410083, China

Abstract：A matching algorithm based on disparity maps fusion is proposed. Firstly, on the basis of normalized cross correlation(NCC), various disparity maps are computed using several different matching window sizes. Then, for each disparity of each disparity maps, the confidence level is evaluated by a new confidence measure, which combined left right consistency(LRC) with signal to noise ratio(SNR). Finally, a new proposed disparity maps fusion strategy is used for formation of weighted disparity map in terms of confidence level. This disparity maps fusion strategy considers not only the confidence level of the disparity itself but also its neighbors. The algorithm has been applied to a pair of TanDEM-X spotlight stereo images. The results demonstrate that the accuracy of DEM generated with the proposed algorithm is improved from 11.28 m to 8.41 m and the gross errors are effectively reduced.

Key words：normalized cross correlation(NCC); disparity maps fusion; confidence measure; radargrammetryFoundation support： Public Science Research Program of Surveying, Mapping and Geoinformation (No.201412002); The National Natural Science Foundation of China (No.41401530); Funded by the Key Laboratory of Mapping from Space, National Administration of Surveying, Mapping and Geoinformation (No.K201501)

引文格式：王亚超，张继贤，黄国满，等.SAR立体影像匹配的视差图融合方法[J].测绘学报，2016,45(7)：818-824. DOI:10.11947/j.AGCS.2016.20160040.

WANG Yachao, ZHANG Jixian, HUANG Guoman, et al.A StereoSAR Matching Method Based on Disparity Maps Fusion[J]. Acta Geodaetica et Cartographica Sinica,2016,45(7):818-824. DOI:10.11947/j.AGCS.2016.20160040.