L0级机载三线阵影像连接点自动提取

杜守基， 邹峥嵘， 张云生1,， 张明磊

(1.水能资源利用关键技术湖南省重点实验室，长沙 410014；2.中南大学地球科学与信息物理学院,长沙 410083)

L0级机载三线阵影像连接点自动提取

杜守基2， 邹峥嵘2， 张云生1,2， 张明磊2

(1.水能资源利用关键技术湖南省重点实验室，长沙 410014；2.中南大学地球科学与信息物理学院,长沙 410083)

针对L0级机载三线阵影像数据量大以及变形大的问题，提出一种基于SIFT和相关系数法匹配相结合的连接点提取方法。首先，建立金字塔影像后，在影像金字塔顶层采用SIFT算法匹配同名点； 然后,基于金字塔匹配传播以及相关系数法实现连接点的传递； 最后,通过POS数据几何约束剔除可能的误差，并进行分布优化。3个条带ADS40影像的试验结果表明： 与常规连接点提取方法相比，该文方法匹配正确率提高6%以上，且连接点分布更均匀，可以满足自动空三的需求。

三线阵影像； 影像匹配； SIFT特征； 相关系数法； 金字塔影像

0 引言

由于传感器姿态高频率变化、飞行平台抖动以及POS系统本身存在的系统误差，机载三线阵系统提供的POS数据还不能满足高精度的测图要求，需要通过自动空三来进一步提高外定向数据的精度[1-2]，而高精度、高可靠性的影像连接点是进行自动空三的基础。三线阵影像是非等倾斜摄影产生的，前视、下视和后视的摄影角度不同，对应的视差和影像纹理不如框幅式影像的一致性好[3]。另外，三线阵影像还存在数据量大、影像变形大等问题，给传统的连接点提取方法带来了一定的困难。

对于三线阵影像匹配，张永生等[4]提出用于ADS40传感器的多视觉立体匹配算法模型； 纪松等[5]提出几何条件约束下的自适应三线阵影像匹配模型，并与范大昭等[6-7]改进了铅垂线轨迹法多视匹配模型； 张力等[8]提出几何约束互相关多视匹配模型，这些方法主要用于生成高精度数字表面模型，依赖于精确的外方位元素，而机载三线阵系统提供的POS数据带有一定的误差，需要提取影像连接点进行平差以提高外方位元素的精度。赵斐等[3]采用基于金字塔分层动态窗口运算的相关系数法来自动量测三线阵影像空三加密点，通过实验证明了该方法的有效性。孟俊俊等[9]提出基于POS数据约束的ADS40影像SIFT匹配方法，该方法应用于纠正后的L1级影像，会受到几何纠正等预处理的影响。

影像数据量大和变形大是机载三线阵影像连接点提取需要解决的2个问题。针对影像数据量大的特点，本文采用由粗到精的金字塔影像匹配策略，首先在低分辨率影像上进行匹配，然后将匹配结果作为约束信息向下一层金字塔影像传递[10]，直至原始影像。针对机载三线阵影像变形大的问题，虽然经过几何校正后的L1级影像变形减小，有利于匹配，但是将L0级影像纠正成L1级影像需要耗费较多时间，而变形较大的L0级影像又难以使用常规相关系数法进行匹配。综上考虑，本文提出一种基于SIFT和相关系数法匹配相结合的L0级机载三线阵影像连接点提取方法。

1 连接点自动提取方法

连接点自动提取方法主要包括影像预处理、基于SIFT算法的顶层同名点匹配、连接点金字塔影像匹配传播和连接点优化4个步骤，流程如图1所示。

图1 连接点自动提取流程

本文首先生成金字塔影像，并对顶层金字塔影像进行Wallis滤波，以增强和锐化影像的纹理信息； 其次在顶层金字塔影像上提取SIFT特征点并进行匹配，获取顶层影像上的连接点，然后通过金字塔影像匹配传播将顶层影像上的连接点传递到原始影像； 最后采用几何约束剔除错误匹配点，并进行分布优化。

1.1 影像预处理

1.1.1 金字塔影像的生成

由于机载三线阵影像分辨率高、数据量大，为了提高影像匹配结果的可靠性，采用由粗到精的金字塔影像匹配策略，一方面保留影像大的整体结构特征，增大影像的拉入范围，从而在高层影像上提高匹配的可靠性； 另一方面，在匹配过程中，高一层影像上的匹配结果可以作为下一层影像的参考，从而使得下一层影像上匹配的搜索范围变小，以提高匹配的效率。本文采用2×2的平均金字塔方法来生成金字塔影像。

1.1.2 影像增强

机载三线阵影像前视、下视和后视的航摄角度不同，影像之间的颜色和纹理存在一定的差异，因此在顶层影像提取SIFT特征点之前对影像进行Wallis滤波，以增强和锐化影像的纹理信息，增加影像的信噪比，从而提高影像匹配的精度和可靠性[11-13]。

1.2 基于SIFT算法的顶层同名点匹配

根据SIFT算法原理，特征点表示为

f=(x,s,o,d)[14]，

(1)

式中：x为特征点坐标；s为尺度；o为方向；d为128维描述符。在进行匹配时，采用K-d树对搜索影像的SIFT特征描述符建立空间索引[15]，之后利用欧氏距离作为相似性度量，找出参考影像与搜索影像中欧式距离最近的前2个特征点，计算最近与次近距离之间的比值，当比值小于某个阈值时，则认为是一对同名点，阈值越小，则匹配的同名点数量越少，但是匹配正确率越高，为了兼顾匹配点数量和正确率，本文将阈值设为0.6。

多条带三线阵顶层金字塔影像连接点匹配过程主要包括条带内匹配和条带间匹配，如图2所示。

图2 条带影像匹配示意图

条带内匹配以条带1为例，下视影像1_N分别与前视影像1_F和后视影像1_B进行匹配，对得到的2个匹配结果以1_N为基准进行连接串点，即提取出在3张影像上的匹配点，以减少因遮挡等导致的误匹配问题，提高匹配的可靠性，条带1中的匹配点包括：p1-p4-p7，p2-p5-p8，p3-p6-p9，称其为3度重叠点。通过条带内匹配成功的匹配点再进行条带间匹配，以条带1和2为例，以条带1的下视影像1_N为基准，先双向匹配条带2的下视影像2_N，匹配成功的点再传递给条带1的1_F和1_B以及条带2的2_F和2_B。由于机载三线阵影像条带间重叠度为30%左右，所以条带间重叠部分的匹配点会出现在6张影像上，即为6度重叠点(如p3-p6-p9-p10-p13-p16)。以此类推便可得到金字塔顶层影像上多条带上的连接点。

1.3 连接点金字塔影像匹配传播

将连接点向下传递，直至原始影像。连接点传递到下一层金字塔影像时，高一层影像上的匹配结果作为下一层影像上的连接点初始值，因此下一层影像匹配只需要在小范围内搜索。以图2中的连接点p1-p4-p7为例来说明连接点的传递流程(图3)。

图3 连接点传递流程

由图3可知，p1-p4-p7为顶层金字塔影像上匹配的连接点。由于在生成金字塔影像时采用了4像元平均法，所以将p1，p4和p7坐标值的2倍作为第2层金字塔影像上连接点坐标的初始值，初始连接点分别记为p1_2，p4_2和p7_2。以p1_2为基准，在点p4_2和p7_2附近寻找点p1_2的最优匹配点，分别记为p4_2′和p7_2′，并以该层的最优匹配点p1_2-p4_2′-p7_2′为基准，继续向下一层金字塔影像传递，直至原始影像。

采用相关系数法匹配约束连接点的传递，搜索邻域范围设置为3像元×3像元，相关系数窗口大小设置为11像元×11像元，具体计算过程如图4所示。p1_2，p4_2和p7_2分别与图3相对应，是由上一层金字塔影像传递而来。在该层金字塔影像的

图4 连接点传递过程中的约束匹配

Fig.4 Constraint matching in tie points propagating

下视影像上读取121个像元(11×11)的灰度值，前视和后视影像上分别读取169个像元(13×13)的灰度值，以p1_2为基准，在前视后视影像上p4_2和p7_2附近3×3邻域内分别计算9个相关系数，以相关系数最大且大于给定阈值(由于L0级三线阵影像存在较大几何变形，为了保证同名点可靠性，本文相关系数阈值取经验值0.7)的点为该层金字塔前视后视影像上的最优匹配点。

条带之间的6度连接点传递是以条带1的下视影像1_N(图2)为基准，约束前视影像1_F、后视影像1_B以及条带2的下视影像2_N重叠部分连接点的传递，然后再以2_N为基准，约束条带2的前视影像2_F和后视影像2_B连接点的传递，其余条带以此类推。

1.4 连接点优化

经过以上步骤提取的原始影像上的连接点难免会有错误匹配点存在，需要进行粗差剔除。另外，提取的连接点分布不均匀，不利于自动空三工作。

1.4.1 粗差剔除

由于机载三线阵系统的POS数据一般具有较高的精度，因此利用几何条件来进行误匹配的剔除，如图5所示。

图5 几何约束剔除错误匹配点

(2)

1.4.2 分布优化

为了便于后续的平差计算，需要保证影像上有一定数量连接点的同时，还要尽量让这些连接点均匀分布于影像。连接点分布优化逐条带进行，首先根据条带内下视影像上所有连接点的坐标计算外包盒，然后根据需要的连接点数，将外包盒自动划分规则格网，每个格网内只保留距离格网中心最近的点。本文将3度连接点划分200个格网，6度连接点划分100个格网。由于划分的是规则格网，每个条带重叠区域大小可能不同，所以自动划分的格网数目可能会稍多于或者少于所设置的格网数目。

2 结果与分析

2.1 试验数据

试验采用3个条带共9张L0级ADS40影像。3个条带影像大小分别为12 000像元×79 056像元、12 000像元×80 912像元、12 000像元×88 752像元，前视、下视和后视影像的航摄角分别为27°，0°和14°。试验中所用计算机处理器为i5(3.20GHz)四核，内存为8 GB，程序采用C++实现。

2.2 连接点自动提取结果

对3个条带影像自动提取连接点，人工逐点检查匹配点的正确性，连接点自动提取结果如表1和表2所示。

表1 3度连接点自动提取结果

表2 6度连接点自动提取结果

本文方法提取的连接点分为条带内的3度连接点和条带间的6度连接点2类。由表1和表2可以看出，本文方法提取的连接点误匹配数较少，且连接点总数可以满足后续的平差计算。经过POS数据几何约束剔除错误匹配点后，结果中仍然会含有少量错误匹配点，主要原因是机载三线阵系统提供的初始POS数据精度不足以将全部错误匹配点剔除。

条带1中3度连接点结果如图6所示，从上到下依次为前视、下视和后视影像。图上不同影像上的连接点用不同颜色来显示，且同名点用彩色线条连接，可以看出，本文方法提取的连接点在影像上分布较为均匀，利于后续的平差计算。

图6 条带1中3度连接点提取结果

2.3 自动提取结果比较

为了进行对比分析，本文还利用常规方法提取影像连接点，同样采用由粗到精的金字塔影像匹配策略，通过初始视差确定下视影像与前视后视影像间的3度重叠区域[16]，在顶层金字塔影像上，将重叠区域均匀划分200个格网，并在每个格网内提取Harris特征点[17]，采用相关系数法进行同名点匹配，经过逐层金字塔影像匹配直至原始影像，相关系数阈值设为0.7。常规方法连接点提取结果如表3所示。

表3 常规方法3度连接点提取结果

通过人工逐点检查，分别对3个条带影像内提取的3度连接点进行匹配正确率和格网匹配率评价，其中格网匹配率是指落入匹配点的格网数目与划分格网总数的比值。由于在分布优化时，每个格网内保留了距格网中心最近的点，该点通常在该格网内，但也可能会在附近的另一个格网内，使得该格网内并没有落入匹配点，因此存在落入匹配点的格网数目少于划分格网总数的情况。连接点提取结果对比如表4所示。

表4 连接点提取结果对比

由表4可知，本文方法明显优于常规影像连接点提取方法，主要原因是L0级ADS40 影像变形较大，而且非等倾斜摄影产生的影像角度、光照等差别较大，常规方法难以适用，容易造成错误匹配。另外，本文方法的格网匹配率要高于常规方法，可以看出对于变形较大的L0级ADS40影像，常规提取方法难以匹配出分布均匀的连接点，不利于后续的平差计算。

3 结论

1)针对L0级机载三线阵影像数据量大、变形大等问题，本文提出了一种基于SIFT和相关系数法匹配相结合的连接点提取方法，对于可能的错误匹配，采用POS数据几何约束来进行剔除。

2)采用ADS40影像进行试验，并与常规连接点提取方法进行比较，匹配正确率提高6%以上，且连接点分布更均匀，试验结果可以满足自动空三的需求。

3)由于机载三线阵系统提供的POS数据精度不足以将全部误匹配点剔除，所以本文提取结果中仍含有少量错误匹配点。下一步工作将研究如何进一步剔除剩余的错误匹配点。

[1] 李德仁,赵双明,陆宇红,等.机载三线阵传感器影像区域网联合平差[J].测绘学报,2007,36(3):245-250. Li D R,Zhao S M,Lu Y H,et al.Combined block adjustment for airborne three-line CCD scanner images[J].Acta Geodaetica et Cartographica Sinica,2007,36(3):245-250.

[2] 赵双明.机载三线阵传感器影像区域网联合平差研究[D].武汉:武汉大学,2007. Zhao S M.Block Combined Adjustment for Airborne Three Line Scanner Sensors[D].Wuhan:Wuhan University,2007.

[3] 赵斐,胡莘,关泽群,等.三线阵CCD影像的像点自动匹配技术研究[J].测绘科学,2008,33(4):12-14,44. Zhao F,Hu X,Guan Z Q,et al.Study of automatic matching technology of image points for three line array CCD imaging[J].Science of Surveying and Mapping,2008,33(4):12-14,44.

[4] 张永生,范大昭,纪松.用于ADS40传感器的多视觉立体匹配算法模型[J].测绘科学技术学报,2007,24(2):83-86. Zhang Y S,Fan D Z,Ji S.Multi-view matching algorithm model for ADS40 sensor[J].Journal of Zhengzhou Institute of Surveying and Mapping,2007,24(2):83-86.

[5] 纪松,范大昭,张永生,等.基于AMMGC三线阵影像多视匹配模型的DSM自动提取[J].测绘科学,2009,34(2):139-141. Ji S,Fan D Z,Zhang Y S,et al.Automatic DSM generation from three-line-array digital images based on AMMGC multiple-image matching model[J].Science of Surveying and Mapping,2009,34(2):139-141.

[6] 纪松,范大昭,张永生,等.多视匹配MVLL算法及其在ADS40线阵影像中的运用[J].武汉大学学报:信息科学版,2009,34(1):28-31. Ji S,Fan D Z,Zhang Y S,et al.MVLL Multi-image matching model and its application in ADS40 linear array images[J].Geomatics and Information Science of Wuhan University,2009,34(1):28-31.

[7] Fan D Z,Ji S,Lei R.Investigation of multi-view matching models for Three-line-array digital imagery[C]//Proceedings of 2010 the 3rd International Conference on Applied Informatics and Communication.Berlin Heidelberg:Springer,2010:59-65.

[8] Zhang L.Automatic Digital Surface Model(DSM) Generation from Linear Array Images[D].Zurich:Swiss Federal Institute of Technology Zürich,2005.

[9] 孟俊俊,马慧云,石宁,等.基于POS数据约束的ADS40影像SIFT匹配方法[J].信息工程大学学报,2014,15(3):370-374. Meng J J,Ma H Y,Shi N,et al.ADS40 image matching method based on SIFT features constrained by POS data[J].Journal of Information Engineering University,2014,15(3):370-374.

[10]耿迅,徐青,兰远鸽,等.火星快车HRSC影像光束法平差连接点自动生成方法[C]//中国宇航学会深空探测技术专业委员会第十届学术年会论文集.北京:中国宇航学会深空探测技术专业委员会,2013. Geng X,Xu Q,Lan Y G,et al.An automatic tie points generating method for HRSC images bundle adjustment[C]//Proceedings of The Tenth Academic Annual Meeting of Chinese Society of Astronautics-Deep Space Exploration Committee.Beijing,2013.

[11]唐敏,李永树,李歆,等.无人机影像局部增强方法及其在影像匹配中的应用[J].国土资源遥感,2013,25(4):53-57.doi:10.6046/gtzyyg.2013.04.09. Tang M,Li Y S,Li X,et al.Local enhancement method and its applications to UAV image matching[J].Remote Sensing for Land and Resources,2013,25(4):53-57.doi:10.6046/gtzyyg.2013.04.09.

[12]张力,张祖勋,张剑清.Wallis滤波在影像匹配中的应用[J].武汉测绘科技大学学报,1999,24(1):24-27,35. Zhang L,Zhang Z X,Zhang J Q.The image matching based on Wallis filtering[J].Journal of Wuhan Technical University of Surveying and Mapping,1999,24(1):24-27,35.

[13]Xiong J X,Zhang Y.Combined multi-view matching algorithm with long-strips of satellite imagery from different orbits[J].ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences,2012,I-3:87-92.

[14]戴激光,宋伟东,李玉.渐进式异源光学卫星影像SIFT匹配方法[J].测绘学报,2014,43(7):746-752. Dai J G,Song W D,Li Y.Progressive SIFT matching algorithm for multi-source optical satellite images[J].Acta Geodaetica et Cartographica Sinica,2014,43(7):746-752.

[15]王佩军,徐亚明.摄影测量学[M].武汉:武汉大学出版社,2012:134-137. Wang P J,Xu Y M.Photogrammetry[M].Wuhan:Wuhan University Press,2012:134-137.

[16]袁修孝,明洋.POS辅助航带间航摄影像的自动转点[J].测绘学报,2010,39(2):156-161. Yuan X X,Ming Y.POS-supported matching method for aerial images between neighboring strips[J].Acta Geodaetica et Cartographica Sinica,2010,39(2):156-161.

[17]张登荣,刘辅兵,俞乐,等.基于Harris算子的遥感影像自适应特征提取方法[J].国土资源遥感,2006,18(2):35-38.doi:10.6046/gtzyyg.2006.02.09. Zhang D R,Liu F B,Yu L,et al.An Auto-adapted features extraction method based on Harris operator[J].Remote Sensing for Land and Resources,2006,18(2):35-38.doi:10.6046/gtzyyg.2006.02.09.

(责任编辑： 邢宇)

An automatic tie point matching method for L0 level airborne three-line-array images

DU Shouji2, ZOU Zhengrong2, ZHANG Yunsheng1,2, ZHANG Minglei2

(1.HunanProvincialKeyLaboratoryofHydropowerDevelopmentKeyTechnology，Changsha410014，China；2.SchoolofGeosciencesandInfo-Physics,CentralSouthUniversity,Changsha410083，China)

To tackle the problem of the large quantities and serious deformation of L0 level airborne three-line-array images, this paper proposes a tie point matching method based on SIFT algorithm and correlation coefficient. Firstly, pyramid image is generated and SIFT algorithm is used to match initial corresponding points on the top-level of pyramid image. Then tie points are propagated through pyramid images via correlation coefficient matching method. Finally, possible match error is removed based on geometric constraint of POS data, and distribution of tie points are optimized. Three stripes of ADS40 images were used for experiments. Compared with the conventional image tie point transfer method, the proposed method can improve the ratio of correct matches by more than 6% and the tie points are well-distributed.

three-line-array images； image matching； SIFT features; correlation coefficient matching; pyramid images

10.6046/gtzyyg.2017.01.10

杜守基,邹峥嵘,张云生,等.L0级机载三线阵影像连接点自动提取[J].国土资源遥感,2017,29(1):65-70.(Du S J,Zou Z R,Zhang Y S,et al.An automatic tie point matching method for L0 level airborne three-line-array images[J].Remote Sensing for Land and Resources,2017,29(1):65-70.)

2015-07-24；

2015-09-09

水能资源利用关键技术湖南省重点实验室开放基金项目“基于近景摄影测量的库岸滑坡监测关键技术研究”(编号： PKLHD201310)、国家“863”计划项目“典型地质灾害遥感监测与应急关键技术及应用”(编号： 2012AA121301)和国家自然科学基金项目“自适应三角形约束的多角度影像多基元匹配方法”(编号： 41201472)共同资助。

杜守基(1990-),男,硕士研究生,主要从事数字摄影测量方面的研究。Email: dsjcug@163.com。

张云生(1984-) ,男,博士,副教授,主要从事数字摄影测量、数字影像与激光扫描数据的集成处理等方面的研究。Email: zhangys@csu.edu.cn。

TP 751.1

A

1001-070X(2017)01-0065-06