面向无人机水域影像的自动拼接方法

，，，

(1.中国矿业大学(北京) 地球科学与测绘工程学院，北京 100083；2.首都师范大学资源环境与旅游学院，北京 100048；3.中国科学院 遥感与数字地球研究所，北京 100094)

1 研究背景

水质监测是水质评价与水污染防治的重要依据。及时获取水质灾害发生和发展的实时监测信息，可以为当地政府和有关部门提供实时的决策服务信息，对于防灾减灾具有重要意义。目前，我国常规的水质监测方法是采用在水域内定点定剖面，长年累月进行采样分析。传统检测方法受到人力、物力和气候条件的限制，采集的数据量较少、成本高、速度慢，而且主要针对局部地区水域水质参数，不能反映大范围整体水域水质参数的分布情况[1]。遥感监测技术具有监测范围广、速度快、成本低和便于进行长期动态监测的优势，所以遥感监测技术的出现和发展为大范围水质监测和研究开辟了新的途径[2-3]。目前我国逐渐形成了一套完整的立体水体(陆地水、海洋)灾害监视监测系统。该系统具有监测对象全方位化、监测手段多样化等特点，主要包括卫星遥感、航空遥感、船舶监测、浮标监测、岸基站监测等[4-5]。

目前研究应用较多的是卫星遥感、航空遥感技术，但是因其成本高、实时性差等缺陷，很难提供及时监测信息。而无人机遥感技术(Unmanned Aerial Vehicle)由于具有较强的机动性、时效性等特点，可为灾情调查与应急指挥等提供第一时间的资料，逐渐成为人们关注的热点[6-7]。然而，无人机在航拍监测地表和海洋水时，由于水域面积过于庞大，利用传统的特征检查算法不能提取到足够的特征点，从而无法进行快速正确的拼接。

本文对无人机拍摄的水域影像特征进行深入研究，提出了优化大面积水域图像自动拼接的方法。针对水域面积较陆地面积比例大、有效特征点过少的问题，利用SIFT和Harris算子共同提取特征点，获得更多的特征点并使其满足拼接需求。针对用于拼接的图像完全是水域的情况，利用无人机携带的POS数据对图像进行几何纠正，并根据反算出的影像投影中心坐标实现航带的自动拼接。

2 试验关键技术

2.1 SIFT和Harris特征点提取

在图像配准领域中，特征点检测的算法很多，如：Moravee，Harris，SUSAN，SIFT及其改进算法等。本文在研究陆地和水域共存的影像时(陆地面积占比例较小，水域面积占比例较大)，主要利用尺度不变性算子SIFT检测特征点，同时辅助Harris算子提取角点作为补充。

SIFT(Scale Invariant Feature Transform)算法的核心思想主要分为4步：①在DOG(Difference-of-Gaussian，高斯差分)尺度空间初步检测特征点(极值点)；②精确确定关键点(Key points)的位置和所处尺度，删除低对比度的点及边缘点；③使用邻域梯度的主方向作为该点的方向特征，生成SIFT特征向量；④相似性判断，SIFT特征点匹配[8]。该算法是利用高斯差分函数来构造尺度空间函数的，所以其检测出的特征点是高斯差分函数的极值点，在图像上反映的往往不一定是明显的地形或地物点。同时SIFT 算法未考虑图像的色彩信息，因此在利用该算法对无人机影像提取特征之前，需要将影像变为全色影像。

Harris算法的基本思想是：运用图像灰度的一阶导数来估算自相关矩阵，当某一像素点的自相关矩阵的特征值都非常大时，则认为该点为角点。即若某点向任一个方向小小的移动都会引起灰度的很大变化，则该点为角点[9]。该算法计算简单，只用到了灰度的一阶差分；同时也具有较高的稳定性和鲁棒性，可作为SIFT检测特征点的补充。

图1中，紫红色的箭头表示SIFT特征向量的主梯度方向，红色的空心◇表示Harris角点。根据统计，用SIFT提取到35对特征点。增添了Harris角点补充后，共为54对特征点，大大提高了参与配准的同名点数。但是，这里所检测到的特征点中还包括一些错误匹配以及用2种算法检测到的相同点。

图1 SIFT与Harris算子共同提取特征点

2.2 RANSAC算法剔除错误匹配点

设定在检测到的特征点样本中，含有2种数据：①内点(Inliers)，即可以被模型描述的数据；②外点(Outliers)，偏离正常范围很远、无法适应数学模型的数据，即所谓的噪声。因此，需要将这些“外点”去除，从而减少变换矩阵的误差，提高图像的拼接效果。

在精匹配过程中，主要采用随机抽样一致性检验算法RANSAC(Random Sample Consensus)[10]，它可以有效剔除50%左右的错误点。其具体步骤如下：

(1) 计算粗匹配中每对同名特征点的距离l，即

dx=x-x′,dy=y-y′ 。

(1)

式中，(x,y)和(x′,y′)为一对同名特征点。

(2) 以3σ0为阈值，若一对同名点的l>3σ0，则删除该同名点，σ0为中误差，即

(2)

式中：n为特征点样本个数；P为单位矩阵。

2.3 利用仿射变换进行图像拼接

设给定参考影像和需要配准的影像分别为f(x,y)和f′(x,y)，其中特征点所对应的像素坐标分别为(x,y)和(x′,y′)，二者之间存在近似的几何关系：

(3)

其中，a1,a2,a3,a4,b1,b2为仿射变换参数。

由式(3)可知，仿射变换参数有6个未知量，需要至少3对特征点来求解这6个未知数。那么，就需要在参考图像和待配准图像之间寻找若干组同名点(即特征点)。然后再将这些同名点的坐标分别代入式中等号左右两侧，求解未知数。但是，由于特征点检测时会受到各种因素——如噪声、处理步骤等的影响，导致提取到的特征点位置不够精确。所以，在实际处理过程中，应该尽可能扩大参与计算的特征点对数，以减小各种因素的影响，提高参数求解的精度。若已知的特征点对数足够大时，利用最小二乘法可以高效地求解仿射变换参数。

2.4 基于POS的图像拼接

POS(Position and Orientation System)系统产生于20 世纪90 年代，由IMU(惯性测量装置)和GPS(全球定位系统)组合而成。无人飞机搭载POS系统，记录无人机飞行过程中的位置和姿态等信息，为摄像相片提供了外方位元素信息。但是，由于无人机航拍受风力气象条件、载荷限制等因素影响，不能搭载高精度GPS，机载原始 POS数据通常含有大量粗差。若直接利用原始 POS 数据进行地理定位不能满足实际需求。但是，对原始POS数据进行纠正后可以用来辅助图像拼接，为应对突发事件提供较好帮助。

由于无人机拍摄的影像重叠率较高，对其适当地进行“抽稀”处理，不会影响其拼接效果，反而一定程度上能够提高拼接精度[11]。无人机在起飞、降落、转弯、受风力影响颠簸等情况下，拍摄的图像均有较大的畸变，而这些从记载的POS数据中均可反映出来(如表1)。表1中，观察序号121—124的部分，发现ω，φ，κ3个角度值均发生较大的变化，此时飞机正处于转弯，需要将此部分的影像剔除。此外，还需要进行重叠度(55%≤航向重叠度< 90%，20%≤旁向重叠度<50%)、旋偏角(左、右≤12°)、弯曲度(≤5°)、相邻相片高度差的检查，将存在异常的数据记录并剔除，作为后备辅助数据。

表1 无人机POS定向数据

利用POS数据进行影像拼接的主要思想是：每张影像的图像坐标与其对应的大地坐标间的相对位置关系是不变的。已知每张图像的尺寸(长、宽)，利用POS数据，根据图片的长和宽，计算出每张影像摄影中心的坐标，从而计算图像4个角点的坐标。根据每张影像的角点坐标，得出相邻影像之间的相对关系，从而完成航带之间的拼接。

在WGS84地心坐标系下，将摄影中心的大地坐标(B,L,H)转换成空间直角坐标(XS,YS,ZS)，

(4)

其中:N为卯酉圈曲率半径[12];B,L,H分别表示POS数据中的纬度、经度和高程。

图2显示的是海面油污的监测情况。左侧为无人机拍摄的相邻时刻的2张影像，右侧图为基于POS数据拼接后的影像。其中，红色圈出的部分为海上监测船。

图2 利用POS数据对水域图像进行拼接

3 试验流程及应用案例

3.1 试验流程

首先，对无人机影像进行预处理，选择飞行质量较好的影像作为数据源。传统的拼接过程主要包括4个步骤：特征点检测、消除错误匹配点、计算变换模型、重采样拼接图像。然而，针对水域影像的特殊性，该方法并不完全适用。本试验针对以下2种情况，设计了拼接方案(如图3)。

图3 双片的拼接流程

3.1.1 水域与陆地共存的影像

针对这种情况(陆地面积占比例较小，水域面积占比例较大)，主要利用SIFT算子和Harris算子共同检测特征点。用RANSAC算法消除错误匹配点。利用仿射变换完成图像拼接。

3.1.2 完全水域的影像

针对这一情况，利用POS数据，首先计算出摄影中心的空间直角坐标。然后，利用中心投影的共线方程式，计算出每张影像4个角点的地面坐标，从而完成图像拼接。

3.2 应用实例

我国近海岸区域情况复杂，聚集了众多的港口、 码头、 临海工矿企业、 水产养殖、 入海河流及排污口，污染事故的发生比较频繁。当事故发生后，可利用无人机机动灵活性获得受灾区域的整体影像，通过对该影像的快速自动拼接，从宏观上了解灾情状况。同时，由于POS数据具有定位信息，可以根据图片位置坐标从而粗略定位到灾情较严重区域，从而为应急指挥及处理方案设定提供了极为有效的第一手资料。

根据上述实验设计思路，选取我国某处近海岸无人机航拍的2条航带影像为数据来源进行自动拼接试验，选择VC6.0+OpenCV1.0进行编程，通过计算机自动完成一条航带的拼接。然后通过人工交互的方法，完成航带的旁向拼接。如图4所示，图中红色圈出的部分为海面上的污染油污。根据红色区域，可以从宏观上了解感兴趣区域(AOI)的情况，从而快速分析决策。

图4 利用无人机拼接影像对近海岸油污情况监测

4 结 语

本文利用传统的SIFT和Harris特征检测算法，配合无人机携带的POS定位数据实现了大规模水域图像的计算机自动拼接，便于研究人员从宏观上掌握感兴趣区域的情况。在应对突发事件时，应急人员可利用本试验方法在第一时间内从宏观上了解灾情，迅速作出决策。应用实例表明，本研究在无人机遥感技术水质监测领域具有较好的实用价值。

参考文献：

[1] 张渊智,聂跃平,蔺启忠，等.表面水质遥感监测研究[J] .遥感技术与应用, 2000, 15(4):214-219. (ZHANG Yuan-zhi, NIE Yue-ping, LIN Qi-zhong,etal. Surface Water Quality Monitoring Using Remote Sensing[J]. Remote Sensing Technology and Application, 2000, 15(4):214-219. (in Chinese))

[2] 张 华,曾光明,李忠武，等. 内陆水环境污染监测的多时相遥感信息模型[J] . 中国环境监测, 2005,21(5):63-68. (ZHANG Hua, ZENG Guang-ming, LI Zhong-wu,etal. Multi-temporal Remote Sensing Information Model for Pollution Monitoring of Inland Water[J]. Environmental Monitoring in China, 2005, 21(5): 63-68. (in Chinese))

[3] 于德浩,王艳红,邓正栋，等. 内陆水体水质遥感监测技术研究进展[J]. 中国给水排水,2008, 24(22):12-16. (YU De-hao, WANG Yan-hong, DENG Zheng-dong,etal. Research Progress in Remote Sensing Technology for Inland Water Quality Monitoring[J]. China Water & Wastewater, 2008, 24(22): 12-16.(in Chinese))

[4] 杨敏华,胡慧萍. 试谈遥感发展与农业信息获取[J].遥感信息,2000, (4):44-46. (YANG Min-hua, HU Hui-ping. On the Development of Remote Sensing and Agricultural Information Acquisition [J]. Remote Sensing Information, 2000, (4): 44-46. (in Chinese))

[5] 张文宗,王云秀,魏立涛,等. 河北省海洋灾害遥感动态监测系统简介[J]. 自然灾害学报,2007,16(3):76-80. (ZHANG Wen-zong, WANG Yun-xiu, WEI Li-tao,etal. Brief Introduction of Remote Sensing Dynamic Monitoring System for Oceanic Disaster in Hebei Province[J]. Journal of Natural Disasters, 2007, 16(3): 76-80. (in Chinese))

[6] 王雅萍.UAV影像自动配准与拼接方法研究[D].昆明:昆明理工大学,2010. (WANG Ya-ping. Automatic Registration and Mosaic Methods for UAV Images[D]. Kunming: Kunming University of Science and Technology, 2010. (in Chinese))

[7] 金 伟,葛宏立,杜华强, 等，无人机遥感发展与应用概况[J]. 遥感信息，2009, (1): 88-92. (JIN Wei, GE Hong-li, DU Hua-qiang,etal. A Review on Unmanned Aerial Vehicle Remote Sensing and Its Application[J]. Remote Sensing Information, 2009, (1): 88-92. (in Chinese))

[8] LOWE D G. Distinctive Image Features from Scale-Invariant Key Points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference, Manchester, UK, August 31-September 2, 1988: 147-151.

[10] FISHIER M A, BOLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[11] 何 敬,李永树,鲁 恒.无人机影像拼接误差实验研究[J]. 激光与光电子学进展,2011,48(12):64-68. (HE Jing, LI Yong-shu, LU Heng. Experimental Study on UAV Image Stitching Error[J]. Laser & Optoelectronics Progress, 2011,48(12):64-68. (in Chinese))

[12] 张 勤,李家权. GPS测量原理及应用[M].北京:科学出版社,2007: 16-17. (ZHANG Qin, LI Jia-quan. GPS Surveying Principles and Applications[M]. Beijing: Science Press, 2007: 16-17. (in Chinese))