低空数字航空摄影成果质量检查

王海涛，洪　亮，张露林，余晓敏

(1. 中国地质大学(武汉)国家地理信息系统工程技术研究中心，湖北 武汉 430074；2. 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院)，湖北 武汉 430074)



低空数字航空摄影成果质量检查

王海涛1，2，洪亮1，2，张露林2，余晓敏2

(1. 中国地质大学(武汉)国家地理信息系统工程技术研究中心，湖北 武汉 430074；2. 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院)，湖北 武汉 430074)

针对低空航空摄影的特点，提出了使用GPS数据及SIFT算法实现其飞行质量成果的自动化检查。对匹配的特征点使用相关系数、相对定向模型、投影几何模型剔除匹配错误，提高了匹配点准确率，使得自动化检查具有高可靠性。使用LRM模型窗口尺寸可调节特性和均值-方差规定化的方法有效处理了外部摄影条件造成的影像色彩差异，使得提取和匹配的特征点均匀分布。通过对SIFT算法的特征提取的优化及使用距离查找表的方法计算SIFT特征距离并利用多线程、多核编程技术(OpenMP)实现了质量评定的高效处理。并对质量评定成果采用直观的可视化表达。

低空数字航空摄影；质量检查；匀光；SIFT；LRM

低空航空摄影以其低成本、机动灵活等特点，已在测绘、规划、国土、铁路、水利等行业得到了广泛应用[1-6]，已成为获取地理空间数据的一项重要手段。由于低空航空摄影系统在拍摄时受外部环境影响大[1-2]，拍摄的影像在重叠度、旋偏角等方面变化大，特别是受风速影响，航带间影像的旁向重叠度变化大， 这要求对其成果的质量开展客观的评定，以保障为后期提供合格的地理空间数据。一般情况下低空航空摄影携带小面幅数码相机摄影，获取的影像数量大，质量评定需要采用快速自动化的手段。

低空航空摄影测量系统获取的影像为框幅式数码影像，与传统的框幅式航空影像的质量评定工作一致[7-10]，包括飞行质量、影像质量、数据质量、附件质量。本文探索飞行质量的像片重叠度(航向和旁向)、旋偏角、航迹等质量高效的自动化检查和检查成果直观可视化表达。

进入数码航空摄影时代[11]，常规航空摄影已广泛使用POS(GNSS+IMU)技术[11-12]，但是低空航空摄影一般使用导航型GNSS技术，其飞行质量的评定自动化处理可利用GNSS数据来开展。飞行质量评定的工作量最大的环节在重叠度、旋偏角等检查，可通过影像匹配同名点来实现自动化处理。由于外部环境影响，影像间易出现大旋角(特别是航带间影像)，影像匹配可采用尺度不变特征[13-14]算法实现，该算法广泛用于低空航空摄影数据处理中[15-18]，对匹配的同名点使用相关系数[19]、相对定向模型[20-21]、投影几何模型等剔除匹配错误，使得自动化检查具有高可靠性。

SIFT匹配采用计算特征点描述算子的距离比来评估，快速计算有很多种，如CPU多核技术、GPU加速、FPGA硬件加速等[22-24]。考虑降低对计算机设备的要求，在此对SIFT特征提取算法进行改进，并采用OpenMP多核技术与距离查找表技术提高计算速度。

重叠度等质量的客观评定要求匹配的同名点分布均匀。由于外部摄影条件的复杂性，影像色彩差异较大，这要求在提取特征点前进行匀色处理。很多成熟的匀色算法，一般用于制作正射影像[25-27]，本文影像匀色是为了突出影像细部特征，使得提取的特征点分布均匀。本文利用Schowengerdt提出的LRM(localrangemodification)[28]模型处理影像色彩差异，使用均值-方差规定化的方法来对影像匀色[26]，并通过调整LRM窗口的尺寸来增强影像细部特征，使得提取的特征分布均匀。

自动化是快速、有效的飞行质量评定手段，质量评定成果更需要有效的直观表达，以便对成果开展复查，本文采用影像透明叠加、质量分布曲线等有效手段对检查成果进行直观的视觉表达，便于直观评价低空数字航空摄影成果飞行质量。

一、检查的基础工作

低空航空摄影由于外部摄影条件的复杂性，获取的影像在色彩上存在不同程度的差异(如图1(a)所示)，在特征提取前需消除影像色彩差异，即匀光处理。航空影像匀光，一般用于制作正射影像[25-27]。本文影像匀光是为了突出影像细部特征，使得提取的特征点均匀分布，本文采用LRM[28]模型处理影像色彩差异，其具体思想是将影像分块处理，计算每块内的影像参数，每个像素对应的参数采用双线性插值，每一块的参数在此计算均值和方差来调整影像色调差异[26]，其原理是使待处理影像经过线性变换后和目标影像在最小二乘意义上差异最小。通过调节分块尺寸来调节细部特征，尺寸越小细部特征越丰富(如图1(b)、(c)所示)。原始影像由于色彩的差异使提取的特征点分布不均匀，而匀色后的影像提取的特征点分布均匀(如图1(d)、(e)所示)。

图1　色彩差异较大的影像匀色效果对比分析

二、检查工作的开展

1. 航带的自动建立

常规框幅航空摄影一般采用定点曝光的方式拍摄，而低空航空摄影一般使用等距离曝光的方式拍摄，这样可减少风速对摄影的影响(如图2所示)。影像拍摄时记录曝光时的位置坐标及姿态信息。考虑到摄影外部环境的影响，为保障无摄影漏洞，一般采用较大重叠度拍摄，这样航带间影像距离小于航带间影像距离，因此利用影像间距离和飞行姿态这两个条件自动建立航带关系[29]。

2. 影像方向统一化

低空航空摄影携带数码相机摄影，考虑设备设计和性能的要求，相机摆放位置如图3所示的4种关系，图3(b)是相机摆放90°时拍摄的影像按照航带顺序摆放示意图，不适合人眼观测，需要将其处理为如图3(c)所示的效果。

图2　无人机航空摄影拍摄轨迹特点(等距曝光航带间影像随机对齐)

图3　低空拍摄影像原始数据及方向规定化后的示意图

本文采用自动化处理(如图4所示)，计算方法为：①以3张影像为一个单元将航带分段；②相邻影像匹配同名点；③以中间影像为基准，计算相邻影像中心点基准影像下的坐标并拟合直线，计算拟合直线与X轴的夹角来估算影像旋转角(0°、90°、180°、270°)；④统计各段的影像旋转角来估算整条航带的旋角。

(1)

图4　自动计算旋转角原理

3. 自动化检查

1) 影像关系的建立。影像关系指相邻航带间的对应影像关系，用于航带间影像的旁向重叠度的检查。①航带顺序自动排列。以航带方向为X轴建立笛卡尔坐标系，将航带与Y轴的交点坐标按照从大到小的顺序排列完成航带顺序自动排列(如图5(a)所示)。②航带影像间对应关系的建立依据排列航带顺序，依次计算航带间影像对应关系。

图5　航带间影像关系

2) 特征自动匹配及错误剔除。低空航空摄影影像因相机摆放位置的不同，影像间存在0°、90°、180°、270°等旋转关系，另外由于风速的影响还造成影像间其他角度的旋转(如图6所示)，因此本文采用SIFT算法来实现影像间质量的自动化检查。经过匹配的特征点存在错误，需要剔除。本文SIFT特征匹配错误剔除采用RANSAC算法[30]和相对定向模型[20-21]、投影变换模型(见式(1))来剔除错误，在此之前使用影像间相关技术[19]对错误点进行检查。

图6　大旋角影像

4. 高效的自动化处理

低空航空摄影获取的影像数量较大，对其飞行质量的评定需要采用高效的自动化处理方法，本文使用影像金字塔、SITF特征提取优化、距离查找表、多线程、CPU多核等技术提高处理效率。本文对某测区佳能5DMarkⅡ获取18条航线1146张影像进行测试，重叠度、旋偏角自动化检查21min完成。

1) 金字塔影像策略。为提高SIFT特征提取的效率和满足快速可视化的需要，对原始影像进行降分辨率的方式处理，在此采用最大边为1000像素的方式缩小影像(见表1)。低空航空摄影常用的数码相机包括佳能、索尼、尼康等，相机参数见表1，可知降低影像分辨率对重叠计算的影像误差为0.1%，不影响对飞行质量的评定。

表1　常用数码相机使用缩小影像检查重叠度误差分析

2) SIFT特征提取优化。SIFT极值点检测时每一个像素点要与其所有的相邻点比较，判断其是否比它的图像域和尺度域的相邻点大或者小。如图7所示，中间的检测点与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点[13]。这样检测的数量较多，影响SIFT特征描述和匹配效率，因此本文采用较大范围检测极值点，如图7所示，对每个像素在一定半径内检测同尺度的相邻点和上下相邻尺度邻点大或者小。

图7　SIFT特征提取范围分析

3) 距离计算查找表。SIFT的特征匹配计算，用特征间距离比值的方式匹配同名点，本文采用距离计算查找表的方式提高SIFT特征的计算速度。距离计算表的方式要求对SIFT特征的描述采用整数描述， 设特征的描述范围为N， 计算查找表记录(N-1)2，则SIFT特征的距离计算

4) 多核计算、多线程技术。影像金字塔处理、影像匀色、SIFT特征点提取采用多线程实现，SIFT特征点的距离计算采用多核技术(OpenMP)实现[31]。

三、成果可视化

自动化手段实现了低空航空摄影相邻影像间的飞行质量检查，为满足测区整体评定的需要将自动化检查成果用图表等方式加以更直观的视觉表达，本文对飞行质量的航向重叠度、旁向重叠度、航线弯曲等使用直观可视化表达，如图8—图11所示。

图8　航带内飞行质量成果的可视化表达

图9　航带间飞行质量成果的可视化表达

图10　相邻航带间影像图面质量检查

图11　航摄飞行轨迹的质量检查

四、结束语

本文在充分分析低空航空摄影特点的基础上，利用影像中心点的位置信息自动恢复航线关系和建立航带间影像关系。使用LRM模型和均值-方差规定化的方法有效处理了摄影条件造成的影像色差的差异，使提取和匹配的特征点分布更均匀。使用特征不变的SIFT算法实现低空航空摄影间影像的自动匹配，并使用SIFT特征点主方向的方式计算特征点的相关系数剔除错误点，同时使用相对定向模型、投影几何模型进一步剔除错误点，提高了匹配点准确率，使得自动化检查具有高可靠性。对SIFT特征点提取优化为控制半径的方式控制特征点的数量及使用距离查找表的方式提高提取和匹配速度，同时利用多线程、多核编程技术实现质量评定的高效处理。对自动化的成果采用直观的可视化表达。本文方法已经实现软件程序的开发，并已用于低空摄影成果的质量检查实际工作中。

[1]李德仁,李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报(信息科学版), 2014, 39(5): 505-513.

[2]毕凯,李英成,丁晓波,等. 轻小型无人机航摄技术现状及发展趋势[J]. 测绘通报, 2015(3): 27-31,48.

[3]周高伟,李英成,任延旭,等. 低空无人机双介质水下礁盘深度测量试验与分析[J]. 测绘学报, 2015, 44(5): 548-554.

[4]杨青山,范彬彬,魏显龙,等. 无人机摄影测量技术在新疆矿山储量动态监测中的应用[J]. 测绘通报, 2015(5): 91-94.

[5]吕立蕾,张卫兵,胡树林,等. 低空无人机航摄系统在长距离输油(气)管道[J]. 测绘通报, 2013(4): 42-45.

[6]史华林. 无人机航测系统在公路带状地形测量中的应用[J]. 测绘通报, 2014(6): 60-62.

[7]低空数字航空摄影规范：CH/Z 3005—2010[S].北京：测绘出版社,2010.

[8]测绘成果质量检查与验收：GB/T 24356—2009[S].北京：测绘出版社,2009.

[9]航空摄影成果质量检验技术规程·第2部分：框幅式数字航空摄影：CH/T 1029.2—2013[M].北京：测绘出版社,2013.

[10]洪亮，王海涛，曹金山，等. 数字航空摄影成果质量检验方案[J]. 武汉大学学报(信息科学版), 2013, 38(23): 1172-1174.

[11]刘先林,邹友峰，郭增长. 大面阵数字航空摄影原理与技术[M].郑州：河南科学技术出版社,2013.

[12]李学友. IMU/DGPS辅助航空摄影测量原理、方法及实践[D].郑州：解放军信息工程大学，2005.

[13]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J].Internation Journal of Computer Vision,2004,60(2):91-110.

[14]BAY H, TUYTELAARS T, VAN GOOL L. SURF: Speeded Up Robust Features[C]∥Computer Vision-ECCV 2006.Berlin:Springer-Verlag,2006：404-417.

[15]徐秋辉,佘江峰,宋晓群,等. 利用Harris-Laplace和SIFT描述子进行低空遥感影像匹配[J]. 武汉大学学报(信息科学版)，2012, 37(12): 1443-1447.

[16]胡同喜,牛雪峰,谭洋,等. 基于SURF算法的无人机遥感影像拼接技术[J]. 测绘通报, 2015(1): 55-58.

[17]刘如飞,卢秀山,刘冰,等. 无人机航摄影像快速拼接方法改进[J]. 测绘通报, 2014(2): 46-49.

[18]解斐斐,林宗坚,桂德竹.基于SIFT的UAV载组合宽角相机影像匹配方法[J].吉林大学学报(信息科学版), 2014, 32(1):56-63.

[19]贾博,姜挺,郭丽,等.SIFT和相关系数在嫦娥一号月球影像匹配中的应用[J].测绘科学技术学报，2009,26(5):363-366.

[20]张永军，张勇. 大重叠度影像的相对定向与前方交会精度分析[J]. 武汉大学学报(信息科学版), 2005, 30(2): 126-130.

[21]陆珏,陈义, 郑波.多基线近景摄影测量连续像对相对定向[J]. 同济大学学报(自然科学版),2010,38(3):442-447.

[22]KIM J,PARK E,CUI Xuenan，et al.A Fast Feature Extraction in Object Recognition Using Parallel Processing on CPU and GPU[C]∥Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics. San Antonio, TX：IEEE，2009.

[23]韩龙,郭立,李玉云.SIFT算法的并行实现及应用[J]. 计算机工程与应用, 2010,46(20):56-59.

[24]CHANGL,HERNNDEZ-PALANCARJ,SUCARLE，etal.FPGA-basedDetectionofSIFTInterestKeypoints[J].MachineVisionandApplications,2013(24):371-392.

[25]袁修孝,韩宇韬,方毅.改进的航摄影像Mask匀光算法[J].遥感学报,2014,18(3):630-641.

[26]DuY,CIHLARJ,BEAUBIENJ,etal.RadiometricNormalization,Compositing,andQualityControlforSatelliteHighResolutionImageMosaicsoverLargeAreas[J].IEEETransactionsonGeoscienceandRemoteSensing，2001，39(3), 623-634.

[27]李德仁，王密，潘俊. 光学遥感影像的自动匀光处理及应用[J]. 武汉大学学报(信息科学版), 2006, 31(9): 753-756.

[28]SCHOWENGERDTRA.RemoteSensing：ModelsandMethodsforImageProcessing[M].2ed.SanDiego：[s.n.]，1997:202-219.

[29]何海清. 低空摄影测量航带重构及数据处理方法研究[J].测绘学报, 2014, 43(4): 440-440.

[30]FISCHLERMA，BOLLESRC.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography[J].CommunicationsoftheACM, 1981，24(6): 381-395.

[31]QUINNMJ.ParallelProgramminginCwithMPIandOpenMP[M].[S.l.]：McGraw-HillInc，2004.

Quality Inspection Technology for Low-altitude Digital Aerial Photography

WANG Haitao，HONG Liang，ZHANG Lulin，YU Xiaomin

2015-10-14；

2015-12-22

国家863计划(2013AA122104)；测绘地理信息公益性行业科研专项(201512012)；地理国情监测国家测绘地理信息局重点实验室2104年开放基金(2014NGCM19)；数字制图与国土信息应用工程国家测绘地理信息局重点实验室开放研究基金(GCWD201410)

王海涛(1976—)，男，博士生，高级工程师，主要研究方向摄影测量与计算机视觉。E-mail：306550575@qq.com

P237

B

0494-0911(2016)08-0010-05

引文格式：王海涛，洪亮，张露林，等.低空数字航空摄影成果质量检查[J].测绘通报，2016(8)：10-14.DOI:10.13474/j.cnki.11-2246.2016.0246.