一种三维激光数据与数码影像自动配准的方法*

宋二非，童小华，刘向锋，陈　鹏

(同济大学 测绘与地理信息学院，上海　200092)



一种三维激光数据与数码影像自动配准的方法*

宋二非，童小华，刘向锋，陈鹏

(同济大学 测绘与地理信息学院，上海200092)

摘要：地面激光扫描仪可以获取目标表面密集高精度离散的三维点云数据，摄影测量可以获取目标表面丰富高质量连续的纹理影像数据，将地面激光扫描仪点云和近景数码影像进行有机融合成为当前研究的热点和难点，提出了一种通过基于激光点云强度图像和数码影像自动配准来实现两种异源数据间的精确融合。其中，针对异源数据成像模型不同的问题，将点云数据严格地转换为相机中心投影方式的强度影像；在点云强度图像和数码影像间特征点的提取与匹配过程中，采用了由粗到精的稳健策略；根据高精度的匹配点利用空间后方交会获取相机的准确外方位元素，恢复图像在摄影瞬间相对点云目标的位置和姿态。实验证明，该方法可实现地面激光点云数据与近景数码影像的有机融合。

关键词：地面激光；数码影像；配准方法；强度图像

0引言

地面激光扫描仪和摄影数码相机具有不同的成像方式，其分别获取的是三维离散点云和二维栅格影像，点云在表达空间数据上具有高精度、高密度和高分辨率的特点，但缺乏光谱信息，而数字影像具有清晰的轮廓、丰富的光谱信息和纹理特征。对于同一目标，如果能将点云数据和影像数据进行有效集成，可以获得比单一数据更有效的信息。而集成两种数据的前提是需对两种不同成像方式的数据进行精确的配准，计算相机在统一坐标系(扫描坐标系)下的精确外方位元素，将图像光谱纹理信息映射到对应的点云位置，丰富点云特征。

与传统二维影像的配准算法不同，数字影像与LiDAR点云的配准，是二维与三维数据、连续影像与离散点云间的配准，简单利用传统影像间的配准方法收效甚微[1]。近10年来，国内外学者已对其进行了大量的研究，大致可以分为3种：

1)通过摄影测量立体像对生成摄影测量点云，然后利用ICP算法建立影像与点云间的对应关系，如文献[2]中在无POS系统下三维激光点云与影像的自动配准，此类算法本质上是3D-3D的配准变换，无法满足单张影像与点云的配准，而且生成的摄影测量点云会降低整体的配准精度。

2)将LiDAR点云生成距离或者强度影像，再通过传统的图像配准方法实现两种数据间的配准，例如采用基于MI的配准方法[3]，基于点特征[4]、线特征[5]、面特征[6]的配准方法等，如文献[7]中融合地面LiDAR和无人机影像在三维制图和矿山分类中的应用，这些算法充分利用了成熟的图像配准算法，自动化程度高，然而通过内插生成的强度或距离影像一方面也降低了配准的精度。

3)建立影像与点云之间的直接配准模型，如文献[8]中手动选择点云模型和影像中的6对同名点，通过直接线性变换求出两者之间的转换参数，此类方法需要交互操作，难以判断每个控制点的精度是否满足配准的要求。

本文利用目前比较成熟的图像处理算法，采用基于强度图像的方法与数码影像进行配准，将点云与影像的配准转换为二维影像间配准。一旦在强度图像与数码影像间形成共轭点对，强度图像特征点在三维空间的坐标可以通过后向映射得到[9]。采用中心投影方法形成的强度图像降低了它和数码照片间的差异性，有利于两种异源数据的配准。在强度图像和数码影像间特征点的提取与匹配过程中，采用了由粗到精的稳健策略，通过不断迭代得到精确的外方元素，此算法比较稳定，且精度较高。

1研究方法

图1为本文的技术路线，首先对数码照片和原始点云数据进行预处理，其次采用中心透视投影的方式，通过消隐、插值以及图像增强，将地面激光数据生成强度图像，由于强度图像采用和数码相机相同投影方式，大大降低了两种异源数据之间的差异，最后采用由粗到精的稳健配准策略。

图1　研究路线Fig.1　Route of research

1.1预处理

预处理过程分为图像和点云预处理。普通数码相机灵活，轻便，在近景摄影测量中得到广泛应用，但其构像畸变误差大，大致以像幅中心对称，中心几乎为零，向外递增。一般非量测数码相机构象质量普遍较差，畸变误差高达几十个像元，影响了摄影构像的共线条件，导致计算结果不准确甚至迭代不收敛[10]，因此，在进行精密配准前需要对数码相机进行严格的检校，进而恢复摄影中心与像片间的相对几何关系。普通数码相机检校方法主要有三维控制光线束和二维控制直接线性变换方法[11]，前者虽然精度较高，但要求布设较多控制点，而后者不需要初始的内外方位参数，且使用简单方便。因此，本文采用基于直接线性变换的相机检校方法来解求相机内方位元素和畸变系数，数码相机的畸变改正模型为：

(1)

相机的检校结果，如表1所示。内方参数的检校精度达到0.002 mm，畸变系数的检校精度为1.175×10-6，所有参与检校的点中，最大残差值为0.817 pixel，最小为0.102 pixel。

表1　相机检校参数及精度

由于激光扫描数据量大、扫描视场广，为了加快数据处理速度，在强度图像生成之前，需对点云数据进行预处理，主要有点云数据的滤波，去噪和抽稀等。具体操作流程为：首先，利用开源软件CloudCompare，通过人机交互操作，剔除原始点云数据中存在的粗差、错误和无关信息；其次，将目标区域点云数据进行滤波处理，去除测量噪声，避免噪声降低配准的精度；最后，为了提高程序运行效率，利用曲率采样的方法进行点云抽稀，不但数据得到简化，而且能有效的保留有用的特征信息[12]。

1.2强度影像的生成

利用成熟的摄影测量和计算机视觉技术，完成激光点云和近景摄影测量影像配准的第一步就是点云强度图像的生成[4]。强度图像基于共线方程理念，将三维的激光点映射到二维图像上，进而使得3D-2D的配准转换为2D-2D。传统的强度图像需要自定义共线方程外方位元素(XS，YS，ZS，φ，ω，κ)，为了有利于点云强度图像与数码影像的配准，本文对文献[13]中强度图像生成方法进行改进，将投影中心到投影平面的距离和格网大小分别设为数码相机的焦距和影像像素大小。

在三维点云数据的坐标空间中定义一个虚拟相机，然后把点云投影到该虚拟相机中。以地面三维激光雷达单测站扫描中心O(X0，Y0，Z0)为投影中心，其与激光点云中心P(Xp，Yp，Zp)的连线作为激光点云中心投影射线，垂直于该射线的平面即为投影平面，O到投影平面的距离为相机的焦距f，该平面的法向量为：

(2)

式中：ds为扫描中心与点云中心间距离。

利用法向量可以求得每个投影点在投影平面下的坐标(xi，yi)，以相机的像素大小delta作为点云采样间隔，分别计算每一个投影点在强度图像中对应的行号和列号，即其像素坐标，并将该点对应的强度值作为图像灰度值。行号和列号计算公式为：

(3)

在强度图像生成过程中，由于存在不同的景深，可能会出现同一光线上两个或更多三维激光点投影到同一个图像格网，文中采用了消隐的算法，即遍历整幅强度图像，比较同一个格网中不同投影点对应的原始三维点与扫描中心的距离，选择距离扫描中心较近的作为该格网的投影点，同时记录每个格网点所对应的三维点坐标。另外，地面三维激光扫描仪在扫描过程中可能会出现扫描盲区，即强度图像中有像素值为0的情况，文中采用了反权距离插值方法(Inverse Distance Weighted，IDW)[14]进行处理。

1.3稳健的配准策略

1.3.1特征匹配

配准前，将畸变矫正过的数码影像以及强度图像做一系列的增强处理，如对比度增强、直方图均衡化和图像锐化等，以便于后续影像特征提取和匹配。由于地面激光扫描仪和数码相机在获取目标属性特征上的本质差异，即使采用相同的透视投影方式，在特征提取方面依旧存在差异，因此本文采用尺度和旋转不变的SIFT(Scale-invariant feature transform)算法[15]来快速提取精确特征点。其中，为了克服灰度两极分布而导致对比不明显的问题，得到相对较多的特征点，将影像做分块处理；最后，由于部分点相对聚集，为了保证特征点的均匀分布和参数求解的准确性，对于一定范围内的共轭点对做唯一化处理，公式为：

Pointloc=max(CC(i))

(4)

式中：CC(i)为匹配点的相关系数；Pointloc为相关系数最大对应的位置，取该范围内相关系数较大的点作为该区域唯一的匹配点。

为了提高图像的匹配精度，本文应用最小二乘匹配算法(Least Squares Matching，LSM)[16]，通过最小化误差的平方和寻找特征点的最佳匹配，其匹配的精度可以达到1/10甚至1/100像素。但该方法必须有满足精度要求的匹配初值作为引导，否则不收敛。因此，本文利用SIFT方法得到的匹配点作为LSM的初始值进行双向匹配。

LSM双向匹配技术在一定情况下可以消除误匹配，但数码影像和强度图像是非同源数据，需要采用由粗到精的策略，逐步剔除误匹配点对。经典的参数估计方法对噪声和误匹配都有良好的鲁棒性[17]，本文运用M估计抽样一致性(M-estimator Sample and Consensus，MSAC)算法[18]估计基础矩阵，进而剔除粗差。

1.3.2空间后方交会

虽然在匹配过程中已剔除相应的粗差点，但仍存在匹配精度较差的点，因而文中进一步在传统的空间后方交会基础上采用了逐步迭代的方法来进行稳健的粗差估计与探测，进而获取高精度匹配点。另外，空间后方交会是基于共线方程，将其进行线性化，利用间接平差求得未知参数(XS，YS，ZS，φ，ω，κ)的改正值。在每次的迭代过程中，剔除重投影误差大于3倍中误差的匹配点对，同时更新空间后方交会外方位参数值，直到满足两次迭代线元素和角元素误差在10-8内停止。文中最后使用空间后方交会单位权中误差和协方差矩阵对角元素的平方根来估计配准的精度。共线方程式为：

(5)

式中：(x，y)为图像坐标；f为相机的主距；(Xd，Yd，Zd)为目标物体的点云坐标；(XS，YS，ZS)为相机的位置；(ai，bi，ci)组成了3×3的旋转矩阵。

另外，空间后方交会可以精确的求得影像的外方位元素，但它需要良好的初值作为约束条件，初值的选择影响算法的效率以及参数的精度，因此，本文选择利用直接线性变换(DirectLinearTransformation，DLT)求解相机在地面三维激光扫描仪坐标系下的位置作为初始值。

2试验与分析

2.1试验数据

本文采用FaroFocus3D120地面三维激光扫描仪获取三维点云数据，试验场地为同济大学129英雄纪念碑(见图2)，共获得6 608 643个点，数据由三维点坐标(X，Y，Z)及其强度值(I)组成，其中该扫描仪的强度量化等级为11bit，强度值范围是0～2 048，需要进行线性变换到0～255。用NIKOND600获取二维影像数据，分辨率为3 008×2 008，像素大小为0.012mm/pixel。有关扫描仪和数码相机的几项主要参数，如表2所示。

图2　数码影像、强度图像及配准内外点Fig.2　Digital image，intensity image，and registration points

FaroFocus3D120参数发散度视野最大测量范围波长NIKOND600参数传感器尺寸像素最高分辨率0.009°360°×305°120m905nm35.9×24mm2426万6016×4016

2.2试验结果与分析

采用MatlabR2013a作为编程平台，实现上述相关算法。强度图像的生成需要进行图像消隐及插值，图3为强度图像局部图。图3(a)为未处理前的图像，深色方框和浅色方框分别代表消隐和插值区域；图3(b)为处理后的图像，为使用本文提出方法得到的点云强度图像。使用SIFT进行特征提取，经过LSM精匹配和均匀处理后共得到1 397对匹配点。使用MSAC算法消除误匹配，与常用的RANSAC(Random Sample and Consensus，随机抽样一致性)相比，本文运用的算法花费0.358 4 s，提供了分布均匀的899对匹配内点(图2(a)和图2(b)中绿色点(浅色点)为MSAC粗剔除的外点)，而利用RANSAC算法花费1.586 4 s，仅提供了368对匹配内点，且点的分布较为聚集，因此MSAC算法在本次实验的外点剔除效率和内点的分布上相比RANSAC更好。

图3　消隐算法和IDW算法效果图Fig.3　The image of hiding algorithm and IDW

前文介绍了点云与影像的配准模型，用DLT方法求得相机初始外方位元素，通过空间后方交会迭代求解精确的外方参数，在迭代过程中对误匹配进行精剔除，图2中蓝色点为删除的外点，最终参与运算的共轭点对数为668，如图2中红色点所示。图4为迭代过程中线元素和角元素的参数中误差。从图4中可以看出，随着外点的剔除，外方位参数趋于收敛。表3为求得的精确的相机外方参数，σxy为空间后方交会单位权中误差，σXsYsZs是相机位置的平均标准差，通过外方参数协方差矩阵对角元素的平方根计算得到。以上评价指标参数满足此次配准实验的要求。

图4　空间后方交会迭代误差Fig.4　The iterative errors of space resection

线元素/mm 角元素/radian 评价指标 XSYSZSφωκσxy/pixelσXsYsZs/mm-89.2851-93.0561542.8290-0.0155-0.1079-0.02563.89131.1256

一旦精确的配准参数确定之后，将最终的迭代参数值代入共线方程，即可将数码照片彩色纹理信息RGB赋给激光点云，实现两者几何特征和属性特征的融合配准。图5为地面激光数据和数码影像配准后的效果图，图5(a)为全局图，图5(b)为局部区域，图中单点属性显示，点云具有几何信息(XYZ)和属性信息(RGB)。

图5　地面激光数据与数码影像配准结果Fig.5　The registration result of LiDAR data and digital image

3结论

综合地面激光扫描仪点云和近景数码影像各自的优点，本文提出一种适用于点云与基于中心投影影像的自动配准方法，该方法将2D-3D的配准转换为2D-2D间的配准，使用了成熟的图像处理算法。基于激光点云强度图像通过一种由粗到精的稳健配准策略，实现异源数据间几何特征和属性特征的精确融合，恢复图像在摄影瞬间相对点云目标的位置和姿态。最后，将配准方法应用到具体的实验中进行验证，结果表明：匹配点对分布均匀，外方定位精度为1.125 6 mm，达到毫米级，满足点云数据与数码影像的融合配准要求。

[参考文献]

[1]Mishra R，Zhang Y.A review of optical imagery and airborne lidar data registration methods[J].The Open Remote Sensing Journal，2012，5(1)：54-63.

[2]邵杰，张爱武，王书民，等.三维激光点云与 CCD 影像融合的研究[J].中国激光，2013(5)：228-235.

[3]Parmehr E G，Fraser C S，Zhang C，et al.Automatic registration of optical imagery with 3D LiDAR data using statistical similarity[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014，88：28-40.

[4]González-Aguilera D，Rodríguez-Gonzálvez P，Gómez-Lahoz J.An automatic procedure for co-registration of terrestrial laser scanners and digital cameras[J].ISPRS Journal of Photogrammetry and Remote Sensing，2009，64(3)：308-316.

[5]马洪超，姚春静，邬建伟.利用线特征进行高分辨率影像与LiDAR点云的配准[J].武汉大学学报：信息科学版，2012，37(2)：136-140.

[6]Armenakis C，Gao Y，Sohn G.Co-registration of aerial photogrammetric and LiDAR point clouds in urban environments using automatic plane correspondence[J].Applied Geomatics，2013，5(2)：155-166.

[7]Tong X，Liu X，Chen P，et al.Integration of UAV-Based Photogrammetry and Terrestrial Laser Scanning for the Three-Dimensional Mapping and Monitoring of Open-Pit Mine Areas[J].Remote Sensing，2015，7(6)：6 635-6 662.

[8]刘淑民.三维激光点云着色及表面模型纹理映射研究[D].南京：南京师范大学，2009.

[9]Han J Y，Perng N H，Lin Y T.Feature conjugation for intensity-coded LIDAR point clouds[J].Journal of Surveying Engineering，2013，139(3)：135-142.

[10]程效军，许诚权，周行泉.基于PhotoModeler Scanner 的普通数码相机快速检校研究[J].遥感信息，2011(4)：80-84.

[11]陈舒，李浩，黄河.普通数码相机三种检校方法的量测精度评价[J].遥感信息，2012(5)：73-76.

[12]李必军，方志祥，任娟.从激光扫描数据中进行建筑物特征提取研究[J].武汉大学学报：信息科学版，2003，28(1)：65-70.

[13]胡春梅，李天烁.一种基于中心投影的地面激光雷达反射强度图像的生成方法[J].激光杂志，2014，35(8)：12-14.

[14]Shepard D.A two-dimensional interpolation function for irregularly-spaced data[C]//Proceedings of the 1968 23rd ACM national conference.ACM，1968：517-524.

[15]Lowe D G.Object recognition from local scale-invariant features[C]//Computer vision，1999.The proceedings of the seventh IEEE international conference on.Ieee，1999，2：1 150-1 157.

[16]Ackermann F.High precision digital image correlation[C]//Proceedings 39th Photogrammetric Week，InstitutfürPhotogrammetrie，Stuttgart，Heft 9，1983：231-243.

[17]甄艳，刘学军，王美珍.一种改进 RANSAC 的基础矩阵估计方法[J].测绘通报，2014(4)：39-43.

[18]Torr P H S，Murray D W.The development and comparison of robust methods for estimating the fundamental matrix[J].International journal of computer vision，1997，24(3)：271-300.

An Automatic Registration Method Between 3D Laser Data and Digital Image

SONG Er-fei，TONG Xiao-hua，LIU Xiang-feng，CHEN Peng

(CollegeofSurveyingandGeo-informatics，TongjiUniversity，Shanghai200092，China)

Abstract：Terrestrial laser scanner can be used to obtain the dense，high precision and discrete 3D point cloud data of the target surface，but the use of photogrammetry could obtain the rich，high quality and continuous texture image data，the registration of the laser scanning data and texture image has been becoming a focus in current research.This paper proposes an automatic registration method based on the intensity image of the laser point clouds and digital images to achieving the precision data integration between the two kinds of heterogeneous data.Because the imaging model of heterogeneous data is different，the point clouds are converted to an intensity image with center projection method.In the process of extracting and matching the feature points between the intensity and digital images for the point clouds,the steady strategy is adpted from coarse to fine.With the high precision matching points，the use of space resection to obtain the accurate exterior orientation of camera，and recover the position and posture of images relative to the point cloud target in photography moment.In the end，it has been proved that this method can realize the organic integration between the terrestrial laser point clouds and the digital images through the actual experiment data.

Key words：terrestrial laser；digital image；registration method；intensity image

作者简介：宋二非(1988～)，男，河南许昌人，硕士研究生，现主要从事近景摄影测量和地面LiDAR数据处理方面的研究。

中图分类号：P 23

文献标识码：A

文章编号：1007-9394(2016)01-0001-04

收稿日期：2016-01-06

地矿测绘2016，32(1)：1～4

CN 53-1124/TDISSN 1007-9394

Surveying and Mapping of Geology and Mineral Resources