地面三维激光扫描仪与外架数码相机间安置参数的高精度标定

李明磊，高欣圆，李广云，王　力，刘松林

(1.信息工程大学 导航与空天目标工程学院，河南 郑州 450001；2.北京建筑大学 现代城市测绘国家测绘地理信息局重点实验室，北京 100044)



地面三维激光扫描仪与外架数码相机间安置参数的高精度标定

李明磊1， 2*，高欣圆1，李广云1，王力1，刘松林1

(1.信息工程大学 导航与空天目标工程学院，河南 郑州 450001；2.北京建筑大学 现代城市测绘国家测绘地理信息局重点实验室，北京 100044)

提出了地面三维激光扫描仪与外置数码相机安置参数的高精度标定方案。首先，利用商业化近景摄影测量系统对相机内参数进行单独标定；然后，利用回光反射标志作为二维和三维匹配的同名控制点，对直接线性变换进行拓展应用，在算法迭代过程将内参数作为已知值对外参数进行求解；最后，根据相机数据采集特点确定其拍摄全景时多张影像之间的位置关系，对多张影像的外方位元素进行求解，从而实现全景点云与全景完整影像之间的映射。进行了实验测试，利用安置参数标定结果反求验证点像素坐标与真实测量结果之差验证了本文标定方法的精度和可行性。实验显示：点云与影像间的映射精度可达到1像素左右；相机拍摄全景获取的影像与全景点云可以实现正确映射，表明提出的标定方法正确，满足纹理贴图及将影像作为特征提取辅助信息的精度要求。

地面三维激光扫描仪；数码相机；安置参数；标定；直接线性变换

1　引　言

地面三维激光扫描仪(3D Terrestrial Laser Scanner， TLS)是一种新型的空间信息快速采集设备[1]，可以覆盖式地快速获取目标物体表面在其仪器坐标系下的三维坐标——点云，同时根据激光发射与接收的强度值变化记录物体表面的回光强度和反射率等特性信息。由于点云一般为散乱式存储，邻接拓扑关系未知，所以点云各点处局部邻域的计算是一个比较耗时的任务；而图像采用栅格的形式存储，相邻点之间邻接分布，拓扑关系已知，故研究人员采用投影的方式将点云转化为图像进行处理，从而达到降维的目的[2-3]。数码相机(简称相机)采集的二维影像可以更加真实地描述被测场景，且其数据完整性优于点云，不仅可以用于点云的纹理贴图，也可以作为点云信息提取的辅助数据[4]。虽然影像相比点云损失了一个维度，但在相机与扫描仪安置关系高精度标定的基础上，每次设站进行扫描测量和影像采集时根据共线条件方程可以获取点云与像素点之间的对应关系，从而可以根据映射点云的深度和回光强度等信息弥补像素之间的深度差异。对于配套外架相机的扫描仪，扫描仪与相机之间相应的安置参数在出厂时已有标示，但在频繁的使用和拆解过程中，安置参数难免会产生一定的偏差，因此，研究扫描仪与相机安置参数的高精度标定方法具有重要意义。

点云与影像映射关系的求解即为对相机内方位元素和相机相对于扫描仪仪器坐标系的外方位元素的求解问题，即二维和三维数据的配准[5-6]或单像的后方交会[7-8]问题。部分学者将点云生成的二维强度图像[9]或距离图像[10]与影像进行匹配，将问题转化为二维与二维的配准问题实现点云与影像的映射，也有部分学者将立体像对匹配点[11]或者影像密集匹配生成的三维点云[12]与激光扫描点云进行匹配，从而将问题转化为三维与三维的配准问题。现有的相机内外参数共同求解的方法主要有角锥体解法[13]、基于共线条件方程的直接平差解法[13-14]、基于罗德里格矩阵的解法[15-16]、直接线性变换法[7， 17-19]等。其中，角锥体解法[13]和基于共线条件方程的直接平差解法[13-14]是针对航空摄影测量提出的单像片外方位元素求解方法[8]，需要假定像平面与物方坐标系的xoy面(水平面)近似平行，或者输入较好的初值，通过迭代进行参数解算[5]。基于罗德里格矩阵的直接解法[15-16]根据7参数坐标系转换模型，将旋转矩阵用罗德里格矩阵表示，通过变换求解罗德里格矩阵元素解算影像的外方位元素，事实上此种方法也未有效解决初值的问题，变换模型不够严密。直接线性变换法[7， 17-19]根据共线条件方程的线性化变换进行平差求解，该方法不需要变换的初值，较为适合近景摄影测量大旋角外方位元素求解的问题，但对控制点的准确程度要求较高，并且需要6对以上不能共面分布的同名控制点才能进行有效解算。

本文针对扫描仪与外架相机之间安置参数的标定问题，基于Riegl VZ-400扫描仪与Nikon D700数码相机+20 mm定焦镜头的标定，研究了一种系统性的高精度标定方法。首先采用V-STARS(Video-Simultaneous Triangulation and Resection System)系统对相机内参数进行高精度的单独标定，然后基于直接线性变换(Direct Linear Transformation， DLT)对相机外方位元素进行求解，最后实现了相机全视角多张影像与对应扫描点云的整体映射。

2　标定方法

2.1方法概述

图1　影像物理坐标系与相机坐标系的关系示意图

Fig.1Relationship between physical image coordinate system and camera coordinate system

图2　相机坐标系与扫描仪仪器坐标系的关系示意图

Fig.2Relationship between camera coordinate system and scanner coordinate system

扫描仪与相机之间安置参数标定的实质即为求解扫描仪仪器坐标系和相机坐标系之间的转换关系，最终实现两个坐标系之间数据的映射。考虑到直接线性变换法对相机外方位元素无初值要求，将该方法应用到联合标定的外方位元素的求解中，标定步骤如下：

(1)内参数标定：由于相机内参数的值较小，但其标定精度却对测量结果的精度有较大的影响；此外，针对相机内参数标定的研究也相对较多，并且有较为成熟的商业化系统，故对相机的内参数单独进行标定。在实验室环境中采用V-STARS系统对相机内参数(十参数模型)进行标定。

(2)控制点的采集与识别：在标定架上布设回光反射标志作为同名点，将相机架设在扫描仪上并且使得相机的初始拍摄角度正对标定架，通过联机控制分别利用扫描仪和相机对标志进行扫描和拍摄，得到标定架的点云和单张影像(单像)，分别利用二维[8]和三维[20]的标志中心识别算法识别物方控制点和像方控制点。

(3)单像外方位元素求解：指定物方点和像方点之间的对应关系，根据直接线性变换求解相机架设在扫描仪上时初始拍摄角度对应的外方位元素。

(4)多像外方位元素解算：由于相机在采集360°全景时各张影像之间的夹角均匀，可以依此确定各张影像分别沿扫描仪Z轴旋转的角度。然后根据步骤(3)标定求解所用单像的初始拍摄角度与全景采集的多张影像(多像)的拍摄角度之间的关系，并对多像的外方位元素进行求解。

(5)根据共线条件方程求解三维扫描点云中每个点与多像影像像素之间的对应关系，从而实现点云贴图。

2.2初始外方位元素求解

将2.1节中标定步骤(2)得到的物方和像方控制点作为输入值，利用直接线性变换求解相机初始拍摄角度对应的外方位元素。DLT算法由Abdel-Aziz和Karara[17-18]提出，该方法演变共线条件方程式，通过求解演变得到的线性方程组得到中间参数，最后根据中间参数求解得到相机的外方位元素。设共线条件方程为：

(1)

(2)

(3)

(4)

式(4)改写为矩阵形式得：

V=CM-L，

(5)

其中：

A=L9X+L10Y+L11Z+1.

根据式(6)来求解Li(i=1，2，…，11)的值，即：

CTCM-CTL=0⟹M=(CTC)-1CTL.

(6)

将式(6)的平差结果代回误差方程式(5)进行迭代，进一步求解M的改正数，通过迭代直到平差中误差小于阈值。根据式(6)求解的Li(i=1，2，…，11)及式(3)，对相机的外方位元素进行解算。

根据L9，L10，L11解得方向余弦，分别为：

(7)

同理，解得a1，b1，c1，a2，b2，c2：

(8)

(9)

由式(2)可以得出以下关系式：

(10)

事实上，DLT算法可以直接求解内外方位元素，在不具备内方位元素单独标定的前提下可以将内外方位元素一起作为未知参数进行求解。另外，虽然本文中内方位元素事先单独进行了标定，但并未对DLT算法进行较大的调整，只是在迭代过程中将内方位元素作为已知值输入，这样处理的优点是可以充分对已有的DLT相关程序进行拓展应用，而不需要大幅修改程序代码。

2.3多像外方位元素解算

标定得到初始拍摄角对应的相机外方位元素后，将点云三维坐标代入共线条件方程式(1)即可得到其对应的影像物理坐标系坐标，转换到影像像素坐标系后即可找到对应的影像像素坐标，从而得到单站点云数据与单张影像数据(拍摄标定架时在初始拍摄角度获取的影像，为方便描述，假设为第1张影像，与扫描仪水平度盘零方向对应)的映射关系。为了实现单站全景点云的整体贴图生成完整的彩色点云，需要求解多像的外方位元素。本节多像外方位元素解算方法假定的前提为：相机架设在扫描仪上并沿扫描仪垂直轴(图2所示Z轴)按照一定重叠度均匀旋转拍摄获取多像。

将相机架设在扫描仪上，扫描仪坐标系O-XYZ和相机坐标系OC-XCYCZC的关系如图2所示，将影像的每一个像素看作一个点，则一张影像就可以看作是在二维像平面坐标系下的平面点阵(影像点阵)。由于相机在进行旋转拍摄时，影像的尺寸不发生变化，故对于同一位置的像素点来说，不同影像上该像素点只是RGB值发生变化，而在像平面坐标系下的相对位置(坐标)不会改变。当相机随扫描仪照准部沿扫描仪垂直轴(图2所示Z轴)转动并进行影像拍摄时，扫描仪坐标系不发生变化，相机的外方位元素相当于沿扫描仪垂直轴旋转一定角度(左乘一个旋转矩阵)。具体关系及公式推导过程如下：

(11)

其中：R和T分别为第1张影像的外方位元素导出的旋转矩阵与平移向量。

(12)

其中：R2和T2分别为第2张影像的外方位元素导出的旋转矩阵与平移向量。

同理，第i张影像对应位置的像点在扫描仪坐标系下的坐标为：

(13)

其中：Ri和Ti分别为第i张影像的外方位元素导出的旋转矩阵与平移向量。

3　实验验证

实验中采用Riegl VZ-400地面三维激光扫描仪、Nikon D700数码相机和配套Nikon Nikkor 20 mm/F2.8D定焦镜头(为描述方便，下文把相机与镜头综合称作相机)来验证本文标定方法的可行性及精度，实验步骤按照2.1节的标定步骤进行。

首先采用V-STARS系统对相机自身内参数进行高精度标定。V-STARS由美国GSI公司研发，是目前国际上公认的技术最为成熟的商业化近景摄影测量系统，其处理结果的点位精度可达4 μm±6×10-6，操作简便并且满足扫描仪与相机安置参数的像素级(Nikon D700单个像素的物理尺寸为0.008 mm)需求。相机内参数标定结果如表1所示，其中k1，k2，k3为径向畸变参数，p1，p2为偏心畸变参数，b1，b2为像平面畸变参数。

表1　实验所得内外方位元素结果

为了求解相机的初始外方位元素，用扫描仪对标定架进行扫描测量，相机固定在扫描仪顶部并通过联机控制对标定架进行拍摄，获取的标定架点云和影像如图3所示。从图3所示数据中分别定位、识别和提取标定架上回光反射标志的中心点坐标(共识别出22个标志点，结果如表2所示)，代入式(7)～式(10)中解算相机的初始外方位元素，解算结果如表1所示。

(a)标定架点云按照回光强度灰度显示

(b)标定架影像

作用点号xpixel/pixelypixel/pixelX/mmY/mmZ/mmΔxpixel/pixelΔypixel/pixel解算用点(1～16)1404.1-417.24021.3941232.450143.8850.50.22-374.5-202.53242.6042288.011482.6880.20.33-43.1-633.73757.9851944.600-221.8150.3-0.24667.7-630.84160.149833.425-199.945-0.2-0.35450.6-852.94028.8641170.880-558.3210.0-0.26169.5-213.73901.6021607.661491.831-0.3-0.57192.9-1412.13510.0851422.538-1272.4270.20.18544.8-862.43706.573934.002-502.660-0.30.09-46.1-962.54086.9302113.235-834.504-0.3-0.110195.9-706.64246.6811704.314-382.6240.00.911-162.9-397.53356.2841952.480173.602-0.1-0.112-291.9-846.73606.7072334.988-577.956-0.10.313-48.5-1078.43740.0771938.199-930.8950.2-0.214744.3-181.13845.978627.381508.355-0.10.415578.6-300.84509.4701043.631356.6270.2-0.116-318.3-337.23603.5202413.162277.651-0.2-0.1检核用点(17～22)17-269.3-529.4523958.4262528.942-73.5040.0-0.218661.8-1332.5774117.947876.263-1268.4400.1-0.619823.1-1347.1223818.844587.690-1146.0590.3-1.42062.5-675.3143468.6711611.386-245.9830.10.021-390.3-1117.7813217.7352249.640-904.0110.10.22256.2-196.7863482.5131629.056488.776-0.10.2

为了验证2.3节多像外方位元素解算方法的可行性，联机控制相机对实验室进行全景拍摄，共拍摄7张影像，每张影像对应的旋转角ξ=360°/7。根据2.3节相关理论，7张影像对点云贴图、影像接边处理及与回光强度假彩色图的对比效果如图4所示，由此可以直观地验证2.3节相关理论的正确性。

(a)七张影像直接贴图及影像接边处理后效果

(b)贴图真彩色与回光强度假彩色的对比效果

(b)Comparison of true color generated by texture mapping with false color generated by intensity

图4全景七张影像与点云的贴图效果以及与回光强度假彩色的对比

Fig.4Color mapping of all 7 full-view images onto point cloud and its comparison with false color generated by intensity

4　结　论

本文提出了一套地面三维激光扫描仪与外置数码相机安置参数的高精度标定方案。该方案包括基于V-STARS系统的相机内参数单独标定、依托标定架的控制点测量与中心提取、基于DLT算法的相机初始外方位元素求解、依据影像采集特性的多张影像外方位元素解算以及最终点云与多张影像之间的映射。实验中，标定结果准确度测试的1 pixel验证点坐标反算差值表明了其高精度，全景多张图像与点云之间的正确映射证明了其可行性。

该标定方案的意义在于：将相机的内方位元素进行单独标定的方式保证了后期点云与影像数据映射的高精度；调整DLT算法，以适应内参数已知情况下的外方位元素求解；推导了多像外方位元素的解算公式，实现了单测站点云与对应多张影像之间的映射。本文提出的标定方案虽然具有较强的针对性，但对其它类型扫描仪和内、外置相机安置参数的标定问题也具有一定的实用和参考价值。

[1]李明磊. 地面激光扫描点云预处理技术研究[D]. 郑州: 信息工程大学， 2014.

LI M L.TechnologyofPreprocessingon3DLaserScannedPointClouds[D]. Zhengzhou: Information Engineering University， 2014.(in Chinese)

[2]杨必胜， 魏征， 李清泉， 等. 面向车载激光扫描点云快速分类的点云特征图像生成方法[J]. 测绘学报， 2010， 39(5): 540-545.

YANG B SH， WEI ZH， LI Q Q，etal.. A classification-oriented method of feature image generation for vehicle-borne laser scanning point clouds [J].ActaGeodaeticaetCartographicaSinica， 2010， 39(5): 540-545.(in Chinese)

[3]杨文秀， 付文兴， 周志伟， 等. 基于投影降维的激光雷达快速目标识别[J].红外与激光工程， 2014， 43(S1): 1-7.YANG W X， FU W X， ZHOU ZH W，etal.. Fast three dimensional LiDAR target recognition based on projection dimension reduction [J].InfraredandLaserEngineering， 2014， 43(S1): 1-7.(in Chinese)

[4]韩丽娜， 李缘廷.融合地面激光扫描和摄影测量技术的三维重建[J]. 测绘地理信息， 2015， 40(3): 10-12.

HAN L N， LI Y T.3D reconstruction by combining terrestrial laser scanner data and photogrammetric images [J].JournalofGeomatics， 2015， 40(3): 10-12.(in Chinese)

[5]王晏民， 胡春梅. 一种地面激光雷达点云与纹理影像稳健配准方法[J]. 测绘学报， 2012， 41(2): 266-272.

WANG Y M， HU CH M.A robust registration method for terrestrial LiDAR point clouds and texture image [J].ActaGeodaeticaetCartographicaSinica， 2012， 41(2): 266-272.(in Chinese)

[6]胡春梅. 地面激光扫描点云与近景影像无缝配准[D]. 武汉: 武汉大学， 2012.

HU CH M.SeamlessRegistrationofTerrestrialLiDARPointCloudandClose-rangeImage[D]. Wuhan: Wuhan University， 2012.(in Chinese)

[7]冯文灏. 近景摄影测量[M]. 武汉: 武汉大学出版社， 2002.FENG W H.Close-rangePhotogrammetry[M]. Wuhan: Wuhan University Press， 2002.(in Chinese)

[8]冯其强. 数字工业摄影测量技术研究与实现[D]. 郑州: 信息工程大学， 2010.

FENG Q Q.ResearchandPracticeofDigitalIndustrialPhotogrammetry[D].Zhengzhou: Information Engineering University， 2010.(in Chinese)

[9]方伟. 融合摄影测量技术的地面激光扫描数据全自动纹理映射方法研究[D]. 武汉: 武汉大学， 2014.

FANG W.ResearchonAutomaticTextureMappingofTerrestrialLaserScanningDataCombiningPhotogrammetryTechnique[D]. Wuhan: Wuhan University， 2014.(in Chinese)

[10]徐景中， 寇媛， 袁芳， 等. 基于结构特征的机载LiDAR数据与航空影像自动配准[J]. 红外与激光工程， 2013， 42(12): 3502-3508.XU J ZH， KOU Y， YUAN F，etal.. Auto-registration of aerial imagery and airborne lidar data based on structure feature[J].InfraredandLaserEngineering， 2013， 42(12): 3502-3508.(in Chinese)

[11]邓非， 张祖勋， 张剑清. 一种激光扫描数据与数码照片的配准方法[J]. 武汉大学学报：信息科学版， 2007， 32(4): 290-292.

DENG F， ZHANG Z X， ZHANG J Q.A method of registration between laser scanning data and digital images [J].GeomaticsandInformationScienceofWuhanUniversity， 2007， 32(4): 290-292.(in Chinese)

[12]严剑锋. 地面LiDAR点云数据配准与影像融合方法研究[D]. 徐州: 中国矿业大学， 2014. YAN J F.ResearchonTerrestrialLiDARPointCloudDataRegistrationandFusionMethodofPointCloudandImages[D]. Xuzhou: China University of Mining & Technology， 2014.(in Chinese)

[13]徐青， 寿虎， 朱述龙， 等. 近代摄影测量[M]. 北京: 解放军出版社， 2000.

XU Q， SHOU H， ZHU SH L，etal..ModernPhotogrammetry[M]. Beijing: The People’s Liberation Army Press， 2000.(in Chinese)

[14]姚吉利， 张大富. 改进的空间后方交会直接解法[J]. 山东理工大学学报：自然科学版， 2005， 19(2): 6-9.

YAO J L， ZHANG D F.Improvement of the direct-solution of spatial-resection [J].JournalofShandongUniversityofTechnology：Sci. &Tech.， 2005， 19(2): 6-9.(in Chinese)

[15]姚吉利， 孙亚廷， 王树广. 基于罗德里格矩阵的数码像片直接定向的方法[J]. 山东理工大学学报：自然科学版， 2006， 20(2): 36-39. YAO J L， SUN Y T， WANG SH G.The direct-solution of spatial-resection based on Luodigues matrix [J].JournalofShandongUniversityofTechnology：Sci. &Tech.， 2006， 20(2): 36-39.(in Chinese)

[16]赵松. 三维激光扫描仪与数码相机联合标定方法研究[D]. 郑州: 信息工程大学， 2012.

ZHAO S.StudyontheJointCalibrationof3DLaserScannerandDigitalCamera[D]. Zhengzhou: Information Engineering University， 2012.(in Chinese)

[17]ABDEL-AZIZ Y I， KARARA H M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[C].ProceedingsofSymposiumonClose-RangePhotogrammetry，Urbana:UniversityofIllinois， 1971: 1-18.

[18]ABDEL-AZIZ Y I， KARARA H M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry [J].PhotogrammetricEngineering&RemoteSensing， 2015， 81(1): 103-107.

[19]张帆. 激光扫描数据三维建模中高保真度纹理重建研究[D]. 武汉: 武汉大学， 2009.

ZHANG F.HighFidelityTextureReconstructionin3DModelingfromLaserScanningData[D]. Wuhan: Wuhan University， 2009.(in Chinese)

[20]王力. 基于人工标志的激光扫描数据自动拼接技术研究[D]. 郑州: 信息工程大学， 2010.

WANG L.AutomaticRegistrationofTerrestrialLiDARDataUsingPlanarTargets[D]. Zhengzhou: Information Engineering University， 2010.(in Chinese)

李明磊(1989-)，男，河南宝丰人，博士研究生，2011年、2014年于信息工程大学分别获得学士和硕士学位，主要从事激光点云数据处理及精密工程测量等方面的研究。E-mail: mingleili_xd@163.com

导师简介：

李广云(1965-)，男，江苏高淳人，硕士，博士生导师，1983年、1987年于解放军测绘学院分别获得学士和硕士学位，2005年于英国皇家军事测量学校获得硕士学位，主要从事精密工程测量、卫星导航及导航装备与应用等方面的研究。E-mail: guangyun_li@sohu.com

(版权所有未经许可不得转载)

High accuracy calibration of installation parameters between 3D terrestrial laser scanner and external-installed digital camera

LI Ming-lei1， 2*， GAO Xin-yuan1， LI Guang-yun1， WANG Li1， LIU Song-lin1

(1.SchoolofNavigationandAerospaceEngineering，InformationEngineeringUniversity，Zhengzhou450001，China；2.KeyLaboratoryforUrbanGeomaticsofNationalAdministrationofSurveying，MappingandGeoinformation，BeijingUnviersityofCivilEngineeringArchitectureBeijing100044，China)*Correspondingauthor，E-mail：mingleili_xd@163.com

A high accuracy calibration method for the installation parameters between 3D Terrestrial Laser Scanner(TLS) and external-installed digital camera was proposed. Firstly， the intrinsic parameters were calibrated by existing commercialized close-range photogrammetry products. Then，by taking reflector target centers as input control points of 2D and 3D matching， the direct linear transformation algorithm was expanded in applications and the intrinsic parameters were taken as known coefficients to solve the extrinsic parameters. Finally， the extrinsic parameter of every camera shooting angle was calculated according to the relationships between different shooting angles to get the mapping relationship between point cloud and multi-angle images. The test experiments were performed， and the accuracy and feasibility of the calibration method were verified by obtaining the difference between point pixel coordinate and real measuring result with installation parameter calibration results. The experimental results indicate that the calibration accuracy reaches 1 pixel and the mapping relationship between point cloud and multi-angle images is correct， which satisfies the requirements of texture mapping and accuracy by applying images as auxiliary data in feature extraction.

3D terrestrial laser scanner; digital camera; installation parameter; calibration; Direct Linear Transformation(DLT)

2016-03-14；

2016-05-10.

国家自然科学基金资助项目(No.41274014,No.41501491)；现代城市测绘国家测绘地理信息局重点实验室开放基金资助项目(No.20141201WY)

1004-924X(2016)09-2158-09

TP732.2; TP391

A

10.3788/OPE.20162409.2158