基于激光扫描仪的线阵相机动态高精度标定

韩友美,王留召,钟若飞

1.山东科技大学测绘科学与工程学院,山东青岛266510;2.首都师范大学三维空间信息获取与应用教育部重点实验室,北京100048;3.中国测绘科学研究院,北京100039;4.河南理工大学,河南焦作454000

基于激光扫描仪的线阵相机动态高精度标定

韩友美1,2,3,王留召2,4,钟若飞2

1.山东科技大学测绘科学与工程学院,山东青岛266510;2.首都师范大学三维空间信息获取与应用教育部重点实验室,北京100048;3.中国测绘科学研究院,北京100039;4.河南理工大学,河南焦作454000

结合线阵相机的成像特点以及正在研制的车载三维数据采集系统本身的特性,提出一种利用激光扫描数据为基准,标定线阵相机内参数的技术方法,以实现激光扫描数据和线阵相机扫描影像精确对准。应用激光扫描仪原始数据中的角度信息,结合线阵相机的成像原理,建立线阵相机的内参数标定模型,并设计相应的试验方法,计算出了高精度的畸变参数,为实现真实纹理映射奠定基础,为同类产品的检校提供参考。

线阵相机;动态检校;激光扫描仪;车载

1 引 言

建筑物表面纹理数据获取与真实纹理映射一直是数字城市亟待解决的难点问题,也是城市三维建模的重点研究内容之一[1]。车载三维数据采集系统(vehicle-borne 3D data acquisition system)的研制就是在数字城市建设的推动下应运而生,它的出现加快了城市三维建模的速度[2],同时线阵相机的引入为其在建立城市真彩色三维模型的应用锦上添花。

车载三维信息采集系统由诸多设备组合而成,其中主要是线阵 CCD相机、激光扫描仪、GPS、IMU(inertial measurement unit)惯性导航系统等设备。线阵相机(line scan camera,LSC)作为纹理信息采集传感器,它具有采集频率高、视角宽的优点,克服了传统面阵数码相机不能及时存储图像以及产生影像漏洞的缺点。同面阵数码相机一样线阵数码相机的非量测性和镜头的畸变仍然是导致其在纹理数据采集中发挥优势的主要瓶颈之一。常见的传统面阵数码相机的标定方法包括:空间后方交会、直接线性变换、基于多像灭点、解析铅垂线以及自检校法等[3-6],这些方法依赖于在不同的位置获取相同的目标的影像,然后借助于共线方程来计算相机的内方位元素及其畸变参数。线阵相机作为面阵相机的特例,它本身的线阵特性需要为其探索新的检校方式,目前对线阵相机的检校大多是在固定相机位置不动调整特制靶标的位置来进行的[7-9],目标离相机的距离比较近,测得的精度较低。

线阵相机和激光扫描仪(laser scanner,LS)作为车载三维数据采集系统的两个重要的组成部分,其中线阵相机是用于获取街道两旁建筑物的彩色纹理信息,激光扫描仪可获取相应的建筑物高精度三维坐标,两者有一定的共同点:在采集数据瞬间,激光扫描仪采集的数据可以看作离散点组成的线,而线阵相机采集的是一条宽度为一个像素的RGB彩色线条。正是由于这种共性才使得借助激光扫描仪数据的特性来对线阵相机进行标定成为可能,本文提出的线阵相机的标定方法有别于传统的面阵相机和当前常用的线阵相机标定思想,标定精度高,可为类似的线阵CCD传感器标定提供参考。

2 线阵相机标定参数

车载三维数据采集系统采用的相机是日本JAI公司生产的线阵相机CV-L107CL,图1是该线阵相机的外形,已经根据车载三维数据采集系统设计需求对其进行了加固。此相机采用棱镜分光技术,色彩还原好,相机本身还从硬件上固化了按钮点触式白平衡,线速率高达19 048线/s,分辨率高,因此能快速采集到非常逼真的彩色影像。但是器械的误差还是难免存在的,而且后期影像数据还要与激光扫描仪数据进行融合,所以前期必须对其进行精确的检校。

图1 JAI线阵相机Fig.1 The JAI camera

线阵相机的误差主要有镜头引起的误差和CCD引起的误差。此相机采用的是 Nikon AF14mm镜头。镜头引起的误差是由镜头物镜系统设计、制作和装配所引起的像点偏离其正确位置的误差,主要是指光学畸变差,光学畸变差包括径向畸变差和偏心畸变差。偏心畸变差往往不足像元尺寸的三分之一,所以这里仅考虑径向畸变差[3,10]。

线阵相机CCD引起的误差主要有CCD安置、CCD阵面不平整和CCD面阵内变形引起的误差。CCD的安置误差引起线阵相机的主点坐标不为0; CCD阵面不平整与摄影技术无关,只有利用专业设备通过直接量测CCD元件表面才能得到其精确的不平整度,试验证明其影响很小,可以不计[3]。

3 线阵相机的参数标定

3.1 概述

线阵相机只有在动态情况下才能对目标物体正常成像,而动态拍摄时,如果采用传统的面阵相机的标定方式,由于相机和目标间的相对姿态也在不断变化,线阵相机的线频之高使得姿态测量很难进行,这就导致线阵相机内方位元素的标定非常困难。国内外专家学者构建了几种线阵相机标定的方法:早在1993年 Radu Horaud等设计了一组直线组成的图形用于标定线阵CCD[7],国内学者也做了类似的试验[8],2008年北京信息科技大学的学者还发明了由多条等间距竖线和两条平行横线组成的线阵CCD标定靶标,文献[9]提出的两步法线阵标定技术也是基于类似原理设计的,他们的共同特点是通过制作特殊靶标,分析靶标上的特征线在线影像中的分布,确定靶标与相机的相对位置关系,进而标定相机内方位元素。如果将靶标放在较远位置(相机成像的无穷远)进行测试,则靶标只能在CCD很小的范围内成像,要在CCD边缘得到靶标影像,则需要将靶标设计的很大,实际上这是非常困难和不现实的。因此这几种方案标定相机的精度就难以保证。

3.2 基于激光扫描仪对线阵相机进行标定的思想

以线阵影像中心O为原点,指向相机顶部的方向为正,建立像平面坐标系(见图2)。本文对线阵相机检校的主要内容包括:相机的内方位元素,即像主点在像平面坐标系中的坐标 x0和主距f;径向畸变差。

图2 线阵CCD相机的成像原理简图The imaging principle of the line scan camera

从图2中可以看出

其中,xi为目标在影像上的理论坐标值;f为主距;αi是某像素点与主点中心连线与主光轴之间的夹角(也称作入射角)。

线阵相机的像方坐标只与目标的入射角和主距有关,如果能够精确确定目标的这两个参数,就能够计算出其像方坐标,进而求出相机的内方位元素。

在车载三维数据采集系统中,激光扫描仪是靠动态来测定目标物的三维坐标的传感器,它有精度较高的角度测量器件,激光角度测量标称精度为±20″[11],线阵相机CV-L107CL配置的镜头标称主距 f为14 mm(相当于1 000个像素,像素大小为14μ)。

公式(1)xi=tanαi·f中,当α是小角时,可以简化为 xi=αif

也就是说激光扫描仪的角度误差引起的影像上的坐标变化不足0.1个像素,因此可忽略激光的角度误差对线阵相机标定结果的影响。另外通过精密机械加工将线阵相机安装在激光扫描仪上(见图3),安装误差可以控制在1 cm内,测试目标物体与相机直接的距离大于25 m,根据式(1)也可以得到两个传感器的偏心误差对像素的最大影响为0.4个像素左右,所以这个误差可忽略,这也是能借助激光扫描仪角度对线阵相机进行检校的必要前提条件。

图3 线阵相机和激光扫描仪的刚性固定结构Fig.3 The rigid construction of the LSC and LS

将二者刚性严格平行固定在一起,采用精密塞规将二者平行性进行调整,最终夹角可调整在±5″以内,这种刚性平行构造使得运动过程中两传感器的姿态变化一致。作业时使两传感器沿精密导轨运行,得到目标物的点云和线阵影像。对特征点丰富的墙面进行数据采集,编写程序提取点云中特征点,并查找得到这些点的原始扫描角度。在影像上提取相应的同名点影像坐标并记录下来。在相机视场内均匀观测 N组数据,通过平差精确计算出相机参数。

3.3 线阵相机标定模型

根据几何光学,线阵相机 y=0,其物镜系统的径向畸变Δr可用下列奇次多项式表达

其中,Δr是以μm为单位表示的径向畸变差值; ki(i=0,1,2,…)是描述该物镜系统径向畸变的系数;r为该像点的向径,严格说是该像点与自准直主点PPA之间的距离。由于Δr是小值,r可用以下近似式计算

其中,x0是像主点的像平面坐标;X′为该点的像平面坐标。

绝大多数物镜系统,取三个k系数已经能准确地描述它的畸变曲线,对一些质量好的物镜系统,只要取前两项足矣[4]。

将式(1)、(3)代入式(2)转换得到线阵相机的标定模型

由于 f与x0、k0、k1、k2相关,因此应该分两步求解来保证结果的正确性。

第一步:求 x0、k0、k1、k2。

对模型进行线性化得到

当具有若干个观测值时,可将式(4)写成矩阵的形式

其中,

迭代计算得到 x0、k0、k1、k2。

第二步:求f。

对模型进行线性化得到

当具有若干个观测值时,将式(5)写成矩阵形式

其中,A=tanai;X=Δf;L=xi-(xi)。

用第一步求取的参数值作为其初值,迭代计算求取主距f。将得到的f作为初值重新计算第一步的参数,直到所有参数计算都收敛稳定后结束,最终得到较高精度的参数值。具体计算流程见图4。

图4 标定参数计算流程图Fig.4 The flow chart of computing parameters

4 试验数据及精度分析

将线阵相机和激光扫描仪(按照如图3所示)的平行刚体结构一同安置在升降平台上,设置平台在竖直平面内按照一定的频率进行移动,对建筑物街景进行数据采集,得到影像和点云原始数据。其中本文选取的对象是点云数据中表现出一定突出特性的砖缝墙。

图5 彩色点云以及与影像的对应图Fig.5 The corresponding of the cloud points and the image

用自行开发的程序对点云进行处理,提取出特征点,根据对应位置在影像上找出相应的特征点并进行量测,从而得到试验数据的观测值——采集的点的像素值以及对应的角度信息。(图5为开发的程序的彩色点云与影像的对应的显示图)

本文还编制了相应的参数解算程序,并根据经典平差理论设立了粗差剔除机制,计算完一遍参数以后进行判断,如果

则认为这组数据为观测不准确数据,从原始数据中剔除这一行的数据,将所有数据检查一遍,然后用剩余的数据重新进行参数计算。这样迭代进行计算,采集的每个像素的改正值都小于3倍的标准中误差,具体数据处理流程见图4。

试验初步采集了三组数据,用三组数据分别计算参数,根据参数将相应的一条影像线上的像素进行畸变差计算,画出相应的畸变差曲线(如图6),通过三组数据的畸变差曲线的比较,看到畸变差的图形走势基本重合,说明标定模型正确,结果精度较高。

图6 畸变差曲线(每种颜色代表一组数据的计算结果)Fig.6 The curve of the distortion

三组数据的计算结果见表1。

对各组数据分别进行了畸变差改正的中误差计算:

CV-L107CL相机的像元大小为14μm,每组的观测数据在150个左右,可以得到最大的一组的畸变差改正值中误差为0.51×14=7.14μm,已经完全满足后期进行数据融合的精度要求。

三组数据进行数据分析,得到主点和主距的中误差分别为单位均是像素(14μm),也就是主点中误差0.16×14=2.24μm,主距中误差0.54×14= 7.56μm。由于两传感器中心的不重合直接影响到主点的解算结果,因此结果中的主点值不能反应相机的真实情况,但对后期影像与激光数据的融合没有影响。

表1 三组数据的计算结果及畸变差改正精度Tab.1 The results and the accuracy of the three group data

5 结束语

根据数据分析结果可以看出,该标定方法和数据处理方法计算出的畸变差精度高达7.14μm主点中误差为 2.24μm,主距 f的中误差为7.56μm,完全能够满足将彩色影像赋给点云的精度要求。此方法得到的畸变差改正参数精度高、稳定性好,也可以用于同类产品标定。如果想进一步提高精度,可以进一步加大线阵相机与被摄物体间的距离,从而进一步降低激光扫描仪测角误差和机械安装误差对整个检校精度的影响,提高像素和对应角度的观测精度。

[1] WEI Bo,ZHANG Aiwu.Design and Implementation of a Vehicle-borne System of 3D Data Acquisition and Processing[J].Chinese Journal of Stereology and Image Analysis, 2009,13(1):30-33.(魏波,张爱武.车载三维数据获取与处理系统设计与实现[J].中国体视学与图像分析,2008,13 (1):30-33.)

[2] CHEN Yunfang,YE Zetian.Research on Mobile Data Collection System Based on Multi-sensor[J].Transducer and Micro-system Technologies,2006,25(12):23-25. (陈允芳,叶则田.多传感器组合的移动车载数据采集系统研究[J].传感器与微系统,2006,25(12):23-25.)

[3] XIE Wenhan,ZHANG Zuxun.Camera Calibration Based on Vanishing Points of Multi-image[J].Acta Geodaetica et Cartographica Sinica,2004,33(4):335-340.(谢文寒,张祖勋.基于多像灭点的相机定标[J].测绘学报,2004,33 (4):335-340.)

[4] FENG Wenhao.Close Range Photogrammetry[M].Wuhan: Wuhan University Press,2004:185-193.(冯文灏.近景摄影测量[M].武汉:武汉大学出版社,2004:185-193.)

[5] LIN Zongjian,CUI Hongxia.Research on the Digital Camera Distortion Calibration [J]. Geomatics and Information Science of Wuhan University,2005,30(2):122-125.(林宗坚,崔红霞.数码相机的畸变差检测研究[J].武汉大学学报:信息科学版,2005,30(2):122-125.)

[6] WANG Dong,FENG Wenhao,LU Xiushan.Camera Calibration ofNikon D1X [J].Science ofSurveying and Mapping,2007,32(2):33-34.(王冬,冯文灏,卢秀山. Nikon D1X相机检校[J].测绘科学,2007,32(2):33-34.)

[7] HORAUD R,MOHR R,LORECKI B.On Single-Scan Line Camera Calibration [J]. IEEE Transactions on Robotics and Automation,1993,9(1):71-74.

[8] QU Wenqian,YI Yi,HU Xiaole.The Application of Single Scan Line Camera in Vehicle Borne 3D Information Data Acquisition System[J].Journal of Capital Normal University:Natural Science Edition,2008,29(5):9-11.(曲文乾,翼翼,胡晓乐.线阵相机在车载三维信息采集系统中的检校分析[J].首都师范大学:自然科学版,2008,29(5):9-11.)

[9] ZHANG Hongtao,DUAN Fajie.Study on Calibration of Linear CCD Based on Two Steps[J].Acta Metrologica Sinica,2007,28(4):311-313.(张洪涛,段发阶.基于两步法线阵CCD标定技术研究[J].计量学报,2007,28(4): 311-313.)

[10] W ANG Liuzhao.Small Digital and Aerial Photogrammetry System[D].Kunming:Kunming University of Science and Technology,2006:5-6.(王留召.小型数字航空摄影测量系统[D].昆明:昆明理工大学,2006:5-6.)

[11] WANG Liuzhao,QU Laichao.The Calibration of RA-360 Laser Scanner[C]∥The 6th International Symposium on Digital Earth.Beijing:[s.n.],2009.

The Calibration of the Line Scan Camera Based on Laser Scanner

HAN Youmei1,2,3,WANGLiuzhao2,4,ZHONG Ruofei2
1.Shandong University of Science and Technology,Qingdao 266510,China;2.Capital Normal University,Beijing 100038,China; 3.Chinese Academy of Surveying and Mapping,Beijing 100039,China;4.Henan Polytechnic University,Jiaozuo 454000,China

Based on the characters of the line scan camera and the vehicle-borne 3D data acquisition system,this paper presented a method to calibrate the line scan camera(LSC)based on the laser scanner.Using the angle information in the original laser scanner data,combing the principle of the line scan camera,it built a calibration model for LSC and designed some experiment methods for that.Then it computed high precision calibration parameters,which provides basis for the texture mapping in the future and gives references to the similar sensors calibration.

line scan camera;dynamic calibration;laser scanner;vehicle-borne

HAN Y oumei(1981—),femail,PhD candidate, majors in digital photogrammetry and modeling.

1001-1595(2010)06-0631-05

P234

A

国家863重点项目(2008AA131301)

(责任编辑:雷秀丽)

2009-12-07

2009-02-03

韩友美(1981—),女,博士生,主要研究方向为数字摄影测量与建模。

E-mail:hanyoumei@126.com