基于共线原理的全景影像真彩色点云生成算法

宋 杨，曾凡洋，李长辉，钟若飞

（1.广州市城市规划勘测设计研究院，广东 广州510060；2.首都师范大学，北京 100048）

在移动测量系统外业数据采集过程中，激光扫描仪按设定的扫描角、扫描采样率等指标实时获取目标对象精确、海量的三维点云数据；数码相机按曝光规则获取目标对象的颜色纹理信息。综合来看，三维激光点云数据单独仅具备强度信息，不具有颜色信息又不符合常规目视解译习惯；CCD数码相机拍摄的照片影像空间颜色纹理信息丰富，但影像本身无三维坐标信息，“只能看、无法量”；二者若能融合即可实现对目标精确而直观的描述-“真彩色点云”是海量激光点云数据与彩色影像数据融合的新型数据成果，其在场景可视化显示、目标物体分类、三维建筑建模等方面均具有很大的实用价值［1-2］。

目前，国内外已有一些学者对激光点云与数码影像融合开展了一些研究［3-10］，根据所采用的数码影像类型的不同，主要分为面阵CCD影像、线阵CCD影像及全景相机影像与激光扫描仪的三类融合。研究最多的是面阵CCD影像与激光点云的融合，针对不同的数据特点，基于POS数据或者采用点云与影像特征匹配等方法实现激光点云与面阵CCD影像的配准、利用共线方程融合生成彩色点云。线阵CCD相机具有采集频率高、视角宽等优点，克服了面阵CCD相机不能及时存储图像及产出影像漏洞的缺点，但在实际应用中发现线阵CCD相机具有标定困难、影像整体白平衡调整困难等问题。全景影像最大的特点是水平方向视场角达到360°，以全景方式查看，直观生动、三维可视效果好，是当前街景应用的主要数据展现载体。三种不同影像获取方式各有利弊，针对不同的需求，不同移动测量系统选择搭载不同类型的相机。加拿大Optech公司的Lynx Moblie Mapper配有至多2个或者4个面阵相机用于影像采集，奥地利RIEGL公司的VMX-250采用4个或6个面阵CCD相机获取影像，日本Topcon公司的IP-S2系统使用Ladybug3全景相机作为影像获取手段［11-13］。

本文基于搭载全景相机及激光扫描仪的移动道路测量系统的数据特点，在全景影像和激光点云精确配准的基础上，基于摄影时刻全景相机中心、全景球面上的像点、实际场景中的物点三点共线的原理，提出一种由全景影像给对应激光点云赋彩色的算法，充分利用全景影像360°可视和激光点云位置精确的特点，经实验验证算法推导正确，实验效果良好。

1 车载多传感器城市街景移动测量系统

本文实验采用广州城市规划勘测设计研究院于2012年联合首都师范大学“产、学、研、用”协同创新，自主研制的一款具有600m超长作业距离的“车载多传感器城市街景移动测量系统”。该系统集成最先进的脉冲式REIGL VZ400三维激光扫描仪，以及Ladybug3全景相机、惯性测量单元IMU和全球定位系统GPS等传感器（如图1所示）。

图1 车载多传感器城市街景移动测量系统

1）REIGL VZ400是目前世界上一流的脉冲式激光设备，每秒最多可发射30万个激光脉冲，其点云成果具备毫米级的相对测量精度，保证待赋色的原始激光点云数据的细节表现力。REIGL VZ400的配备使车辆行驶过程中实时获取道路沿线600m范围内的、高精度三维点云数据；

2）Ladybug3是由6个镜头拼接而成的全景相机（其中5个镜头分布在侧面，1个镜头位于顶部），对多镜头拼接后得到的全景影像采用的输出分辨率可设置为5 400像素×2 700像素，Ladybug3全景相机以每5m的曝光间隔、获取沿线区域全景影像；

3）IMU和GPS则提供了车辆在移动过程中的姿态和位置。

4）REIGL VZ400、Ladybug3、IMU 和 GPS等设备在空间上被刚性固定在同一平台上，在时间上由GPS统一，在经过实验场检校和一系列数据融合处理后，激光点云和全景影像可精确配准，计算出点云所对应的全景球上像点的像素坐标，将像点的RGB颜色值赋给该点。

2 基于共线原理的真彩色点云算法

2.1 算法相关坐标系的定义

算法涉及的相关坐标系如图2所示，其定义：

1）大地坐标系S-XtYtZt：绝对坐标，点云数据中各点使用该坐标系记录；

2）局部空间直角坐标系S1-X1Y1Z1：将S坐标系原点平移到当前全景球球心形成的局部空间直角坐标系；

3）全景球空间直角坐标系S2-XsYsZs：以当前全景球球心为原点，Y轴指向车行方向，X轴指向车体右侧，Z轴垂直向上；

4）全景球极坐标系P：以全景球心为原点的极坐标系；

5）全景影像平面坐标系o-xy：以像主点为原点的平面直角坐标系。

图2 算法相关坐标系的定义

2.2 算 法

整体思路：激光点云数据中任意点处记录的坐标表示物点实际位置的绝对三维坐标，算法根据任意摄影时刻全景相机中心、全景球面上的像点、实际场景中的物点三点共线的原理；由激光点云中的物点绝对三维坐标（Xt，Yt，Zt）计算对应像点在全景影像上的像素坐标（m，n），继而将像素坐标（m，n）对应处的颜色信息值赋给激光点云物点；整个算法对激光数据分块索引、遍历，直至形成覆盖整个目标区域的真彩色点云成果。

参照图2所示的算法相关坐标系的定义，对算法思路进行分解：

1）由物点的大地坐标S （Xt，Yt，Zt）到S1系下坐标（X1，Y1，Z1）：

式中：（dX，dY，dZ）为当前全景球球心的大地坐标；

（2）由S1系坐标（X1，Y1，Z1）到S2系坐标（Xs，Ys，Zs），

其中（a1，a2，a3，b1，b2，b3，c1，c2，c3）为旋转矩阵的系数，由全景影像的三个姿态角φ（横滚角）、ω（俯仰角）、κ（航向角）确定，

3）由S2系坐标（Xs，Ys，Zs）计算对应像点在全景球上的极坐标（B，L，R），

4）由B，L计算对应像点在全景影像上的平面坐标x，y；

5）由像平面坐标（x，y）计算像素坐标（m，n），

式中：Width为全景影像的宽，Height为全景影像的高。

6）赋颜色，RGB（Xs，Ys，Zs）表示点（Xs，Ys，Zs）的RGB颜色值，N为全景影像编号，RGB（m，n，N）表示该全景影像上像素（m，n）的RGB颜色值；

2.3 算法实现

本文实验数据包括激光点云、全景影像及记录全景影像位置姿态时间的相机文件（本文称为CAM数据）。其中，激光点云数据为连续扫描得到的，其记录的数据格式为（x，y，z，t）；x，y，z为三维坐标，t表示GPS周秒；全景影像数据每隔5m曝光采样一次得到的，原始＊.PGR格式全景影像数据经解算可转换为JPEG、BMP等通用格式；经POS和GPS联合解算得到的CAM相机文件记录了每一张全景影像的文件名、经纬度坐标、三维直角坐标、姿态角（俯仰角、横滚角、航向角）和GPS周秒。

算法实现过程：

1）在程序中加载激光点云、全景影像、相机文件三类数据。

2）为待赋颜色的激光点云数据选择合适的全景影像。本文实验中激光点云数据扫描线之间的距离约为0.2m（车速约40km／h），全景影像是每5m一张；全景影像是在行车过程中持续曝光得到的，不可避免存在不同程度的物体遮挡情况，从不同角度拍摄获取的全景影像中出现遮挡的情况不尽相同，需通过程序为点云数据自动选择合适的全景影像来赋色。算法判断规则：首先，为每个待赋色的激光点选择最近的全景影像，可依据GPS时间或几何距离来判断；当判断激光点出现遮挡情况，对被遮挡的点云选取相邻全景影像计算颜色。在实际应用中，需结合数据特点和需求，两个规则综合处理。

3）计算出点云所对应的全景球上某处像点的像素坐标，将该像素坐标处的RGB颜色值赋给点云。

4）在点云分块的前提下，重复步骤2～3迭代、遍历整个目标区域，得到整个目标区域的真彩色点云成果。

3 实验结果及分析

本文实验数据采用“车载多传感器城市街景移动测量系统”在广州市区某主干道高架桥路段采集得到，现场采集环境存在车多，建筑物密集、GPS信号不稳定等干扰因素，是移动测量系统在城市内开展作业的代表性环境，在这样的条件下验证算法的效果具备客观性和说服力。

实验所采用REIGL VZ400扫描得到的原始激光点云数据如图3所示、Ladybug3拍摄的全景影像数据如图4所示，经本文算法实现自动生成的真彩色点云成果如图5所示。如图6所示，比对原始全景影像与所生成的真彩色点云，经叠加二者精确套和，这一结果表明原始激光点云通过共线算法原理获得对应全景影像处的准确空间对应关系，实现原始点云的准确赋色，从而得到“空间位置准确、色彩表现客观真实”的真彩色点云，验证算法的可行性。

图3 REIGL VZ4OO所采集的原始激光点云

图6真彩色点云、全景影像及其叠加显示经多组实验、综合分析算法生成的真彩色点云可发现：算法稳定性和执行效率较高，对于不存在遮挡情况的点云赋色效果非常好，如图7中所示道路沿线的房屋、树木、路面和路灯等；但也存在部分被遮挡的困难区域点云赋色不正确，在超高建筑物上端纹理出现略微偏移等问题。

图5 经本文算法计算生成的真彩色点云

图6 真彩色点云、全景影像

图7 真彩色点云与影像细节对比

4 展 望

1）当车位于高架桥上采集数据时，全景相机有时会被两边围栏挡住部分视线、造成下层影像无法拍摄到，下一阶段计划对算法中处理遮挡问题的规则结合任务实际情况进行细化，或者通过加高相机支架以拓宽拍摄视野；

2）对于由于全景影像几何畸变、分辨率不足或配准误差所造成的算法效果下降，计划通过使用多个高性能单反数码相机拼接组成高分辨率全景相机代替Ladybug3，升级硬件提升算法效果。

5 结束语

本文依托多传感器融合的移动激光测量技术，在全景影像和激光点云精确配准的基础上，基于摄影时刻全景相机中心、全景球面上的像点、实际场景中的物点三点共线的原理，提出一种由全景影像给对应激光点云赋色的真彩色点云生成算法。算法充分融合全景影像360°可视，以及激光点云位置精确的优势。经实验检验，算法推导正确、运算效率较高、具有较好的稳健性，所生成的真彩色点云形态逼真、准确，实现了真彩色点云成果的快速生产。算法思路适用于其它同类移动激光测量系统，真彩色点云的生产普及可以进一步丰富测绘产品“服务政府、服务社会”的数据形式。

［1］李德仁，关泽群.空间信息系统的集成与实现［M］.武汉：武汉测绘科技大学出版社，2002.

［2］张剑清，潘励，王树根.摄影测量学［M］.武汉：武汉大学出版社，2003.

［3］叶泽田，刘先林，钟若飞，等.车载多传感器集成快速数据获取与处理系统研究［J］.中国科技成果，2008（12）：46-48.

［4］侯艳芳，叶泽田，杨勇.基于POS数据的车载面阵CCD影像与激光点云融合处理研究［J］.遥感信息，2011（4）：76-79.

［5］赫春晓，李浩.基于三维激光扫描数据的三维实景构建［J］.测绘工程，2013，2（22）：81-85.

［6］侯飞，胡召玲，刘晴.基于三维激光扫描技术的古陵墓可视化［J］.测绘工程，2013，10（22）：78-81.

［7］杨长强，叶泽田，钟若飞.基于时空匹配的车载激光点云与 CCD线阵图像的融合［J］.测绘科学，2010，35（2）：32-33.

［8］张帆，黄先锋，李德仁.激光扫描与光学影像数据配准的研究进展［J］.测绘通报，2008（2）：7-10.

［9］范冲，张娟，王大鹏.基于移动测量的交通标志自动提取［J］.测绘工程，2014，23（5）：13-17.

［10］曹先革，杨金玲，司海燕，等.地面三维激光扫描点云数据精度影响因素及控制措施［J］.测绘工程，2014，23（12）：5-7.

［11］韩友美，王留召，钟若飞.基于激光扫描仪的线阵相机动态高精度标定［J］.测绘学报，2010，39（6）：631-635.

［12］Pandey G，McBride J，Savarese S，et al.Extrinsic Calibration of a 3DLaser Scanner and an Omnidirectional Camera［C］.In Proceedings IFAC Symposium on Intelligent Autonomous Vehicles，Lecce，Italy，2010.

［13］季顺平，史云.车载全景相机的影像匹配和光束法平差［J］.测绘学报，2013，42（1）：94-100.