视觉与激光点云融合的深度图像获取方法

王东敏，彭永胜，李永乐

(1.陆军军事交通学院 研究生管理大队，天津 300161； 2.陆军军事交通学院 军用车辆系，天津 300161)

● 基础科学与技术BasicScience&Technology

视觉与激光点云融合的深度图像获取方法

王东敏1，彭永胜2，李永乐2

(1.陆军军事交通学院 研究生管理大队，天津 300161； 2.陆军军事交通学院 军用车辆系，天津 300161)

针对无人车驾驶车辆使用相机进行环境感知时容易受到光照、阴影等影响，导致难以获得有效的障碍物种类及位置信息等问题，使用64线激光雷达获取前方6～60 m，左、右9 m范围内的点云数据，使用k-d树的方法将映射到图像的三维激光点云进行排列并插值，对激光雷达数据与图像信息进行融合。为解决映射后图像深度信息稀疏的问题，采用二维图像的纹理信息丰富雷达点云的方法对稀疏的深度图像进行拟合插值，得到分辨率为1 624×350的小粒度深度图像，为无人车行驶提供准确的环境场景信息。

无人车；视觉；激光点云；深度图像

深度图像利用场景中物体的深度信息来反映场景中物体之间的相互关系。一般的二维彩色图像，容易受光照、环境阴影等影响，缺失原本的辨识特征，导致按颜色、纹理等特征进行分割难以得到令人满意的结果。深度图像不但能够反映出场景中物体的外部纹理信息，还能够反映出场景中各点相对于无人车相机的距离，有效区别遮挡物体，更方便地表现出场景中物体表面的三维信息。通过深度图像可直接求解出物体的三维几何特征，方便无人车在感知过程中对场景中的物体进行识别与定位[1]。

通常无人车系统通过对获取的彩色图像进行处理获得场景的深度图像。根据其获取深度图像原理的不同，通常采用如下几种方法[2]：利用图像的投影原理，得到场景的几何模型，根据几何模型及特征点，获取特定相机参数下深度图像的三维重建视觉方法[3-5]；利用平行设置的两台保持相同配置的相机，同时对同一场景进行记录，通过建立两幅图像点与点之间的对应关系，计算出两图像像素点的视差，恢复出图像的三维信息的双目视觉方法[6-7]；利用独立于相机之外的深度传感器，通过激光雷达深度成像及结构光测距等方法，来获取独立于图像之外的场景深度信息，通过融合相同时刻采集的彩色图像及深度信息，来构建场景深度图像的三维重构方法[8-11]。

然而，利用彩色图像获取深度图像的三维重建视觉方法及双目视觉方法，单纯依靠摄像机获取的图像色彩及纹理信息，难以摆脱由于光照、环境阴影对图像处理的干扰问题，造成生成深度数据的误差[12]。使用三维重构方法，如Kinect相机获取的场景深度信息难以获得较远距离的可靠数据，无法满足无人车获取较远距离深度信息的场景感知要求。因此，针对无人车的感知需求，使用64线激光雷达及彩色相机采集场景数据，融合后生成小粒度深度图像，提升获取深度图像的范围，降低光照对深度场景感知的影响。由于64线激光雷达获取的点云数据在图像平面内是稀疏的，因此，利用彩色图像的颜色纹理信息对激光雷达点进行拟合插值，生成小粒度的深度图像，可使深度图像获取到场景中的纹理信息。

1 基于二维图像与激光点云融合的深度图像获取方法

本文结合无人车平台传感器特点，提出采用相机采集场景的颜色数据，使用64线激光雷达获取独立的场景深度数据，用颜色数据对场景深度数据进行插值，形成小粒度深度图像的方法[13-14]，为无人车提供包含深度信息的高解析度场景图像，提高无人车环境感知和理解的准确性。

使用图像及雷达点云来获得高分辨率的深度图像，分为4个部分进行(如图1所示)：①使用已经进行64线激光雷达与相机联合标定的无人车，获取同一时刻的图像与64线三维激光点云数据。②使用标定好的64线激光雷达三维坐标与相机平面二维坐标的转化矩阵M，将激光点云投影到图像相应的独立于图像的颜色通道之外的深度通道。③将投影到相机数据点上已知深度的雷达数据构建k-d树。④使用图像的颜色信息，对稀疏的64线激光雷达信息进行插值重构，获得小粒度的深度图像。

图1 基于二维图像与激光点云融合的深度图像获取流程

2 二元数据归一化

在无人车系统中， 64线激光雷达和相机的相对位置与姿态固定不变， 64线激光雷达与相机所获取数据，在两个传感器都覆盖的采集范围内，存在着一一对应关系[15]。根据激光雷达与相机的工作原理和成像模型，64线激光雷达数据点云坐标与图像像素坐标之间存在如下关系：

(1)

式中：fx与fy为图像坐标系中一个像素点所代表实际x、y方向上的距离；(u,v)为图像坐标系坐标；s为图像的深度距离与实际距离的比例因子；(u0,v0)为相机光轴与成像平面的交点坐标；R为3×3的正交旋转矩阵；t为相机与64线激光雷达的外部平移向量；(Xw,Yw,Zw)为三维激光雷达数据点云坐标。

通过相机与64线激光雷达的内部参数与外部参数，可求得64线激光雷达点到图像平面的转化矩阵M：

(2)

式(1)可以简化为

(3)

3 基于k-d树的二元信息融合

经过归一化处理，图像上任意点的位置，通过二维坐标(u,v)进行定位，将图像扩展为4个像素通道R、G、B、D，分别对应彩色图像R、G、B颜色通道，以及深度通道。通过使用标定好的64线激光雷达三维坐标点与图像二维坐标点的转化矩阵M，将64线获得的激光雷达坐标点转化到图像平面，将激光雷达点的深度值添加到相应位置的深度通道，作为深度图像生成的原始数据。

使用k-d树对映射后的深度值点进行排列，便于对像素点进行处理，使得图像中的各像素点都能够查找到距离最近的雷达数据映射点。如图2所示，k-d树在构建的过程中，按照二叉树的方式对图像平面中获得深度值的二维坐标点进行排列，分别计算x、y两个维度上的坐标方差，按照维度方差较大的中位坐标点进行垂直划分，将图像平面的坐标点划分为左、右两个点集，按各个数据点递归进行左右子集空间划分，同时记录着每次划分的节点，及各节点的父代节点，从而生成方便查找的k-d树，直至生成包含空间中所需记录的每一个像素点的k-d树。将构建的k-d树中没有子节点的节点作为“叶子节点”进行记录。将每一个节点进行保存，从而完成构建k-d树。

图2 算法流程

4 深度图像的高分辨率重构

通过构建好的k-d树，查找到距离所需要计算的像素点最近的k-d树节点(如图3所示)，再依据无人车场景中相似外表的区域具有相近的深度值的假设，通过R、G、B三通道的颜色信息相关性得到的权值，对没有雷达数据的像素点进行插值，生成高分辨率的深度图像。

图3 算法流程

在对图像的深度信息进行插值的过程中，其使用的加权平均方式为

(4)

在求取深度信息的过程中，vj为邻近像素点所代表的该点的深度值，p为基于相机颜色的描述符，函数f为

f(x)=e-|x|2/2σ2

(5)

通过对图像像素点进行插值重构后，生成高分辨率的深度图像，如图4所示。16 309个激光点云投影在图像平面内，通过对图像第4个深度通道的数据进行重构，图像中564 589个像素点，得到其深度值，在宽1 624p、高350p的平面内覆盖了99%以上，从而获得相应高分辨率的深度图像。

如图4—6所示，图像中的颜色随着无人车场景深度的变化而变化。深度图像的下半部分，距离无人车较近，生成深度图像颜色较深。图像6(c)下方已知深度的像素点多，因此能够获得较为准确的图像深度信息，如图像中的黑色区域。由图像的下方向上，随着无人车场景距离的增加，使得深度图像深度值随之增加，从而使得图像的颜色也随之变浅。而在中间部分，雷达已知的深度值的像素点较为密集，且雷达坐标系与相机坐标系标定良好，能够获得准确的图像深度信息值，如图6(c)中的灰色区域。在距离图像较远的场景中，激光点云稀疏，获取的独立于彩色图像之外的图像深度信息值较少，图像远距离的像素分辨率低，因此难以获得远距离的场景的准确深度信息，如图6(c)的白色区域。如图5(c)图像中上部的黑色区域，超出了采集的雷达数据范围，而无法产生深度信息，造成生成深度图像数据缺失。

而对于深度连续的地面，本文方法能够避免树木的阴影造成的不良影响，如图6(c)。虽然地面上存在着复杂的阴影，但是在深度图像中，地面上的深度值是连续的，没有受到阴影的影响而产生图像不连续的变化。通过产生深度图像，降低了场景中光照、阴影对无人车感知周围场景的影响。

图4 无人车场景图像Ⅰ

图5 无人车场景图像Ⅱ

图6 无人车场景图像Ⅲ

5 结 语

本文通过将二维彩色图像与激光点云进行融合，以及加权平均的方法，产生高分辨率的深度图像。首先将无人驾驶实验平台安装的64线激光雷达与彩色相机进行联合标定，采集单帧的二维彩色图片及前方6～60 m，左、右9 m的范围内单圈的激光雷达点云数据，再通过对深度图像的高分辨率重构，为无人车环境感知提供可靠的深度图像。使用本方法，获取深度值的图像面积占整个图像平面的99%以上，本方法通过获取独立于二维彩色图像信息之外的场景深度信息，获取高分辨率的场景深度图像对周围场景进行感知，降低无人车由于使用相机进行环境感知时光照及阴影造成的影响，方便无人车在感知过程中对场景中的物体进行识别与定位。但是依然存在深度信息会随物体距离的增加而使得误差增长的不足, 在接下来的工作需在现有工作的基础上，调整摄像机焦距，增强雷达获取的三维激光雷达深度信息映射到图像平面在远距离的准确性，从而处理得到更大范围的深度图像。

[1] THOMAS D, SUGIMOTO A.A flexible scene representation for 3D reconstruction using an RGB-D camera[C]．Sydney:IEEE International Conference on Computer Vision,2013: 2800-2807.

[2] 李可宏,姜灵敏,龚永义.2维至3维图像/视频转换的深度图提取方法综述[J].中国图象图形学报,2014,19(10):1393-1406.

[3] 刘三毛,朱文球,孙文静,等.基于RGB-D单目视觉的室内场景三维重建[J].微型机与应用,2017(1):44-47.

[4] LEE K R，NGUYEN T．Realistic surface geometry reconstruction using a hand-held RGB-D camera[J].Machine Vision &Applications,2016，27( 3) : 377-385．

[5] KERL C, STURM J, CREMERS D．Dense visual SLAM for RGB-D cameras[C].Chiago:IEEE /RSJ International Conference on Intelligent Robots and Systems，2013:2100-2106．

[6] 李海军,王洪丰,沙焕滨.平行双目视觉系统的三维重建研究[J].自动化技术与应用，2007,26(6):56-58.

[7] 朱波,蒋刚毅,张云,等.面向虚拟视点图像绘制的深度图编码算法[J].光电子·激光,2010(5):718-724.

[8] 张勤,贾庆轩.基于激光与单目视觉的室内场景三维重建[J].系统仿真学报,2014(2):357-362.

[9] 邹广群,张维忠,卞思琳.上采样深度图像与RGB图像的融合[J].青岛大学学报(自然科学版),2016(1):71-74.

[10] 杨宇翔,曾毓,何志伟,等．基于自适应权值滤波的深度图像超分辨率重建[J].中国图象图形学报，2014，19(8):1210-1218.

[11] 彭诚,孙新柱.一种改进的深度图像修复算法研究[J].重庆工商大学学报(自然科学版),2016(1):65-69.

[12] 刘娇丽,李素梅,李永达,等. 基于TOF与立体匹配相融合的高分辨率深度获取[J].信息技术,2016(12):190-193.

[13] 江文婷,龚小谨,刘济林. 颜色指导的深度图像升采样算法的对比性研究[J].杭州电子科技大学学报，2014(1)：21-24.

[14] KOPF J,COHEN MF,LISCHINSKI D,etal.Joint Bilateral Upsampling[J].Acm Trans Graph,2007,26(3):96.

[15] 邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述[J].自动化学报,2000, 26(1):43-55.

(编辑：史海英)

AcquisitionMethodforVisionandLaser-pointCloudIntegratedRangeImage

WANG Dongmin1, PENG Yongsheng2, LI Yongle2

(1.Postgraduate Training Brigade, Army Military Transportation University, Tianjin 300161, China; 2.Military Vehicle Department, Army Military Transportation University, Tianjin 300161, China)

Since the unmanned vehicle is easily influenced by illumination and shadow while perceiving environment with camera, and it is difficult to acquire effective obstacles variety and location, the paper firstly acquires point cloud data in the range of 6～30 m ahead and 9 m at left and right with HDL-64E. Then, it arranges and interpolates three-dimensional laser-point cloud which maps to image with k-d tree, and integrates LIDAR data with image information. Finally, in order to solve the sparse depth information of the image after mapping, it obtains the range image of 1 624×350 by making fitting and interpolation on the sparse range image with the method of enriching radar point cloud by the texture information of two-dimensional image, which can provide accurate information of environment scenario for unmanned vehicle.

unmanned vehicle; vision; laser point cloud; range image

10.16807/j.cnki.12-1372/e.2017.10.019

TP391

A

1674-2192(2017)10- 0080- 05

2017-05-03；

2017-08-21.

国家重大研发计划“智能电动汽车路径规划及自主决策方法”(2016YFB0100903)；国家自然科学基金重大项目“自主驾驶车辆关键技术与集成验证平台”(91220301).

王东敏(1992—)，男，硕士研究生；彭永胜(1972—)，男，博士，教授，硕士研究生导师.