面向高分辨率激光扫描点云的三维建筑物风格化渲染方法

唐翔， 王伟鹏， 罗欢， 郭迎亚

(1. 福州大学建筑与城乡规划学院, 福建 福州 350108; 2. 福州大学计算机与大数据学院, 福建 福州 350108)

0 引言

三维激光扫描技术的快速发展带来了三维激光扫描系统性能的不断提高. 目前， 三维激光扫描技术已广泛应用于建筑物结构提取[1]、 遗产保护[2]、 城市规划[3]以及虚拟现实[4]等诸多领域. 相比于传统测绘手段， 三维激光扫描具有采集自动化程度高、 测量精度高、 数据生产周期短以及生产过程受环境因素影响小等特点[5]. 其所采集的高分辨率扫描点云是密集分布在被测量物体表面的高密度离散三维点所形成的点集合. 由于三维点云具有空间离散分布的特点， 直接展示原始三维点云缺乏良好的视觉展示效果， 这一缺陷在虚拟现实、 增强现实等应用中尤为明显.

针对三维点云可视化的问题， 关于点云渲染的相关研究一直以来受到学术界和工业界的广泛关注[6-8]. 为了使三维点云的展示蕴含其所处场景的光照信息， 屏幕空间环境光遮蔽的实时渲染方法[6]通过计算光线的遮蔽量以实现三维点云的渲染， 增强了点云展示的真实感. 针对可同时获取三维点云和光学影像的激光雷达扫描系统， 基于三维点云和光学影像匹配的渲染方法[7]通过挖掘不同数据源间的共享信息， 以建立点云与影像间的映射关系， 进而实现点云的真实色彩渲染. 为了更好地挖掘点云与影像间的共享信息， 通过随机一致性采样方法在特征空间中实现不同数据源之间的对应点自动搜索与匹配[8]. 这为点云真实感渲染的实现提供了另外一种解决思路. 虽然建立点云与影像间的映射关系后， 可利用目标真实颜色渲染其点云数据， 但是此类方法要求激光扫描系统可同时获取同一场景的点云与影像描述.

随着深度学习在各个领域的成功应用， 面向图像数据的非真实感渲染方法已经成功应用于工业界[9]， 但是面向点云数据的非真实感渲染的相关技术却鲜有报道. 风格化渲染点云是一种非真实感渲染点云的方法[10]， 其通过将人的注意力集中到不真实的数据显示上， 有效地弥补点云数据在真实感上表现的不足， 提高了点云数据展示的艺术性和娱乐性. 本研究主要针对高分辨率激光扫描点云的非真实感渲染问题， 提出一种面向高分辨率激光扫描点云的三维建筑物风格化渲染的方法， 实现了二维图像风格向三维点云风格的迁移， 以提高三维点云的展示效果. 所提出的方法在不同激光扫描设备所采集的高分辨率建筑物点云数据上进行了实验. 实验验证了所提出的方法可成功地将二维图像的风格迁移至三维点云中， 提高了三维点云的展示效果.

1 面向高分辨率激光扫描点云的风格化渲染

本研究所提出的面向高分辨率激光扫描点云的风格化渲染方法可分为以下三个阶段： 首先， 利用远距离点采样方法可实现精简高分辨率建筑物点云数据， 同时保留其三维结构特征， 以解决高分辨率点云中海量三维点所带来的计算量问题； 然后， 基于采样后的三维点云， 生成三维网格数据， 并利用基于神经网络的三维网格风格化渲染方法， 以实现二维图像至三维建筑物的风格迁移； 最后， 将风格化渲染后的三维网格数据作为桥梁， 利用基于K-D树(K-dimensional Tree)的网格数据与点云数据的融合方法， 建立两种数据之间的映射关系， 以实现将可视化信息从三维网格数据向点云数据的传递， 最终完成三维点云风格化渲染.

1.1 高分辨率三维点云的远距离点采样

高分辨率三维点云数据具有点密度高的特点， 这意味着建筑物点云数据包含海量三维离散点， 极大地增加了点云风格化渲染的计算复杂性. 为了解决这一问题， 本研究提出利用点云采样对点云数据进行精简的同时保留其三维几何结构. 目前， 常用的启发式点云采样方法包括随机采样(random sampling， RS)， 反密度重要性采样(inverse density importance sampling， IDIS)[11]， 以及远距离点采样(farthest point sampling, FPS)[12]. 随机采样是通过在原始三维点集合中均匀采样出给定数量点的采样方法. 反密度重要性采样是根据点密度以采样密度最高点的采样方法. 对于随机采样来说， 虽然其采样速度快， 但是由于其采样效果与点集规模相关， 因此难以保证采样后的点云仍能保留原始点云的完整结构. 对于反密度重要性采样， 虽然其可保证原有结构信息不受破坏， 但仍存在对异常点抗干扰性差的问题[13]. 相比于其他两种方法， 远距离点采样算法可以很好地保持原始点云的几何结构特性， 同时具有较好的鲁棒性.

4) 重复2)～3)步直到采样点数为K， 算法终止.

远距离点采样算法每次采样距离点集P*的最远点， 这在一定程度上保证了采样后的点云数据尽可能地覆盖整个原始点云数据， 同时对于局部异常点具有一定的抗干扰能力.

1.2 基于神经网络的三维网格风格化渲染

L=acLc+asLs+atLt

(1)

该损失函数包含了内容损失Lc、 风格损失Ls以及邻域风格损失Lt三个部分.其中，ac，as和at分别是内容损失、 风格损失和邻域风格损失在损失函数L中的权重因子.

为了保证风格化渲染前后的三维网格数据的内容一致性， 内容损失Lc的设计考虑了三维点的整体位置偏移量.位置偏移量越小将意味着风格化渲染前后的数据三维结构的变化越小.

(2)

图像特征信息可反映图像视觉风格.为了保证已渲染三维网格m和图像xs的风格具有一致性，Ls的设计考虑了应尽量减少风格迁移区域的图像特征的差异性.

(3)

为了使三维网格的风格化渲染不受噪声干扰， 引入相邻像素之间颜色的相似性作为约束， 将Lt设计为如下形式：

(4)

为了最小化损失函数L， 本研究采用卷积神经网络对三维网格风格化渲染进行建模， 并通过随机梯度下降算法进行求解.首先， 通过神经网络渲染器[10]将三维网格数据根据视角ø投影到二维平面生成风格化渲染图像x； 然后， 将x与风格图像数据xs进行比对， 用以计算损失函数L的值； 最后， 通过对损失函数L求导， 利用反向传播算法， 并根据损失函数值， 对神经网络渲染器的参数进行更新.整个神经网络渲染器的参数更新过程不断迭代执行， 直到更新过程收敛为止， 即损失函数值不再发生明显的变化.神经网络渲染器的训练阶段结束后， 将输出神经网络渲染器和三维网格数据的风格化渲染结果m.

1.3 基于K-D树的三维网格数据与高分辨率三维点云数据融合

为了有效地渲染原始高分辨率三维点云数据P， 将利用得到的已渲染三维网格数据m， 通过融合三维网格与三维点云数据， 以实现视觉信息从三维网格数据向三维点云数据的传递.本研究提出基于K-D树[14]的数据融合算法， 建立点云与网格数据之间的映射， 进而实现网格数据和点云数据的融合， 最终完成高分辨率建筑物点云的渲染.首先， 利用均匀采样算法在三维网格m中每一个三角面片fi上采样N个带有视觉信息的三维点， 形成三维点集Pmesh.其中，Pmesh中三维点的颜色视觉信息是由采样点所处的三角面片fi上的RGB颜色所决定的； 然后， 利用K-D树的构建算法， 将三维点集Pmesh作为输入， 建立K-D树搜索结构T； 最后， 对于每一个三维点pi∈P， 利用T搜索点集Pmesh中其相邻的k个点， 并将三维点pi的视觉信息设置为k个点颜色的均值.基于K-D树的数据融合算法运行结束后， 即可获得风格化渲染后的高分辨率三维点云数据.

2 实验分析

2.1 实验数据

为了验证所提出的点云风格化渲染方法能适用于不同类型的点云数据， 实验中所使用的建筑物点云是通过Leica ScanStation P50、 RIEGL VMX450以及 L3D2 MLS system三种不同类型的激光扫描系统得到的. 其中， P50是静态激光扫描系统， VMX450和L3D2是车载移动激光扫描系统. 图1分别展示了通过P50、 L3D2和VMX450所获取的原始高分辨率建筑物点云数据. 其中， 建筑物1是教堂数据； 建筑物2是洋房数据； 建筑物3是高楼数据. 这些建筑物点云的点数目分别为 2 047 950、 289 471和945 893点， 点密度分别约为4 000、 2 000和3 000点·m-2.

图1 原始高分辨率建筑物点云数据展示图Fig.1 Raw high-resolution point clouds of building

2.2 三维建筑物点云的风格化渲染

所提出的算法在Windows 10系统、 GPU 3.7 GHz、 内存4 GB的台式机上进行验证. 在远距离点采样中， 将采样点数目K设置为10 000. 三个建筑物点云的采样时间分别为 489、 72和213 s. 图2显示了建筑物点云的采样结果. 与图1中原始高分辨率点云数据相比， 采样后的建筑物点云明显变得稀疏， 但依然保留了原始建筑物点云的三维几何结构信息. 这表明远距离点采样算法不仅极大减少了建筑物表面三维点数目， 而且在一定程度上保持建筑物的主要结构信息.

图2 采样后的建筑物点云数据展示图 Fig.2 Sampled 3D point clouds of building

在三维网格风格化渲染中， 损失函数L的权重因子ac、as和at分别设置为0.4、 0.4和0.2. 在网格数据与点云数据融合的过程中， 邻域数目k设置为5. 图3～5分别展示了建筑物1～3的风格化渲染结果. 对于每一个建筑物， 都采用了四幅风格不同的图像作为风格图像. 从风格化渲染后的点云中可以看出， 所提出的三维点云风格化渲染方法能成功地将二维图像的图像风格迁移到三维点云上. 与图1中原始点云数据相比， 风格化渲染后的点云具有更好的展示效果， 提高了三维点云展示的艺术性. 从风格化渲染后的局部细节上看， 某些局部点云渲染未能很好地表现原始图像风格. 这是由于点云具有空间离散分布的特点， 导致了三维网格与点云数据融合后出现点云颜色显示不连续的情况. 另外， 从图3(c)、 图4(c)和图5(c)的展示结果中可以看出， 对风格化渲染后的点云进行环境光遮蔽渲染， 可实现在提高点云展示效果的同时， 突出建筑物的几何轮廓. 这反映所提出的风格化渲染方法可保持原有点云数据的三维几何结构信息.

图3 建筑物1的点云渲染结果展示图Fig.3 The rendering results of building 1 on the 3D point clouds

图4 建筑物2的点云渲染结果展示图Fig.4 The rendering results of building 2 on the 3D point clouds

图5 建筑物3的点云渲染结果展示图Fig.5 The rendering results of building 3 on the 3D point clouds

3 结语

本研究针对高分辨率激光扫描点云的非真实感渲染问题， 提出一个面向高分辨率激光扫描点云的建筑物风格化渲染方法. 该方法提出了远距离点采样方法， 以解决高分辨率点云所带来的计算量大的问题； 给出了基于神经网络的风格化渲染方法和基于K-D树的数据融合方法， 以解决三维点云数据风格化渲染问题. 实验中所采用的数据集包含不同激光扫描系统所采集的不同类型建筑物的高分辨率点云数据. 实验结果表明， 所提出的算法可有效地将二维图像的风格迁移至三维建筑物风格， 在提高点云数据的可视化效果的同时， 增加了点云数据展示的艺术性.

本研究所提出的点云风格化渲染方法利用了三维网格数据作为图像风格向点云风格迁移的桥梁， 这在一定程度上影响了图像风格向点云风格迁移的效果. 未来的研究将考虑端到端地实现图像风格向点云风格的直接迁移， 以避免三维网格与点云融合后出现的点云颜色显示不连续.