智慧城市街区虚拟全景影像三维快速重建研究

施并招，吕 威，2*

(1. 澳门城市大学，中国 澳门 999078；2. 吉林大学珠海学院，广东 珠海 519041)

1 引言

智慧城市的建设过程中需要收集城市基本信息，以确定城市工业化、城镇化发展现状，实现对城市的精细化和动态化管理，提升城市资源利用效率。城市基本信息的获取，就要精准的获取城市空间三维信息，得到高精度、相对完整的城市数据，形成三维影像图[1-2]。

目前，国内外对城市全景影像三维重建技术的研究已经取得一定的研究成果，大多采用融合倾斜摄影和点云的三维重建技术[3]、无人机倾斜摄影测量三维重建技术[4]、GPS改进的移动球形全景影像三维重建技术[5]。以上技术为城市全景影像三维重建，提供了城市的位置、轮廓、高度等基础信息。形成多幅不同角度的城市图像，采用场景交互的方式，构建三维重建城市全景影像；但当建筑物存在场景遮挡问题时，会出现较大的重建误差；此外，城市全景影像，存在高度的相似性和冗余度，如街道、居民区、绿化等，其中，还存在着难以得到完整数据的地下管道，影响城市全景影像三维重建效果。因此，有学者利用城市的高度相似性和冗余度，通过大规模重复的方式，整合残缺的城市数据[6-7]。但是在实际应用中存在耗时较长的问题。

为此，本文以泉州市鲤城区古城街区为研究对象，采用当前已有的大数据、人工智能、车载激光雷达等技术，优化街区建筑物信息的采集，改进智慧城市街区虚拟全景影像三维快速重建技术。

2 智慧城市街区虚拟全景影像三维快速重建技术

2.1 街区建筑物采集数据坐标建立

此次三维重建古城街区虚拟全景影像，采用车载激光雷达技术作为本次重建鲤城区古城街区虚拟全景影像全景数据的采集设备。由于车载激光雷达需汽车装载激光雷达，扫描鲤城区古城街区虚拟全景，形成全景影像，因此车载激光雷达[8-9]对地坐标系分为激光束瞬时坐标系、扫描参考坐标系和大地坐标系三部分。

建立激光束瞬时坐标系X1轴，将以车行驶的方向作为对地坐标系的X1轴方向，激光束的扫描中心为对地坐标系的原点O1，激光束瞬时扫描方向为Y1轴，Z1轴与X1轴和Y1轴互相垂直，以右手直角坐标系为准则，由Z1轴、X1轴和Y1轴共同构成激光束瞬时坐标系。

建立扫描参考坐标系Y2轴，将以激光束扫描角为0°时车载激光雷达扫描方向作为对地坐标系的Y2轴方向，Z2轴与X1轴和Y2轴互相垂直，以右手直角坐标系为准则，由Z2轴、X1轴和Y2轴共同构成扫描参考坐标系。

假设，某一时刻激光扫描仪激光发射点，到被测物点T的距离为S，则被测物点T在激光束瞬时坐标系的坐标为

(1)

式(1)中，(XTS，YTS，ZTS)表示被测物点T在激光束瞬时坐标系的坐标[10]。被测物点T在扫描参考坐标系坐标，由激光束瞬时坐标系沿着X1轴逆时针旋转(90°-α)得到，α为激光束扫描角度。设定的激光扫描中心O1坐标(X0，Y0，Z0)，可以确定每个激光脚点精准的对地坐标(X，Y，Z)

(2)

式(2)中，N0表示激光扫描位置，(x，y，z)表示扫描位置坐标[11]。

但在激光扫描过程中，会存在被测物属性信息缺失问题，影响城市街区三维重建速度和效果。因此，需对车载雷达扫描到的鲤城区古城街区虚拟全景影像数据进行预处理。

2.2 数据预处理

根据上一章节，确定的鲤城区古城街区建筑物位置，采用坡度差值方式，划分城市建筑物种类。因此，以每条扫描线上左起第一个点为起始点，将扫描线内所有点，分割成小线段集合，每相邻两点都会组成小线段坡度值μn，则有

μn=

(3)

式(3)中，n表示扫描线内点数量；(Xn，Yn，Zn)表示第n个点的空间三维坐标；(Xn-1，Yn-1，Zn-1)表示第n-1个点的空间三维坐标[12]。则第n个点和第n-1个点之间的坡度差值Δμn为

Δμn=|μn+1-μn|

(4)

从式(4)中可以看出，线性分布的扫描线内所有点，两点之间存在坡度值μn=0现象，因此设定参考阈值W和坡度阈值ω。其中，参考阈值W需要根据鲤城区古城街区环境，设置参考阈值，限制小线段集合内点的个数；坡度阈值ω，确定小线段是否为直线，在此次的研究中，设定为5°～15°之间。

综合上述内容，即完成车载激光雷达，扫描得到的鲤城区古城街区数据预处理，此时，即可根据预处理后的鲤城区古城街区数据，提取街区建筑物特征。

2.3 基于建筑物特征提取的全景影像重建

基于上一节处理后的鲤城区古城街区数据，提取鲤城区古城街区建筑物、街道面、街道景观灯方向、大小、深度、位置和拓扑关系等特征，其特征提取流程如下：1.输入鲤城区古城街区建筑物立面点云数据；2.构建建筑物窗户、门洞、墙面等凸出位置，并识别；3.根据坡度值μn，求取鲤城区古城街区建筑物交线，提取交点集，并投影至(X，O，Y)平面；4.求取角点，作为交线顶端点和末尾点；5.设定距离阈值t，将两个交线点集拟合成直线；6.两条交线的四个角点相互连接；7.形成建筑物轮廓。

根据上述设置的建筑物特征提取步骤，计算建筑物凸包点集，即窗户、门洞、墙面等凸出位置。为此，假设凸包点集为一个完整空间的平面，则有

Ax+By+Cz+D=0

(5)

式(5)中，A、B、C和D都表示平面参数。此时，假设车载雷达采集到的建筑物数据集合为W，其中包含V的凸集的交集S称为V的凸包，将(5)式转化为简化的矩阵，则有

(6)

式(6)中，δ表示建筑实际值。针对(6)式求解，即可得到建筑物凸包点集。

(7)

式(7)中，L表示相交线直线；K表示线性方程；a表示斜线过的定点(0，a)；b表示直线斜率。

(8)

式(8)中，k表示角点。针对(10)式求解，即可得到交线点集和角点坐标，即为建筑物特征提取结果。

根据建筑物特征提取结果，建立建筑物几何框架，并编写成DXF文件，导入VisuaISFM三维重建软件中，即完成泉州市鲤城区古城街区虚拟全景影像三维重建技术研究。

将上文得到的建筑特征，进行还原组合处理，让其具有对称、规则和密闭性等特点，形成建筑物几何框架。因此，将上述得到的街区数据集合，投影至(X，O，Y)平面，得到建筑物的三维信息，求出建筑物坐标，确定街区建筑物位置，形成街区三维虚拟影像。将泉州市鲤城区古城街区所有建筑物，都按照上述方式，逐一还原，并在计算机上，编写成DXF文件，将其导入VisuaISFM三维重建软件中，重建街区三维虚拟影像。在重建的过程中，按照得到的建筑物坐标，规划街区建筑物位置，形成鲤城区古城街区虚拟全景影像。

此次研究城市街区虚拟全景影像三维快速重建方法，采用车载雷达设备，以泉州市鲤城区古城街区为研究对象，采集鲤城区古城街区建筑物数据，三维快速重建鲤城区古城街区虚拟全景影像。

3 实验设计与结果分析

此次实验，采用对比实验的方式，以泉州市鲤城区古城街区为实验对象，验证此次研究的智慧城市街区虚拟全景影像三维快速重建技术。并将此次研究的智慧城市街区虚拟全景影像三维快速重建技术，记为实验A组；文献[3]技术、文献[4]技术以分别为实验B组和实验C组，确定三维重建数据采集设备、数据采集角度、GPS/IMU组合导航的东/北向位移真值和观测噪声，改变重建全景影像时间，对比三组技术三维重建误差、指标和收敛性能。

3.1 实验准备

此次实验，选择的泉州市鲤城区古城街区，作为此次实验三维重建的智慧城市街区虚拟全景影像。其街区空间图片，如图1所示。

图1 泉州市鲤城区古城街区空间图

采用图2所示的鲤城区古城街区空间数据采集通信连接图，将采集到的鲤城区古城街区空间数据，传递至计算机中，利用VisuaISFM三维重建软件，在内存为2GB，CPU为Intel(R) Core(TM) i5-9400，功率为2.0GHz，操作系统为Windows 10 64bit，18362.1082专业版，软件运行环境中，重建泉州市鲤城区古城街区影像。

图2 鲤城区古城街区空间数据采集通信连接图

基于上述实验，设置的数据采集坐标和数据采集设备，将LS激光扫描仪的扫描水平起始角设为0°、竖直起始角设为30°、角分辨率设为0.057。

3.2 实验结果

3.2.1 三维重建误差

图3为实验的原建筑图像。基于上述内容设置的实验参数，利用三组实验分别重建建筑物。图4所示的鲤城区古城街区中的原建筑，其重建结果，如图4所示。

图3 原建筑

图4 鲤城区古城街区全景影像三维重建结果图

从图4中可以看出，实验C组重建的建筑物，存在较为严重的残缺现象，立面和非立面获取效果差；实验B组建的建筑物，存在较为严重的纹路，影响建筑物重建效果；只有实验A组重建的建筑物，与原图像一致性较好，且不存在残缺、纹路不清晰等问题。

为进一步对比三组技术，采用机载LIDAR数据滤波测评三组技术，提取重建鲤城区古城街区全景影像中的建筑物的立面和非立面数据，计算立面和非立面存在的误差，其误差分析结果，如表1所示。

表1 误差分析对比结果表

从表1中可以看出，实验A组重建的鲤城区全景影像建筑物，不管是立面，还是非立面，采用机载LIDAR数据滤波测评三组技术，所产生的误差都是最小的。由此可见，此次研究的智慧城市街区虚拟全景影像三维快速重建技术，具有较小的重建误差。

3.2.2 三维重建指标测试

利用三种技术测试三维建筑重建过程中GPS/IMU组合导航的东/北向位移值，并与测出的真实值作比较，其对比结果如图5所示。

图5 三组技术状态估计值

从图5中可以看出，只有实验A组，重建图4所示的原建筑，存在的位移完全一致。

3.2.3 检测三组技术收敛性能

利用VisuaISFM三维重建软件中的重建时间记录功能，记录全景影像重建时间，查看三组技术，重建技术收敛性随着时间的变化，其实验结果，如图6所示。

图6 三组技术收敛性能对比

从图6中可以看出，随着时间的增加，实验A组收敛性能最好，重建原建筑开始后的0.5s内，迅速收敛。由此可见，此次研究的智慧城市街区虚拟全景影像三维快速重建技术，重建智慧城市街区虚拟全景影像，过程稳定，具有较优的收敛性能。

4 结束语

综上所述，本次研究根据国内外研究现状，充分利用当代城市街区数据采集设备，提高三维重建智慧城市街区虚拟全景影像速度。但研究的智慧城市街区虚拟全景影像三维快速重建技术未考虑城市街区数据采集设备，采集城市街区数据角度、方向、位置等因素，对三维重建城市街区虚拟全景影像的影响。因此在今后的研究中，还需深入研究智慧城市街区虚拟全景影像三维快速重建技术，判断街区数据采集设备，采集城市街区数据时，角度、方向、位置等因素，对三维重建技术的影响，进一步提高三维重建技术精度，降低城市街区重建误差。