集成GIGIS技术与改进LiDAR的建筑测量技术研究
2024-05-17王滨
王 滨
(兰州铁道设计院有限公司,兰州 730000)
0 引言
倾斜摄影测量技术近些年得到了广泛的研究和应用,尤其在城市规划和灾害评估等多个领域中,表现出了其不凡的应用价值[1-2]。该技术能够提供各种环境场景下的高分辨率三维影像数据,成为地理信息科学领域中的一项关键技术[3]。然而,尽管倾斜摄影技术在多个应用场景中都展现出了显著的优势和价值,但在数据整合、特征提取和融合方面的具体应用潜力还有许多未被完全发掘的空间。因此,探讨如何在地理信息与地理信息系统(GIGIS,geographic information and geographic information system)技术的框架下,将倾斜摄影与机载激光雷达(LiDAR,light detection and ranging)技术有机融合,优化建筑物的测量过程,成为当前研究的重中之重。与此同时,传统的测量方法通常因依赖单一数据源而在准确性、完整性和可视化等方面表现出一定的局限性[4-5]。王金等人[6]对于车载激光扫描技术处理数据难度较大的问题,提出了一种用于高速立交中线提取点云数据的处理方法,通过多种滤波算法对非道路点云进行处理,并利用Alpha shapes算法识别道路边界,最后采用B-spline曲线拟合算法对道路中线进行拟合。这种方法可以帮助建立智能道路并进行维护工作。然而,由于车载激光扫描技术采集的数据量大且噪声较多,因此道路中值提取仍存在不足之处,需要继续完善。王利媛等人[7]为解决地表物体点云数据密度不均的问题,引入了一种密度相关的点云卷积算子PointConv,并提出了一种注意力机制模块来调整局部信息的权重,提高网络对不同点云实例的识别能力。通过在城市室外场景车载点云数据集GML_DataSetA和三维语义标注基准数据集ISPRS Vaihingen上进行分类实验,验证了所提方法的有效性。但在实际应用中,受初始数据的影响,该方案的准确率和效率仍然难以让人满意。此次研究力图突破这些局限性,探索融合这倾斜摄影和LiDAR测量技术,以开辟建筑物测量应用的新路径。在此基础上,研究对点云数据的特征提取和融合方法进行了进一步的优化研究,确保在建筑测量领域能够获得更精确和全面的数据特征。研究期望能够推动建筑测量技术朝着更加成熟和先进的方向发展,为整个建筑测量领域带来更多的创新和启示。
1 改进机载LiDAR的建筑测量技术研究
1.1 GIGIS技术支持下倾斜摄影与机载LiDAR的集成
LiDAR是一种远程感测技术,主要依靠发射脉冲光线并接收其反射回来的信号来测量目标与传感器之间的距离。LiDAR系统通过发射激光脉冲并接收被地面或其他目标反射回来的脉冲来工作。通过计算发射激光与接收反射之间的时间差,可以确定激光脉冲与目标之间的距离[8]。研究总结LiDAR的主要类型及其重要组成部分,如图1所示。
图1 LiDAR的主要类型及其重要组成部分
在图1中,与其他两类LiDAR相比,机载LiDAR获取数据的速度更快,精度更高,受天气影响更小[9]。考虑到建筑测量的现实需求,此次研究在机载LiDAR的基础上,构建建筑测量模型。在传统的机载LiDAR建筑测量模型中,由于点云重建缺少纹理信息,因此得到的三维模型不够真实。而作为近年来迅速发展的无人机倾斜摄影技术,从不同的角度捕捉目标地面的照片来获取三维信息[10]。研究将无人机倾斜摄影技术与机载LiDAR集成,使建筑模型更真实;又发挥机载LiDAR高精度的优势,得到高精度的建筑三维测量模型。在机载LiDAR系统中,点P坐标计算如式(1)所示:
(1)
式中,(x,y,z)为扫描点P的三维坐标;S为P点与扫描点中心O的距离;θ为观测的垂直方向角;α为观测的水平方向角。激光测距系统是机载LiDAR系统的核心组成,主要功能是测量传感器到目标物之间的距离。此次研究采用的是脉冲式测距法,该方法利用光速计算激光走过的总距离,计算传感器到目标物的距离,如式(2)所示:
(2)
式中,S为机载LiDAR与待测建筑之间的距离;c为光速;Δt为脉冲信号发射和返回的时间。传统摄影测量法只能采集地面物体的垂直影像。然而,伴随着无人机和航空数字摄影技术的进步,新一代的倾斜摄影测量技术已逐渐浮现[11]。倾斜摄影测量技术利用无人机装载5个相机,分别从垂直、前、后、左、右共5个方位捕捉物体的全方位影像。这种无人机倾斜摄影测量法彻底改变了传统摄影测量仅从正面角度采集影像的模式,拓宽了遥感影像的应用领域。对比倾斜摄影测量与传统摄影测量的处理流程,如图2所示。
图2 倾斜摄影测量与传统摄影测量的处理流程对比
如图2所示,倾斜摄影测量经过数据预处理、三维重建、数据处理和分析以及成果提取与应用等一系列严格的处理流程,能够生成高质量的三维模型。而传统摄影测量技术仅能从垂直角度获取地物影像,其生成的模型多为二维,应用范围较为有限[12]。此次研究探索了倾斜摄影测量技术与GIGIS技术的深度结合,以挖掘并增强其在建筑测量中的应用潜力。倾斜摄影测量技术在获取三维数据时具有独特优势,而GIGIS平台为这些数据提供了更广泛的应用场景,从而不仅能为用户提供详细和精确的地图和查询工具,还能进行更复杂和深入的空间分析和模拟。具体来说,GIGIS平台能够将倾斜摄影得到的影像和点云数据与其他空间数据,如卫星图像和地形图,进行高效融合。这种融合技术充分展现了GIGIS在空间分析、数据管理和可视化方面的强大功能。通过GIGIS平台,研究首先利用高精度、低噪声的机载LiDAR技术对建筑进行点云信息采集,同时捕捉其纹理和色彩特征信息。随后,使用GIGIS对采集的数据进行整合和管理,并运用其空间分析工具深化对建筑物的认知,如进行阳光照射和视线分析等模拟。此外,GIGIS的高级可视化工具允许用户从多种视角探索场景,为他们提供一种沉浸式的三维可视化体验,使观察更加贴近真实环境。
1.2 建筑三维重建算法优化
建筑的三维重建是测量学中的一大挑战,这需要依赖精确且高效的算法。此次研究利用GIGIS进行高效的数据预处理,包括去噪、滤波和数据格式转换,以建立准确、稳定的算法基础。其次,GIGIS允许从多个源,包括LiDAR、卫星图像和倾斜摄影融合数据[14]。这种多源数据整合为建筑物的三维模型提供了更丰富且精确的信息。进一步的空间分析能够深入挖掘建筑物的几何特性、空间分布和相互关系,这有助于更细致、更准确地重建建筑物的形状和结构。三维重建算法涉及深度图采集、图像预处理、点云生成、点云配准和数据融合等多个阶段。在深度图采集阶段,深度相机被用于捕捉深度图,同时,它也能像普通相机一样,捕捉环境的彩色图像。在GIGIS技术的支持下,可以从不同视角捕捉图像,能够获取被拍摄环境的全方位信息。然而,在图像数据预处理阶段,受到设备分辨率等限制,深度图信息在获取过程中也存在着诸多缺点,通常采用高斯滤波法和中值滤波法进行降噪处理。高斯滤波法常用二维零均值的离散高斯函数作为平滑过滤器,其本质是对像素点进行加权平均,目标像素点与比较像素点之间的距离越大,权值越大,其权值如式(3)所示:
(3)
式中,w(i,j)为滤波器在(i,j)处的权值。中值滤波法是将像素值的大小像素排序后所获得的像素值均值,滤波后的图像如式(4)所示:
g(x,y)=med[f(x-k,y-l),(k,l∈W)]
(4)
式中,g(x,y)为滤波后的图像,f(x,y)为深度图像,W为二维中值滤波模版。点云计算是一种基于三维重建技术的模型重建方法,能将真实世界的三维模型通过算法进行重建。点云模型中的点云计算指的是将点云数据并行处理,计算每个点的三维坐标,并根据这些坐标计算出该点的云模型[15]。点云匹配是指将点云数据集与真实世界的三维模型进行匹配,以确定每个点的三维坐标和云模型中的位置。点云匹配是三维重建模型中的一项关键技术,可以提高三维重建模型的准确性和可靠性。通过点云匹配,可以实现真实世界与虚拟世界之间的交互,从而构建更加逼真的虚拟世界。数据融合是将不同参考视图的深度图融合过滤成为一个密集的点云,其中图像坐标与世界坐标的转换如式(5)所示:
Pω=dT-1K-1Px
(5)
式中,Pω为图像坐标系中像素点的坐标,Px为世界坐标系下像素点的坐标,T和K分别为相机内外参数矩阵。在融合后的点云中,并非所有像素点都能够被保存,为解决这一问题,研究通过多视角立体视觉算法(MVS,multiple view stereo)对三维模型进行重建。MVS能够对深度图进行滤波处理,对于每一张深度图,都有一张与之对应的置信度图产生,其映射过程如图3所示。
图3 深度图像映射过程
图3为深度图像素点映射过程。图3中P点表示深度图的像素。Ii表示原始深度图像,Ij则表示经过映射后的相邻视图。通过估计深度Di(P),从而将图像Ii中的像素P映射到其他的相邻视图Ij,会得到一个新的像素P′。深度图像素点阈值的计算如式(6)所示:
(6)
式中,τ1为阈值,P″则表示P点在原始深度图像中的另一个位置。另一个阈值τ2的定义如式(7)所示:
(7)
式中,τ2表示另一个阈值,Dj(P″)为P″的投影深度。由于Ij也有自己的深度图,因此也可以得到对应的深度Dj(P′)。通过公式(6)、(7)可以进一步得到深度图的过滤约束公式,只有在至少3个相邻的视图下满足上述约束的像素点才能被认定为是有效的像素点。
衡量三维重建算法性能好坏的指标通常有精度、点云完整度和F值等。准确度的计算如式(8)所示:
(8)
式中,Pp表示三维重建模型中的任意一个点云的位置,Pg则为真值点云集合。Argmin表示使后面这个式子达到最小值时相关参数的取值。完整度是指真值三维点云在重建后的点云中可以匹配的像素点百分比度量,其计算如式(9)所示:
(9)
式中,(Pp)为真值点云的集合,完整度也可以通过绝对平均距离进行衡量。
1.3 集成建筑测量系统的点云特征提取与融合优化
建筑测量技术受到数据特征精度的直接影响,在融合GIGIS技术的倾斜影像中,提供了丰富的纹理和色彩信息,而机载LiDAR确保了点云数据的高精度和低噪声,两者的结合实现了对地物特征的全方位、多角度捕捉。这一综合方法有助于更全面细致地理解和描绘地表物体,为不同领域的研究和应用提供了强大的支持。此次研究针对融合过程中可能遇到的问题进行优化探索,以期获得更为精确且完整的建筑测量数据。研究优化基于GIGIS倾斜影像和机载LiDAR的点云特征提取和融合的技术流程如图4所示。
图4 点云信息特征提取与融合流程图
在倾斜影像色彩特征的提取与转换中,首步需要形成倾斜影像的匹配点云[16]。借助装备多镜头相机的无人机,倾斜摄影技术能从多角度迅速并精准地收集地面的影像资料。这种多角度拍摄可以将三维空间特性转化为二维图像信息并保存。通过密集匹配技术,这种转化被逆向处理,即从二维图像恢复到具有三维坐标的空间点。此流程主要包括稀疏和密集的点云重建,最后产出是一个带有色彩属性的三维点云,如图5所示。
图5 影像密集匹配流程图
如图5所示,点云的生成可以划分为稀疏和密集两个步骤。考虑到稀疏点云无法完全描绘每个对象的结构,研究进一步对MVS算法进行优化,以获得更密集的点云数据。与单视角算法相比,MVS算法具有更高的精度和可靠性,并且可以处理复杂的光照变化和背景干扰等问题。为进一步提高MVS算法的性能,有学者利用深度学习模型构建了MVSNet模型,虽然MVSNet提升了场景的整体完整度,但是却牺牲了局部纹理的完整度[17-18]。造成这一情况的原因是忽略了特征提取网络的作用,因此,此次研究将空间注意力机制(SA,spatial attention)和通道注意力机制(CA,channel attention)进行结合,最终生成了一个双通道注意力机制(CBAM,convolutional block attention module),并将该机制用于MVSNet中,旨在提高MVSNet特征提取网络的特征提取能力,从而搭建效果更好的三维数字图像虚拟场景重建模型。SA和CA的结构如图6所示。
图6 SA与CA的结构示意图
在特征图中,每个通道均被认为是一个特征检测器,这主要是为了对各个特征的重要性进行建模,并据此对不同任务的输入进行特征分配。由此,通道注意力模块主要是通过调节不同通道的表达来强化或减弱特征的表达。在复杂纹理或漫反射区域的情况下,简化的特征提取网络可能会导致一些原视图转换过程中特征图的细节丢失,这会阻止获取完全的特征信息,继而影响重建点云的完整性。因此,在通道注意力机制模块中,采用了最大池化与平均池化的组合,并通过共享权重的神经网络进行特征提取。而在空间注意力机制的应用中,特征图中样本点的空间位置极为关键。如果位置存在偏差,那么在概率选择过程中,将不能保证概率最大的点确实是原本属于该空间坐标的真实点。为了更有效地突显重要信息区域,将通过沿通道轴对通道注意力图进行平均池化和最大池化操作,然后经Sigmoid函数处理生成空间注意力图。采用双通道注意力机制的MVSNet特征网络结构如图7所示。
图7 融合SA与CA的MVSNet模块图
图7展示的是基于双通道注意力策略的MVSNet结构图。首先,遍历待重建场景的各个视角图像。每幅图像都被视作参考视角,并与其相邻的源视角图像一起被输入。接着,MVSNet对这些参考和源视图进行特征化,从而生成的特征映射会被用于进行单应性调整和双线性内插。在MVSNet的深层中,CBAM双通道注意力策略被采纳,这样在特征达到一定深度后,能够突出关键特征并强化特征间的互相关联。为了集中特征数据,结合了最大池化和平均池化的策略,然后将得到的二维特征传入一个共享权重的神经网络,产生通道注意力映射。该注意力映射与原始图像执行乘和加运算,之后的通道注意力映射会进行连续的最大池化和平均池化,并经过Sigmoid处理来生成相应的权重映射。这些权重与输入侧的通道注意力映射进行按元素的乘和加运算,从而输出的空间注意力映射成为最后的特征映射。
通过MVSNet-CBAM算法获得密集点云后,研究首先选择一张参考影像,利用前述的摄像机姿态估计,为其选择邻近的影像来形成立体像对。随后,基于这些像对和特征点,计算每个影像的深度[19-20]。最后,合并所有深度信息,形成整个场景的密集点云。由于密集匹配点云数据与机载LiDAR点云数据获取方式有所不同,这导致同一区域内的点云不能完全对应。因此,在特征融合时不能简单地将这两组数据组合。为解决这一问题,研究使用KDTree索引进行最近邻点搜索,将距离激光点最近的密集匹配点的颜色信息赋给激光点,并将两者的特征融合。这一系统化的方法确保了点云特征融合的准确性和高效性,也为建筑测量提供了更准确的数据。
2 GIGIS技术支持下改进LiDAR的建筑测量技术性能验证
2.1 MVSNet-CBAM优化算法性能验证
技术的改进与优化需要在实践中经受严格的验证,因此,研究将结合理论分析和实际实验,全面验证改进后的LiDAR建筑测量技术性能,以期确保每一项改进都能够在实际应用中带来显著的效果提升。研究采用常规的LiDAR技术与研究改进的LiDARA测量技术进行对比,比较点云特征提取与融合的效果。研究首先进行对优化的MVSNet-CBAM算法进行测试,数据集为MVS的经典数据集,包括DTU、Eth3D和BlendedMVS。其中DTU包含来自49个场景的图像,每个场景都包含从已知相机参数的不同视点捕获的图像,由于不同的场景复杂性,该数据集提供了一系列的挑战,包括不同的表面属性、深度和遮挡。Eth3D集来自苏黎世联邦理工学院,旨在为多视图立体和表面重建算法提供基准测试。它具有高分辨率的图像和多样的真实世界场景,包括室内和室外环境。BlendedMVS是一个专为室内场景量身定制的大规模多视图立体数据集。它结合了几个真实捕获的数据集,并通过混合不同的场景和光照条件,旨在提高深度MVS模型的训练效果。对比模型选用MVSNet、MVSNet-SA和MVSNet-CA与此次研究提出的MVSNet-CBAM模型进行实验对比。实验在同一环境下进行,开发语言为C++;开发平台为Visual Studio 2019;实验使用的计算设备CPU为Inter(R) Core(TM) i5-10210U,操作系统为Windows 10 Home,内存为8 G,显卡为NVIDIA GeForce GTX 1080ti。模型的输入均为基于GIGIS倾斜摄影得到的多角度影像资料,并结合摄像机的姿态和已有的稀疏点云信息。输出均为密集的三维点云。先对4个不同的模型进行训练,训练过程中的损失函数曲线如图8所示。
图8 迭代训练曲线
如图8所示,在前2 000次的迭代中,各模型的损失函数曲线呈现快速下降的趋势。其中MVSNet-CBAM的下降趋势最为明显。随着迭代次数的增加,各模型的损失函数曲线已经接近收敛,说明参与训练的模型均采取了正确的训练策略。在损失函数值稳定后,MVSNet-CBAM的损失函数值最低,为4左右,相较于其他3个模型分别减少了53.77%、49.49%和42.71%。并且MVSNet-CBAM在达到稳定时所经过的迭代次数最少,更快地接近收敛。训练结果表明,此次研究构建的模型收敛速度更快,损失函数值更低,模型的性能更优秀。在训练结束后,使用以上4种模型进行测试,研究统计了在不同数据集的测试中数据,如表1所示。
表1 不同数据集下各评价指标数据
如表1所示,研究选用的模型评价指标包括准确度、完整度和综合评分。其中准确度越高越好,完整度越高越好。综合评分是准确度与完整度的平均数,综合评分越低越好。整体来看,在准确度方面,按照从优至差进行排序,分别为MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet;在完整度方面,按照从优至差进行排序,分别为MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet;在综合评分中,按照从优至差进行排序,分别为MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet。统计结果证明MVSNet-CBAM模型具有最好的表现,验证了此次研究的有效性。
2.2 改进LiDAR的建筑测量技术性能验证
为了验证研究方法在实际测试中的准确性,研究选用天津市某郊区建筑群机载点云数据的两处区域作为实验对象。天津市某郊区建筑群点云数据信息如表2所示。
表2 天津市某郊区建筑群机载点云数据
对比不同方法的特征提取的精度,如图9所示。
图9 不同方法的特征提取准确率对比
图9为不同方法的目标建筑物测量特征提取精度对比结果。其中图9(a)为A区域的点云数据特征提取准确率对比情况,从图中可以看出LiDAR在20次测试中的平均准确率为81.05%,最高准确率为87.03%,最低准确率为76.87%;研究改进的LiDAR在20次测试中的平均准确率为93.56%,最高准确率为97.05%,最低准确率为90.11%。图9(b)为B区域的点云数据特征提取准确率对比情况,从图中可以看出LiDAR在20次测试中的平均准确率为79.75%,最高准确率为86.12%,最低准确率为74.22%;研究改进的LiDAR在20次测试中的平均准确率为92.14%,最高准确率为95.85%,最低准确率为92.72%。实验结果表明,研究在GIGIS技术支持下改进LiDAR的方法是有效的,使建筑测量中点云数据特征提取的准确率得到了极大的提升。对比不同方法的特征提取的召回率,如图10所示。
图10 不同方法的特征提取召回率对比
召回率通常被用于衡量一个模型正确识别正样本的能力。在点云数据的建筑物特征提取中,召回率可以帮助使用者了解有多少真实的建筑物特征被正确地提取出来。召回率高意味着大部分真实的建筑物特征都被正确识别,而召回率低则意味着许多真实的建筑物特征被漏掉了。图10为不同方法的目标建筑物测量特征提取的召回率对比结果。其中图10(a)为A区域的点云数据特征提取召回率对比情况,从图中可以看出LiDAR在20次测试中的平均召回率为70.12%,最高召回率为77.65%,最低召回率为66.63%;研究改进的LiDAR在20次测试中的平均召回率为91.02%,最高召回率为92.44%,最低召回率为88.51%。图10(b)为B区域的点云数据特征提取召回率对比情况,从图中可以看出LiDAR在20次测试中的平均召回率为68.82%,最高召回率为71.31%,最低召回率为66.03%;研究改进的LiDAR在20次测试中的平均召回率为90.14%,最高召回率为92.23%,最低召回率为87.85%。实验结果表明,研究对LiDAR的改进是成功的,使建筑测量中点云数据特征提取的召回率得到了极大的提升。最后,研究统计了不同方法的准确率与召回率,绘制了准确度-召回率(PR,precision recall)曲线,如图11所示。
图11 不同方法PR曲线对比
PR曲线是一个用于衡量二分类模型效果的工具。PR曲线的下方面积可以用来衡量模型的整体性能。曲线下方面积越大,模型的性能通常越好。在建筑物点云数据特征提取的场景中,使用PR曲线对比可以帮助研究者或工程师明确哪些方法在平衡精确率和召回率方面表现得更好。图11(a)为区域A中不同方法的PR曲线对比情况,从图中可以明显看出,改进LiDAR曲线下面积显著大于LiDAR,结果表示在区域A中,研究改进的LiDAR很好地平衡了准确率和召回率的关系,性能更好。图11(b)为区域B中不同方法的PR曲线对比情况,图中改进LiDAR曲线下面积更大,LiDAR曲线下面积更小。结果表示研究方法的整体性能更加优秀,验证了改进是有效的。
3 结束语
随着全球城市化的加速推进,对建筑和城市结构的精确测量成了一个越来越重要的需求。传统的测量方法在处理复杂的建筑结构和环境时显示出了明显的局限性。结合现代倾斜摄影测量技术和机载LiDAR技术,以便在GIGIS技术的支持下实现更精确和完整的建筑测量。研究通过GIGIS的倾斜影像技术获取了丰富的纹理和色彩特征信息,并利用机载LiDAR技术获取高精度和低噪声的点云信息,从而克服了单一数据源的局限性。为了验证研究对点云特征提取与融合方法优化的效果,研究首先对MVSNet-CBAM优化算法进行了性能验证,发现优化模型在准确度、完整度和综合评分上的评价均优于其他3种模型。进一步验证研究所提建筑测量技术的性能,在两个不同区域实验结果中,研究方法的平均召回率分别为91.02%和90.14%,而传统方法的平均召回率分别为70.12%和68.82%。此外,在PR曲线的对比中,研究方法的曲线下面积也显著大于改进前的LiDAR测量方法。实验结果表明,基于GIGIS的机载LiDAR可以为提供更高质量的点云数据,从而保证了测量的准确性。更重要的是,研究中提出的点云特征提取和融合方法进一步优化了这两种数据的结合,使得在建筑测量应用中能够获得更为精确和完整的数据特征。不过,由于实验条件有限,郊区建筑群机载点云数据不可避免地会与城市建筑机载点云数据存在差异,因此研究所提方法还需要在今后的研究中得到进一步的验证和优化。