融合无人机载雷达与RGB 影像的建筑物特征研究

罗潇姝

（四川建筑职业技术学院 四川 德阳 618000）

0 引言

随着城市化进程的加速和城市规模的不断扩大，对于建筑物的识别、分类变得越来越重要。 传统的建筑物特征研究主要依赖于人工勘察和地面调查，耗时耗力且效率低下。 然而，无人机技术的快速发展为建筑物特征研究带来了新的机遇［1］。 RGB（red、green、blue）影像是指由红、绿和蓝3 个波段组成的彩色影像。 无人机载雷达和RGB 影像作为两种常用的无人机数据源，提供多种角度和维度的建筑物信息。 无人机载雷达可以通过发射和接收雷达波，获得建筑物的结构特征、高程信息和反射特性，即使在复杂地形和植被覆盖的情况下也能有效探测。 RGB 影像则能够提供建筑物的视觉信息，包括外观特征、纹理和色彩等［2］。 借助计算机视觉、机器学习和深度学习等技术，可以开发自动化算法和模型，实现建筑物的自动分类、提取和分析，有助于提高研究的效率和准确性，减轻人工分析的工作量。

1 无人机载雷达技术在建筑物特征研究中的挑战

无人机载雷达系统采集的数据量庞大，对于数据的存储、管理和处理提出了挑战。 有效的大数据处理和分析方法亟须被开发。 在数据处理和配准方面，无人机载雷达数据的预处理、配准和滤波等步骤需要高度精确的算法和技术支持。 无人机载雷达数据的质量和精度直接影响建筑物特征提取的准确性和可靠性。 需要开发相应的质量控制方法，包括数据校正、误差估计和精度评估等。 如何实现自动化的建筑物分类和功能分析仍是挑战。

2 RGB 影像及建筑物特征

2.1 RGB 影像获取与处理

在建筑物特征研究中，RGB 影像是一种常用的数据源，用于提取建筑物的视觉特征和纹理信息。 RGB 影像可以通过多种方式获取，包括航空摄影、卫星遥感和无人机航拍等。 无人机航拍则是利用无人机平台进行低空拍摄，具有灵活性和高分辨率的优势。

2.2 建筑物特征提取方法

建筑物特征提取是建筑物研究中的重要任务，它能够从图像或点云数据中提取出建筑物的形状、纹理、高程等信息［3］。 传统方法主要基于计算机视觉和图像处理技术，包括特征描述子、边缘检测、分割和形状分析等方法。 深度学习方法利用深度神经网络对图像或点云数据进行特征学习和提取，能够自动学习和表示建筑物的特征。 基于图像分割的方法是将建筑物从背景中分离出来，以获得建筑物的轮廓和形状信息，常用的图像分割方法包括基于阈值、基于边缘、基于区域和基于图割等。 基于形状描述的方法是将建筑物的形状信息进行描述和匹配，以获得建筑物的特征，常用的方法包括形状上下文、形状分析和轮廓匹配等。 基于高程数据的方法是基于点云或激光雷达数据的建筑物特征提取，可以利用高程信息进行分析，高程数据可以提供建筑物的高度、坡度和屋顶形态等特征。 基于多源数据的方法是结合多源数据，如多光谱影像、热红外影像和雷达数据，进行建筑物特征提取可以获得更全面和多维的信息。 多源数据融合可以利用各种数据的优势，提高建筑物特征的准确性和鲁棒性。

3 数据获取与预处理

3.1 无人机载雷达数据采集

无人机载雷达数据采集是利用搭载在无人机上的雷达设备对地面进行扫描和测量，以获取地物的距离、高程和反射特性等信息，详见表1。

表1 无人机载雷达数据采集步骤

对于特定的研究项目，可以结合其他传感器数据进行多源数据融合，以获得更全面和多维的信息。

3.2 RGB 影像获取与校正

RGB 影像获取和校正是指获取彩色图像并对其进行校正和处理，以获得准确的颜色信息和图像质量，对于遥感、地理信息系统、计算机视觉和图像分析等都具有重要意义［4］。 通过数据采集和校正，获得可靠的图像数据，并为后续的分析和应用提供准确的信息基础，详见表2。

表2 RGB 影像获取与校正步骤

3.3 数据预处理和配准

数据预处理和配准可以消除数据之间的差异性，提高数据质量和一致性，为后续的特征提取和分析提供可靠的基础。 同时减少误差和不确定性，从而增强对建筑物特征的准确性和可靠性的分析和解释。

（1）数据预处理。 噪声去除：使用滤波算法（如高斯滤波、中值滤波）去除数据中的噪声，提高数据质量。 数据平滑：应用平滑算法（如均值滤波、卷积核滤波）降低数据中的噪声和离群值数据插值：对缺失或不完整的数据进行插值处理，填补缺失值以恢复数据的完整性。 影像校正：如去除辐射畸变、几何畸变或传感器响应不均匀性等。

（2）数据配准。 几何配准：对数据进行几何配准，将不同源或不同时间的数据对齐。 辐射配准：校正不同数据源的辐射度，使其具有相同的辐射单位和参考标准。 影像配准：将不同传感器或不同分辨率的影像进行配准，使其空间对应关系准确。

（3）数据校正和标定。 辐射校正：将数据转换为可比较的辐射度或反射率，消除由于不同传感器、观测条件或大气效应引起的亮度差异。 色彩校正：调整数据的色彩和亮度，以保持一致的颜色表现和可视化效果。 尺度校正：根据地面控制点等，对数据进行尺度校正，确保准确的空间尺度。

4 数据融合方法

4.1 点云与影像数据融合算法

点云与影像数据融合算法用于将来自激光扫描仪或无人机搭载的激光雷达采集的点云数据与来自RGB 影像的图像数据进行融合，以获得更丰富和全面的地理信息。

4.1.1 影像投影法

①影像像素到点云的投影：将影像上的像素坐标转换为对应的地理坐标，然后通过插值或最近邻的方法找到对应的点云数据点，将像素值赋予该点云点。 ②点云到影像的反投影：将点云数据点的地理坐标投影到影像平面上，然后通过插值或最近邻的方法找到对应的影像像素，将点云的属性信息赋予该像素。

4.1.2 特征匹配法

①特征提取与匹配：从点云数据和影像数据中提取特征，如角点、边缘、纹理等。 然后通过特征描述子或相似度度量方法进行特征匹配，找到点云和影像中相对应的特征点。 ②姿态估计与配准：基于匹配的特征点，使用姿态估计算法计算点云和影像之间的相对姿态（平移和旋转），进而进行点云和影像的配准，使其对齐。

4.1.3 深度学习方法

①语义分割与对齐：使用深度学习模型，如卷积神经网络或语义分割网络，对影像数据进行语义分割，得到每个像素点的语义类别。 然后将语义分割结果与点云数据进行对齐，将每个点云点的属性信息赋予对应的语义类别。 ②生成对抗网络（GAN）：使用GAN 模型，通过学习影像数据和点云数据之间的映射关系，生成逼真的点云数据，以填补点云数据的缺失或不完整部分。

4.1.4 运动估计与融合

通过运动估计算法，估计无人机或激光扫描仪在采集数据时的运动轨迹和姿态变化。 将点云数据和影像数据根据估计的运动轨迹和姿态变化进行融合，实现点云和影像数据的空间对齐和一致性。

4.2 三维重建和纹理映射

三维重建是将点云数据转换为几何模型的过程，它包括点云的三角化和表面重建。 常用的三维重建方法包括以下几种：Delaunay 三角化、法向量估计与平滑、体素化重建、基于特征的重建。 纹理映射是将影像数据中的纹理信息映射到三维模型表面的过程，以实现真实感和细节的增强。 常用的纹理映射方法包括点云投影、纹理坐标映射、多视角纹理融合、基于光照的纹理合成。

综合考虑三维重建和纹理映射，可以将点云数据与影像数据无缝地融合，生成具有高质量纹理的真实感三维模型。 通过三维重建，可以获得准确的几何信息，而通过纹理映射，可以为模型赋予真实的外观和细节。 这种融合可以提供更真实、更直观的可视化效果。

5 建筑物特征提取与分析

5.1 建筑物轮廓提取

建筑物轮廓提取是从图像或点云数据中提取出建筑物的边界或轮廓线。 这个过程可以获取建筑物的几何形状信息，进而进行建筑物的分析、识别和重建等任务。

Canny 算法是一种经典的边缘检测方法，可以检测出图像中的边缘信息，通过设定适当的阈值和边缘连接策略，以提取出建筑物的边界。 区域生长算法是一种基于像素相似性的图像分割方法，可以将具有相似属性的像素聚合成区域，通过设定建筑物的种子点和生长准则，在图像中提取出建筑物的轮廓。 图割算法是一种图论算法，可以将图像分割成多个具有相似属性的区域。 通过设定建筑物的前景和背景标签，实现建筑物轮廓的提取。 卷积神经网络通过训练具有建筑物轮廓标注的数据集，可使用卷积神经网络模型进行建筑物轮廓的预测和提取。

5.2 高程信息提取

高程信息提取是指从地形数据中提取出地表点的垂直高程信息。 可利用激光雷达数据中的地面点，通过一系列滤波和分割算法提取出地面的点云，从而得到地表的高程信息。 还可通过将激光雷达点云进行插值或栅格化，生成高精度的数字高程模型，其中每个像素都代表了地表的高程值。 也可通过分析多幅SAR 图像的相位差异，推断出地表点的高程信息，这种方法在获取大范围地表高程信息方面具有优势，适用于地表形变监测和地形重建等应用。 还可通过对具有重叠区域的光学影像进行立体匹配，计算出地表点的高程信息，这种方法需要至少两个视角的影像，并利用视差或特征点匹配来计算高程。 还可利用全球导航卫星系统接收器获取地表点的位置信息，通过差分定位或实时动态定位算法，计算出点的高程信息，这种方法适用于实时监测和测量应用。 将不同数据源（如激光雷达数据、SAR 数据、光学影像等）进行融合，可以综合利用它们的优势，提高高程信息提取的精度和完整性。

5.3 纹理特征提取

纹理特征提取是指从图像或物体表面中提取出纹理信息的过程。

灰度共生矩阵（ gray-level co-occurrence matrix，GLCM）通过计算图像中像素间的灰度级对出现的频率来描述纹理。 基于GLCM 可以提取出统计特征，如能量、对比度、均匀性和熵等。

灰度直方图通过计算图像中像素的灰度级分布，可以获取图像的灰度纹理特征。

小波变换可以将图像分解成不同尺度和方向的频带。通过分析各个频带的能量分布和纹理信息，可以提取出具有多尺度和多方向特征的纹理描述子。

局部二值模式是一种局部纹理描述子，通过比较像素与其邻域像素的灰度关系来表示纹理信息。 局部二值模式特征可以通过计算图像中每个像素的二进制编码来提取。

Gabor 滤波器是一组用于提取纹理信息的滤波器。通过在不同尺度和方向上对图像进行Gabor 滤波，可以提取出不同频率和方向的纹理特征。

通常，将多个纹理特征提取方法结合起来可以获得更全面和丰富的纹理描述。 可以将不同方法提取的特征进行组合或串联，以得到更具辨别能力的纹理特征。

6 展望

未来的研究可以继续探索和拓展相关技术和应用，以提高建筑物分类与功能分析的准确性、效率和实用性，为城市规划、环境监测、智能交通等领域的发展提供更好的支持。 还需进一步改进。

①算法改进：进一步改进数据融合和特征提取的算法，提高建筑物分类与功能分析的准确性和鲁棒性。 可以尝试引入更复杂的深度学习模型、多模态数据融合方法和语义推理技术等。 ②多尺度建筑物分析：建筑物具有不同的尺度和层次，从单个建筑物到城市级别，研究如何在不同尺度下进行建筑物特征提取和分析，可以提供更全面和细粒度的信息。 ③实时处理和大规模数据：建筑物数据的实时处理和大规模数据的处理是具有挑战性的任务，需要开发高效的算法和系统，以满足实时性和处理效率的要求。 ④应用拓展：可以探索将该方法应用于城市规划、环境监测、智能交通等领域，为相关决策和应用提供更准确、全面的建筑物信息支持。 ⑤跨领域合作与应用：与地理信息系统、机器学习、遥感等领域共同研究建筑物分类与功能分析的方法和应用，获得更多的专业知识和技术支持，推动建筑物特征研究的发展。 ⑥算法可解释性和可视化：开发可视化工具来展示建筑物特征和分析结果，帮助用户更好地理解和应用算法，提高用户的信任和接受度。