基于无人机倾斜摄影的桥梁三维建模研究

2023-01-16王超余星宇崔弥达侯士通

港工技术 2022年6期

毛琳，王超，余星宇，钱嘉，崔弥达，侯士通，吴刚

（1.江西省交通科学研究院有限公司，江西南昌 330052；2.东南大学土木工程学院，江苏南京 211189；3.东衢智慧交通基础设施科技(江苏)有限公司，江苏南京 211199；4.江西省桥梁结构重点实验室，江西南昌 330096）

引言

我国现役桥梁数量庞大，为保证桥梁运行安全，需对桥梁桥面设施、上部结构、下部结构及附属构造物进行日常检查，对桥梁主要结构及附属构造物进行定期全面检查。

传统桥梁检测多采用人工现场调查法，主要针对的是外观检测，检查桥梁是否存在裂缝、钢筋锈蚀、渗水、支座脱空等病害，但桥梁检测人员只能在桥面或桥底进行检测，存在视觉盲点，或距离过远在目力可及范围之外。桥梁检测车能将工作臂升起或降低到桥面以下，为桥梁检测人员和设备提供工作平台，对桥底展开精细化检测，但是工作效率较低，对一些桥梁比如悬索桥的桥底检测，因为斜拉索阻挡，存在一定的局限性。无人机作为一种新型工具，也开始应用在桥梁检测中。无人机具有灵活，飞行平稳等特点，通过搭载高清摄像头和红外热像仪，代替人眼检查桥梁病害。配合桥梁病害自动识别算法，无人机能实现桥梁结构的无人化检测，且能到达高耸塔柱、梁底表面等人工不易到达部位进行病害检测，效率较高。

虽然现在无人机在桥梁检测中已有应用，但是仍然存在一些问题：对于桥底环境，GPS 信号不稳定，无人机常会丢失定位信息，对于钢结构桥梁，磁场的存在也会干扰无人机信号传输。[1]为解决上述问题，本文主要研究了利用无人机倾斜摄影测量来快速建立桥梁三维模型，从而构建桥梁地图。未来可以研究在给定地图的情况下，进行无人机桥梁检测的航线规划及估计无人机的位姿，解决无人机的定位及防撞问题。

1 无人机数据采集

1.1 无人机简介

无人机作为飞行平台，一般分为多旋翼和固定翼两种，因为用于桥梁检测的无人机有定点悬停拍摄桥梁影像的应用需求，常使用多旋翼无人机，该类无人机还有可垂直起降、灵活、可沿各方向自由飞行等优点。典型的多旋翼无人机主要由机体结构系统、飞行动力系统、飞行控制系统、数据链路系统（数传和图传模块）、遥控及显示系统，还可搭载用于桥梁检测的多种传感器和设备，例如红外相机，云台相机，计算平台等等，功能可拓展。

1.2 无人机桥检技术研究进展

专家学者对无人机在桥梁检测中的应用进行了一定的研究，如贺志勇等[2]研究在无人机上搭载高清变焦摄像头、激光测距仪、GPS，并规划其飞行路线来实现对桥梁的自动化检测，并利用数字图像处理技术对无人机采集的图片数据中的裂缝进行自动分类与识别，具有较高的准确率；梁亚斌等人介绍了一种基于无人机航拍的大桥桥索外观检测方法及其在武汉天兴洲长江大桥桥索聚乙烯（PE）保护套外观检测中的应用[3]；邹露鹏等开发了一种加装高分辨光学相机及红外热成像仪的微型无人机，通过近距离飞行采集桥梁表观光学和热成像图谱，再通过后期的图像分析处理，完成桥梁的斜拉索和梁底等构件的病害检测[4]。

为解决桥下无人机定位稳定性差和防撞性能不好。吕福瑞在现阶段的无人机检测技术的基础上研究了一种新型无人机检测系统，其主要由异形检测无人机、中继无人机和建筑信息化模型地面站系统组成，异形无人机有良好的防撞性能和抗磁干扰能力，丢失定位信号时中继无人机增强无人机全球定位信号、差分定位信号及磁罗盘校准的工作，有效地解决了当今无人机检测行业的一些问题[5]。还可以基于PIXHAWK 控制器和改进人工势场法，计算无人机的最佳避障路径，从实现自动避障功能，满足桥梁检测的要求[6]。

除了对无人机进行改组装，解决桥底定位稳定性差还有一种思路。利用无人机倾斜摄影测量来快速建立桥梁三维模型，从而构建桥梁地图。在桥梁地图已知的情况下，进行无人机桥梁检测的航线规划及估计无人机的位姿，解决其定位及防撞问题。

1.3 无人机倾斜摄影的航线规划

无人机倾斜摄影的航线常用的有二维摄影测量、三维摄影测量（井字飞行）、三维摄影测量（五向飞行）和环形航线，如图1 所示。

图1 无人机倾斜摄影常用航线

相比二维摄影测量，三维摄影测量都会采集测区立面的信息，井字飞行每条航线飞机不调转机头，能采集4 个方向倾斜数据；五向飞行通过调转机头会采集1 条正射和4 个方向倾斜的数据；环形航线常用于单体建筑物的影像采集。

通过无人机采集桥梁影像，首先应对测区进行调研，如明确测区范围，桥梁类型，模型分辨率要求，收集相关资料。对于桥梁测区形状一般为矩形，航线规划较为简单，可采用五向飞行或井字飞行，设置航向重叠率（无人机前进方向拍摄照片与照片的重叠率）、旁向重叠率（航线间照片的重叠率）、相机倾斜角等参数后开始自动完成桥梁影像采集。

2 倾斜摄影技术在桥梁建模中的应用

倾斜摄影的基本原理是多视角三维重建，该技术颠覆了以往正摄影像只能从垂直角度拍摄的局限，可通过在同一飞行平台上搭载多台传感器，由中心一个正摄角度的相机和周围几个均匀分布的有一定倾斜角度的相机构成。工作时，同时从一个垂直、四个倾斜等五个不同的角度采集影像，满足了对地面同一地物三张以上不同角度影像的拍摄并满足一定的重叠率，将获取的数据处理后进行三维实景重建。

由于近年SIFT 算法的发展，且随着并行计算和计算机硬件的进步，大幅降低了对航摄硬件和数据采集的要求[7]，对于在小面积区域内的桥梁建模，可通过单镜头多旋翼无人机规划平行航线折返拍摄，也能采集多角度的桥梁航摄影像，只要满足一定的重叠度，也能实现较好的三维模型重建，并具有成本较低的优势。针对不同的检测任务，方留杨等人还总结了3 中不同的航拍检测方案[8]。

2.1 倾斜摄影建模的核心步骤及方法

航摄数据下载及图像预处理。从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为POS 文件。

空中三角测量控制点加密。空三加密是倾斜摄影建模的核心步骤，其主要目的是将无序的影像在空间中相互对齐并构建接近真实状态的空间模型。主要处理流程有：载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算等。[9]

密集点云生成及模型构建。根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配可获得高密度的数字点云。密集点云数据量较大，将数据分块后进行不同层次细节度下的Tin 模型构建。

纹理切片及自动映射。根据三角网所构成曲面的曲度变化对Tin 模型数据进行简化，最后将优化后的Tin 模型和纹理影像进行配准和贴图。

三维模型重建。依次按照密集点云生成、Tin模型构建、纹理自动映射三个步骤来完成后，最终生成三维虚拟场景模型。

建模核心步骤如图2 所示。

图2 倾斜摄影建模步骤

2.2 Smart3D(Context Capture)建立桥梁模型

实景建模软件Context Capture 是Bentley 公司于2015 年收购的法国Acute3D 公司的产品，是一款能够通过拍摄等手段获取现实模式的应用软件，能解决将现实的模型转变为“电子模型”的应用需求，适用性较广。无人机所采集的图像数据可通过Smart3D 软件实现自动化建模。在Smart3D 中新建工程文件，导入图像数据和POS 文件，并输入相机的主要参数，之后完成数据预处理与计算、空中三角测量控制点加密等步骤，最后实现三维场景模型重建。三维模型可导出格式为osgb。

2.3 大疆智图(DJI Terra)建立桥梁模型

大疆智图是大疆创新公司开发的一款提供自主航线规划、飞行航拍、二维正射影像与三维模型重建的PC 应用软件。大疆智图提供了一站式解决方案，从无人机航线规划，到三维模型重建，操作截面简洁直观，步骤清晰。大疆智图和Smart3D 建模方法类似。首先在软件中新建倾斜摄影任务，然后进行空三加密，添加无人机所采集的数据照片，选择建图场景及清晰度，选择需要输出的模型格式，有osgb、b3dm、ply 三种格式可选择。点击空三进行空三处理，像素点管控设置并导入像控点文件，点击像控点坐标系统设置坐标系。点击重建，三维模型建模完成。

3 案例分析

3.1 工程背景

南京某大桥，位于江苏省南京市江宁区，主跨为下承式预应力混凝土系杆拱桥，刚性系杆刚性拱肋，跨越秦淮河（6 级航道），始建于上世纪70 年代，2004 年旧桥拆除改建为下承式拱桥，桥长139 m，宽8 m，设计荷载汽车-20 级，挂车-100 级，设计交角90°。

主拱肋采用钢筋混凝土结构，拱轴线选用二次抛物线。每片拱肋设19 根刚性吊杆，吊杆为预应力钢管混凝土结构。系杆为预应力混凝土结构，每根系杆内布置有预应力钢绞线。全桥共有21 根横梁，中横梁采用T 型截面，端横梁采用箱形截面，桥面板使用普通钢筋混凝土实心板。两片拱肋间共布置7 道横撑，其中拱顶设1 道米字型横撑，拱肋四分点处各设3 道K 字型横撑。[10]

3.2 无人机选型

图3 为大疆M300-RTK，是大疆的一款工业级无人机，工作温度-20～50℃，最大可承受风速15 m/s，最大图传距离为15 km，空载飞行时间高达55 min，最多可同时支持三个负载，六向定位避障，最大探测范围达40m，即使在桥底水面等复杂作业环境下，也可保证稳定飞行和避障。大疆M300 可搭载五镜头使用，同时五个不同的角度采集桥梁影像，也可搭载单镜头并规划平行航线折返拍摄来模拟五镜头拍摄效果。

图3 DJI M300-RTK

图4 为大疆精灵PHANTOM4-RTK 无人机，集成全新RTK 模块，拥有更强大的抗磁干扰能力与精准定位能力，提供实时厘米级定位数据，显著提升图像元数据的绝对精度。支持PPK 后处理。飞行器持续记录卫星原始观测值、相机曝光文件等数据，在作业完成后，用户可直接通过DJI 云PPK 服务解算出高精度位置信息。定位系统支持连接D-RTK2高精度GNSS 移动站，并可通过4G 无线网卡或WIFI 热点与NTRIP 连接。

图4 DJI PHANTOM4-RTK

本案例采用大疆精灵PHANTOM4-RTK 无人机，采用单镜头并规划平行航线折返拍摄桥梁影像，从基本满足桥梁倾斜摄影三维建模的使用需求，且相比大疆M300-RTK 灵活性更佳。

3.3 实际应用

首先在精灵4 无人机中设置航向，旁向重叠率，设置为≥75 %；飞行速度5 m/s；任务完成后自动返航；飞行高度比拱顶高30 m；相机倾斜角40°～45°。实际航线如图5 所示。

图5 实际五航线

3.4 两种建模方法耗时对比

计算平台采用Inter i5-9400F 2.9 GHz 处理器，机带RAM16GB。将无人机采集的图片数据进行预处理后分别导入Smart3D 和大疆智图进行建模处理，Smart3D 完成模型构建共耗时2 小时50 分钟，而大疆智图耗时48 分钟。在建模速度上，大疆制图耗时较短。

3.5 两种建模方法建模精度对比

比较两种建模方法所构建的桥梁三维模型，总体而言，Smart3D 构建的模型保留了较多细节，但是模型出现了不平整现象，大疆智图对构建的模型进行了后期修整，较为平顺，去掉了冗余的信息。对比模型的局部细节，在图6 中对于桥梁桥面，大疆智图构建的模型十分平顺，且对主拱在桥面上的影子进行了去除，而Smart3D 构建的模型桥面出现了不平顺的现象；在图7 中，对于拱肋间的K 型横撑，建模效果较好；如图8，对于吊杆的建模，两个软件构建的模型都出现了部分吊杆建模缺失的现象。