大带宽通信链路环境下的无人机实时制图

2021-03-30左志权易琳

遥感信息 2021年1期

左志权，易琳

(1.中国测绘科学研究院，北京 100036；2.广东电网有限责任公司电力科学研究院，广州 510062)

0 引言

随着大带宽通信技术的快速发展与普及，在无人机与地面控制终端间建立稳定的通信链路连接，再由控制终端实时处理接收的数码影像或视频数据达到实时制图效果，已成为可能。从技术发展角度来看，无人机实时制图技术主要经历了准实时后处理制图阶段和GPS/IMU实时直接制图阶段。

1)准实时后处理制图阶段。最早的数据处理方式是将无人机拍摄数据现场通过硬介质拷贝转存到地面工作站，再人为缩小原始影像数据至合适分辨率，快速处理被摄影区域的整体拼图，如德国的Inpho、瑞士的Pix4D[1]、美国的ContexCapture[2]，以及国内的VirtuoZo/DPGrid[3]、PixelGrid[4]等商业处理软件。该方法一般应用于野外现场数据质量检查或灾害应急场景，通过牺牲成果数据生产精度和细节层次达到准实时拼图效果。其本质上还是利用传统技术手段获取实时拼图，成图质量受到限制，也无法达到真正实时制图效率。

2)GPS/IMU实时直接制图阶段。在实时差分与组合导航技术普及后，通过无人机上安装GPS流动站和高精度IMU设备，配合地面GPS基站，可快速确立当前拍照相机的位置和姿态[5]，与实时传输影像一起进行实时在线拼图。由于只要求硬件集成设备标定，不需经过复杂影像后处理解算流程，成图效率极高。该方式正在有人机或无人机平台上被广泛推广使用，尤其适用于近红外或多光谱数码相机实时成图应用。其不足在于：受硬件集成误差和平台实时姿态测量误差影响，最终拼图数据会有明显错位，适用于对成图精度要求不高的应用场景。

本文详细介绍了GPS/IMU直接制图关键技术，并引入视觉SLAM(simultaneous localization and mapping)技术[6-8]对实时传输影像的位置和姿态进行动态修正，能极大限度地消除重叠影像间的错位现象，达到无缝拼图效果。文章最后针对有效实际工程数据进行了实验与分析，均达到预期效果。

1 方法与策略

1.1 相机内参数标定方法

在传统的摄影测量制图作业流程中，一般人们会对数码相机进行精确的实验室自检校处理，以最大限度地消除镜头系统误差对后续测量结果的影响。但对于广大非制图领域的行业用户来讲，采用日益普及的小型无人机搭载非量测型数码相机进行三维重建和测绘地形图的需求日益旺盛。因此，针对非量测数码相机所拍摄图片进行精确空中三角测量是整个数据处理环节中的关键性步骤。

本文采用在线自检校方法完成空中三角测量，即依赖影像间的几何约束关系和控制点约束来自动校验镜头系统误差参数[9-10]。算法中的系统误差模型采用7个参数模型，焦距(f)、主点偏移(x0，y0)、径向畸变(k1，k2)、切向畸变(p1，p2)的自检校数学模型如式(1)所示。

(1)

式中：(x，y)表示在原始影像所提取的关键点坐标；(x0，y0)表示相机主点位置坐标；(dx，dy)表示考虑照相机加工工艺局限后的镜头畸变改正分量；f表示镜头焦距值；(X，Y，Z)表示目标点在物理坐标系中的三维坐标值；(Xs，Ys，Zs)表示相机理论摄影中心在物理坐标系中的三维坐标值；R(a1，a2，a3，b1，b2，b3，c1，c2，c3)表示数码相机在物方坐标系中的姿态朝向角度对应的旋转矩阵。

在自检校算法中，将镜头畸变误差分量(dx，dy)进行纯量形式展开，如式(2)所示。

(2)

如果仅依赖影像间的几何约束关系估算内外参数，是一个典型的多极值求解问题。在影像拍摄条件不够完善条件下，很难获取唯一可靠参数估值。因此，必须进一步布设合适的地面控制点加以约束，推荐的三维控制点布设方案如图1所示。

图1 自检校场控制点与检查点布设示意图

1.2 GPS/IMU与传感器之间安置标定方法

由于硬件模块结构设计工艺局限，模块间集成误差必然存在，而GPS/IMU组合导航系统直接测量的是GPS天线相位中心的实时差分坐标和IMU平台角度，因此需针对直接测量输出的像片位置和姿态数据进行误差改正。在检校模型推导中，一般以IMU参考中心为基点，相机摄影信息与IMU之间的几何关系如式(3)所示。

(3)

在检校工程实践中，GPS/IMU与传感器间的安置参数标定流程描述如下。

步骤1：借助组合导航解算技术，估算出IMU中心的轨迹和平台姿态。

步骤2：在检校场中布设控制点数据，解算出相机的准确位置和姿态参数。

步骤3：根据式(3)，逆向推导相机摄影中心与GPS/IMU之间的平移和旋转安置误差。

步骤4：依据安置误差和式(3)，导出新的相机中心位置和姿态，并检核其直接定位精度。

1.3 外参数动态优化方法

在1.2节中，经过修正后的GPS/IMU实时测量精度有很大提高，但设备实时测量误差仍无法全部消除。本节探讨如何采用动态SLAM优化算法修正外参数误差，达到无缝实时制图效果。动态优化算法计算机程序执行策略可描述如下。

步骤1：通过监听指定的端口数据，获取当前一幅影像数据。

步骤2：通过影像特征匹配技术，将当前影像序列加入整体待优化数据队列中，并同步记录其初始的GPS位置和IMU姿态信息。

步骤3：构建区域网平差解算模型，通过迭代优化方式求取待优化帧的精准位置和姿态。

步骤4：当新增优化数据量达到数据总量的某个比率阈值时(如0.2)，进行一次更大范围的局部动态优化，以保证最终输出数据的整体无缝效果。

步骤5：重复步骤1至步骤4，最终实现所有帧数据的优化过程，直到端口数据监听结束。

上述步骤详细描述整个动态优化算法策略。在具体算法执行过程中，值得指出的是，由于数码影像上可能会有大片的森林、水域，会导致局部解算过程不稳定。系统有必要通过整体回环检测，对更大范围内必要优化数据进行快速重构。其整体快速重构基本原理与局部重构原理完全一致，超出本文重点讨论范畴，故此不再赘述。

1.4 影像实时微分纠正方法

已经获取预成图区域的数字地形数据，为了方便实时访问，该数据通常以二维格网形式保存[11]。假设影像拼图的宽和高分别为w和h，微分正射纠正的算法策略如下。

步骤1：按行列号循环遍历影像地图的每一个像素二维位置(i，j)。

步骤2：通过与二维地形网格进行坐标对齐获取当前像素位置的三维空间坐标(X，Y，Z)。

步骤3：采用投影矩阵计算三维空间坐标在原始影像上的像素位置(x，y)。

步骤4：采用双线性内插方法，计算当前像素位置的像素值(R，G，B)。

步骤5：重复步骤1至步骤4，直到所有的像素赋值完成，保存影像地图文件。

上述步骤是整个微分正射纠正算法的关键性步骤。其中，算法在执行过程中有2点值得注意：1)需要提前对纠正算法所采用的地形数据进行滤波平滑处理，得到真实的裸露地面，并以此规避地面上物体投影差导致的扭曲变形；2)在实时制图过程中，为了获得更好的效率，可将上述执行策略中的像素值双线性内插算法修改为最邻近内插算法，性能可获得大幅提升。

2 实验分析

2.1 实验环境描述

文章涉及的所有算法，均采用Microsoft Visual Studio 2017 IDE 环境下的C/C++进行代码编写，并运行在Microsoft Windows 10×64位操作系统上。独立的台式电脑主要配置是Inter Core i7 8核心，内存16 GB，英伟达2 GB显存显卡，磁盘容量1 TB。

无人机飞行载体采用的是国产某大型无人机直升机，净载荷50 kg，飞行速度为75 km/h。数码照相机的焦距为35 mm。通信链路采用8 MB下行带宽，数据回传速率为2.5 s/张，单张数据大小为1 280像素×960像素。系统采用了差分GPS设备，实时差分精度控制在0.5 m内。采用NovAtel的IMU，实时定向精度约为0.08°，无线通信带宽为8 Mbps，有效作用距离为50 km。

坐上亲戚家的热炕头，大家一起学习十九大精神。“这几年，我们连队的变化太大了，这些变化都是党的关怀和温暖带来的！十九大又给我们带来新的福利，让我们的生活越过越好。”李平副院长的亲戚买买提·买苏木听完李平副院长宣传党的好政策后有感而发地说。

2.2 内参数标定结果与影响分析

按照2.1节论述，内参数标定实验区域选用在地形稍有起伏的矩形区域，共往返飞行4个条带，区域内均匀布设13个控制点，其中有效控制点11个。

本文在平差解算软件中，采用了同样的参数优化限制条件：GPS先验精度限定在3 m，IMU角度先验精度限定在0.1°，测区内分布均匀6个控制点，剩余为5个检查点。分别开启内参数自检校和关闭自检校功能进行2组测试，结果记录如表1所示。

从本次实验可以看出，在所有其他限制参数固定前提下，内参数自检校能大幅改善检查点精度，尤其在高程精度方面能提升5～10倍，像点残差中误差从 0.376像素提升到0.287像素。因此，无论从像方角度还是物方角度考量，自检校前后空中三角测量系统的内外符合精度都有着较大提升。

表1 自检校前后检查点残差列表 m

2.3 GPS/IMU标定结果与影响分析

按照2.2节所述方法步骤，估算出相机与GPS/IMU设备之间的6维安置误差。仍旧采用地面检查点残差指标来评估安置标定结果对定位精度的影响，具体方法如下。

本文在平差软件中，在采用准确内参数前提下，将强约束条件下设置GPS定位先验精度为0.01 m，IMU姿态先验精度为0.001°；将弱约束条件下设置GPS定位先验精度为10 m，IMU姿态先验精度不作限制。分别在2类条件下进行平差解算，检查点精度报告如表2所示。

从本次实验可以看出，表2中的强约束结果可近似看作为直接采用修正后的GPS/IMU数据进行定位精度评估结果，而弱约束结果可看作是控制点参与平差计算结果。其结果说明：1)强约束条件下(GPS/IMU近似不参与优化)，检查点精度明显差于弱约束环境下的结果，也说明通过2.2节介绍的拟合获取安置误差方法，其修正后的外方位元素仍旧包含有一定程度系统误差，残差主要分布在y和z方向；2)如果放开GPS/IMU约束，可直接获得理想平差结果，说明安置误差修正后的外方位元素仍需要进一步优化，并且能通过优化获得最终理想结果。

表2 GPS/IMU强弱约束后的检查点残差列表 m

2.4 动态优化结果与影响分析

通过上文论证分析可知，内参数标定和外参数安置误差修正，能很好地提升GPS/IMU直接定位精度，但仍需要进一步优化获得最优结果。采用2.3节动态优化算法进行实验，效果如图2所示。

1)定性效果评估。为了具体评估动态优化算法的效果，本节分别截取3组影像中的典型地物，并作出局部高清对比，其可视化对比效果如图3所示。

从图3可以看出，未使用动态优化算法的影像拼图有着明显几何错位，池塘边缘出现锯齿状，农田存在明显扭曲，道路等线状地物呈现断裂等，而动态优化后所获得结果则能很好地恢复地物的真实形状。

2)定量精度评估。评估动态优化结果的一项重要指标就是相机中心、相片关键点、物理模型坐标三者是否严格满足透视投影关系。在算法优化结束后，将物方模型坐标投影到相片上，计算理想投影点与实际关键点之间的坐标差异分量，并统计其优化前后中误差。误差统计结果如图4所示。

图4横轴为实时动态优化迭代执行次数，纵轴为单次优化后的RMSE数值。从上述SLAM优化前后的统计曲线图可以看出：1)SLAM优化算法介入后，关键点重投影误差从均值2.0像素提升到0.3像素，约7倍，有着明显改善；2)优化后的重投影误差稳定在0.2像素附近，不会随迭代次数增多而降低精度，验证了算法的稳定性。