无人机多传感器数据几何后处理框架设计与质量控制

左志权，王柯，刘正军，彭向阳，谢小伟，王锐

(1.中国测绘科学研究院，北京 100830；2.广东电网公司电力科学研究院，广州 510080)

1 引 言

现代社会需要及时测绘和精细测绘[1]。从应用角度讨论，及时测绘主要体现在灾害应急响应、局部动态监测等方面，而精细测绘则体现在大比例尺(1∶500或1∶1000)地形图测制与更新、实体三维精细模型构建等方面。

现今世界卫星遥感和有人驾驶的普通航空遥感已经非常发达[2]，但在为经济社会服务的时效性和丰富性上颇嫌不足[1]。无人机低空航测系统具有不同于普通航空摄影测量的技术特点，如具有灵活机动、高效快速、精细准确、作业成本低的特点，在小区域和飞行困难地区高分辨影像快速获取方面具有明显的优势，能够广泛应用于重大工程选址、新农村建设和应急救灾等方面的测绘保障。另外，为了达到某些特殊工程应用目的，单一传感器或数据源较难满足应用需求，如：①电力线路安全巡检不仅需要获取电力线路走廊几何位置信息，而且需要对电力线的异常发热区域进行探测，还需对绝缘体放电异常进行有效诊断，因此，电力线路巡检传感器平台可能需要同时集成可见光数码相机、激光扫描仪、热红外相机、紫外相机等多种传感器；②森林火灾应急测绘为了能对灾情进行定量、合理地评估，则同时需要集成热红外相机以及高分辨率可见光数码相机；③在林业遥感应用中，多采用LiDAR波形特征提取生物量信息，而同时需借助可见光或近红外光谱数据提取树木分类信息等；④在日益增长的精细三维建模应用中，依靠高密度激光雷达点云获取实体几何结构信息。而光学数码相机则能较好地获取实体表面纹理信息，因此，满足该项应用需求至少需要集成激光雷达扫描仪与多视角可见光数码相机。

在摄影测量与LiDAR领域，从现有商业数据处理系统所具备功能来讨论，如德国Inpho[3]、法国PixelFactory[4]、芬兰TerraSolid[5]，以及国内的DPGrid[6]、PixelGrid[7]等应用系统均是针对单一类型传感器(如针对机载/星载可见光影像、激光LiDAR点云)数据源研发的后处理软件，目前还没有推出多传感器联合数据处理的商业系统。因此，开展研发多传感器数据联合处理软件系统本身具有较强的前瞻性和先进性。

本文以激光雷达、可见光数码相机、热红外及紫外视频摄像机等4种传感器集成处理为例，重点讨论无人机多传感器集成数据处理所面临的关键技术与难点，重点聚焦在多传感器几何数据处理框架设计以及质量控制这一具体问题上，对多传感器数据处理设计模式、流程控制以及几何配准检校等问题进行深入讨论，并对后续技术发展趋势与应用前景进行展望。

2 处理系统框架

2.1 系统功能设计

如果以生产测绘级产品为目标导向，针对多传感器几何数据处理系统进行功能设计，可概略分为三个部分：航空光学影像数据处理系统、机载LiDAR点云数据处理系统以及视频数据处理系统。从数据表现形式来讲，LiDAR点云能直接获取物体表面几何骨架模型，属于基础核心数据源，而光学影像与视频数据则能通过不同的大气窗口获取实体表面纹理信息。因此，多传感器几何数据处理系统应以GPS/IMU为参考数据源，不同传感器与GPS/IMU间的安置检校配准为关键技术手段，最终面向生产基础测绘产品与精细三维模型为目标进行功能设计，其框架设计如图1所示：

图1 无人机多传感联合数据处理功能框架设计

从图1中可看出，多传感器几何数据处理是一种以GPS/IMU数据作为定位定姿基础，各传感器间通过安置误差配准模型统一规算到同一个绝对参考坐标系的联合数据处理模式，并能达到传统测绘目的的数据后处理技术。又由于系统中广泛采用GPS/IMU深度融合技术，使得多传感器数据处理能仅需要采用极少量或零地面控制信息即能同时满足及时测绘与精细测绘的需求。

2.2 数据流转过程

从软件工程角度讨论，架构设计合理的应用型软件系统在满足专业功能需求的前提下，应设计尽量高效、通用的数量流转过程。在充分借鉴现有成熟商业数据I/O技术基础上，多传感器几何数据联合处理系统数据流转设计遵从以下原则：

(1)单向性。系统按照模块化结构设计，各模块间交互数据尽量自顶向下单向传递；

(2)扩展性。系统内部通信与协同数据应具备可动态扩展性，尽量采用配置文件模式进行共享式访问，为下一层应用级模块开发或插件二次开发提供数据交换基础；

(3)标准性。系统与外部接口应尽量采用国际标准格式进行交互，如采用惯导sbet格式、影像Tiff文件、矢量shp格式、国标DEM格式、点云LAS格式、视频avi或mpeg格式等。

同样地，以4类传感器集成后的无人机多传感器数据处理系统为例，其数据流转设计如图2所示：

图2 无人机多传感联合数据处理数据流程过程

从图2可看出，整个多传感器数据后处理是一个高度集约的联合数据处理系统，数据接口采用文件的形式进行接口规范，以便后续引入数据库模式进行管理与规范作业。系统以外部传感器数据、处理控制参数、初始姿态参数等作为输入，经过点云-影像-视频联合处理得到点云分类、DSM/DEM、三维DLG、三维模型以及视频关键帧姿态等成果。

3 处理质量控制

为了充分发掘多传感器联合处理优势，降低传统单传感器模式下处理流程的复杂程度，并能使得最终获得的数字测绘产品具有更多种类和更优质量，本文认为应从以下两个方面实现数据处理质量控制：①合理借用GPS/IMU融合主动定位优势，采用传感器集成检校技术实现高质量的传感器初始姿态估计，为后续融合数据处理奠定技术支撑；②综合利用各类传感器特点，精化测绘产品生成质量，减少传统数据生产步骤等。本文针对上述两点思路进行展开介绍。

3.1 多传感集成检校

利用GPS/IMU为基准参考进行多传感器集成检校的理由，可从两个方面进行阐述：①从硬件系统结构讨论，无人机平台上的不同种类传感器均是通过稳定平台固连，而稳定平台姿态受IMU直接测量与控制。由此可见，多传感器联合数据处理姿态解算的关键问题是如何将不同类传感器姿态规算到GPS/IMU所限定的统一直接定位参考坐标系；②从主动定位精度现状讨论，在导航定位领域已有大量的科学试验验证：在GPS通视条件良好状况下，将GPS与IMU进行深度融合解算[8]后的直接定位定姿精度能达到较好的效果，如差分GPS后处理精度能优于0.05m，而IMU后处理姿态精度则能优于0.0025°等，其本身带来的精度误差可满足航空测绘任意大比例尺测图需求。

因此，设计多传感器检校的主要目的是针对满足设定模式下所获取的数据，通过后处理技术手段估计传感器与基准(GPS接受天线与IMU平台)之间的安置误差参数。在实践中，系统安置误差模型一般采用6参数模型[9-10]，即GPS天线平移参数(Offset：Lx、Ly、Lz)与IMU视准轴对准偏差参数(Boresight：roll、pitch、heading)。各类传感器的安置误差模型推导与具体构像方程相关，以下仅以激光雷达安置误差检校为例，其模型数学表达式如下：

(1)

3.2 联合数据处理

尽管传感器分为主动与被动两种模式，但是不同类传感器本质区别在于面向不同大气窗口特性所设计。从对地观测角度看，不同类传感器均是透过对应谱段观测并获取地表信息。因此，如何有效地利用各类传感器优势特性，形成地表信息的组合观测与融合处理，对不断提高遥感数据获取与信息解译能力具有很强可挖掘性和可扩展性，是未来遥感几何数据采集与后处理的重要方向之一。本文将简述几种常见的多传感器数据联合处理技术，并与单传感器数据处理优劣进行对比。

3.2.1 可见光影像与LiDAR点云联合处理

在对地观测领域，可见光影像与LiDAR点云联合处理是计算机视觉与摄影测量领域最热门的研究课题之一。结合实际测绘生产需求，对以下4个典型应用方向进行简述：

(1)DSM精化匹配：一般来讲，从单一光学影像进行DSM获取，其最大缺点是无法克服纹理贫瘠区域与较大起伏地表带来的误匹配现象。而激光LiDAR在较好地弥补光学影像缺点的同时，则由于光斑尺寸因素存在着不能很好地获取地物边缘的缺点。如果能融合二者优势将有望得到边缘尖锐、密度均匀的高质量DSM。

(2)地物精细分类：众所周知，可见光影像包含有较丰富的光谱信息，但由于同物异谱、异物同谱等客观规律影响，从单一光谱信息出发实现地物精细分类是非常困难的。但局部范围内地物的空间位置及其毗邻地物间的拓扑关系却具有唯一性。因此，利用点云所承载的几何位置关系结合丰富的光谱信息有望实现地物精细分类与准全要素提取。

(3)三维表面精细重建：在计算机视觉与逆向工程领域，针对局部范围内的实体进行精细三维建模一直是相关领域的热门课题。在该项应用中，影像不仅能为模型表面提供纹理特性，而且能对点云进行加密与修复，使得重建结果更具真实性。

(4)三维DLG测图：尽管目前业内针对三维DLG测图还没有明确定义，但笔者认为应遵从以下两个原则：①三维DLG完全涵盖二维DLG的表现内容，通过简单的视图转换与打印便能生产传统二维DLG；②三维DLG应涵盖三维实体模型的骨架内容。因此，需要存储更多的地物侧面坐标信息，通过简单的拓扑重构(或有限元剖分)与视图转换便能生成普通的3D模型，但较传统3D模型占有更小的存储空间与复杂度，更利于国家或地区进行基础测绘产品入库存档。

3.2.2 热红外/紫外视频与点云融合处理

从视觉几何定位理论出发，如果在实验室环境下能将摄像机镜头畸变进行合理检校，并能通过高精度时间同步系统获取摄像机每一帧的焦距数值，那么视频摄像系统同样能实现立体定位功能并能与点云配准后提供视频纹理信息。假设已按照3.1节多传感器集成检校理论获取每一帧影像的定位定姿参数，则视频与点云联合处理系统处理流程如图3所示：

图3 视频与点云联合三维建模系统

按照图3中所设计处理流程，首先将视频帧按照时间标记生成带位置姿态信息的标签文件，然后通过自动或半自动方式寻找热红外视频帧与点云数据的配准连接点，采用直接线性变化11参数模型描述点云与视频帧的整体坐标系变换，最后联合摄像机镜头标定参数、POS数据对点云进行纹理赋值等。

4 成果类型与评价

与卫星遥感、有人机航测相比，无人机多传感器系统在中低空作业具有许多显著优势。但由于其载荷相对较小、航时较短、受大气环境影响较大等限制，其后处理所能获取的成果类型也有别于传统遥感系统，现从以下四个方面进行简要梳理：

(1)小范围测图任务与局部更新

鉴于目前无人机作业机动灵活，未来在400m内可能不受升空权限制，可获取较高分辨率的可见光影像(如1∶500测绘中，要求影像GSD至少为0.05m)与高密度点云数据(如在航高500m内平均点间距可高达0.1m)。因此，此类高质量对地观测数据为小范围内的大比例尺(1∶500、1∶1000)测图与地形图快速更新提供数据基础与技术支撑。

(2)构建精细三维模型

随着社会经济发展，人们对周围生活环境的掌控需求日益加强，因此三维精细建模逐渐展现旺盛的市场需求。如数字城市、数字小区、数字街景、数字公园、数字文物、数字档案等应用不断出现在公众视野。无人及多传感器组合对地观测系统以其高分辨率数据获取能力，针对上述应用需求极好地发挥精细三维建模作业潜力。

(3)应急测绘响应

随着近年来自然生态环境的演变，各类自然灾害不断成为国民讨论的焦点话题。经验表明，无人机多传感器数据获取与处理系统都能在第一时间获取带有地理编码的区域灾情图，为应急指挥提供有效的决策参考，在灾情应急响应中发挥举足轻重作用。如：可见光数码相机能快速获取受灾区域影像，通过粗略几何校正与快速拼接，能为后续灾情解译提供数据源；激光雷达点云则能为泥石流灾情评估、地震前后3D变化检测、滑坡体监测等应用提供解决方案；热红外视频通过拼接并与传统影像图进行叠置，能为森林火灾提供评估支撑；紫外视频则能为带有异常放电灾害现象提供及时监测手段等。

(4)相关工程应用

另外，无人机多传感器还能在典型行业实施具体工程应用，如：①电力线安全巡检。采用多传感器组合对电力线进行巡检，获取电力线断股、毛刺、超高危险物体、异常发热、异常放电等检测数据，为传统人工电力线巡检业务降低成本、提供效率等；②管线、航道测量工程。充分发挥无人机灵活机动特性，针对石油输送管线、数字航道工程等应用进行现状专题测量；③精细林业遥感。由于大部分森林覆盖区域不适合布设地面控制点，采用POS辅助的无人机多传感器系统能较高效地实现精细树种建模，蓄积量反演等专业应用等。

鉴于无人机多传感器遥感技术仍保留传统测绘特点，具备遥测系统的基本属性，针对其多样化成果形式，本文认为应从以下两个方面建立评价准则：①与现行规范为评价依据。针对基础测绘产品，需严格按照国家测图规范以及现有行业标准进行质量评定。②符合专题应用需求。在符合国家规范与行业标准基础上，产品还必须满足专题应用需求，应与相关行业应用单位进行合作，并共同制定标准规范。

5 结束语

本文以无人机多传感器几何后处理框架设计与质量控制为主题，以4类传感器集成处理为实例设计了通用几何处理框架，并对提高产品质量控制提出几点建议，现总结如下：

(1)以POS数据为支撑，设计了多传感器几何处理框架，并能兼顾基础测绘产品生产与专题应用需求；

(2)对多传感器几何数据处理中的关键技术展开讨论，如点云与影像联合测图技术、视频与点云联合建模技术等；

(3)针对无人机多传感器数据采集与处理特点，阐述了处理系统所能衍生出产品类型，为后续具体应用指明方向，提供技术参考。

总体来讲，未来航测遥感技术在硬件方面将会朝着传感器组合化、轻量化方向发展；软件方面则会朝着产品精细化、类型多样化方向发展。因此，行业内的科研与生产单位应着力进行结合，使得无人机多传感器系统能进一步推广应用，在国民经济生产中发挥更大的作用与优势。

参考文献：

[1] 林宗坚.UAV低空航测技术研究[J].测绘科学，2011，36(1)：5-9.

[2] 国家遥感中心.地球空间信息科学技术进展[M].北京：电子出版社，2009.

[3] Inpho Software.Precision photogrammetry & digital modeling[EB/OL].http：//www.inpho.de/，2013-08-19.

[4] Airbus Defence and Space.Airbus defence and space[EB/OL].http：//www.astrium-geo.com/cn/，2013-08-19.

[5] Terrasolid Software.Software for processing LiDAR point clouds and images[EB/OL].http：//www.terrasolid.fi/，2013-05-15.

[6] 张祖勋.从数字摄影测量工作站(DPW)到数字摄影测量网格(DPGrid)[J].武汉大学学报(信息科学版)，2007，32(7)：565-571.

[7] 曹正响.基于PixelGrid软件的无人机数据处理方法和技术探讨[J].测绘通报，2012，(z1)：436-437，440.

[8] Applanix.Applanix Mobile mapping and positioning solutions accurately and reliably capture and measure the world around us[EB/OL].http：//www.applanix.com/，2013-08-19.

[9] BURMAN H.Laser strip adjustment for data calibration and verification[J].International Archives of Photogrammetry and Remote Sensing，2002，34(3A)，67-72.

[10] SKALOUD J，LICHTI D.Rigorous approach to bore-sight self-calibration in airborne laser scanning[J].ISPRS Journal of Photogrammetry & Remote Sensing，2006，3(61)：47-59.