基于智能手机的无人机低空倾斜摄影测量系统及其应用研究

2021-07-08毕卫华赵星涛杨化超卞和方张秋昭

自然资源遥感 2021年2期

毕卫华，赵星涛，杨化超，卞和方，张秋昭

(1.皖北煤电集团有限责任公司，宿州 234002；2.北京帝信科技有限公司，北京 100086；3.中国矿业大学环境与测绘学院，徐州 221116)

0 引言

近年来发展的无人机低空倾斜摄影测量技术通过多镜头、多视角摄影模式来获取被摄目标的高空间分辨率影像，同常规的基于单镜头的竖直摄影测量模式相比，该技术在提高了常规数字测绘产品质量的同时，还可以获得高精度的纹理细节较为丰富的实景三维模型，已被广泛应用于不动产测绘、国土资源监测及智慧城市建设等领域[1-2]。无人机低空倾斜摄影测量系统的组成部分主要是无人机飞行平台及其所搭载的任务载荷。目前的无人机飞行平台多种多样，但主要包括3种，即固定翼、多旋翼以及集成二者优点的复合翼无人机[3-4]。固定翼和复合翼无人机适合于大面积的航摄任务，而多旋翼无人机适合于小面积高精度的实际应用。无人机低空倾斜摄影测量系统多采用多目(一般为4目或5目)倾斜相机作为任务设备，但现有的多目倾斜摄影相机系统由于本身体积和质量较大，其用于搭载的飞行平台多采用小型飞机或动力三角翼飞行器，甚至是大型运输机作为搭载平台。而目前广泛使用的适用于低空无人机搭载的倾斜相机多基于质量相对较轻的消费级数码相机进行改装集成，以适合实际的应用。促进无人机低空摄影测量系统的低成本和小型化对于普通用户而言具有实际意义。为此有研究者基于智能手机开展了相关研究应用。随着微机电系统(micro-electro-mechanical system，MEMS)技术的发展，智能手机中已经植入了多种MEMS传感器，如互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)相机传感器、加速度传感器(accelerometer)、陀螺仪(gyroscope)以及我们所熟知的用于定位和导航等用途的全球导航定位系统(global positioning system，GPS)等[5-9]。文献[10]将智能手机作为固定翼低空无人机的任务载荷来实现摄影测量应用，系统通过蓝牙连接的GPS及手机中的惯性测量单元(inertial measurement unit，IMU)来提供影像的定位定向系统(positioning and orientation system，POS)信息，分析了智能手机相机内方位元素的稳定性及其对空三精度的影响并以地面三维激光扫描获取的数据为基准评价了数字高程模型(digital elevation model，DEM)精度。

综合以上的分析可知，同常规无人机低空倾斜摄影系统相比，基于智能手机构建低成本、轻小型的类似系统对于促进倾斜摄影测量实用化具有重要意义。虽然文献[10]对基于智能手机的摄影测量应用进行了初步研究，但仍然存在如下问题：①选择何种智能相机并进行合理改装构建具有自动连续拍照功能的多相机成像系统；②对于普通消费型智能相机而言，如何面向摄影测量应用对其成像质量和成像模式进行改进和优化；③对构建的基于智能手机的无人机低空倾斜摄影测量系统需从应用的角度对其获得的数字产品质量进行评价，从而为实际应用提供参考。本研究综合考虑上述问题，构建基于四旋翼轻小型无人机低空飞行平台和智能手机的无人机低空倾斜摄影测量系统并进行应用评价，旨在为无人机低空倾斜摄影测量系统应用提供一种方便、快捷的新方法。

1 系统构建

提出的基于智能手机的无人机低空倾斜摄影测量系统主要由无人机飞行平台子系统和多相机成像子系统组成，其中各子系统又包含有多个功能模块，具体如图1所示。

图1 基于智能手机的无人及低空倾斜摄影测量系统结构图Fig.1 Structural diagram of the UAV based low altitude oblique photogrammetry with smartphones

1.1 低空无人机飞行平台子系统

研究选用精灵4系列四旋翼无人机DJI Phantom 4(图1)。该无人机主要由飞行器、云台相机、飞行控制系统及地面监控系统等多个模块组成。飞行平台携带的10 000 mAh 4S 智能电池使得最大平飞速度为20 m/s，单块电池最大续航时间约为28 min；Phantom 4同时接受GPS及GLONASS定位卫星信号，可获得5 m精度的影像定位信息。图1所示的飞控系统模块集成于飞行器内部，可同步记录航拍时对应影像的POS信息。地面监控系统与飞控系统通过地面便携式计算机中安装的监控软件实现双向通讯，地面监控系统可向飞控系统发送飞行任务指令，并可对飞控系统传回的飞行状态参数进行可视化的监控。本研究沿用了Phantom 4的飞行器和动力系统及其飞控和地面监控系统，移除了云台相机相关部件，以利于后文阐述的多相机成像系统的加载。

1.2 基于智能手机的多相机成像子系统

本研究构建的基于智能手机的多相机成像子系统需主要考虑如下3个方面：①选择传感器尺寸相对较大的智能手机以适合实际的改装；②对智能手机的成像质量和成像模式进行改进和优化以适合摄影测量的实际应用；③多相机成像系统应具有自动连续拍照及POS数据记录与存储功能。如图1所示，其主要组成模块包括：多成像传感器模块、POS及飞行控制模块、数据存储及传输模块和电源模块。

1.2.1 智能手机选择

2012年，诺基亚公司发布了基于纯景(Pure View)技术的Nokia 808 PureView(以下简称N808)智能手机，相对于其他类型的智能手机，N808搭配大尺寸CMOS图像传感器和卡尔·蔡司镜头以及采用的无损数码变焦技术提高了成像质量，同时，以牺牲手机质量(169 g)来换取更高的成像质量。N808配置了1.33 GHz的ARM11微处理器、512 MB内存、16 GB内置存储。N808有两种常用的摄像模式(详细参数见表1)。本研究选择该款智能手机来构造用于倾斜摄影测量的多相机成像系统。

表1 Nokia 808 PureView 内置相机图像传感器和镜头参数Tab.1 Sensor and lens specifications for built-in camera of Nokia 808 PureView

①1英寸=2.54 cm。

1.2.2 面向摄影测量应用的成像质量及成像模式优化

1)固定相机焦距。消费型智能手机为了提高摄影成像质量，多具备自动对焦和防抖功能，在摄像过程中会使焦距产生变化，而摄影测量一般要求相机焦距是一个固定值的已知值。为此在拆解相机镜头前通过手机的操作系统去除相机镜头的自动对焦和防抖功能。

2)防止影像过曝现象。现实中的物体由于材质和光照等因素的影响会产生较高的光反射表面，继而造成所拍影像产生过曝现象，极大地影响了成像质量和后续影像匹配的难度。为此，在相机镜头中添加中灰密度(neutral density，ND)滤镜来消除这一现象。ND镜通过调整相机的光圈和快门来防止影像的过曝,仅降低光线的强度，不会对摄物体的颜色和反差产生任何的影响，也不会影响到相机的白平衡和自动曝光(图2给出了使用ND镜前后的成像结果对比)。

(a)使用前 (b)使用后

3)成像模式优化选择。CMOS决定了手机摄像头的图像分辨率和像素大小。一般而言，在传感器尺寸一定时，图像分辨率越高，像素就越小，成像也越清晰。如表1所示，在N808的两种成像模式中，传感器尺寸均为1/1.2英寸，但成像模式1(分辨率为4 100万像素)和成像模式2(分辨率为1 200万像素)对应的像素大小却分别为1.4 μm和2.6 μm。相应的单张相片所需存储容量也不同，分别约为12 MB和3 MB。图3给出了采用两种摄影模式对同一地物的三维重建结果及其相应的局部细节图。由图3可以看出，成像模式1的三维重建结果在局部细节上要好于成像模式2，但其较小的像素尺寸造成了重建结果中的地物“扭曲”现象(如图3中红色圈部分)。综合考虑到重建效果和影像的存储负担，本研究构建的多相机成像系统选用N808的第2种成像模式。

(a)成像模式1 (b)成像模式2

1.2.3 多成像传感器模块

为构建基于五相机的轻小型低空倾斜摄影测量系统，需要N808手机5部，如仅对5部相机进行简单的拼凑将会导致过重的任务载荷。因此需对其进行改装、增配及优化组合并进行模块化设计。考虑到本研究主要利用N808手机的摄像和存储功能，因此，为减小任务载重，对N808智能手机进行拆解，去除与摄像功能无关的部分(如手机的外壳、金属骨架、SIM卡插口和SD卡卡槽等)。拆解后形成了以手机主板、CMOS和相机镜头为主体的5个独立的摄像功能体。拆解后的各主板通过层叠的方式进行叠加集成以节省空间(如图1红色虚线框中右图和图4(d)中红色框所示)。为了对各相机镜头进行合理布局以构造多目倾斜摄影相机，进一步拆解并分离各相机镜头(图1中红色框中左图)并进行合理布局。如图4中绿色框所示，分离后的各相机镜头固定在相机外壳体平行于主板平面的下表面上，为了达到多角度倾斜摄影的目的，5个镜头的空间布局为：以中间镜头为中心大致对称分布成一边长约为50 mm的正方形框，其中中间镜头摄影主光轴铅垂朝下，其余4个镜头的主光轴与外壳体下表面呈30°角。上述相机镜头的布局方式最大限度地保证了在同一个摄影站获得1张下视和4张侧视共5张不同角度的多视角数字影像。各相机镜头和其相应的主板间通过排线相连接。

(a)系统透视图1 (b)系统透视图2

1.2.4 POS及飞行控制模块

通过手机植入的MEMS传感器(如陀螺仪和GPS)可以获得其位置及姿态信息，其与传统无人机航空摄影测量系统中搭载的POS系统提供的功能类似。然而，无人机飞行时智能手机的相机搭载在飞行器底部，信号的遮挡会导致GPS定位信息的不准确。此外，虽然利用内置的陀螺仪估算姿态可实现基于智能手机的惯性导航系统，但测量噪声会导致姿态无限漂移，使得基于智能手机的惯性导航系统具有很大的局限性[8-9]。为此，系统在飞行平台上通过增加外置GPS传感器(图4(a))及内置于飞控系统内的IMU来获得可靠的POS信息(图1中橙色虚线框)。

由于Phantom 4的飞控系统缺乏多余的接口，无法通过原有的飞控系统来控制多相机传感器自动拍照，因此本研究基于开源飞控系统PIXHAWK[11]研发了一套独立的飞行控制系统以实现相机的自动拍照(如图1中橙色框和图4(d)中黄色框所示)。其主要功能为：①飞控系统中集成了独立的电子同步快门触发器来减小快门触发延时时长，可将多个镜头的曝光间隔误差控制在μs级别，以保证同一摄影站5个镜头影像的同步获取；②飞控系统向多传感器成像模块发出拍照指令，控制该模块按指定的时间间隔(本研究设置为4 s)进行定时拍照并同步记录影像的POS信息；③飞行系统通过集成在其上的拍照开关按钮来触发(图4(c))。

1.2.5 数据存储及传输模块

同步记录的影像POS数据存储在飞控系统的内置存储器内，存储容量为8 GB。多视角影像数据存储在其相应主板的内置存储器内(存储容量均为16 GB)。如图1和图4(c)所示，飞行任务结束后，用USB数据线分别连接各主板接口，将每个主板存储器上存储的照片传输至本地计算机；用串口线连接飞控系统接口，下载位置信息文件至本地计算机。

1.2.6 电源模块

采用可拆卸的外接电池取代原来的手机电池为各个模块提供稳定的工作电压。所选用的电池为锂电池，容量为3 000 mAh，电压为3.7 V，电量为11.1 Wh。

1.3 系统集成及工作流程

多相机成像系统通过减震球与碳板固定安置在无人低空飞行器底部，集成后的系统如图4(a)和图4(b)所示。图5给出了所提系统的工作流程。结合图4和图5，系统用于外业数字影像采集时一个架次(飞行器一个起落)的主要工作流程如下：

图5 系统工作流程Fig.5 Work flow of the system

1)飞行任务规划。利用Phantom 4的地面监控系统软件进行航线规划和飞行参数设置并上传至飞行控制系统。飞行器处于准备起飞状态。

2)相机待拍照。通过“相机开机”按钮触发多传感器成像模块，使相机处于待拍照状态。

3)相机拍照。通过“拍照”按钮触发飞行控制模块并向多传感器成像模块发送定时拍照指令。定时拍照开启。飞行器起飞并按预定规划参数执行航拍任务。获得的影像数据及同步记录的POS数据分别存储在手机主板和飞控系统的内置存储器中。

4)数据下载。飞行任务结束后，关闭相机拍照功能。用USB数据连接各手机主板的影像数据传输接口，下载影像数据至本地计算机；采用串口通信线连接飞控系统的POS数据传输接口，下载POS数据至本地计算机。

如飞行任务需多个架次，则重复上述步骤。

2 应用及分析

2.1 研究区选择与外业数据采集

研究区1为一农村居民地，面积约为0.06 km2，该区域房屋密集，地势平坦，地面高程约为34.5 m，研究目的是验证并分析所提系统用于农村地籍及不动产测量的可行性。研究区2为地形较平坦的校园区域，地面平均高程约为42.35 m，面积约为1.89 km2，区域内分布着较为密集的高大建筑物，研究目的是验证系统用于城市建筑物三维重建的可行性。研究区3为一露天采矿场(铝土矿)，面积约为0.13 km2。该地区地形起伏较大，地面高程最小为237.83 m，最大为333.80 m，最大高差为95.97 m，研究目的是测试系统对于地形起伏较大地区的适应情况及其用于露天矿开采监测的可行性。

对各区域进行了外业航空摄影、像控点和检查点测量工作。像控点测量采用GPS RTK(1+1)的方式进行，测量精度约为2～5 cm。对研究区1，考虑到其应用目的，除常规的检查点外，还采用全站仪施测了一定数量的房角检查点用于检核碎步特征点的成图精度。采用GPS静态测量方法为图根控制测量提供基础控制点，GPS网平差的平面和高程精度分别约为5 mm和11 mm，随后的全站仪图根导线控制测量的精度约为1/24 200，碎步测量的平面精度约10 mm。对研究区3，还采用GPS RTK的方法额外测量了一定数量的高程检查点用于检核地形图的高程精度。各研究区范围、像控点和检查点数量及分布(包括房角平面检查点和地形高程检查点)以及摄影参数(影像重叠度及地面分辨率等)见图6和表2。

(a)研究区1 (b)研究区2 (c)研究区3

表2 各研究区摄影参数及像控点和检查点数量Tab.2 Photogrammetric parameters and the amount of GCPs and CPs

由图6和表2可以看出，在不同的天气状况、不同的地形条件和不同的飞行参数条件下，系统可以持续、稳定工作，如对研究区2，系统共在3 d内连续飞行19个架次，获得研究区共53 214张多视影像。说明构建的系统具有较好的稳定性。

2.2 数据处理及结果分析

近年来，源于计算机视觉界的倾斜立体影像匹配及基于多视几何的结构恢复运动(structure from motion，SfM)算法[12]得到了快速的发展并形成了一些商业化的适用于倾斜摄影测量数据处理的软件系统。如Bentley公司的Context Capture(CC)、Astrium公司的Street Factory等。相比于传统的摄影测量解析处理软件，这些软件更适合于处理旋偏角大、影像透视畸变较为严重的无人机多视倾斜立体影像。本研究选用CC进行影像解析空三处理及实景三维模型构建，采用航天远景公司的MapMatrix软件基于实景三维模型进行地籍、地形图的矢量数据采集。

图7给出了各研究区的实景三维模型及局部细节图。可以看出，系统获得的倾斜多视立体影像适用于主流软件的数据处理，可以全自动化生成高精度的实景三维模型，生成的模型场景真实、纹理逼真且整体性较好。

(a)研究区1 (b)研究区2 (c)研究区3

图8分别给出了研究区1和研究区3的地籍、地形图。基于实测的外业检查点，分别从相应的数据模型上进行坐标量测(高程检查点基于地形图等高线通过线性内插的方式得到)并统计其与外业实测坐标的偏差ΔXi，ΔYi和ΔZi，进一步地按式(1)和式(2)统计平面中误差mXY和高程中误差mZ，并将精度统计结果列于表3。

表3 各研究区精度统计Tab.3 Precision statistics for each research region (cm)

(1)

(2)

式中：n为检查点的个数；ΔXi，ΔYi和ΔZi为检查点的外业实测坐标和内业量测坐标的差值。

(a)研究区1的地籍图 (b)研究区3的地形图

由表3可知，采用1.2 cm，2.3 cm和3.1 cm这3个不同的地面影像分辨率(表2)获得的模型平面精度分别为3.2 cm，6.6 cm和8.1 cm，高程精度分别为4.2 cm，7.1 cm和10.7 cm。精度较高。同时，系统获得的矢量数据产品精度满足相应领域的应用要求。如研究区1的房角点统计中误差为3.9 cm，满足地籍和不动产测量中中误差小于5 cm的精度要求；对于研究区3，统计得到的地形图的高程中误差为12.6 cm，基本满足山区地形图1∶500的高程精度要求，从而为矿区开采监测及后续的治理恢复提供了基础资料。