基于无人机技术的沥青厂集料堆体积测算方法

2022-06-12魏文雪周思齐杨俊良杨海波

北京工业大学学报 2022年6期

李峰，魏文雪，孙轩，周思齐，杨俊良，杨海波

(1.北京航空航天大学交通科学与工程学院，北京 100191； 2.北京路新沥青混凝土有限公司，北京 102209；3.北京市政路桥建材集团有限公司怀柔沥青厂，北京 101407)

集料是生产沥青混合料的主要原材料之一，目前其库存量盘点一直采用人工估算的方法，该方法精度差、效率低，无法实现原材料信息化、智能化管理. 三维测量技术的发展(如三维激光扫描技术、无人机倾斜摄影技术)使得对集料库存进行更加高效精细的可视化管理成为可能[1-3].

三维激光扫描技术运用扫描仪对待测区域进行全面扫描，获取待测区域的点云数据，进而获得三维坐标[4]. 倾斜摄影技术是近年来测绘领域广泛应用的一项摄影技术，同时从5个不同的角度(1个正射、4个斜射)采集影像，获取丰富的顶面及侧面纹理，满足三维信息的需求[5]. Yakar等[6]利用摄影测量法和地面激光扫描法在土方挖填中进行体积计算，并与大地测量法进行了对比，认为大地测量法劳动量大、成本高、危险，而三维激光扫描法精度高、速度快，摄影测量法成本低，后两种方法精度均可达到95%. 胡玉祥等[7]将三维激光扫描技术应用到土石方体积测量中，并与传统测量方法进行精度对比，对比了三维激光扫描技术在土石方测算中与传统方法的差异，验证了三维激光扫描技术的可行性. 冯壮壮等[8]比较了近景摄影测量技术和三维激光扫描技术在土石方计算中的应用，认为近景摄影测量技术在外业采集效率及数据处理方面均有较大的提升，基本能满足土石方计算的精度要求. 研究表明，激光扫描技术虽扫描精度高，但存在仪器昂贵、外业操作烦琐、数据量大、数据处理周期长等缺点.

近几年来，小型无人机因其灵活度高、成本低、影像分辨率高等优点被广泛应用在倾斜摄影领域[9-11]. Samad等[12]利用无人机采集采石场影像数据，通过PhotoScan软件对无人机图像进行处理生成数字地形模型，采用Global Mapper软件完成体积计算，验证了无人机在采石场体积测算中的适用性. 郭长东等[13]采用低空无人机，对兰州某项目工程进行倾斜摄影测量，解算出点云数据并进行土方量计算，与全站仪测量结果作对比，表明此方法精度较高，且极大提高了土方量测绘工作效率. 李萌等[14]以陕西三试点区域为例，应用小型无人机获取高分辨率影像，生成高精度的数字正摄影像底图，与传统航测法土地确权的精度指标进行比较与分析，验证了小型无人机低空摄影在土地经营权确权中的可行性与实用性. 综合来看，运用无人机技术进行沥青集料堆体积测算具有一定的可行性，可以将其引入到沥青集料的体积测算与可视化管理中.

本文以北京市政路桥建材集团怀柔沥青厂室外仓库集料为研究对象，提出了一种基于无人机倾斜摄影技术的集料三维重建及体积快速测算的方法. 通过建立集料的三维模型，对集料总体积进行快速、高精度的测算，与集料入库数据作对比分析体积测量的准确性，分析模型参数设置对模型体积精度和速率的影响，为实现对沥青集料的可视化、智能化管理提供了技术支持.

1 基于无人机倾斜摄影技术的三维重建

1.1 无人机倾斜摄影技术概述

1.1.1 无人机平台

无人机最早应用于军事领域中的侦察等，近些年来，无人机的应用正在向民用领域扩展，目前在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、测绘、新闻报道、电力巡检、影视拍摄等领域均有应用[15-19]. 无人机主要由飞行平台和影像系统两大核心要素组成.

根据飞行平台构型分类，无人机可分为固定翼式无人机、旋翼式无人机和扑翼式无人机3类[20]. 固定翼式无人机依靠动力系统产生的推力作为飞机向前飞行的动力，具有结构成熟、飞行速度快、运载能力大、续航能力强、机动性低、不能实现悬停等特点[21]，在军用领域和工业领域具有广泛应用. 旋翼式无人机依靠其自身螺旋桨旋转与空气相互作用产生升力，其续航能力和抗风能力较差，但具有体积相对较小、飞行高度低、结构简单、灵活轻便等优点[22]，可完成垂直起降和“悬停”动作，机动性远超固定翼式无人机，适合在城市或室内等复杂狭窄的空间使用，主要应用于电力巡检、无人机表演等. 扑翼式无人机是一种类似鸟的仿生飞行器，通过机翼的主动运动产生升力和前进力[23]，由于扑翼仿生飞行原理的研究尚不成熟，目前扑翼式无人机的研究尚处于起步阶段.

由于本次飞行任务测区较小，且不能提供固定翼飞行器的跑道，因此首先排除固定翼式无人的使用，而多旋翼无人机的稳定性较单旋翼无人机更好，故本文选择多旋翼无人机作为航拍无人机.

1.1.2 无人机倾斜摄影技术

倾斜摄影技术在同一飞行平台上搭载多台传感器，同时从1个垂直、4个倾斜等不同角度采集影像，相较于传统的摄影测量多了4个倾斜拍摄角度，能够获取到更加丰富的侧面纹理等信息. 部分无人机只搭载一个相机，通过飞行多条相机拍摄角度不同的航线达到倾斜摄影测量的目的. 无人机在拍摄影像时，需记录航高、航速、航向重叠度和旁向重叠度、坐标等信息，为三维重建提供基础.

1.1.3 倾斜摄影技术特点

1) 反映地物周边真实情况

与正射影像相比较，倾斜影像能让用户从多个角度观察地物，更加真实地反映地物的实际情况，极大地弥补了基于正射影像应用的不足[5].

2) 实现地物量测

基于倾斜摄影测量技术获得的三维模型可以进行包括高度、长度、面积、角度、坡度等的量测，扩展了倾斜摄影技术在行业中的应用.

3) 可采集建筑物侧面纹理

针对各种三维数字城市应用，基于倾斜影像批量提取和映射纹理的方法，能够建立各种城市三维模型，如建筑、桥梁、道路等，有效地降低了城市三维建模成本.

1.2 三维重建技术

基于无人机对测区影像进行采集并输入，利用一系列算法进行特征匹配、稀疏点云重建、密集点云重建、网格建立、纹理生成，得到三维模型，三维重建流程图如图1所示.

图1 三维重建流程Fig.1 3D reconstruction process

1.2.1 采集并输入影像

根据测区范围和任务要求对航线进行规划并设置合理的参数进行影像数据采集，输入影像时，检查影像质量，是否有模糊、变形情况，根据可交换图像文件格式(exchangeable image file format, EXIF)信息检查是否存在高程信息错误的情况.

1.2.2 基于运动恢复结构算法建立稀疏点云

图2 图像序列恢复三维点数据和相机参数示意图Fig.2 3D point data and camera parameter schematic diagram of image sequence recovery

输入影像后，采用运动恢复结构(structure from motion，SfM)技术建立稀疏点云[24]. SfM算法的目的是从不同视角拍摄的图像中计算三维结构的点信息和每幅图像的相机参数，如图2所示. SfM算法主要分为增量式、层次式、全局式3种，其中增量式SfM应用最为广泛，它是一个迭代的、序列化的处理过程，主要分为两部分：图像关联和增量式重建.

因为图像是无序的，所以图像关联的目标是关联有重叠关系的图像，并输出经过几何验证的关联图像集和对应于每个点的图像投影点. 主要分为3步：1) 图像特征提取. 对于每个图像，首先提取一系列的局部特征及描述子，这些数据特征应该是几何不变的，这样SfM才能够准确唯一地识别该特征，尺度不变特征变换[25](scale-invariant feature transform，SIFT)就是一种很好的特征描述子. 2) 图像特征匹配. 最普通的方法是迭代法，即取出一幅图像中的一个特征后与所有其他图像中的特征进行匹配，该方法不免耗时且复杂，在大规模的图像集中是不可取的. 一种有效的方法是通过多种方法找出可能的图像对重叠集，然后在此基础上进行特征点匹配. 3) 几何验证. 估计2幅图像之间的变换关系，即投影几何关系验证图像对之间的重叠关系. 根据不同的空间构型计算不同的几何关系，单应矩阵H描述纯旋转或特征点共面的场景，本质矩阵E(已校正)和基础矩阵F(未标定)描述一个运动相机. 如果某个变换含有足够多的内点，则认为它们是符合几何约束的. 通过随机抽样一致性[26](random sample consensus，RANSAC)算法排除干扰点.

增量式重建的输入为经过图像关联处理的场景图结构，输出是一系列的相机位姿估值及对应的重建的场景结构点云. 主要分为4步： 1) 初始化. 选择合适的图像作为重建的初始图像非常重要，这直接关系着重建的质量，选择有较多重叠图像的初始图像会使结果具有更好的鲁棒性. 2) 图像配准. 通过perspective-n-point(PnP)方法将新图像配准到已有的模型中，同时采用RANSAC方法排除外点的干扰. 3) 三角化. 新配准的图像必须能够观测到现有的场景点，否则无法确定新帧的位置、姿态等参数. 每当有新的图像加入进来时，就可以产生新的三角化的场景点. 三角化在SfM中非常关键，因为该步骤增加了新的场景点，从而增加了现有模型的冗余度. 4) 光束法平差. 图像配准和三角化都会产生误差，因此需要通过光束法平差[27](bundle adjustment，BA)进行优化. 光束法平差算法通过最小化重投影误差优化相机参数.

1.2.3 基于多视角立体算法建立密集点云

基于SfM算法建立的稀疏点云采用多视角立体(multi-view stereo，MVS)算法建立密集点云[28].

MVS算法主要分为以下4种：基于三维体素的算法、基于表面演化算法、基于深度图融合算法和基于面片的算法，其中基于深度图融合算法通过对每张图像对应的深度图进行融合来得到场景的密集点云，适应于大场景重建，易于并行计算，获得的点云较为稠密.

基于深度图融合算法建立密集点云主要分为2步. 1) 为每个图像建立深度图. 应用一个2级视图选择算法：在图像级，全局视图选择为每个参考视图识别一组好的邻域图像，用于立体匹配；在像素级，局部视图选择确定这些图像的子集，从而产生稳定的立体匹配，这个子集通常因像素而异. 2) 进行立体匹配，获得优化的参数. 区域增长框架维护匹配候选的优先队列Q(R中的像素位置加上深度和法线的初始值). 然后，匹配候选成为匹配系统的输入，系统使用局部视图选择提供的相邻视图计算深度、法线和匹配置信度. 如果匹配成功，数据将存储在深度图、法线图和置信度图中，R中的相邻像素将作为新的候选像素添加到Q中.

1.2.4 基于表面重建算法建立网格

建立密集点云后，采用表面重建(surface reconstruction，SR)算法建立网格. SR算法的原理是基于点云构建光滑的流形曲面[29].

SR算法主要分为2步：1) 构建有符号的距离函数. 所谓有符号的距离是一个点到离它最近的表面点的距离，这个距离是该点沿着表面点的法线距离，对于在物体外的点定义为正号，物体内的点定义为负号. 2) 拟合多谐径向基函数(radial basis functions，RBF). 这是SR算法的核心内容，通过贪心算法完成：从插值节点中选择一个子集，并仅对这些节点拟合RBF；计算所有节点上的残差；如果最大残差小于目标精度，代表此RBF符合要求，则停止，否则就在残差大的地方增加新的中心，重新拟合RBF并计算残差.

1.2.5 基于纹理贴图算法建立模型

建立网格后，采用纹理贴图(texture mapping，TM)算法建立三维模型[30].

TM算法主要分为3步：1) 预处理. 通过执行视域剔除来确定所有视图和面的组合的可见性. 2) 选择视图. 选择一个合适的视图来进行纹理映射. 3) 调整颜色. 即进行连续性调整，第2步获得的模型在面片之间包含许多颜色不连续性，采用全局调整、局部调整和泊松编辑来减少接缝的可见性.

至此，基于无人机影像的集料堆三维模型生成.

2 基于三角网法的体积计算

三角网是由一系列但不重叠的连续三角形构成的网状面片，三角形要求遍历点云数据中的所有点，取出每一个网上的三角形向XOY平面投影即可构建一个类似三棱柱的不规则柱. 底面积与3条棱高的平均值的积即为此不规则柱的体积，累加所有不规则柱的体积即为整个目标的体积[31]. 具体步骤如下.

1) 基于点云构建不规则三角网. 运用Delaunay三角网生长算法，由初始三角形逐渐向外扩展生成新的三角形，直到所有的三角形都已生成完毕.

2) 将不规则三角网投影至XOY平面，构建不规则柱，如图3所示，△abc向XOY平面投影得到△a0b0c0，2个三角形的顶点坐标分别为a(x1,y1,z1)、b(x2,y2,z2)、c(x3,y3,z3)、a0(x1,y1, 0)、b0(x2,y2, 0)、c0(x3,y3, 0).

图3 不规则柱的投影图Fig.3 Projection diagram of irregular column

3)根据

计算位于XOY平面上的不规则柱的底面积.

4)根据

计算不规则柱的平均棱高.

5)不规则柱的体积即为

V=S△a0b0c0×h

3 工程应用实例

3.1 测区及设备介绍

本次实验区域为北京市政路桥建材集团怀柔沥青厂室外仓库，地理位置为东经116.68°，北纬40.36°，实验区域如图4所示.

图4 实验区域Fig.4 Experiment area

根据《低空数字航空摄影规范》(CH/Z 3005—2010)中对飞行平台关于飞行高度、续航能力、抗风能力、导航定位GPS等要求和对数码相机关于像素、最高快门速度、检校等要求，确定了本文中用于航拍的无人机——大疆“御”Mavic Pro，这是一款多旋翼无人机，主要由飞行系统和航拍摄影系统组成，拥有前视视觉系统与下视视觉系统，具备自主避障功能，有效像素为1 235万，最大水平飞行速度可达65 km/h，综合续航时间21 min，适用于地面有丰富纹理、光照条件充足的环境. 计算机工作站中央处理器型号为Intel Xeon E5-2630 v4，图形处理器型号为GeForce GTX 1080ti. 三维重建与体积测算采用Agisoft Metashape软件，这是一款俄罗斯公司开发的三维重建软件，具有全自动、操作简单、重建质量高的优点.

3.2 测量方案设计

由于室外条件开阔，无树木等遮挡，故采取自动飞行的方法进行影像采集. 基于无人机倾斜摄影影像进行三维重建要求航向重叠度达到70%以上，旁向重叠度达到60%以上. 在DJI Pilot APP中，划分出室外仓库所在区域作为测区，设置以下飞行参数：云台俯仰角度为-60°、拍照模式为等时间隔拍照、飞行高度为30 m、航线速度为2 m/s、航向重叠率为80%、旁向重叠率为70%，参数设置好后无人机按照规划好的航线自主飞行并等时间间隔拍摄影像. 为了避免天气对影像造成不良影响，选择在光照条件较好但不宜太过剧烈、无风或微风时进行拍摄. 共有5条航线，图5为航线示例，收集照片546张，集料影像图如图6所示，其中黑色区域为沥青集料，白色区域为仓库旁小径.

图5 测区航线示例(共5条)Fig.5 Example of routes in the survey area (five routes in total)

图6 无人机所摄影像图示例Fig.6 Example of images by UAV

3.3 三维重建

在Agisoft Metashape软件中进行三维重建，主要步骤如下：

1) 加载照片，可选择添加照片/添加文件夹，将无人机影像导入软件中；

2) 对齐照片，在对话框中设置精度、关键点限制、连接点限制等参数，软件将基于SfM算法生成稀疏点云；

3) 建立密集点云，在对话框中设置精度、筛选模式等参数，软件将基于MVS算法生成密集点云；

4) 生成网格，在对话框中选择源数据为“密集点云”，软件将基于密集点云数据生成光滑曲面；

5) 生成纹理，软件将影像纹理信息赋予生成的光滑曲面，形成具有真实纹理的三维模型；

6) 生成数字高程模型(digital elevation model,DEM)，DEM描述了地面高程信息，在体积计算中具有重要作用.

在三维重建过程中，软件的参数会对模型精度和工作量有较大影响，初始三维重建模型参数设置如下：对齐照片精度设置为最高，关键点限制设置为40 000，连接点限制设置为4 000，密集点云生成的精度设置为最高，筛选模式均选择轻度，最后基于密集点云生成DEM，各步骤所得结果如图7所示.

将图7(c)集料DEM模型与图4实验区域的卫星图作对比可以发现，集料的大致形状相同，而基于无人机影像所形成的三维模型反映了集料的实时状态，卫星图一般以年为时间更新，这导致二者之间并不完全一致.

为了探究参数设置对测量精度和效率的影响，将模型对齐照片精度和密集点云生成精度分别设置为最低、低、中、高、最高，分析比较5种方案中模型的体积计算结果与生成时间.

图7 三维重建各步骤结果Fig.7 Results of each step of 3D reconstruction

3.4 体积计算

根据仓库情况将集料堆DEM模型分为5个区域，如图8所示，分别进行体积计算. 主要方法为：在DEM上密集选取集料边界点，形成一个封闭形状，对边界点高程值进行分析，选择高程阈值，通过高程阈值区分地面点与集料点，高程高于高程阈值者为集料点，高程小于高程阈值者为地面点，计算封闭形状内点云的体积即为集料体积.

根据初始三维重建的结果计算得到5个区域的体积值分别为：4 192.0、2 609.2、1 651.1、1 173.9、1 341.0 m3，此室外仓库集料堆总体积为10 967.2 m3.

图8 仓库分区Fig.8 Warehouse partitioning

4 结果分析

4.1 测算结果分析

传统人工测量方法为测量长、宽、高后乘以经验系数得到体积，该方法存在耗时大、误差较大、准确率不足的缺点. 为验证无人机倾斜摄影技术体积测算方法的准确性，将无人机技术测算的体积与集料入库数据进行对比，计算其相对误差，如表1所示.

表1 无人机技术体积计算结果与入库数据对比

由表1分析可知，无人机倾斜摄影技术测算的集料体积与集料入库数据相差不大，相对误差控制在15%以内，满足测量的实际需求. 经分析，误差主要与以下因素相关：1) 无人机精度. 卫星距离地面太过遥远，不可避免地会造成GPS误差，影响无人机精度. 2) 相机参数. 相机畸变参数会对航测精度造成影响. 3) 飞行高度. 飞行影像中飞行高度越低，精度越高. 4) 建模精度. SfM算法进行模型重建时会出现误差，在飞行高度为30 m时，水平误差和垂直误差为3 cm左右，约为高度的1/1 000. 5) 计算误差. 在进行体积计算时，采用的是基于密集点云构建三角网，进而计算不规则柱体积的方法，而不规则三角网表面与集料真实表面仍有一定差距.

在表1中，与其他区域无人机技术结果高于入库数据不同，区域3的无人机测算体积低于入库数据，经分析是因为区域3的边界为曲线形状且不明显，导致选取集料边界点时未能将部分集料归入，造成了无人机测算体积过小. 这带来了以下启示：1)选取边界点时，尽可能贴合集料边界形状，在曲线边界处，特别要加密选点. 2) 选取测区利用无人机获取影像数据时，在完全覆盖仓库的基础上稍稍扩大测区，力求完整呈现出集料的三维模型.

相较于传统人工测量方法，基于无人机技术进行沥青集料体积测算具有很多优势，如成本低、速度快、精度高等. 传统测量方法耗费时间长、人力成本高、受人为因素影响较大，仅适合对较为规则的集料堆进行测量. 而无人机摄影测量技术降低了外业任务的难度和工作量，内业任务也具有自动化、操作简单的优点，对沥青集料具有很好的实用性.

4.2 测量精度分析

集料堆是人为微地形，其形状、大小差异较大，测量的精度要求较高. 对于相同的影像集，将生成模型的参数分别设置为最高、高、中、低、最低5个等级，以参数设置为最高的模型结果为基准，探究模型参数设置对模型精度造成的影响.

由表2可以看出对同一无人机影像集，模型参数设置由最高降到最低时，集料堆体积计算结果相对误差较小，在2.5%以内，可认为模型参数设置对最终的计算结果并未产生显著影响. 经分析，原因在于影响计算结果的直接因素是DEM的分辨率，而

表2 不同参数模型的计算结果及误差

即使模型参数设置为最低时，模型的分辨率仍有0.6 m，相对于集料规模而言，0.6 m为比较精确的尺度，所以模型参数并未对集料体积产生显著影响. 模型参数不同时DEM模型对料堆边缘部分处理不同，故相对误差的主要来源是DEM模型边缘误差的抵消和积累.

4.3 测量效率分析

由于三维重建过程中对齐照片和建立密集点云2个步骤最为耗时，故统计在不同模型参数设置下，对齐照片和生成密集点云所耗费的时间，探究模型参数设置对模型效率的影响.

由表3可以看出当模型参数设置从最低逐渐提高时，每提高一个等级，生成模型的时间就成倍增加，参数设置越高，耗费的时间越长. 当模型参数设置为最低时，生成模型所需时间最短，只需要5 min左右，这大大降低了内业作业所耗费的时间. 当测量区域较大时，这对无人机倾斜摄影技术在沥青集料堆体积测算技术的工程应用具有十分重要的实际意义.