无人机在路桥病害检测中的设计与实现

2016-06-01陈显龙陈晓龙贺志刚

测绘通报 2016年4期

关键词：三维重建无人机

陈显龙，陈晓龙，赵　成，贺志刚

(北京恒华伟业科技股份有限公司，北京 100011)

无人机在路桥病害检测中的设计与实现

陈显龙，陈晓龙，赵成，贺志刚

(北京恒华伟业科技股份有限公司，北京 100011)

Design and Implementation of Unmanned Aerial Vehicle in the Bridge and Road Disease Detection

CHEN Xianlong,CHEN Xiaolong,ZHAO Cheng,HE Zhigang

摘要：设计和开发了一种基于无人机的路桥病害检测系统，分别对无人机软硬件系统进行了相应开发，形成了具有自主知识产权的无人机自动避障系统、病害识别系统和路桥巡检管理系统等，实现了对路桥病害等目标信息的高精度提取和变化检测。与传统路桥病害检测相比，具有经济性、高效性、全面性和安全性等特点，实现了路桥病害检测的智能化、信息数据化和可视化，为公路桥梁养护提供了有力支撑。

关键词：无人机; 路桥巡检; 病害识别; 三维重建

交通运输部发布公报称，截至2014年底全国公路总里程达446.39万km，桥梁超过73.5万座。作为国民经济的重要保障，目前中国40%的桥梁已经进入使用超过25年的老龄期，桥梁检测与监测、巡检与养护显现出诸多问题，如检测范围不够全面细致、影响交通、作业效率低下、成本高昂、检测人员存在人身安全隐患等。如何及时有针对性地进行路桥巡查是路桥相关部门面临的现实问题。无人机通过挂载照相机和多种传感器设备，辅以高精度导航系统和避障系统，通过地面工作站病害识别和三维重建系统，从而实现为路桥检修提供科学和精准的判别，有效弥补了传统路桥病害检测过程中存在的不足。

一、系统总体结构

一套完整的旋翼无人机航摄检测系统主要由系统硬件和系统软件两部分构成[1]。本文所设计的无人机系统中，高清相机、IMU(惯性测量单元)和激光雷达以无人机为载体，通过控制挂载在无人机上的高清相机获取目标图像信息，运用移动站实时追踪无人机位置及监控无人机拍摄画面，无人机借助激光雷达设备和飞控系统实现对障碍物的识别和躲避达到自动巡检的效果。巡检完成后通过无人机影像处理及三维重建软件系统实现对所获取的影像数据进行影像滤波、增强、融合、拼接、影像纠正，最后完成病害识别，同时利用激光雷达设备的三维点云数据实现对目标道路、桥梁的三维建模功能。如果发现异常情况，根据时间标记控制无人机回到可疑区域，对可疑区域进行进一步巡查，必要时由操作人员对无人机进行手动控制。通过路桥巡检管理系统对路桥的基本信息、无人机巡检信息进行精细化管理，并具备路桥健康状况信息汇总统计、路桥检修智能决策、三维模型展示等功能。其结构框架如图1所示。

图1　系统总体架构

二、系统硬件实现

无人机硬件平台采用RaspberryPi作为旋翼无人机的主控制板，利用TMS320F28335型DSP通过McBSP接口(EMIF)，以DMA方式传输及处理来自激光雷达和传感器的密集数据。为了保障旋翼无人机与机载传感器的正常运行，另使用一片STM32F103VBT6型ARM芯片辅助控制检测各个器件的运行状况。IMU可获取无人机的三轴加速度及三轴偏转角，地面站使用XBee[2]发送控制指令，工作频率为2.4 GHz，进而通过控制旋翼转速从而对无人机的速度与偏转角进行控制。激光雷达通过高速旋转得到的扫描数据经过处理可得到三维平面及上下空间上各障碍物的坐标与障碍物的大小。无人机机载相机选用索尼ILCE-7R，相机利用增稳云台进行支撑固定，使其能够保持稳定的拍摄。增稳云台的俯仰角可以由多旋翼无人机控制，同时加装光线传感器与补光光源，当检测到光线强度较低时自动开启补光光源。相机将拍摄视频、图像等信息以4∶2∶0或4∶2∶2等高质量编码图像的MPEG-2，采用超视距视频传输系统传输于地面站。无人机硬件组成如图2所示。

图2　无人机硬件结构

1. 避障

无人机在桥梁等复杂目标区域飞行时，由于地域狭窄、线缆分布密集，为保证无人机能够安全可靠地飞行，需要在前进方向与升降方向分别进行避障控制。避障流程如图3所示。

图3　无人机避障流程

(1) 前进方向上的主动避障

无人机避障一般考虑前方10 m的距离，距离过近可能会使无人机响应滞后，而过远使得探测范围有所缩小且对探测设备性能有更高要求。本系统通过安装在无人机几何中心的激光雷达经高速旋转，在探测范围内根据反射回来的激光束可算出二维平面上仪器距离障碍物反射面的距离，即

(1)

式中，c为光速；Δt为发射激光束到接收到该激光束所历时间；s为仪器距离障碍物反射面的距离，即无人机距离障碍物反射面的距离。当无人机位置发生移动时，可逐渐得到障碍物正面轮廓。高速旋转的激光雷达产生大量距离数据，为有效降低数据量，本系统通过扩展卡尔曼滤波进行筛选数据。此外，激光雷达探测数据为极坐标系下的数据，需要转换到世界坐标系中。首先转换为笛卡尔坐标系

(2)

式中，ri及εi分别为激光雷达每周期返回的距离值与角度值；(xi,yi)为转换后的笛卡尔坐标。

投影到世界坐标系的变换矩阵为

(3)

式中，θ为无人机的俯仰角；φ为翻滚角；T为世界坐标系的变换矩阵，即T与无人机姿态有关。试验表明，这种投影变换在相对封闭且垂直墙体分布较多的空间中具有良好效果。

激光雷达扫描数据与IMU数据通过基于扩展卡尔曼滤波器数据融合滤波器进行数据融合处理得到高精度位移估计和速度估计，具备较高的估计频率，能满足预估无人机位姿信息的实时性。

为进一步减少运算量，本系统采用一种基于碰撞圆锥的避障技术，如图4所示。

图4　前进方向上避障示意图

无人机飞行过程中，每个障碍物可近似视作二维圆锥，如果相对速度向量位于碰撞圆锥内，则这个障碍物有可能被撞击。在实际应用中，考虑无人机体积，需与每个障碍物保持最小间隔距r，即碰撞安全线是一个半径为r+r′、圆心在障碍物位置中心的空间球面，那么避障航迹是由从无人机到障碍物碰撞安全线的切线的集合来确定的。因无人机沿碰撞圆锥的方向初速度v到达碰撞安全线需要一定的时间t，如果时间t的绝对值大于无人机快速机动响应的阈值时间t′，则无人机不一定要做出规避机动，否则要紧急制动或转向。无人机飞行速度过快或障碍物过多，有可能导致运算负载大而造成时延，本系统采用PMW控制，即随障碍物距离减小而降低飞行速度，以等待最优路线的确定。此外，若无人机运动前方存在多个障碍物，根据障碍物之间空间位置关系，尝试解算可否从障碍物中穿行，若多解，则规划出最优路径；若无解，则据当前位置最先达时间的障碍物选为最紧急的障碍，一旦确定需要采取相应机动。

(2) 升降方向的主动避障

针对路桥检测特点，升降方向障碍物相对较少，为了降低无人机的功耗和负载，升降方向通过反射棱镜将激光雷达的两束光线分别反射到无人机的上方和下方，如图5所示。由于升降方向数据较少，滤掉误差数据，然后求平均值即可估算出距离值。此外，当无人机的飞行高度在激光雷达可探测范围内时还可以估算出无人机的飞行高度。

图5　激光雷达反射棱镜

2. 自主导航

无人机在空旷区域依靠GPS可实现无人机定位，结合IMU、激光雷达及建立的电子地图可实现自主导航，一旦无人机进入桥底等相对狭小的空间，可能会导致GPS信号丢失，此时需要结合激光雷达和IMU进行自主导航。

在GPS信号丢失情况下，确定无人机位置需要获取无人机位置变化矢量。当无人机发生位移时，激光雷达扫描障碍物的轮廓将发生变化，经过扫描匹配算法对相邻两帧数据处理可以估计无人机相对运动，即

S=(ΔX,ΔY,ΔZ)

(4)

式中，(ΔX,ΔY,ΔZ)为无人机三维空间位移增量；S为增量运动估计矢量。确定无人机位移信息后，进而确定无人机当前位置。

扫描匹配过程中，如果仅比较某时刻扫描数据与上一时刻扫描数据会产生较大误差，并且误差具有累积效应，直接导致无人机位姿估计可信度降低，本系统通过匹配时间t到t-τ时间段内扫描数据，使其满足

(5)

式中，Pt为t时刻扫描数据；Pt-τ为τ帧的集合；δ为吻合度阈值，大于δ时即停止迭代。迭代过程使用牛顿迭代法，以减少迭代次数，满足实时性的要求。

此外，本系统中存在较小的位置漂移，在能捕获3颗及以上的GPS卫星时，可利用GPS绝对坐标相互补偿。

三、系统软件实现

本系统通过高分辨率遥感影像数据结合数字高程模型可分析路桥所处地形特征，以制定远景飞行最优飞行计划，利用远景拍摄的影像建立路桥三维模型作为空间数据基础，利用近景拍摄病害，结合病害特征，进行识别和分析。其整体路桥病害检测流程如图6所示。

图6　无人机拍摄流程

1. 巡检方案制定

鉴于桥梁巡检比较复杂，无人机需要具备一定先验知识才能较好地完成自动巡检。新环境中首次巡检应通过操作人员手动操纵无人机飞行，以期相机视角可覆盖整个目标桥梁，同时通过IMU、GPS与激光雷达扫描并记录了无人机的航迹，并对周围的环境建立电子地图，完成同步定位与构图。地图建立完成后，无人机根据学习的飞行路线进行自动巡航。遇障躲避后返回原来的航线，基本无须人工干预。

2. 三维重建

目前，SIFT方法[3]和多视立体重建[4-5]为核心的三维重建方法比较成熟。本系统使用SIFT算法从无人机飞行过程中所拍摄的大量影像中提取路桥相关特征点。其中处理对象为经过系统进行校正、裁剪、重采样后所生产的无人机影像。该方法具有尺度不变、旋转不变和光照不变的特点，有很好的鲁棒性，非常适用于宽基线的匹配，因此能够在一定程度上解决采集图像姿态不稳定的问题。特征点匹配过程使用KD树提高搜索效率，同时采用由粗到精的匹配策略，以处理冗余度较高的数码照片集，得到空间中各个点在两幅图像中的对应投影点，即获得优化精度匹配的特征点，进而使用非线性优化方法回算相机参数并稀疏获得的三维点云，运用贪婪搜索运动获取结构方法，结合五点法[6]初始相机对的标定，避免非线性收敛到局部极值而得到错误的相机标定结果。由已标定的多视角照片进行三维重建，确定立体图像对进行深度图恢复，并将可靠性高的多深度图融合得到密集三维点云[7]，最后经过泊松重构的方法能够生成高精度3D表面格网模型。该方法不仅具备高分辨率图像下复杂目标快速建模能力，而且具有真实可测量功能。

3. 病害识别

基于无人机图像与地面DEM及其他相关资料相结合，面向道路、桥梁信息的智能化提取与变形监测；基于面向对象的影像分析方法，通过对高分辨率图像上的地物对象进行特征建模[8]，通过影像的多尺度分割与多特征识别等关键技术，构建智能信息提取模型，完成对路桥关键目标信息的高精度提取与变化检测，其中病害识别具体技术流程为：

1) 通过目视解译建立病害特征群，作为已知类别的样本。

2) 利用一定数量的已知类别的病害样本的特征值确定判别函数中的待定参数。

3) 利用特征参数对无人机影像进行病害识别与提取。

4) 建立技术先进、普及性强的无人机图像路桥分析的框架体系。

4. 路桥巡检管理系统

路桥巡检管理系统实现与无人机影像处理及三维重建系统的业务和数据有效集成，有效地实现对道路桥梁基础信息维护管理，提供专题图展示、三维模型展示、统计分析、智能决策等功能，道路养管部门可通过路桥巡检管理系统获取桥梁的定期巡检影像数据和巡检结果，为桥梁后续的养管和维修决策的制定提供数据支持。

四、结束语

本系统设计了基于无人机路桥病害检测系统，从硬件软件两方面详细介绍了无人机巡检的实现过程。初步测试结果表明，系统可以进行无人机避障、三维重建和病害识别，具有较强的鲁棒性。

目前无人机研发在国内外不断推进，无人机检测已深入到多方面，但对于路桥病害检测还有很多不足之处，小型化、自动化、自主化、智能化、模块化、集成化等程度有待提高[9]，影像校正、拼接、融合、分析等处理中算法和技术缺乏针对性[10]。本系统的设计对于路桥病害定期检测提出一套完整的、可实现的检测流程和管理方案，具有很高的实际应用价值，同时对于特定的无人机图像处理算法的改进具有一定意义。

参考文献：

[1]毕凯, 李英成, 丁晓波,等. 轻小型无人机航摄技术现状及发展趋势[J]. 测绘通报, 2015(3): 27-31.

[2]FALUDIR.BuildingWirelessSensorNetworks:withZigBee,XBee,Arduino,andProcessing[M].AseeOrgSebastopol：[s.n.]，2010.

[3]YANK，SUKTHANKARR.PCA-SIFT:AMoreDistinctiveRepresentationforLocalImageDescriptors[J].Proc.cvpr.volume, 2004，2(2)：506-513.

[4]HIEPVH,KERIVENR,LABATUTP,etal.TowardsHigh-resolutionLarge-scaleMulti-viewStereo[C]∥IEEEConferenceonComputerVision&PatternRecognition.[S.l.]：IEEE，2005:1430-1437.

[5]FURUKAWAY,PONCEJ.Accurate,Dense,andRobustMulti-ViewStereopsis[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2010, 32(8):1362-1376.

[6]SCHNABELR,WAHLR,KLEINR.EfficientRANSACforPoint-CloudShapeDetection[J].ComputerGraphicsForum, 2007，26(2)：214-226.

[7]郭复胜, 高伟. 基于辅助信息的无人机图像批处理三维重建方法[J]. 自动化学报, 2013, 39(6):834-845.

[8]史华林. 无人机航测系统在公路带状地形测量中的应用[J]. 测绘通报, 2014(6):60-62.

[9]晏磊, 吕书强, 赵红颖,等. 无人机航空遥感系统关键技术研究[J]. 武汉大学学报(工学版)，2005, 37(6):67-70.

[10]李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报(信息科学版)，2014, 39(5):505-513.

中图分类号：P237

文献标识码：B

文章编号：0494-0911(2016)04-0079-04

通信作者：贺志刚

作者简介：陈显龙( 1976—)，男，硕士，教授级高级工程师，研究方向为3S 技术在智能电网、智能交通领域的应用与系统集成。E-mail：along798@sina.com

基金项目：北京市电子信息技术创新与新兴产业培育项目(Z151100003615007;Z15110100360000)