桥梁表观病害检测系统的设计和实现
2023-10-14武旭娟WUXujuan
武旭娟 WU Xu-juan
(辽宁省交通规划设计院有限责任公司公路养护技术研发中心,沈阳 110111)
1 概述
随着我国国民经济的发展,交通事业有了长足的进步,桥梁大量增加。近些年来,桥梁安全事故时有发生,造成了巨大的经济损失和社会负面影响。为了确保桥梁完好[1],预防重大桥梁交通事件的发生,要求通过桥梁检测做好桥梁养护工作。而我国桥梁存量巨大,管养部门编制有限,人均工作量大,客观上增加了管养部门的压力和桥梁养护工作的难度,而且现阶段的桥梁检测主要还是人工观测等比较原始的方式,速度很慢,迫切的需要提高桥梁检测的技术、效率和专业化水平。
查阅辽宁省地区13 条近年高速公路桥梁的定期检查报告并进行了一些现场调研,掌握了辽宁省高速公路桥梁结构形式的分类和病害的类型分布:桥梁结构形式的分类为空心板和实心板桥梁约占高速桥梁总数的3/4,出现病害的桥梁类型也是梁式桥占到了八成以上。其中空心板和实心板桥上出现频率最高的病害类型:梁桥上出现频率最高的病害类型是渗水泛碱(白色流膏)、剥落掉角、裂缝和蜂窝麻面。
基于此提出了一种基于图像识别的桥梁病害无损检测方法:在工作距离小于10 米的情况下,通过云台控制相机进行转动,水平最大转角为180°,拍摄图片,并对采集图片中的病害进行识别。
2 系统设计
图像识别分为图像采集和图像分析两个基本功能。在车牌识别、人脸识别等很多领域有了广泛深入的应用。目前主流的系统设计方案都是集成硬件设备采集图像,开发软件系统进行图像分析。桥梁表观病害检测系统也采用这种系统设计方案:硬件采集桥梁表观图像,软件识别分析桥梁的表观病害。整个系统结构如图1 所示。
图1 桥梁病害检测系统模块构成图
3 系统功能
根据桥梁表观病害检测系统的模块构成进行开发。桥梁表观病害检测系统采集系统基于Windows 系统设计,其中用户可通过图像采集系统对相机进行控制,实现实时取景、自动采集等图像采集功能;允许用户将采集图像下载、保存为本地文件,使用户能够在本地对图像进行预览、删除等操作。
图像识别系统通过非接触式检测方式对桥梁病害进行检测,对桥梁病害数据进行分析、学习,建立病害数据库,提高桥梁病害检测效率,降低人力成本,为桥梁养护、维修与加固提供技术支持,进而提高桥梁使用性能、延长桥梁的使用年限。
3.1 图像采集系统
图像采集系统包括硬件采集设备集成和控制软件开发两部分。硬件采集设备是图像来源的基础,控制软件是整个图像采集设备的“大脑”,协调控制整个图像采集设备所有的硬件工作。
3.1.1 硬件设备集成
整个采集系统[2-3]由电源、操作终端、拍摄终端、电源线和无线通信五部分组成。系统结构如图2 所示。
图2 桥梁病害检测系统模块构成图
①电池:内部集成一个24V 电池,为整个系统供电。
②操作终端:由一台笔记本电脑组成。
③拍摄终端:由相机、激光测距模块、Camfi 模块、云台、脚架、控制箱组成。其中激光测距模块由一个激光测距仪和4 个激光指示器组成。
④电源线:完成电池到拍摄终端的供电。
⑤无线通信:由型号为SRWF-1021-50 的智能无线数据传输终端与操作终端相连同拍摄终端进行无线通信,完成供电、云台控制信号、快门信号、测距仪信号的传输。
3.1.2 采集控制系统
桥梁病害采集控制主要分为以下模块:图像采集、图片管理、云台控制。
①图像采集。
图像采集模块包括图像采集参数设定与图像采集。
图像采集参数设定包括首先调整相机左右转动角度,其中正数向右转动上下转动角度,实现相机转动操作;进行矩阵选择,确定采集图像由几行几列组成,其中行和列均由2、4、6 三种选择方式;填写桥梁代码、部件号、部件编号信息,完成桥梁采集的初步设置。
图像采集包括自动采集、停止采集、自动补拍、手动采集以及手动对焦等功能,最终获取到目标桥梁的图片。
②图片管理。
图片管理模块可对相机中的图像进行相关的管理操作;包括查看、删除、下载和刷新。
③云台控制。
通过串口设置对云台属性进行设置,使云台参数与智能无线数据传输终端参数相匹配,实现云台控制信号、快门信号、测距仪信号的无线通信。
云台通过“云台指令”对其控制,包括相机左右转动角度(其中正数向右转动、负数向左转动)和上下转动角度(其中正数向下转动、负数向上转动),调整相机转动到期望的角度后,实现相机转动操作。
整体图像采集的流程如图3 所示。
图3 桥梁表观病害检测系统图像采集流程图
3.2 图像识别系统
图像识别系统负责对采集的图像进行预处理,然后分析图像,识别其中的病害,获取病害的类型、长度、宽度等参数信息,保存病害识别结果,将其导入到已有的桥梁管理系统中,为桥梁的养护决策提供支持。
图像识别系统由图像预处理子模块、图像拼接子模块、病害识别子模块、病害智能判别子模块组成,下面分别介绍这几个模块。
3.2.1 图像预处理子模块
图像采集时,由于桥体的高度、位置等因素,相机在拍摄时会偏转一定角度,图像预处理子系统主要是利用采集到的图像和距离、角度信息等,对图像进行透视畸变矫正,将图像转化为正视图。预处理功能,不需要用户进行任何操作,在导入图像的过程中自动完成导入图像,系统会对导入的图像进行畸变校正,如果有校正失败的图像,会提示用户相关的信息。
病害图像畸变校正后,图像达到正面拍摄效果,便于后续病害识别。
3.2.2 图像拼接子模块
桥梁病害识别系统以2*2、4*4 或6*6 的拍摄矩阵采集图像,对采集到的图像进行拼接,去除图像中的重叠区域,形成一幅完整的、视角更大的全景图,使图像能够更加全面、直观地显示桥梁情况[4]。
图像的拼接,第一步是感兴趣区域提取,使用SURF 算法在感兴趣区域提取特征点[4],使用特征点匹配把两幅图像重合区域中提取出的特征点匹配起来,找到正确的匹配点对,对图像进行拼接,对拼接后的图像进行加权融合处理使图像的拼接部分过渡的更加自然。
3.2.3 病害识别子模块
桥梁病害识别系统的核心即是对采集到的桥梁图像进行处理,并识别其中病害。在实际应用过程中,不同桥梁存在不同类型、不同等级的病害情况,采集过程中,图像质量亦会受光照条件、环境因素等情况影响较大,因此,为了保证本系统能够准确识别出不同桥梁、不同条件下采集到的病害图像,病害识别模块设计了4 种不同的识别方法以满足识别需求。
①裂缝识别。
桥梁的损伤与破坏通常首先表征在桥体中出现裂缝,因此桥梁裂缝是桥梁病害中最为常见的一种情况。观察裂缝图像能够看出,通常情况下,裂缝形状狭窄、不规则,方向各异,在一定范围内具有连续性。
裂缝识别时首先使用双线性插值法对图像进行缩小,对图像进行灰度转换、图像增强、图像滤波等处理,然后使用区域生长的方法对图像进行处理,将距离相近的域进行了连通,提取图像中的连通域,计算面积、长度、宽度及长宽比,根据尺寸信息对连通域进行筛选,保留病害区域。
②麻面识别。
麻面是指混凝土局部表面出现缺浆和许多小凹坑、麻点,形成粗糙面,但无钢筋外露现象。观察麻面情况图像可以看出,通常情况下,麻面区域形状不规则,病害区域与非病害区域灰度差异不明显,但病害区域内部存在明显的灰度阶跃。
麻面的识别,首先使用双立方插值方法对图像进行缩小,对图像的色彩空间进行转化,由RGB 图像转化为HSV,同时,对RGB 图像根据心理学公式进行灰度化处理,并对得到的灰度图使用K-means 算法做聚类处理。接着对图像进行形态学处理,以降低图像中非病害区域噪声对识别结果的影响。
麻面识别算法使用图像熵及图像对比度两个指标对连通域内部灰度值进行统计,区分病害与非病害区域。统计各连通域内一维熵与二维熵,并与设定阈值进行比较,判断连通域是否为麻面区域。
③剥落识别。
剥落的识别,首先采用双立方插值法对图像进行缩小,对图像进行灰度转换、使用拉普拉斯算法对灰度图像进行增强、选择基于灰度阙值Bradley(布拉德利)二值化分割方法进行二值化分割,对二值图像进行腐蚀处理,提取连通域,采用与麻面识别类似的算法:通过统计连通域内部熵与对比度等信息判断并标记病害区域。
④泛碱识别。
桥体损伤与破坏的另一主要因素为“泛碱”。桥面“泛碱”现象即水损害的一种,通常出现表面发黄、白斑点,近观为溢出性液体残留物或风干后水垢、杂质等污渍附着于桥表[5]。观察泛碱图像能够看出,通常情况下,泛碱区域亮度较亮,虽说形状不规则,但大部分能形成连通区域。
泛碱的识别,首先采用双立方插值法基于B 样条曲线采样方式对图像进行缩小,对图像进行灰度转换、图像增强、图像滤波等处理,接着对图像进行形态学处理和粗提取,接着利用膨胀、腐蚀算法对粗提取图像进行后处理,排除小面积区域并对狭小的缝隙进行填充,以获得泛碱连通域。利用轮廓提取的方法,标记泛碱区域的轮廓。
3.2.4 病害智能判别子模块
病害的智能判别功能,将病害识别结果导出为CSV格式文件,使用户能够保存识别结果,并且CSV 文件的格式是按照桥梁管理系统数据库表定义的,这样病害识别结果与已有的桥梁管理系统实现了对接,可以为桥梁的养护决策提供支持。识别病害后,在列表中,选择需要导出的病害,和导出文件的位置,即可将病害的识别结果导出到指定的文件中。
4 系统应用
系统在井泉服务区通道桥(辽阳)(下行)(H15211081L0120)等几座桥梁进行了依托工程验证工作,通过桥梁检测人员现场使用,来对桥梁病害检测系统的操作流程、使用效率及病害检测系统的病害识别率进行判断和评价。
病害识别率判断的方法:通过桥梁病害检测系统采集的照片,桥梁检测人员人工判断病害的位置与大小,使用病害检测系统进行病害的识别,通过两者的对比,两者的相似度超过75%,则认为病害正确识别。
表1 病害识别率
共采集了398 张照片,对所有的照片进行了病害的识别,裂缝病害的识别正确率61.75%:渗水泛碱病害的识别正确率57.75%,蜂窝麻面病害的识别正确率40%,剥落掉角病害的识别正确率为50%。
渗水泛碱病害识别率不高的原因主要是由于渗水泛碱的病害特征不太明显,桥梁不同位置渗水泛碱所呈现的形态差别较大,导致病害的特征抽取很困难,病害的识别率比较低。
裂缝病害虽然病害特征较为单一,但病害的干扰因素比较多,例如几乎所有的裂缝旁边都会被检测人员使用油笔沿裂缝走向画上一条线,对裂缝识别造成的干扰比较大。
蜂窝麻面由于采集的样本比较少,病害识别率不高不具有代表性,有待继续进行评价。
剥落掉角类跟渗水泛碱比较类似,病害特征也不太明显,导致病害识别率也比较低。
5 结语
随着交通事业的快速发展,高速桥梁数量的不断增加,人工检测的方法必将被智能化机械化的设备所替代,本文基于单反相机和两轴云台搭建的适用于板式结构桥梁的表观病害图像检测系统实现了非接触自动采集桥梁图像,最大工作距离10m,后续可以通过更换相机和镜头来扩展最大工作距离,特别适合需要使用检测车进行检测的大型桥梁或者难以近距离观察的铁路跨线桥等桥梁。而对于病害识别,不同的背景噪声及不同的拍摄角度下,同一类别病害特征存在一定差异形,特征很难归纳,传统的识别算法难以适应,病害实际的识别结果并不能完全满足检测需求。所以随着检测次数与数量的增加,病害样本数据库不断扩充,考虑更好地利用已经识别的病害样本数据库,开发基于深度学习的智能病害识别模型对于这些病害进行统计和学习,归纳病害特征,提高识别准确率,该工作目前在进行中。