基于深度学习的水下钢结构锈蚀识别与评价

陆廷杰，刘东海，齐志龙

基于深度学习的水下钢结构锈蚀识别与评价

陆廷杰，刘东海，齐志龙

(天津大学水利工程仿真与安全国家重点实验室，天津 300350)

锈蚀是影响输水工程中水下钢结构能否稳定运行的重要因素．由于水下环境复杂，常规方法难以在通水情况下实现对水下钢结构锈蚀情况进行有效的检测与评价．本文基于深度学习，提出了一种利用水下机器人采集的视频图像，自动检测水下钢结构锈蚀并进行锈蚀等级评价的方法．首先，采用构建的卷积神经网络(CNN)模型对预处理后的水下钢结构锈蚀图像进行锈蚀识别；然后，利用颜色直方图对锈蚀区域进行语义分割，通过计算的锈蚀率来评价锈蚀等级．实例结果表明：水下钢结构锈蚀识别的准确率可达95.5%，实现了锈蚀程度评价．本文方法可为通水情况下输水工程水下钢结构的锈蚀快速识别及健康诊断提供新的途径．

输水工程；水下钢结构；锈蚀识别；锈蚀评价；卷积神经网络；语义分割

锈蚀是长距离输水工程中水下钢结构最为常见的病害之一．锈蚀会削弱钢结构构件截面性能[1]，引起钢材疲劳强度、极限延伸率等力学指标的衰减[2]，导致钢结构的可靠性降低．目前对于钢结构锈蚀部位的检测往往依赖于人工目检，然而由于水下钢结构锈蚀分布的随机性以及水下环境的复杂性，在通水情况下对钢结构锈蚀部位的全面查找存在困难；同时水体存在的微生物以及泥沙等会附着在金属表面，导致锈蚀检测存在极大的难度．此外，人工检测对锈蚀部位的定量检测数据极少，无定量化的检测给锈蚀区域的等级评定带来较大的困难．

为了使检测方式更为安全、高效、全面，同时满足各种场景下的不同检测需求，无人机、水下机器人等先进检测设备应运而生[3-5]．目前水下机器人已经广泛应用于基础设施的检查[6-8]，水下机器人能在复杂的水下环境进行作业，并且在设备正常的情况下没有作业时间的限制，并可集成图像传感器．因此，利用水下机器人采集的图像[9-12]，研究水下钢结构锈蚀检测和评价方法，精确掌握水下钢结构安全状况对长距离输水工程安全具有重要的意义．

随着计算机视觉技术的不断发展，各种图像处理算法逐渐运用于锈蚀检测中．利用图像数字处理技术，针对钢结构的锈蚀区域进行语义分割，可实现锈蚀部位的提取[13-14]．郭建斌等[15]通过对水工钢结构图像进行灰度处理、二值化处理实现对水工钢结构锈蚀形貌与锈蚀分布的准确描述．Zhang[16]提取材料锈蚀图像的颜色和纹理特征，并与材料锈蚀等级的标准图像特征进行比较，评价材料表面的锈蚀等级. Acosta等[17]用贝叶斯分类器实现自动对锈蚀区域的分类识别，Petricca等[18]对比了标准计算机技术和深度学习的锈蚀检测方法，发现实际工况下深度学习的锈蚀检测模型表现更好．王达磊等[19]提出了一种基于深度学习的钢结构锈蚀检测方法，对图像中的锈蚀区域进行检测及分析．Holm[20]用AlexNet、GoogLeNet、ResNet-50、VGG-16 4种不同的神经网络检测对桥梁结构的锈蚀进行检测，发现神经网络在公用设施结构锈蚀检测方面具有巨大的潜力．Duy等[21]提出了一种基于全卷积神经网络的语义分割方法，用于发现电线杆上的锈蚀区域．但是，上述方法主要用于陆上钢结构的锈蚀检测，对于光照不均匀、附着物覆盖、多种噪声干扰的复杂水下环境情况下的水下钢结构锈蚀图像识别，现有方法难以适用，并且目前缺乏锈蚀检测结果与锈蚀等级评价相关联的研究．

因此，本文利用水下拍摄的视频图像，研究一种基于深度学习的水下钢结构锈蚀的检测识别方法，进而利用语义分割来实现对锈蚀等级评价．首先，通过匀光处理、图像修复和增强算法对水下图像进行预处理；然后，采用构建的卷积神经网络(convolutional neural network，CNN)模型对预处理后的图像进行锈蚀的识别；其次，利用颜色直方图对锈蚀区域进行语义分割，进而对水下钢结构锈蚀程度进行等级评价；最后，结合具体的实例，对方法的精度及评价效果进行分析．

1 水下图像预处理

1.1 水下图像预处理方法

对于水下机器人作业等场景，复杂的水下成像环境导致获取到的水下图像严重退化，为基于水下图像的识别研究带来巨大的挑战．随着高科技水下成像设备的发展，获取水下图像的质量也得到了一定程度的提升，但仍然存在对比度低、颜色衰退以及细节模糊等现象，此外考虑到实际应用成本，对水下图像进行预处理仍然有其必要性．

1.1.1 水下图像匀光处理

在非均匀光场及黑暗情况的水下场景下，光照不充分，为了提高水下成像的效果，水下机器人拍摄的过程中往往使用人造光源作为辅助光源，但辅助光源的使用会产生光照亮度不均匀现象，导致部分区域的纹理信息被掩盖或丢失．因此，需要对光照不均匀图像进行校正，消除不均匀光照对图像的影响．算法流程如图1所示．

图1 匀光处理流程

匀光处理算法构造了一种基于二维伽马函数的图像自适应亮度校正函数[22-23]，即

式中：(，)表示校正后的输出图像的亮度值；(，)表示原始图像；表示用于亮度增强的指数值；(，)表示图像的光照分量特性；表示光照分量的亮度均值．

该函数将图像从RGB颜色空间转换至HSV颜色空间，利用光照分量的分布特性调整二维伽马函数的参数．

1.1.2 水下图像修复处理

不同波长的光在水下传播过程中的衰减率不同，导致水下成像颜色失真，出现色偏现象[24]．水下色偏图像大多呈现蓝绿色，若不进行处理，后期的图片仍会存在色偏．利用自动色彩均衡(automatic color enhancement，ACE)算法[25]对图片进行色彩校正及亮度增强．该算法考虑图像中颜色和亮度的空间位置关系，进行局部特性的自适应滤波，实现具有局部和非线性特征的图像亮度增强与色彩的修正，主要分为两个步骤．

步骤1对图像进行色彩或者空域的调整[26]，完成图像的色差校正，得到空域重构图像R()为

式中：F表示原始输入图像；R中每个像素点为F中对应像素点与周围像素值对比的差值信息，R为中间结果；下标表示色道；sub表示参与像素运算的子集；表示当前像素位置；为子集中不同于的像素位置；R()表示调整结果；F()-F()表示两个不同点的亮度差；(，)表示距离度量函数；(·)表示相对亮度表现函数．

步骤2 对校正后的图像R()进行每个色道的动态扩展[27]，使得最终输出结果整体在相对亮度上体现更好的视觉效果．最终输出的图像O()为

式中：round函数表示四舍五入取整；w表示线段[(0，c)，(255，c)]的斜率，c＝min[R()]，c＝max [R()]．

1.1.3 水下图像增强处理

水下图像经过前期的处理后，可能仍存在严重的退质现象．由于水体及微粒杂质的散射所导致的图像清晰度下降，部分区域呈现雾状模糊．因此，本文采用多尺度导向滤波的Retinex增强算法[28]，以提高水下图像的对比度并还原雾化的细节信息．输出的滤波图像G与输入的导向图像F关系为

该算法[29]利用大尺度导向滤波获取边缘轮廓，利用小尺度导向滤波丰富细节纹理，选取不同尺度的导向滤波来估计光照图像，并对各种尺度导向滤波估计的光照图像进行加权平均作为最后的反射图像，使图像在保持边缘轮廓与平滑之间达到平衡，其公式为

1.2 水下图像评价指标

图像质量评价指标是对图像处理方法有效性进行判定的重要依据，本文选取图像亮度均值、信息熵、梯度和彩色水下图像质量评价指标(UCIQE)[30]对预处理后的图像进行质量评价．

亮度均值指图像整体的明暗程度，亮度均值越大，一定程度上表示图像主观视觉越好，质量越高．计算公式为

式中：×为图像的分辨率；(，)为坐标(，)处像素点的平均灰度值．

信息熵表示一幅图像信息量的多少，熵值越大，表示图像携带的信息越多．计算公式为

式中P表示图像第个灰度等级占有的概率．

梯度表示图像的前景亮度和背景亮度之间的反差．梯度值越大，表示图像细节清晰度越高．计算公式为

彩色水下图像质量评价指标(UCIQE)采用图像中的色度、饱和度和对比度作为测量分量，利用线性组合的方式将3种分量结合到一起，得到一种对水下图像的不均衡色差、模糊和对比度进行量化的评价指标．计算公式为

2 基于CNN算法的锈蚀图像识别

水下环境复杂，信息多源，存在很多干扰．为减小不相关物体的干扰，进一步提高锈蚀识别率，降低虚警率，本文采用CNN算法与滑动窗口相结合的方式检测图像中是否存在疑似锈蚀的区域，并显示锈蚀区域．

CNN作为一种深度学习模型，不仅降低网络模型的复杂度，减少模型参数，且能够通过其特有的卷积、池化操作实现数据特征的自动化提取，大大提高模型对于输入数据的适应能力[31]．CNN主要由输入层、卷积层、池化层、全连接层及输出层组成[32]．

基于CNN的锈蚀识别流程如图2所示，具体步骤如下．

步骤1 获取数据集．将预处理后的样本图像通过滑动窗口剪切成若干个子图，滑动窗口大小为×，扫描步幅设置为；由人工进行标注，对所有样本的子图进行锈蚀和非锈蚀二分类，标注完成后按一定比例划分训练集和测试集．

步骤2 CNN模型建立．将处理好的训练样本数据排布成矩阵作为模型的输入量，利用梯度下降法和误差反向传播算法对模型进行求解(即优化参数)，获得最优参数模型，即锈蚀分类CNN模型．将测试数据集输入到锈蚀分类CNN模型中，获得锈蚀分类CNN模型的识别准确率等模型性能数据．

步骤3 锈蚀判别．按照从左到右、从上到下的顺序，将从预处理后的待检测图像中剪切的子图逐个输入到训练好的锈蚀分类CNN模型中，对子图进行锈蚀判别．将锈蚀的子图在输出矩阵的对应位置标记为0，非锈蚀子图在输出矩阵的对应位置标记为1．当滑动窗口遍历整张图片，所有子图都完成标记．将标记为0的子图显示，标记为1的子图不显示．根据每张子图的位置索引对其进行组合，实现锈蚀的分类识别和位置显示．

图2 基于CNN的锈蚀分类识别流程

3 基于语义分割的锈蚀等级评价

3.1 基于颜色直方图的语义分割方法

颜色直方图是常用的颜色特征，能够很好地改善基于像素点颜色特征的局限性；但颜色直方图无法表达颜色空间分布信息，在图像处理中单独使用颜色直方图难以取得很好的效果[33]．为了精确提取锈蚀部分，以便对锈蚀特征信息进行定量化处理分析，本文结合锈蚀分类CNN模型和颜色直方图二者的优势，对CNN模型识别出的锈蚀子图进行颜色直方图的分析，通过颜色直方图建立分割锈蚀区域的分割准则，对输出图像进行语义分割，语义分割从本质上来说是将图像中的像素按照不同特性进行分类的过程[34]，即区分锈蚀、非锈蚀两类像素，进而提取锈蚀特征信息．

经过第1节图像预处理之后，前景与后景的颜色对比会愈加明显．基于此，直接利用颜色特征对CNN模型分类后的锈蚀子图进行语义分割，目的是从一幅RGB图像中分割某个指定颜色区域的物体．具体分割流程如下.

步骤1 计算锈蚀子图中R、G、B3个通道的颜色直方图．采用直角坐标系来展示颜色直方图的处理结果，横坐标为颜色灰度值r，纵坐标为对应灰度值像素点个数n．

步骤2 颜色直方图进行累加．对锈蚀分类CNN模型分类出的所有锈蚀子图进行步骤1的操作，可以获得多组锈蚀子图颜色直方图．利用颜色直方图可叠加的性质，将这些子图对应通道的颜色直方图进行累加，可以得到3个通道的总体颜色直方图，如图3(b)所示．

图3 基于颜色直方图的锈蚀区域分割原理

步骤3 建立分割准则．由于锈蚀图像中存在部分非锈蚀区域，而且非锈蚀区域只占据子图非常小的部分．因此，颜色直方图中的锈蚀区域主要集中在直方图的高频部分，而非锈蚀区域主要集中在图中的低频部分．为了区分锈蚀和非锈蚀两类像素点，将颜色直方图拉伸填铺在整个灰度区间，用式(10)重新调整像素的灰度值分布，保证直方图具有最大的动态范围，即让直方图成为一个“矩形”，通过这种线性拉伸，每个通道的颜色直方图都被“均匀化”，本文将超过“均值”以上的高频部分设定为锈蚀区域的颜色值域，如图3(c)所示．将确定的锈蚀值域范围[[s，p]、[s，p]、[s，p]]作为区分锈蚀和非锈蚀两类像素；点的语义标签，以此建立分割准则，实现锈蚀区域的语义分割．

式中：P表示图像拉伸后的各个灰度值的像素点个数；×表示为子图的分辨率大小；表示子图数量；代表当前子图的颜色灰度范围．

3.2 锈蚀等级评价

本文参考《金属基体上金属和无机覆盖层经腐蚀实验后的试样和试件的评级》(GB/T6461—2002)标准，对钢结构的锈蚀等级进行评定．步骤如下．

步骤1 结构表面的锈蚀等级计算式为

式中：表示锈蚀的等级，值越小，表明锈蚀程度越高；表示锈蚀率，指钢结构表面的锈蚀区域占图像中结构面积的百分比．锈蚀等级对应如表1所示．

步骤2 遍历整张图片所有像素点的R、G、B值，每寻找到一个满足锈蚀值域范围[[s，p]、[s，p]、[s，p]]的像素点，锈蚀像素点数便累加1．当遍历完整张图片时，统计所有的满足点个数．

步骤3 利用Otsu阈值分割算法[35]提取图像中钢结构区域，并对图像进行二值化处理，统计钢结构区域的像素点个数．由此，可以计算当前图像中锈蚀区域的面积百分比，即锈蚀率，其计算式为

步骤4 根据计算的和表1，可得到对应的锈蚀等级．

表1 锈蚀等级评价表

Tab.1 Table of corrosion grade evaluation

4 实例分析

4.1 样本获取和水下图像预处理

1) 样本获取

本文使用GoPro 7 Black水下相机模拟水下机器人航拍，总计拍摄了364张水下钢结构锈蚀光学照片，图像的分辨率尺寸为1920像素×1440像素．为保证模型的泛化能力，锈蚀样本包含不同规模及颜色的钢结构锈蚀，考虑了缝隙锈蚀、斑点锈蚀、应力锈蚀等[36]，非锈蚀样本包含完好的钢结构、附着泥沙水垢的钢结构、混凝土表面等．

2) 水下样本预处理

为了改善水下图像样本的亮度不均匀、对比度低、颜色失真、模糊等问题，采用第1.1节的方法对原始图像进行处理．首先采用第1.1.1节方法估算图像的光照分量，通过光照分量调整二维伽马函数，对图像亮度进行校正，消除光照不均匀的现象，再利用第1.1.2节方法对均匀照度的图像进行色彩修复和亮度提升，最后利用第1.1.3节方法对图像进行增强，预处理结果如图4所示．

图4 预处理结果

3) 图像质量评价

由第1.2节方法计算原图和预处理后图像的亮度均值、信息熵值、梯度值和UCIQE值，并将R、G、B 3个通道中各个通道的亮度值、信息熵值和梯度值的平均值作为图像最终结果，如图5所示．由结果可知，经过预处理之后的图像4项指标值均大于原图，说明该方法能够很好地平衡图像的色度，增强对比度和饱和度，使图像主观视觉效果更好．

图5 图像质量计算结果

4.2 水下锈蚀图像识别及结果分析

1) 数据集的制作

采用大小为128像素×128像素的滑动窗口对预处理后的图像进行剪裁，共生成8000张分辨率为128像素×128像素大小的子图．由人工进行标注，将子图分为锈蚀和非锈蚀两类．标注原则主要根据子图中钢结构表面颜色及纹理信息，锈蚀区域颜色趋于黄色及红褐等暖色，纹理结构粗糙，呈现不规则凸起．从中挑选4000张子图作为样本数据集，其中训练集包含1500张锈蚀子图和1500张非锈蚀子图；测试集包含500张锈蚀子图和500张非锈蚀子图，满足锈蚀和非锈蚀的子图数量保持1∶1的比例．

2) 锈蚀分类CNN模型建立

锈蚀分类CNN模型基本架构包含4个卷积层、4个池化层、2个全连接层和1个目标函数层．其中，池化层采用最大池化函数，激活函数选用ReLU函数，目标函数选用Softmax函数，Dropout层作为网络的辅助层，Dropout值设置为0.5．目标函数设置判定锈蚀的阈值为0.5，即输出结果在(0，0.5]范围内时，对应的区域存在锈蚀，输出结果在(0.5，1.0]范围内时不存在锈蚀．

3) 锈蚀分类CNN模型训练

本文中锈蚀分类CNN模型在GTX1080ti显卡上运行，采用Python编程语言，使用开源深度学习框架Tensorflow搭建网络，设计的依赖库包括Opencv、PIL、Numpy等，并利用CUDA及Cudnn进行网络训练的加速．训练集样本尺寸为128像素×128像素，批处理样本大小为64，利用Adam优化算法进行模型参数的更新，每更新一次参数模型完成一轮的训练，训练次数设定为500轮，每轮训练的评价指标为训练集和测试集的准确率，定义训练集和测试集准确率为被正确分类的锈蚀和非锈蚀图片数量占训练网络中的锈蚀和非锈蚀图片的比值，当训练400次左右时，准确率基本保持稳定，锈蚀分类CNN模型准确率为95.5%．

4) 锈蚀图像的识别

上述锈蚀分类CNN模型是对分辨率为128像素×128像素的图片训练得到的一个二分类器，因此滑动窗口大小设置为128像素×128像素，扫描步幅设置为128．利用滑动窗口剪切子图，并将其送入分类模型中预测，当滑动窗口遍历完整张图片，对所有判别结果为锈蚀的子图按识别顺序进行统一编号，并将其合并为锈蚀图像，识别结果如图6所示．锈蚀区域几乎都涵盖，整体检测效果较好．

  （a）原始图像  （b）预处理图像  （c）锈蚀图像

4.3 水下锈蚀图像的语义分割

滑动窗口剪裁后的图像经过锈蚀分类CNN模型分类后，只输出包含锈蚀部分的子图，锈蚀子图尺寸为128像素×128像素，放大子图后锈蚀区域一般呈现圆点或多边形锈蚀，且子图中至少50%以上的面积包含锈蚀区域．逐行扫描子图图像中每个像素点，计算像素点属于哪个灰度值，最终获得各通道的颜色直方图．部分子图的颜色直方图如图7所示．

将每个锈蚀子图计算出来的颜色直方图进行叠加，得到了所有子图中锈蚀区域图像3个通道的颜色直方图，如图8(a)所示．统计锈蚀子图的数量，对各个通道的颜色直方图进行拉伸，计算各个颜色通道的P值，如图8(b)所示．利用各个颜色通道的P值与对应直方图的交线计算出锈蚀区域的值域范围[[s，p]，[s，p]，[s，p]]，如图8(c)所示．

确定图像中3通道锈蚀区域的值域范围[[s，p]、[s，p]、[s，p]]后，分别对原始图像及锈蚀图像中所有像素点进行扫描，将灰度值满足锈蚀值域范围内的像素点附着红色．以图6测试样本4为例对整张原始图像进行语义分割，如图9(b)所示，部分背景区域被误检为锈蚀区域，而对锈蚀图像进行分割则不存在这样的问题，如图9(d)所示．通过CNN模型分类后，只输出包含锈蚀部分的子图，识别区域减少，因此分割精度更高．

图7 部分锈蚀子图颜色直方图

4.4 水下锈蚀图像的锈蚀等级评定

基于锈蚀图像的分割结果，统计不同编号中锈蚀子图中红色像素点的个数，计算结果如图9(e)所示；然后，利用第4.1节方法，提取图像中钢结构区域，并对图像进行二值化处理，处理结果如图9(f)所示，统计钢结构区域的像素点个数；最后，计算锈蚀率，得到锈蚀图像的锈蚀等级．对图6的4种情况进行计算分析，结果如表2所示．

图8 锈蚀图像分割条件计算结果

图9 锈蚀图像语义分割

表2 图像锈蚀等级评价结果

Tab.2 Results of image corrosion grade evaluation

5 结 论

针对水下钢结构锈蚀检测和锈蚀等级评价问题，本文提出了基于深度学习的水下钢结构锈蚀检测和基于语义分割的锈蚀等级评价方法，该方法能够在不均匀亮度、低对比度和低信噪比的实际水下环境中对水下钢结构锈蚀进行有效识别和锈蚀等级评价．总结如下．

(1) 提出了水下图像预处理流程，可以克服水下噪声和背景的干扰，增强水下钢结构锈蚀图像的清晰度，提高锈蚀区域及背景的对比度，解决了水下退质图像难以识别的问题．

(2) 构建的锈蚀分类CNN模型实现了在低照度、低信噪比、低对比度的环境中对水下钢结构锈蚀分类识别，锈蚀分类准确率可达95.5%，并结合滑动窗口检测的方法，可进一步提高锈蚀识别精度．

(3) 基于颜色直方图对已经识别出的锈蚀子图进行语义分割，既可快速有效识别锈蚀区域的像素点，对其进行标记，也可以统计锈蚀区域像素点的个数，进而对锈蚀等级进行评价，从而为长距离输水工程在通水情况下水下钢结构的快速健康诊断提供了新的有效途径．

尽管本文工作实现了对水下钢结构锈蚀的有效识别和锈蚀等级评价，但仍存在一定的误差，并且模型性能高度依赖于训练数据的数量和多样性．因此，丰富水下锈蚀图像数据库是进行下一步研究的首要工作．此外，本文忽略了水下钢结构构件表面形状对锈蚀面积计算的影响，构件表面形状尤其是不规则形状对于测算锈蚀面积的影响需进一步深化研究．

［1］ 王海龙，孙晓燕，孔航挺，等. 不锈钢钢筋锈损特征扫描分析及性能劣化规律[J]. 水力发电学报，2019，38(1)：80-88.

Wang Hailong，Sun Xiaoyan，Kong Hangting，et al. Corrosion characteristics analysis of stainless steel bars based on surface scanning and mechanical properties degradation[J]. Journal of Hydroelectric Engineering，2019，38(1)：80-88(in Chinese).

［2］ Finozzi I，Saetta A，Budelmann H. Structural response of reinforcing bars affected by pitting corrosion：Experimental evaluation[J]. Construction and Building Materials，2018，192：478-488.

［3］ Pagnano A，Höpf M，Teti R. A roadmap for automated power line inspection. Maintenance and repair[J]. Procedia CIRP，2013，12：234-239.

［4］ 陈从平，聂 葳，吴 喆，等. 基于视觉机器人的大坝水下表面裂缝检测系统设计[J]. 三峡大学学报(自然科学版)，2016，38(5)：72-74，86.

Chen Congping，Nie Wei，Wu Zhe，et al. Design of underwater damsurface crack detection system based on visual robot[J]. Journal of China Three Gorges University(Natural Sciences)，2016，38(5)：72-74，86(in Chinese).

［5］ 徐陈勇，李云帆，王喜春. 基于低空无人机的大坝渗漏安全检测技术研究[J]. 电子测量技术，2018，41(9)：84-86.

Xu Chenyong，Li Yunfan，Wang Xichun. Research on the safety detection technology of dam leakage based on UAV[J]. Electronic Measurement Technology，2018，41(9)：84-86(in Chinese).

［6］ Roslin N S，Anuar A，Jalal M F A，et al. A review：Hybrid locomotion of in-pipe inspection robot[J]. Procedia Engineering，2012，41：1456-1462.

［7］ La H M，Lim R S，Basily B，et al. Autonomous robotic system for high-efficiency non-destructive bridge deck inspection and evaluation[C]//2013 IEEE International Conference on Automation Science and Engineering(CASE). Madison，USA，2013：1053-1058.

［8］ 何 亮，马 琨，李端有. 多波束联合水下机器人在大坝水下检查中的应用[J]. 大坝与安全，2019(5)：46-51.

He Liang，Ma Kun，Li Duanyou. Application of multi-beamcombined unmanned underwater vehicles in dam underwater inspection[J]. Dam & Safety，2019(5)：46-51(in Chinese).

［9］ Danckaers A，Seto M L. Transmission of images by unmanned underwater vehicles[J]. Autonomous Robots，2020，44(1)：3-24.

［10］ Roznere M，Li A Q. Real-time model-based image color correction for underwater robots[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS). Macau，China，2019：7191-7196.

［11］ Manley J E. Unmanned maritime vehicles，20 years of commercial and technical evolution[C]//Oceans 2016 MTS/IEEE. Monterey，USA，2016：1-6.

［12］ Qiao X，Ji Y，Yamashita A，et al. Visibility enhancement for underwater robots based on an improved underwater light model[J]. Journal of Robotics and Mechatronics，2018，30(5)：781-790.

［13］ Chen P，Yang Y，Chang L. Automated bridge coating defect recognition using adaptive ellipse approach[J]. Automation in Construction，2009，18(5)：632-643.

［14］ Shen H，Chen P，Chang L. Automated steel bridge coating rust defect recognition method based on color and texture feature[J]. Automation in Construction，2013，31：338-356.

［15］ 郭建斌，王 楠，王泽民. 水工钢结构腐蚀的图像识别技术[J]. 河海大学学报(自然科学版)，2012，40(5)：539-543.

Guo Jianbin，Wang Nan，Wang Zemin. Image recognition technology for corrosion of hydraulic steel structure[J]. Journal of Hohai University(Natural Sciences)，2012，40(5)：539-543(in Chinese).

［16］ Zhang X W. Evaluation of material surface corrosion based on image recognition[C]//4th International Conference on Advances in Materials and Manufacturing. Kunming，China，2013：1048-1051.

［17］ Acosta M R G，Diaz J C V，Castro N S. An innovative image-processing model for rust detection using Perlin noise to simulate oxide textures[J]. Corrosion Science，2014，88：141-151.

［18］ Petricca L，Moss T，Figueroa G，et al. Corrosion detection using AI：A comparison of standard computer vision techniques and deep[J]. Computer Science & Information Technology(CS & IT)，2016，6(6)：91-99.

［19］ 王达磊，彭 博，潘 玥，等. 基于深度神经网络的锈蚀图像分割与定量分析[J]. 华南理工大学学报(自然科学版)，2018，46(12)：121-127.

Wang Dalei，Peng Bo，Pan Yue，et al. The shortest path algorithm for large-scale traffic network based on cloud computing[J]. Journal of South China University of Technology(Natural Science Edition)，2018，46(12)：121-127(in Chinese).

［20］ Holm E. Classification of Corrosion and Coating Damages on Bridge Constructions Using Deep Learning [D]. Trondheim：NTNU，2019.

［21］ Duy L D，Anh N T，Son N T，et al. Deep learning in semantic segmentation of rust in images[C]//Proceedings of the 9th International Conference on Software and Computer Applications. Langkawi，Malaysia，2020：129-132.

［22］ Lee S，Kwon H，Han H，et al. A space-variant luminance map based color image enhancement[J]. IEEE Transactions on Consumer Electronics，2010，56(4)：2636-2643.

［23］ 刘志成，王殿伟，刘 颖，等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报，2016，36(2)：191-196.

Liu Zhicheng，Wang Dianwei，Liu Ying，et al. Adaptive adjustment algorithm for non-uniform illumination images based on 2D Gamma function[J]. Transactions of Beijing Institute of Technology，2016，36(2)：191-196(in Chinese).

［24］ 郭银景，吴 琪，苑娇娇，等. 水下光学图像处理研究进展[J]. 电子与信息学报，2021，43(2)：426-435.

Guo Yinjing，Wu Qi，Yuan Jiaojiao，et al. Research progress on underwater optical image processing[J]. Journal of Electronics & Information Technology，2021，43(2)：426-435(in Chinese).

［25］ Naccari F，Battiato S，Bruna A，et al. Natural scenes classification for color enhancement[J]. IEEE Transactions on Consumer Electronics，2005，51(1)：234-239.

［26］ Lae S，Narasimhadhan A V，Kumar R. Automatic method for contrast enhancement of natural color images[J]. Journal of Electrical Engineering & Technology，2015，10(3)：1233-1243.

［27］ 蔡晨东，霍冠英，周 妍，等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展，2019，56(3)：129-136.

Cai Chendong，Huo Guanying，Zhou Yan，et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Advances in Lasers and Optoelectronics，2019，56(3)：129-136(in Chinese).

［28］ Zhang S，Wang T，Dong J，et al. Underwater image enhancement via extended multi-scale Retinex[J]. Neurocomputing，2017，245：1-9.

［29］ Yang M，Hu K，Du Y，et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing：Image Communication，2020，81：115723.

［30］ Yang M，Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing，2015，24(12)：6062-6071.

［31］ 魏道红，王 博，张 明. 基于CNN的混凝土坝变形预测深度学习模型研究[J]. 水利水电技术(中英文)，2021，52(6)：52-57.

Wei Daohong，Wang Bo，Zhang Ming. A deep learning model for concrete dam deformation prediction based on CNN[J]. Water Resources and Hydropower Engineering，2021，52(6)：52-57(in Chinese).

［32］ 刘 婷，张社荣，李志竑，等. 基于字符级 CNN 的调水工程巡检文本智能分类方法[J]. 水力发电学报，2021，40(6)：89-98.

Liu Ting，Zhang Sherong，Li Zhihong，et al. Intelligent text classification method for water diversion project inspection based on character level CNN[J]. Journal of Hydroelectric Engineering，2021，40(6)：89-98(in Chinese).

［33］ 王 曌. 面向道路场景理解的语义分割方法研究[D]. 西安：西安电子科技大学，2018.

Wang Zhao. Research on Semantic Segmentation Method for Road Scene Understanding[D]. Xi’an：Xidian University，2018(in Chinese).

［34］ 任秋兵，李明超，沈 扬，等. 水工混凝土裂缝像素级形态分割与特征量化方法[J]. 水力发电学报，2021，40(2)：234-246.

Ren Qiubing，Li Mingchao，Shen Yang，et al. Pixel-level shape segmentation and feature quantification of hydraulic concrete cracks based on digital images[J]. Journal of Hydroelectric Engineering，2021，40(2)：234-246(in Chinese).

［35］ 董忠言，蒋理兴，王俊亚，等. 基于图像复杂度的一维Otsu改进算法[J]. 计算机科学，2015，42(增1)：171-174.

Dong Zhongyan，Jiang Lixing，Wang Junya，et al. Modified one-dimensional Otsu algorithm based on image complexity[J]. Computer Science，2015，42(Suppl 1)：171-174(in Chinese).

［36］ 李海龙. 用于水下钢结构腐蚀检测的蛇形机器人研究[D]. 济南：山东大学，2020.

Li Hailong. Research on Snake-Like Robot for Corrosion Detection of Underwater Steel Structure[D]. Jinan：Shandong University，2020(in Chinese).

Corrosion Recognition and Evaluation of Underwater Steel Structures Based on Deep Learning

Lu Tingjie，Liu Donghai，Qi Zhilong

(State Key Laboratory of Hydraulic Engineering Simulation and Safety，Tianjin University，Tianjin 300350，China)

Corrosion is an important factor affecting the safe operation of underwater steel structures in water conveyance projects. The complex underwater environment renders it difficult for conventional methods to effectively detect and evaluate the corrosion of underwater steel structures under the condition of water flow. Based on deep learning，this research proposes a method for automatic detection involving corrosion recognition and corrosion grade evaluation of underwater steel structures. First，the constructed convolutional neural network(CNN)model is used to identify corrosion in preprocessed images of underwater steel structures. Next，the corrosion area is semantically segmented using color histograms，after which the corrosion grade is evaluated by the calculated corrosion rate. The experimental results show that the accuracy of corrosion recognition of underwater steel structure can reach 95.5%，and the evaluation of the corrosion degree is realized. This study demonstrates a novel method for the rapid identification of corrosion and the health diagnosis of underwater steel structures used in water conveyance projects under the condition of water flow.

water conveyance project；underwater steel structure；corrosion recognition；corrosion evaluation；convolutional neural network(CNN)；semantic segmentation

10.11784/tdxbz202201003

TV672

A

0493-2137(2023)07-0713-10

2022-01-04；

2022-07-10.

陆廷杰（1995—  ），男，博士研究生，lutj_1126@tju.edu.cn.

刘东海，liudh@tju.edu.cn.

国家重点研发计划资助项目(2018YFC0406903).

Supported by the National Key Research and Development Program of China(No.2018YFC0406903).

(责任编辑：孙立华)