基于对抗生成网络的沥青路面纹理图像修复方法

2023-01-18邓海斌魏唐中杜银飞

武汉理工大学学报（交通科学与工程版） 2022年6期

邓海斌魏唐中杜银飞

(湖州市公路与运输管理中心1) 湖州 313000) (南京兴佑交通科技有限公司2) 南京 210008) (中南大学土木工程学院3) 长沙 410083)

0 引言

沥青路面性能检测是维持道路服役性能、保证行车安全的重要手段[1].传统的人工巡查的方式较为主观，人力成本高，逐步被数字化技术所替代[2].随着传感技术的发展，摄像头、激光雷达、探地雷达等感知装备被应用于道路检测中.其中，图像数据由于其低成本、轻便化的特点，得到了最为广泛的应用[3].

随着人工智能技术的发展，卷积神经网络(convolutional neural network，CNN)在图像处理问题中得到了广泛应用.许多学者采用目标识别算法进行道路病害自动识别，包括裂缝、坑槽、网裂等[4-7].在此基础上，为了更精细地获得路面病害如宽度、面积等信息，对病害进行语义分割也成了研究热点[8-10].为了对沥青路面进行更细致地观察，通过调整摄像头角度和清晰度，可获取到路面集料形态清晰的路面纹理图像，并尝试通过解析路面纹理图像来分析路面的表观构造特性.Du等[11]利用路面纹理图像，构建基于领域学习的深度神经网络，预估路面的抗滑性能.

在图像处理中，图像数据质量是关键的影响因素之一.然而在获取过程中，感知装备往往会受到设备质量、设备调试、拍摄距离和运动速度等诸多因素的干扰，导致路面纹理图像的分辨率不够或图像模糊[12].

图像分辨率不足主要是受制于成像设备的硬件条件.Dong等[13]将CNN与图像超分辨率(super resolution，SR)融合，提出了SRCNN网络模型.Kim等[14]提出基于残差网络的超分辨率重建深度网络(VDSR)和循环超分辨率神经网络模型(DRCN)，重点关注和学习低分辨率图像与高分辨率图像差异较大的高频细节信息，而无需过多学习相似度较高的低频信息.Lim等[15]提出了EDSR模型，降低了模型计算资源的消耗.生成对抗网络(generative adversarial networks，GAN)创新的生成器与判别器相互学习和对抗的方式提升了模型的性能.Ledig 等[16]提出的SRGAN模型首次将GAN应用到了图像超分辨率重建的问题中，并取得了较好的效果.丁明航[17]设计了基于注意力机制的GAN超分辨率重建方法，可用于路面裂缝图像清晰化的处理，提高了路面裂缝的识别精度.目前的超分辨率算法在纹理细节上仍不够真实自然，且比较适用于有清晰轮廓和边界的图片.

图像模糊问题分为对焦模糊和运动模糊.对焦模糊主要是由焦距调试不到位或是拍摄环境改变导致的对焦不准而引起的.运动模糊是指由拍摄设备与场景的相对运动造成的光学介质与目标场景的相对运动，产生图像偏移，导致图像模糊.运动图像修复包括了非盲运动图像修复和盲运动图像修复.非盲运动图像修复是原始图像已知，模糊核可以通过参数估计计算得到；盲运动图像修复是模糊核和原始图像都是未知的[18].盲运动图像修复难度更大，但是应用则更为广泛，在视频动态监控[19]、车载图像采集等场景中较为普遍.盲运动图像修复的研究包括基于模糊核估计和基于深度学习网络.Rav等[20]提出多方向模糊核的多幅盲运动图像修复方法，该方法仅局限于模糊核为匀速直线运动的情况，不适用于复杂运动情况.Chun等[21]采用交替迭代的方法同时将图像进行框架变换，利用框架的冗余性导致的鲁棒性，使得该算法能够更好地控制多幅运动模糊图像之间的配准误差.在深度学习方面，樊晶华[22]采用基于条件的GAN进行多种模糊情况的图像复原.王晓红等[23]采用卷积神经网络获得模糊图像的高维特征，利用深度强化学习结合多种CNN去模糊工具建立去模糊框架.

上述研究中的图像大部分是具有清晰轮廓的物体，但路面纹理图像的轮廓无序且复杂，目前尚未有研究对其特点提出针对性的图像修复方法.文中针对路面纹理图像分辨率低、成像模糊等问题，构建了面向路面纹理的基于GAN的图像修复模型.采集了3 456张路面纹理图像，对原图像进行处理，构建了低分辨率、高斯模糊和运动模糊的数据集，并分别设计网络结构.为了更好地还原路面纹理的细节特征，在生成器损失函数中，加入基于纹理特征的损失项，通过图像质量还原评价指标衡量对抗生成模型的效果.

1 数据集构建

1.1 路面纹理图像数据获取

在构建训练数据集时，在原图像的基础上加上扰动因子来模拟有质量问题的图像.为了采集高质量的原数据，本文采用摄像机在静止情况下获取图像数据.因为镜头角度、拍摄距离等原因，图像会出现轻微的倾斜、变形.因此需要对图像数据进行图像矫正、分辨率统一、图像分割、灰度均衡化等操作.在路面框选出300 mm×300 mm的区域，并标记上控制点，采用透视变换，利用式(1)的变换公式，实行对图像畸形校正.

(1)

式中：(u,v)为原始图像像素坐标；(x=x′/w′，y=y′/w′)；为变换之后的图像像素坐标aij，为矩阵系数.文中选择1 mm内10个像素点的图像精度作为后续原图像的一个标准.通过透视变换和图像像素点统一，每张图片都能获得3 000×3 000分辨率的路面纹理图像.在此基础上，可以根据数据集的要求对图像进行分割.

由于在不同时期、不同光照和不同路面拍摄的路面的颜色和亮度有较大的差异，因此采用灰度均衡化的方式改变图像中各像素的灰度，以增强动态范围偏小的图像的对比度.具体地，把原始图像的直方图变换为均匀分布的形式，增加了像素之间灰度值差别的动态范围，对图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，从而达到增强图像整体对比度的效果.具体的图像预处理流程见图1.

图1 图像数据预处理流程

1.2 图像修复问题定义

将图像质量问题分为三类，分别是低分辨率、对焦问题引起的失焦模糊以及运动过程中引发的运动模糊.对于图像低分辨率的问题，直接采用下采样进行图像压缩.图像尺寸为M×N，对其进行s倍下采样，即得到(M/s) ×(N/s)尺寸的分辨率图像.文中的图像压缩的倍数s为4.

对于失焦引起的模糊，采用高斯模糊对图像进行处理.其过程是图像二维矩阵与正态分布做卷积，生成失焦成像效果.高斯模糊的表达式为

(2)

式中：x,y为像素点坐标；δ为标准差，文中采用δ为1的高斯模糊函数对图像进行处理.

对于摄像头的快速移动产生的动态模糊，主要影响因素是初始位置和初始速度矢量，考虑位移长度、时间间隔、角度等因素.匀速直线运动模糊核的PSF数学表达式为

(3)

匀速直线运动PSF影响因素是模糊长度标量(L)和运动轨迹与水平面夹角θ，模糊核矩阵表示物体位移矢量.图2为对原图像进行处理后的低分辨率、高斯模糊和运动模糊的低质量图片.

图2 低质量图片示例

以目标区域面积25 mm×25 mm的图像为一个样本，通过图像处理和切割，共有3 456张图像作为原图像的数据集.并通过图像变换的方法，获得了低分辨率、高斯模糊和运动模糊的路面纹理图像数据各3 456张.

2 模型设计

2.1 整体框架设计

文中设计了基于对抗生成网络的图像修复神经网络框架，对抗生成网络由生成器和判别器组成.生成器的输入为低质量的图像数据集，输出是生成的高质量图像，在训练生成器时,将判别器的参数固定，通过计算生成的图像和原高质量图像之间的损失值来优化生成器的参数，为了能更好地让生成器学习到路面纹理的特征，在生成器损失函数中，除了判别器评分外，还添加了感知损失值和基于灰度共生矩阵的(gray-level co-occurrence matrix，GLCM)纹理特征[24]的计算.在训练判别器时，固定生成器的参数，训练判别器.在得到修复的图像后，采用综合评价指标对修复效果进行衡量.整体框架设计见图3.

图3 整体框架设计

2.2 生成器网络结构设计

鉴于不同低质量图像的大小和干扰不同，因此生成器的网络结构针对不同的输入类型，进行差异化设计.运动模糊和高斯模糊的修复采用一致的网络结构，超分辨率的生成器结构略有不同.为了增加网络深度，引入了残差模块[25]，残差模块由三部分组成，两个卷积层(卷积-归一化-激活)和一个恒等映射，即将输入的特征在输出层进行融合.每个残差模块的结构见图4.

图4 残差模块结构

模糊修复生成器的网络架构是先通过卷积层进行下采样，提取图像特征，在通过多个残差块加深网络深度，再通过上采样恢复原来的图像大小，模糊修复的生成器网络结构见图5.超分辨率生成器的输入的长宽分别是和输出图像的1/4，因此网络架构没有下采样，通过卷积层和多个残差模块提取图像特征，再通过上采样恢复原来的图像大小，整体网络架构参考SRGAN的生成器而设计的，超分辨率的生成器网络结构见图6.

图5 模糊修复生成器的网络模型

图6 超分辨率生成器的网络模型

2.3 生成器损失函数优化

生成器损失函数中包含了对抗损失、感知损失和纹理特征损失.对抗损失是判别模型对生成的图像评判的分值产生的损失，计算式为

(4)

式中：x为数据集中的输入图像；n为数据样本量；G为生成器；D为判别器.

感知损失是生成图和原图像之间在成熟的预训练的网络架构提取的特征的损失计算，可以使生成器学习和原始图像在深层内容细节上的差异，有助于对图像纹理细节的重构.文中所用的感知损失网络的预训练模型是 VGG-19，选用VGG19网络中第9层的特征参数作为感知损失的计算特征，其计算公式为

(5)

式中：C、H、W分别为通道、宽和高；CjHjWj为第j层的特征图大小；φj为第j层的特征数值.

纹理特征损失是生成图和原图像之间纹理特征指标计算的损失.文中利用GLCM方法提取图像纹理的高阶特征，并选择其中最为显著的熵和能量两个特征.熵值(Entropy)测量了图像纹理分布的随机性.复杂的纹理成分倾向于产生高熵值，而纹理成为单调的成分则表现为低熵值.能量(Energy)表示了纹理分布的均匀性.基于GLCM纹理特征的损失项计算式为

(0≤i≤255,0≤j≤255)

(6)

(7)

(8)

(9)

(10)

式中：i为像素灰度值；j为邻域的平均像素灰度值；f(i,j)为二进制数(i,j)出现的频率；Pij(x)为出现(i,j)的概率，可以反映像素位置的灰度值和周围像素的灰度分布的综合特征.

优化后的生成器损失函数表达式为

Loss_G=Loss_DG+Loss_Perceptual+

Loss_Entropy+Loss_Energy

(11)

2.4 判别器模型设计

判别器的结构均一致，判别器的输入是图像，真实图像的标签为1，生成图像的标签为0.网络结构的设计以深度卷积神经网络设计原则为主，用步长代替池化进行下采样，最后通过全连接层和softmax函数输出0～1的分值，越接近1则表明图像越接近真实图像.判别器的网络架构见图7.

图7 模糊修复网络和超分辨率网络判别器网络模型

判别器的损失值即对原图像和生成图像的判别损失，是原图像和生成图像判别得分的期望差，计算式为

(12)

3 训练与结果

3.1 模型训练与结果

对于三类问题分别构建模型进行训练，训练的总步数epoch为10 000.批大小batch_size为1，采用keras框架进行训练，优化器采用adam，在训练过程中保存生成器的损失值、辨别器的损失值和准确率.以超分辨率模型为例，图8为训练过程中各指标的变化情况.

图8 超分辨率网络模型训练过程

由图8可知：尽管训练过程中存在波动，模型的判别器和生成器损失值都呈下降趋势，不同的是生成器的损失值在训练初期下降非常快，然后基本趋于平缓，判别器的损失值下降较为缓慢.对于判别器的准确率，在训练初期上升很快，并一直维持高准确率，呈逐渐收敛趋势，由此可见判别器训练的比生成器更好.图9为三个模型的结果.

图9 模型生成结果

3.2 基于图像质量的模型评估

引入全参考评价方法，选取峰值信噪比(peak signal to noise ratio，PSNR)和结构相似性(structural similarity， SSIM)两个指标.PSNR衡量图像所有像素点间直接的差异，SSIM则衡量图像间特定的结构差异.计算公式为

(13)

(14)

(15)

式中：R(m,n)和I(m,n)为灰度值，M×N指图像的长、宽；L为图像能够表示的最大灰度，L=255.C1=(k1L)2，C2=(k2L)2，k1=0.01，k2=0.03.当SSIM的计算值向1偏移时，说明图像间相似性越来越大，而计算值向0偏移时，代表图像间越来越不相似.为了更方便比较，将PSNR、SSIM两指标进行赋予权重，整合成综合评价指标I进行评价，计算公式为

(16)

文中对三类模型生成的图像进行指标计算，与原图像比较.对于低质量的输入图像，仅计算高斯模糊和运动模糊的低质量图像的指标.为了验证生成器损失中GLCM纹理特征的影响，进行消融试验，对比损失函数中是否引入GLCM纹理特征的生成图像质量指标的差异.表1为生成综合图片质量指标I对比结果.

表1 综合图片质量指标I对比

由表1可知：高斯模糊修复模型得到的生成图像和原图像最接近，而运动模糊的接近程度较低，其原因是运动模糊会让部分边缘像素移位，增加了训练的难度.另一方面，损失函数中增加了GLCM纹理特征的模型结果要总体优于没有GLCM纹理特征的，可见GLCM纹理特征的提取和对比有利于生成器学习到纹理的细节特征，有助于路面图像的修复.