结构门控与纹理联合引导的生成对抗壁画修复

陈永 ，陶美风赵梦雪

（1.兰州交通大学 电子与信息工程学院，甘肃 兰州 730070；2.甘肃省人工智能与图形图像处理工程研究中心，甘肃 兰州 730070）

敦煌莫高窟是世界文化艺术的璀璨瑰宝，其壁画举世闻名，具有极高的研究价值.然而，由于恶劣的自然环境、人为破坏等因素，出现了不同程度的脱落、裂缝等病害，亟待保护.将数字化修复技术应用于古壁画的保护，已成为当前的研究热点［1］.

图像数字化修复是利用已有完好区域的先验信息对破损区域进行估计完成填充，使修复结果满足人眼视觉感受的计算机技术.图像修复方法主要分为：传统图像修复方法和深度学习图像修复方法.其中，传统图像修复方法主要利用像素扩散、样本匹配和稀疏表示等方法完成修复，如Sridevi 等［2］提出了一种基于差分曲率驱动的分数阶非线性扩散的图像修复模型，减少了修复结果的阶梯效应和修复伪影.Chen 等［3］提出了一种改进的全变分最小化的图像修复方法，对修复结果中线条断裂问题有一定的改善.陈永等［4］通过块核范数的RPCA 将图像分解为结构层和纹理层，并利用提出的熵权类稀疏方法完成壁画修复，对壁画图像中小范围边缘和纹理破损修复有较好的效果.周李洪等［5］提出了基于稀疏表示的车用带钢表面图像信息修复方法，利用稀疏修复模型对分割后的不同图像区域进行修复，修复效果有所改善.但是上述传统的图像修复方法主要针对破损区域较小范围的修复，不能充分利用图像的上下文高级语义信息，无法完成大面积破损区域的修复.

为了克服传统图像修复算法的不足，随着深度学习技术的快速发展，基于深度学习的图像修复算法逐渐成为目前的主流方法.Xie 等［6］提出了一个双向可学习的注意力图模块，以端到端的方式学习图像和掩膜的特征，但该网络在特征提取时，忽略了结构和纹理先验信息对于修复结果的引导性，导致破损空洞过大时会出现结构紊乱的问题.Liu 等［7］提出了基于连贯语义注意的图像修复模型，利用样本块匹配的思想对破损区域进行预测完成修复，但修复结果存在块效应问题.Yuan 等［8］提出了基于条件生成对抗网络的多视角场景图像修复，结合多视角图像对破损区域进行修复，但多视角图像之间的视角偏差会导致修复结果出现纹理紊乱的问题.Wadhwa等［9］提出了一种基于超图卷积的图像修复方法，以加强对图像空间特征的关注，但该方法对结构纹理等先验信息考虑不足，导致修复结果存在语义不合理和纹理模糊等现象.总之，上述深度学习算法由于缺乏对结构纹理信息的关注，往往会出现结构不连贯和纹理紊乱等问题.因此，增强结构和纹理特征的感知表达能力对图像修复结果具有重要意义，如Xiong等［10］提出了一种前景感知的图像修复模型，首先对图像进行前景轮廓预测，然后利用得到的轮廓完成缺失区域的修复，但前景分离不彻底对修复结果有较大影响.Liu 等［11］提出了互编码器-解码器的图像修复模型，结合多尺度和注意力特征融合解码器生成图像，但修复过程未考虑图像的方向特征信息，修复结果易出现纹理不一致的现象.Nazeri 等［12］提出了双阶段EdgeConnect 图像修复模型，通过边缘生成器生成图像的边缘信息，然后利用边缘图像引导修复，取得了较好的修复效果，但该方法忽略了纹理信息的重要性，修复结果会出现一定的伪影现象.Ren 等［13］提出了结构粗修复和纹理精修复的级联修复模型，但该方法缺少对结构和纹理特征的联合约束，导致修复结果存在信息丢失和修复不彻底的问题.Li 等［14］提出了一种渐进式视觉结构引导的生成对抗修复模型，该方法利用视觉结构引导图像编码，但编码器中采用部分卷积难以区分有效像素与无效像素，修复后的图像易出现伪影现象.Wang 等［15］提出了一种基于边缘和结构先验的图像修复模型，采用权值共享的方式使用多尺度卷积和残差块从原图、结构图等多源图像中提取特征，但该方法未对结构和纹理信息的差异性进行考虑，修复结果存在纹理细节模糊现象.

综上所述，现有深度学习图像修复方法在修复壁画时，缺少结构和纹理先验信息对修复过程的联合约束性引导，导致壁画修复结果易出现结构紊乱和纹理模糊等问题.针对上述问题，本文提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复深度学习模型.主要工作有：1）构建修复生成网络，由结构引导编码子网络和纹理引导解码子网络组成，利用结构信息引导编码，通过设计门控特征融合（Gated Feature Fusion，GFF）机制将壁画特征和结构特征进行层间融合，以获得丰富的边缘轮廓信息.2）通过纹理引导解码子网络对编码后特征图解码，利用提出的方向注意力模块（Orientation Attention Module，OAM）得到纹理方向特征，将纹理方向特征作为解码器的引导信息，指导壁画图像生成，以提高修复结果的结构一致性和纹理合理性.3）采用跳跃连接促进编码器和解码器的特征融合共享，加强结构和纹理之间的特征互补，并通过谱归一化马尔科夫判别模型对抗完成破损壁画的修复.通过真实破损敦煌壁画的修复实验表明，所提算法在清晰度和连贯性等主客观评价方面均优于对比算法.

1 本文算法

1.1 整体网络框架

壁画图像往往呈现出结构多样、纹理复杂的特点［1］.在对壁画进行修复时，为了更好地实现对破损壁画的修复，模型建立时考虑到不仅需要学习壁画的基本特征信息，更要利用其结构和纹理特征作为约束引导网络进行学习，以便获得视觉效果更加真实、自然的修复结果.因此，提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型，其网络整体框架如图1 所示.该网络模型以生成对抗网络为基础，由生成网络和判别网络构成.其中，生成网络包括结构引导编码子网络和纹理引导解码子网络.判别网络采用谱归一化马尔科夫判别模型.

图1 整体网络框架Fig.1 Architecture of the network

模型工作时，首先，将待修复壁画图像和结构图输入结构引导编码子网络中，通过编码器和结构引导器分支分别提取壁画特征和结构特征.在编码的过程中利用结构特征作为引导信息，设计GFF 门控特征融合机制对提取到的壁画特征和结构特征进行融合编码，增强编码特征图的结构轮廓信息.然后，通过纹理引导解码子网络对编码得到的特征图解码，利用提出的纹理引导器和方向注意力OAM 模块得到分层纹理方向特征，将其作为解码器重构的纹理引导信息，来提升破损壁画图像的细节重构修复精度；在此过程中采用跳跃连接形式，将结构引导编码子网络和纹理引导解码子网络的权值进行融合共享，以促进生成壁画图像结构纹理更加协调一致.最后，将生成壁画和真实壁画输入谱归一化马尔科夫判别模型中进行真假博弈对抗，从而达到壁画修复的目的.

1.2 结构引导编码子网络

破损壁画由于结构先验信息的缺乏，修复结果易出现边界模糊或线条断裂及紊乱等问题.利用结构先验信息引导图像修复能得到更好的修复效果［12，15］.因此，为了增强结构信息在图像修复过程中的引导作用，本文提出在生成网络内部采用结构引导编码子网络进行壁画特征提取与编码.结构引导编码子网络由编码器、结构引导器和GFF 门控特征融合机制构成，通过GFF 门控特征融合机制将壁画特征和结构特征融合编码，得到结构引导编码特征图，引导编码器进行特征编码.下面对编码器、结构引导器和GFF门控特征融合机制分别进行介绍.

1.2.1 编码器和结构引导器

编码器主要通过多层卷积操作提取壁画图像的基本特征信息，可表示为

在得到各层的壁画特征和结构特征后，通过设计的GFF 门控特征融合机制，使壁画特征和结构特征进行层间融合.通过该结构引导性操作，目的是增强结构特征在编码过程中的约束性引导作用，学习通道之间的非线性相互关系，以便捕获壁画更高级别的结构特征信息.

1.2.2 GFF门控特征融合机制

GFF 门控特征融合机制将壁画特征和结构特征有选择性地进行逐层融合，一方面可以促进有用信息从当前层向下一层传递，另一方面能够同时抑制无效信息的干扰，以提高编码器的结构轮廓感知能力.门控特征融合GFF机制的示意图如图2所示.

图2 门控特征融合机制Fig.2 Gated feature fusion mechanism

图2中，GFF机制首先将每一层对应的壁画特征图和结构特征图进行通道连接，在通道级上扩增特征图信息，如式（3）：

式中：为通道连接后的特征图，Concat(⋅)为通道连接操作.

然后，利用卷积操作对进行通道降维，并通过Sigmoid 软门控机制进行特征重要性衡量.一般情况下，特征在图像中越重要，被选取的概率往往越大，即采用门控机制可以提取到更丰富、更关键的语义特征信息［16］.因此，通过门控机制计算得到门控特征值，其大小可以反映该局部区域的重要程度，可表示为

最后，将门控特征值和结构特征图进行元素相乘，赋予结构特征图相应的权重，并与壁画特征图进行元素相加，得到结构引导编码特征图，提高对关键结构特征的关注度，增加每一维特征的信息量.

1.3 纹理引导解码子网络

在结构引导编码子网络完成编码后，紧接着将编码后的特征图输入解码子网络中.解码子网络设计时，考虑到图像的结构和纹理信息相互关联，共同形成图像的内容，如果未对图像的结构轮廓和纹理背景信息联合约束性引导进行考虑，修复结果易出现内容模糊和结构扭曲等问题［11］.鉴于以上原因，为了提高修复结果精度和修复后整体协调性，设计纹理引导解码子网络，其由解码器、纹理引导器和方向注意力模块构成.解码生成修复后壁画图像时，利用纹理引导器和方向注意力模块得到纹理方向特征，引导解码器重构生成.下面将分别阐述解码器、纹理引导器和方向注意力模块.

1.3.1 解码器和纹理引导器

解码器工作时，首先，将结构引导编码子网络产生的编码特征图输入解码器中进行解码重构，通过2倍上采样操作得到解码特征，计算如式（6）：

然后，将纹理图通过卷积提取纹理细节信息，得到纹理特征图

接着，为了对纹理的方向性进行考虑，通过OAM 方向注意力模块对纹理特征图进行方向特征信息增强，得到各层的纹理方向特征图

最后，在纹理方向特征的先验信息和引导作用下，将纹理方向特征和解码特征进行逐层融合，使纹理特征在层间传递，利用不同层次下壁画特征和纹理特征之间的关联性，提高解码器生成纹理细节信息的能力.纹理引导解码示意图如图3所示.

图3 纹理引导解码Fig.3 Texture guided decoding

式中：σ(⋅)表示ReLU 激活函数，[，]表示级联，和分别为权重和偏置.

同样，对于纹理引导解码的第i层也采用相同的融合方式，将第i-1 层引导融合特征与第i层纹理方向特征以及解码特征进行融合，并通过2倍的上采样生成第i层的引导解码特征

通过层间纹理方向特征和壁画特征的引导融合，解码器具有更强的方向感知能力，提高生成壁画纹理细节信息的一致性和真实性.

此外，在生成网络内部，将编码器和解码器之间通过跳跃连接的方式进行特征增强，编码器中的特征信息与对应的解码器中的特征信息以通道相加的方式进行融合［17］.使用跳跃连接后，减少了编解码器网络层之间的信息丢失，并利用结构和纹理的互补特性，以促进生成壁画图像结构纹理更加协调一致，得到更真实合理的修复结果.

1.3.2 方向注意力模块

在纹理特征提取过程中，若未对纹理的方向进行考虑，仅通过引入轮廓约束难以得到有效纹理特征［18］.为了更好地对壁画的方向特征进行提取，提出方向注意力模块，其由方向特征提取层、通道连接层、通道注意力层和通道降维层构成，如图4所示.

图4 方向注意力模块Fig.4 Orientation attention module

式中：FVH为水平和垂直方向特征图，FO为标准卷积特征图，FD为对角方向特征图，∗为卷积操作.

上式中，WO为Conv 标准卷积核，利用卷积核的局部感受野对图像进行特征提取，用来保留特征图的基本信息；WVH为垂直和水平方向稀疏卷积核，WD为对角方向稀疏卷积核，其通过设计二维滤波器卷积核，利用卷积核感受野的结构稀疏性，提取不同方向的图像特征信息，图5所示为5×5大小的方向稀疏卷积核示意图，图5（a）为垂直和水平方向的SConv_VH 卷积核，图5（b）为对角方向的SConv_D 卷积核，卷积核划分为25 个网格区域Ω={(-2，-2)，(-2，-1)，}…，(2，2)，每个卷积核有9 个非零权重，即图中的灰色区域部分，其余16 个权重为0.输入特征图x经过方向稀疏卷积核，x的每个位置q的输出G(q)可计算为：

图5 方向稀疏卷积核Fig.5 Directional sparse convolution kernel

式中：w(pn)为卷积权重，pn为方向稀疏卷积核的位置.

然后，将得到的多方向特征图输入通道连接层进行连接，通道连接后的特征为

接着，利用通道注意力层学习不同通道特征之间的依赖关系，实现特征的跨通道交互，选择性地融合不同壁画纹理方向特征，其采用压缩和激励（Squeeze-and-Excitation，SE）模块，增强壁画的全局特征，关注更加重要的通道信息［19］.压缩和激励模块示意图如图6 所示，主要包括压缩、激励和特征重标定三个步骤.

图6 压缩和激励模块Fig.6 Squeeze-and-excitation module

其中，压缩操作是为了克服卷积在纹理引导解码子网络中仅在局部感受野上作用，不能利用特征的全局信息等问题，通过全局平均池化（Global Aver⁃age Pooling，GAP）将通道连接特征FG压缩成一个通道描述符z∈R3C，获取通道特征图的全局信息，z的第c个元素可表示为

式中：Fsq(⋅)表示压缩操作，FG，c(i，j)为FG中第c个通道中位于(i，j)的元素值.

在压缩操作后，将得到的特征向量z进行激励操作，对每个通道的重要性进行预测，得到不同通道的重要性，以更好地拟合通道间复杂的相关性［20］.激励操作就是利用两个全连接层（Fully Connected，FC）、ReLU 激活函数和非线性Sigmoid 函数交叉生成0～1之间的归一化权重，可表示为

式中：Fex(⋅)表示激励操作，VU和VD为全连接层，σ(⋅)为ReLU激活函数，Sig(⋅)为Sigmoid函数.

紧接着进行特征重定向操作，将归一化的权重加权到每个通道特征图上，即将第c个注意力权重αc与其对应的通道图相乘，得到重标定的特征图

式中：Fscale(⋅)为重标定操作，为重标定特征图.

1.4 损失函数

本文采用联合损失进行模型训练，包括重构损失、总变分损失和对抗损失，以生成具有结构连贯、语义合理的壁画图像.

重构损失Lrec是指生成壁画Iout和真实壁画Igt之间的像素差异，利用l1范数进行计算

总变分损失Ltv是为了降低训练过程中噪声对修复结果的影响，使得修复结果更为平滑，定义为

式中：m和n表示生成壁画Iout中的像素坐标.

对抗损失Ladv则是为了确保重建图像的视觉真实性以及纹理和结构的一致性，其表示为

式中：Dsn为频谱归一化判别网络，Iin为生成网络的输入图像，σ(⋅)为ReLU激活函数.

因此，本文的联合损失可表示为

式中：λrec、λtv、λadv分别为重构损失、总变分损失和对抗损失的对应权重.

2 实验结果与分析

2.1 数据集及参数设置

本文实验使用自制敦煌壁画数据集，以唐代壁画为主的高清壁画图像作为数据集来源，并通过数据增强的方式对数据集进行扩充，形成21 000 张壁画数据集进行实验.其中包括：训练集12 600张壁画图像，测试集4 200张壁画图像，验证集4 200张壁画图像.

本文实验运行环境为Windows 10 操作系统，硬件配置为Intel（R）Core i7-10700K CPU @3.80 GHz，32.0GB RAM，NVIDIA GeForce RTX 2060 SUPER，对比实验均在相同配置下进行.本修复模型基于Py⁃Torch 深度学习框架编程实现，在训练过程中，用Adam优化器进行优化，批大小为4，学习率为2×10-4.

为了验证本文方法的有效性，采用人为添加随机破损、人为添加大区域中心破损和真实破损敦 煌壁画进行修复实验，并与文献［6］、文献［9］、文 献［11］和文献［12］的修复结果进行对比分析.采用主观效果和客观定量分析对修复结果进行评价，客观评价使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity Index Mea⁃surement，SSIM）.

2.2 人为添加随机破损修复实验

首先进行人为添加随机破损修复实验，选取五幅敦煌壁画，实验结果如图7 所示.其中，图7（a）为原始壁画，图7（b）为掩膜图像.图7（c）为文献［6］的修复结果，可以看出文献［6］修复结果中出现了块效应及修复不彻底的问题，如第一幅壁画的头饰部分出现块效应；第二幅壁画的头光部分存在结构断裂和纹理模糊问题；第三幅壁画的关键语义信息丢失，未完成眼睛、鼻子等面部特征的修复；第四幅壁画的排箫纹理不合理，出现过度平滑现象，且手指存在错误修复；第五幅壁画修复结果的块效应严重，且缺失较多边缘结构信息，上述问题是由于文献［6］通过引入双向的可学习注意力模型指导修复，但该方法未考虑结构和纹理先验信息对于修复结果的引导性，从而导致修复结果出现了局部梯度块效应和结构紊乱问题.图7（d）为文献［9］的修复结果，可以发现修复结果出现语义不合理和内容模糊现象，如第一幅壁画的头饰部分出现平滑现象；第二幅壁画的头光部分存在线条扭曲问题以及脖颈以下部分的内容出现模糊问题；第三幅壁画的面部语义信息未完成修复；第四幅壁画的排箫部分出现伪影问题；第五幅壁画的修复结果存在结构纹理模糊现象，上述问题主要是因为文献［9］对壁画结构纹理等先验信息的考虑不足，这导致壁画修复结果出现内容模糊和语义不合理问题.图7（e）为文献［11］的修复结果，其修复结果出现了纹理紊乱和修复错误等问题，如第一幅壁画的头光部分线条未拟合，出现断裂现象；第二幅壁画和第三幅壁画均出现了错误修复问题，导致修复痕迹明显；第四幅壁画的手指和排箫部分出现纹理紊乱问题；第五幅壁画同样存在纹理修复不合理现象，这是因为文献［11］未对壁画图像的纹理方向特征信息进行考虑.图7（f）为文献［12］的修复结果，发现修复结果出现了轮廓扭曲和纹理模糊伪影现象，如第一幅壁画头光上方部分结构细节信息丢失，存在像素模糊平滑问题；第二幅壁画的头冠部分未彻底修复，头光部分存在边缘轮廓扭曲问题；第三幅壁画未能对壁画整体色彩协调，线条清晰度也有所提高.

为了进一步对图7 的修复结果进行客观定量评价，PSNR 和SSIM 比较结果如表1 所示.其中，PSNR值越大，表明修复后图像的失真程度越小；SSIM 值越大，表明修复结果与原始图像结构更加吻合.从表1中可以发现，本文算法的PSNR和SSIM均高于对比算法，从而说明在主客观评价方面所提方法均优于比较方法.

表1 不同算法对人为添加随机破损修复结果PSNR和SSIM对比Tab.1 Comparison of repair results PSNR and SSIM of different algorithms for artificially added random damage

2.3 人为添加大区域中心破损修复实验

为了进一步验证本文算法对于大面积破损壁画的修复效果，选取五幅壁画进行人为添加大区域中心破损修复实验，修复结果如图8 所示.其中，图 8（a）为原始壁画图像，图8（b）为中心破损掩膜图像.图8（c）为文献［6］的修复结果，从第一幅壁画可发现，壁画的头冠部分出现了结构紊乱、色彩差异的现象；第二幅壁画虽然对眼部特征有所修复，但是出现了整体结构扭曲现象；剩余三幅壁画均未完成修复，整体存在线条扭曲及未能有效完成修复的问题.图8（d）为文献［9］的修复结果，可以发现该方法对大面积破损壁画的修复有所效果，但仍存在内容模糊和语义不合理现象，如第一幅和第五幅壁画未完成面部信息的修复，第二幅、第三幅和第四幅壁画存在内容模糊问题.图8（e）为文献［11］的修复结果，可以看出该方法无法完成对大面积破损壁画的修复，均出现了修复伪影的现象.图8（f）为文献［12］的修复结果，可以看出该方法无法完成对大面积破损壁画的修复，这是由于中心掩膜破损区域过大且关键特征未知时，文献［12］模型采用双阶段修复思想，但在粗修复阶段无法得到合理的边缘轮廓信息，导致无法仅依靠结构引导完成关键部位的修复.图8（g）为本文算法修复结果，从第一幅壁画可以看出，本文对缺失区域实现了基本有效修复，虽然右眼未能彻底完成修复，但相比比较方法，修复结果基本符合人类视觉感受；第二幅和第三幅壁画结构简单，所提方法均取得了较好的修复效果；第四幅壁画背景较复杂，本文修复结果虽然存在一定的平滑模糊问题，但采用结构和纹理联合引导后，加强了对于结构和纹理的引导修复作用，修复后彩带线条更加连贯自然，纹理一致.第五幅壁画也基本修复完成，眼睛、鼻子等与原图虽存在差异，但整体视觉效果更加协调和自然.

图8 不同算法对人为添加大区域中心破损壁画的修复结果对比Fig.8 Comparison of repair results of artificially added damaged murals in the center of large areas by different algorithms

同样对图8 的修复结果进行客观定量评价，如表2 所示，从表中可以发现，本文算法的PSNR 和SSIM 均高于对比算法.通过对上述人为添加破损修复实验进行主客观评价可以发现，本文算法能完成大区域破损壁画的有效修复，且取得了较好的修复结果.

表2 不同算法对人为添加大区域中心破损修复结果PSNR和SSIM对比Tab.2 Comparison of repair results PSNR and SSIM of artificially added large area center damage by different algorithms

2.4 真实破损壁画修复实验

为了进一步说明本文算法的有效性，下面采 用五幅真实破损壁画进行修复实验，修复结果如 图9 所示.其中，图9（a）为真实破损壁画图像，图 9（b）为破损区域相应的掩膜图像，图9（c）、图9（d）、图9（e）、9（f）和9（g）分别为文献［6］、文献［9］、文 献［11］、文献［12］和本文算法的修复结果.从第一幅“莫高窟第158 窟•金光明经变之梵天”局部壁画的修复结果可以看出，所有比较算法均出现修复不彻底和错误修复等问题，而本文算法左侧矩形框中修复结果纹理一致、线条连续，右侧矩形框中修复结果虽然存在一定的模糊现象，但整体色彩协调自然，视觉感受较好.对于第二幅“莫高窟第144 窟•金翅鸟王”局部壁画和第三幅“莫高窟第155 窟•涅槃经变之菩萨和弟子”局部壁画的修复结果，文献［6］和文献［11］均出现修复不彻底问题，存在残留痕迹；文 献［9］的边缘轮廓部分未完成修复；文献［12］出现局部色彩失真问题；本文算法的修复结果较完整，线条连续性较好.从第四幅“莫高窟第144 窟•舞伎”局部壁画的修复结果可以看出，文献［6］和文献［9］无法完成大面积破损区域的修复，文献［11］和文献［12］出现边界信息缺失和模糊等问题，而本文算法在结构连续性和色彩一致性方面均有所改善.第五幅“莫高窟第201 窟•观无量寿经变之供养菩萨”局部壁画的修复结果中，文献［6］存在明显的修复残留，文 献［9］出现边缘残留，文献［11］和文献［12］出现了修复伪影，本文算法则较好地拟合了面部和眼睛的轮廓，且修复完整度较高.

图9 不同算法对真实破损壁画的修复结果对比Fig.9 Comparison of repair results of real damaged murals by different algorithms

2.5 消融实验

为了验证本文方法所提出的各个模块对修复结果的影响，采用消融实验对测试集壁画图像的修复结果进行定量比较分析，如表3 所示.其中，模型Ⅰ是以编码器解码器为基本结构的网络模型；模型Ⅱ是在模型Ⅰ的基础上增加了门控特征融合机制的结构引导模型；模型Ⅲ是在模型Ⅰ的基础上加入方向注意力的纹理引导网络模型.从表3 可以看出，在模型Ⅰ的基础上单独加入结构引导或纹理引导后的PSNR 和SSIM 均有一定提升，而同时加入两者后得到的PSNR 和SSIM 均优于结构引导和纹理引导的单独使用，取得了更好的修复性能.

表3 消融实验定量比较Tab.3 Quantitative comparison of ablation experiments

3 结论

本文提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.在结构引导编码子网络中，提出了门控特征融合机制将壁画特征和结构特征进行引导编码，增加编码特征图中的结构轮廓信息.然后设计纹理引导器和方向注意力模块提取分层纹理方向特征，将提取到的纹理先验信息引导解码器更好地完成壁画的生成重构，并采用跳跃连接加强结构和纹理信息的共享互补，促进生成壁画图像结构纹理更加协调一致.通过对敦煌壁画的实验结果表明，本文方法较好地完成了破损壁画修复，在主客观评价方面均优于比较算法.虽然所提方法具有较好的修复效果，但未对壁画的佛经故事、文化内涵等深层语义信息进行考虑，后续将进一步加强研究.