基于高频分量引导生成的古陶器模型纹理修复方法

关键词：图像修复;数字文物遗产;高频分量;三维模型

中图分类号：TP391 文献标志码：A

0 引言（Introduction）

在文化遗产保护领域，虚拟修复技术发挥着重要的作用，它提供了一种数字化、高效且非侵入性的手段，用于保存和保护古代建筑、艺术品和其他文物[1]。河姆渡文化是中国南方重要的新石器时代文化之一，陶器作为河姆渡文化的主要载体，虚拟修复陶器文物对于了解当时的社会风俗、经济文化及生活方式至关重要[2]。本文提出了一种针对陶器模型纹理贴图的图像修复方法。早期图像修复算法大致可以分为3类[3]，即基于扩散的修复算法、基于块匹配的修复算法及基于稀疏表示的修复算法[4]。随着深度学习的广泛应用与快速发展，近年来有研究提出了一些基于生成对抗网络[5-6]的图像修复算法。但是，陶器数据集存在训练数据规模不足、待修复区域面积大及模型训练困难等问题，上述算法修复效果较差。

本文结合陶器模型的特点，提出了一种特殊的图像修复算法，分别针对颜色和纹理两个关键特征设置了不同的模块，提高修复效果。同时，充分利用了纹理贴图本身提供的信息，解决由于训练数据有限而出现的修复效果差的问题。在构建的数据集上进行实验的结果表明，本文所提出的修复模型在这一任务上相较于目前先进的修复算法，具有更高的修复质量。

1 数据集构建（Dataset construction）

陶器作为人类最早掌握的新材料，是博物馆里的重要藏品，河姆渡文化遗址出土的陶片数量较多，考古学家需要先对其进行清洗，再将所有陶器碎片按其出土位置、类别、颜色、纹理等信息分类后挑选出匹配度较高的碎片进行拼接。为了提升文物的稳定性和完整性，对残损严重的陶器文物进行补配工作。对残缺部位进行牙科石膏补配时，遵循左右对称、上下对称、中心对称的原则，是确保修复效果自然、协调的关键步骤。

待石膏硬化后，用手术刀、砂纸等打磨塑形，使得补配区域具有与陶器本身相似、连续且自然的纹理图案。目前，学术界关于模型纹理贴图的修复工作的研究很少，并且缺乏公认的陶器标准数据集，因此本文构建了一个陶器模型表面纹理贴图数据集，并基于此数据集开展实验。

1.1 三维建模

对河姆渡遗址实地出土的且经过考古学家修复之后的陶器模型进行拍摄，采集拍摄角度不同的陶器照片，把这些照片导入Reality Capture建模软件中，得到具体的模型及其纹理贴图。用Blender软件对纹理贴图进行重新映射，将原本杂乱、无序的纹理贴图变得更加整齐、直观且利于后续的处理，纹理贴图重映射过程如图1所示。

1.2 纹理贴图裁剪

陶器模型纹理贴图的特殊性在于其具有较高的分辨率，缺失区域面积占比较高，并且存在大面积的连续待修复区域。现有的图像修复模型和主流显卡的显存无法处理如此高分辨率的图像，因此本文采用划分切片的数据处理算法，将大尺寸的纹理贴图裁剪为合适大小的切片图像。切片的尺寸均为256×256像素，采用人工方式对完整区域与待修复区域进行区分，选用纹理贴图中信息完整的区域构造训练集，用于网络模型的训练，其余部分则作为测试集，用于验证模型结果。

2 算法结构（Algorithm structure）

本文研究受人工修复过程的启发，首先充分利用了模型纹理贴图提供的信息，输入部分除了常规的待修复图像数据与对应的掩码，还加入了图像的高频分量数据，即表示图像内邻近像素值变化程度的数据。这一部分数据可以反映图像的纹理特征，帮助模型在生成过程中得到更多的纹理信息，提升生成质量。其次将图像的颜色矩阵作为监督信息，通过对比生成前后的颜色矩阵，促使生成结果在颜色上更加统一。修复模型网络结构如图2所示。

2.1 图像高频分量

图像的高频分量是指图像中变化较为频繁、频率较高的部分，通常表现为图像中的细节和边缘，图像的高频分量对于边缘检测和纹理分析等任务非常重要。在陶器实体修复的过程中，考古学家会根据周围完整的陶片对填补区域进行打磨，使陶器整体具有相似且统一的纹理形状。据此，假定原始图像的纹理细节，也就是其高频分量可以作为一个特殊条件，辅助网络模型的训练，提升修复结果的质量。

本文利用傅里叶变换提取输入图像的高频分量，傅里叶变换是一种将时域（时序）信号转换为频域（频率）信号的数学工具，它可以将信号分解为一系列正弦波和余弦波的组合，傅里叶变换可以将图像分解为不同的频率成分，其中就包括一些高频成分。图像数据高频分量可视化结构如图3所示。

其次，从视觉效果上对模型的应用能力进行定性评估，对比结果如图4所示。

从视觉效果上看，CA算法与PConv算法这一类的深度学习方法在训练集规模不足的情况下展现的修复能力都较弱，存在颜色一成不变、纹理细节不够清晰等问题。相比之下，本文算法在颜色方面，与周围区域融合得更加自然，并且在一定程度上复原了考古学家对其进行物理修复时填充的纹理信息，增强了结果的多样性。Criminisi算法作为传统的图像修复算法，通过复制样本块的方式对缺失区域进行填充，可以获得更好的细节纹理，但在结构上与现实不符，同时在面临图像出现大面积缺失的情况下，需要消耗大量的时间。综合考虑不同算法在陶器纹理贴图数据集上的定性和定量实验结果，本文算法在训练数据不足且存在大面积缺失的陶器纹理贴图上的修复效果要优于其余3种对比的修复算法。

5 结论（Conclusion）

为了使河姆渡遗址出土的陶器模型尽可能地还原历史文物的原貌，本文提出了一种基于条件修复的纹理贴图修复算法。该算法充分利用了输入图像中的信息，将高频分量和颜色特征作为修复的条件，从而引导生成最终的修复结果。在此过程中，借助考古学家在对陶器进行物理修复时提供的纹理信息，即使在训练数据有限的情况下，也成功地展现了出色的修复效果。这一方法解决了大面积修复的难题，同时克服了神经网络模型训练中的重要难点。与传统图像修复手段相比，该算法有效地填补了陶器模型中的缺损区域，为保护和传承河姆渡文化做出了重要贡献。

作者简介：

李天杰（1999-），男，硕士生。研究领域：人工智能，深度学习。

于欣（1977-），男，博士，教授。研究领域：分布参数系统控制与计算，信息处理与优化技术。

宋振英（1999-），男，硕士生。研究领域：人工智能，知识图谱。

许立波（1976-），男，博士，讲师。研究领域：机器学习，数据挖掘，可拓学。本文通信作者。

万星（2000-），女，硕士生。研究领域：人工智能，深度学习。