秦陵文物数字化及虚拟复原研究综述

耿国华,冯 龙,李 康,周明全,3,王小凤

(1.西北大学 文化遗产数字化国家地方联合工程研究中心，陕西 西安 710127；2.西北大学 信息科学与技术学院,陕西 西安 710127;3.北京师范大学 教育部虚拟现实应用工程研究中心，北京 100875)

文化遗产是中华五千年悠久历史的重要载体,是传承文化的特殊资源,也是连接过去现在与未来的重要途径,在我国政治、经济、文化、社会中的作用日益凸显。由于传统保护方式的局限性,其面临着巨大的挑战[1-2]:①记录手段单一，传统文物保护手段主要采用拍摄及线画图的方式进行文物相关信息的记录,信息多样性较差;②发掘现场坍塌碎片成滩,手工复原的周期长,且易对文物造成二次破坏;③传统的展陈方式受时空限制较大;④手工绘图纸质管理效率低、占用空间大且不易检索和查找。传统的实体保护仅能延缓本体消亡时间,然而,数字化文物保护技术(记载、修复、展示、管理)却能有效重现文物的生命力,计算机图形图像处理、计算机视觉、人工智能及虚拟现实等信息学科前沿新技术能够提供新的思路、技术和方法[3-6],助力文化遗产数字化保护领域的研究工作并推动相关技术的应用和落地。

兵马俑是中华文物最典型代表,具有2 300年的历史,举世无双的世界八大奇迹之一。其规模宏大,具有陶俑15 000多个,均高185 cm,个重约160 kg,类型众多,个性鲜明,世界上绝无仅有的雕塑艺术品。因此,兵马俑的保护具有巨大的挑战性:①打磨粘接实体试拼合,易造成二次损坏;②人工修复周期长、误差大。以秦兵马俑为例:一号坑最早发现修复40年、人工修复1 000余件,仅占发现俑数8 000余件的1/8。因此,利用数字化手段对其进行修复和复原,具有重大的意义。

针对上述需求,西北大学可视化技术研究所项目组经过多年研究,在古人面貌虚拟复原、复杂外观文物数字化、考古遗址场景建模与展示、考古过程记录与应用、破损破碎文物虚拟修复、文物碎片自动分类、文化遗产的数字展示传播这7个方面取得了系列成果。

1 古人面貌虚拟复原

颅面形态学研究创建了世界上样本量最大、类型最全、精度最高的蒙古人种颅面数据库[7]。同时,结合法医人类学知识,建立了颅骨面貌复原知识模型[8-10],并与公安部物证鉴定中心合作,颁布实施了颅面复原国家行业标准。

1.1 基于最小二乘回归的颅骨面貌复原方法

本项目组提出一种基于最小二乘回归的颅骨面貌复原方法[11],该方法基于现代人颅面数据库,首先，分别为颅骨和面皮建立统计形状模型,然后，在形状参数空间中训练最小二乘回归模型。对于未知颅骨,将其投影到颅骨形状参数空间,使用最小二乘回归模型重建其相应的面貌。该方法能很好地反映随机变量的真实分布规律,有效提取颅骨和面貌的内在关系,使得复原结果准确性更高,科学性更强。可应用于历史人物的面貌复原和刑事案件中遗骸的身份确定[12-13],如图1所示为古人的颅骨面貌复原结果。

图1 古人颅骨面貌复原结果Fig.1 The results of the restoration of the face of the ancient skull

1.2 结合改进卷积神经网络和最小二乘法的颅骨性别鉴定

传统颅骨性别鉴定方法大多需要专家参与,导致鉴定结果依赖人工标定的准确度及主观性等问题,本项目组提出了结合改进卷积神经网络和最小二乘法的颅骨性别鉴定方法[14]。首先,计算给定颅骨模型的多视图,并利用改进的CNN(卷积神经网络)估计每个视图属于男性和女性的概率;然后,将概率均值作为特征,基于最小二乘法获得每幅视图属于不同性别的权重;最后,利用上述步骤得到的最优参数构造决策函数,由决策值确定颅骨的性别。所提方法无需手动标定和测量,针对完整颅骨性别鉴定的准确率能够达到94.4%,针对不完整颅骨的性别鉴定准确率可以达到87.5%。

2 复杂外观文物数字化及模板库构建

为了高效管理和展示出土文物,需要对文物进行数字化建模。在建模过程中，要解决的关键科学问题主要是:①文物表面纹饰的高精度表示[15-17];②文物几何形态的建模与可视化[18-20];③文物数字化模型格式优化[21-23]。针对这些关键科学问题，本项目组开展了系列研究,构建了近万件出土文物的表面和几何形态的高精度数字化模型及记录。

2.1 基于八叉树和三维K-D树混合索引的点云文物数据表示方法

针对点云的无序性和海量性这两个特点,同时避免降维过程中引起的信息损失,为了将点云模型转化为能直接在深度网络中处理的形式，本项目组提出基于八叉树和三维K-D树的混合索引的点云文物数据表示方法[24]。首先，将点云体素化,然后，生成该体素化模型的八叉树,在对八叉树进行编码时,逐层索引构建八叉树。为了克服八叉树结点搜索效率低的问题,同时构建K-D树索引对单个三维空间点进行检索。算法的具体步骤如下:①将无组织的点云转换成体素空间;②在体素空间中对点云模型进行八叉树空间剖分,区分并标记空节点和非空节点,统计非空节点的总数;③根据八叉树叶节点的数量,为每个叶节点开辟存储空间,对八叉树编码;④从第 0 层起,自顶向下逐层构建节点间的关系,每次只处理一层,对每层节点并行处理。如图2所示为兵马俑俑手的数字化建模结果。

图2 G10-4 兵马俑俑手的数字化建模结果Fig.2 Digital modeling results of Terracotta hands

2.2 文物三维扫描与网格生成

针对三维有限元网格的生成速度较慢并且网格质量不高的问题,提出了一种基于约束波前法的三维有限元网格生成算法[25]。算法的主要思想是用背景网格提高网格单元的可控性,避免网格单元生成时验证有效性的计算量,从而快速生成高质量的三维有限元网格。方法的具体步骤如下:①借助八叉树方法生成背景网格;②利用背景网格的密度对模型表面进行三角剖分得到初始波前;③依据背景网格的特征生成实体网格单元;④采用网格光顺的方法对得到的结果进行优化。结合了八叉树和推进波前法的三维网格生成算法降低了波前法的时间复杂度,将其效率提高了20%,而且能得到更高质量的网格。

2.3 兵马俑甲胄模板库构建

秦俑甲胄模型表面一般会存在着具有一定规律性和重复性的纹饰,如能将这部分特征提取,就能实现对甲胄模型的自动识别分类,可系统化管理和智能化复原[26]。模板的建立可有效减少文物模型识别分类中数据集的规模,提高分类和修复的工作效率。兵马俑甲胄模板库的构建约束具体为:①局部特征中形状较完整的模型可直接存入样本库,局部特征具有微小瑕疵的利用交互式方法进行修正，若局部特征可以通过库中已有模板的刚体变换得到,那么这类模型不入库;②利用已入库的模型的特征,检索相似性较高的匹配模型并入库;③对每个模板的匹配结果进行统计分析,将匹配次数极少(少于给定阈值)的样本从库中删除,由此对模板库进行动态调整。根据以上模板库构建约束,可以实现兵马俑甲胄模板库的构建，并进一步支撑甲胄碎片模型的识别和检索。

2.4 构建部位特征样本库

从相关历史文献中可知,秦俑在制作过程中,其尺寸和结构均按照真人比例仿制，即所谓“千人千面”。由于其按照真人比例仿制,那么秦俑碎块通常只会属于人体的某一特定部位：①头部;②身体躯干,主要包括肩膀、胸腹、腰及背部等,这类碎片通常由战袍、铠甲等组成;③手臂;④裙摆;⑤腿、脚部及踏板。通过对模型进行一致性分割,可以按部位建立样本库,具体步骤如下[27]:首先，利用特征提取算法分别对碎片模型进行特征提取,特征可包括几何特征、颜色特征和纹理特征等;然后，使用上一节中描述的甲胄模板库的构建约束构建部位样本库。值得注意的是,已建立的甲胄模板库可直接作为身体躯干部位样本库。

3 考古遗址场景建模与展示

相较于单个文物,遗址遗存数字化中的难点主要表现在:①遗址遗存的体积较大,利用三维扫描仪无法直接获取遗址的整体数字化模型[28-30];②扫描获取的数字化模型占用内存大,使得处理的计算复杂度提升[2,31]，如图3所示。针对以上两个难点项目组开展了如下系列研究。

图3 秦兵马俑一号坑G9过洞发掘现场重建结果Fig.3 Reconstruction results of the excavation of Qin Terracotta Warriors in Pit one G9 hole

3.1 基于区域分割的低覆盖点云配准算法

针对低覆盖点云配准的时间复杂度高、收敛速度缓慢以及对应点匹配易错等问题,提出一种基于区域分割的点云配准算法[32]。首先,利用体积积分不变量计算点云上点的凹凸性,并提取凹凸特征点集;然后,采用基于混合流形谱聚类的分割算法对特征点集进行区域分割,并采用基于奇异值分解(SVD)的迭代最近点(ICP)算法对区域进行配准,从而实现点云的精确配准。如图4所示为文物碎片的匹配结果。

图4 文物碎块的匹配结果Fig.4 Matching results of the cultural relic fragments

3.2 基于变分水平集的三维模型复杂孔洞修复

针对遗址三维模型扫描及重建后存在大量复杂孔洞的问题,提出一种孔洞修补算法[33]。首先，构造符号距离函数,孔洞所在曲面用静态符号距离函数的零水平集表达,另一动态符号距离函数表示初始曲面；然后，借助隐式曲面上的变分水平集,通过设计全局的凸优化函数模型,并对其极小化优化,将提取孔洞边缘的问题转换为维体上隐式曲面的演化过程;最后，以提取到的孔洞边缘曲面作为初始观察面,通过卷积和合成两个交替的步骤进行体素扩散完成孔洞修补。实验表明该算法能够有效恢复复杂孔洞区域的显著几何特征,且适用于含有网格较多模型的孔洞修复。

3.3 一种特征感知的三维点云简化算法

提出一种特征感知的三维点云简化方法。通过构造八叉树搜索每个点的k近邻点,并计算每个点的法向量,以此检测并保留边缘点;使用期望最大化算法对点云进行聚类,并确定高曲率的点;使用边缘感知的有向Hausdorff距离方法进行点云精简,合并前述点云并删除重复点,实现模型简化。该方法适用于不同曲率变化的模型,并且能够在保留尖锐特征的同时显示模型整体轮廓。

4 考古过程记录与应用

本项目组为首家将虚拟拼接的基础理论方法应用于考古过程记录的研究团队,主要应用为[34-35]:①秦俑一号坑三次发掘；②秦陵K9901坑数字化建模保护全过程。如图5所示为秦陵1号坑及K9901坑考古现场场景建模结果。

图5 秦陵1号坑及K9901坑考古现场Fig.5 The archaeological site of Qinling Pit one and Pit K9901

在考古过程中,考古人员可以根据挖掘现场碎片的位置信息初步确定碎片的邻接关系,同时根据邻接关系进行碎片其他信息的分析和存储等。基于该需求,项目组提出一种在VR环境下的碎片拼接方法,通过对文物三维模型进行数字化处理简化模型后输入到VR环境中,采用三角网格化识别文物孔洞的方式对残缺的文物进行文物孔洞识别,计算每个文物孔洞的重心位置,以重心到文物孔洞最远点的距离作为半径,构建文物孔洞碰撞球体。同理，构建文物碎片碰撞球体,当两者发生相交时,自动调用拼接算法,提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线,利用单位三元组的曲线匹配方法匹配刚体变换矩阵,再通过SAC-IA算法进行粗匹配。最后，调用ICP算法对文物碎片与文物孔洞进行精确匹配,实现VR环境下的碎片拼接。该方法不仅运算速度快,而且可以辅助文物工作者在虚拟环境下对碎片进行拼接,与现实中的众多碎片进行查询拼接,进而加快兵马俑复原速度,解决了文物碎片复原难度大和速度慢的问题。如图6所示为VR环境下的碎片拼接方法效果图。

图6 VR环境下碎片拼接方法效果图Fig.6 Renderings of the fragment splicing method in the VR environment

5 破损破碎文物虚拟修复

自2009年开始，文物数字化保护已和传统保护方式并轨实施,所有数字化建模的出土陶俑均采用自底向上和自顶向下两种拼接方法实现修复[36]。如图7所示为部分兵马俑碎片虚拟拼接结果。

5.1 基于轮廓线双向距离场的文物碎片拼接算法

文物碎片断裂部位往往最容易受损,导致受损断裂面的几何特征不完整,造成传统基于几何特征驱动的拼接方法失效等问题。为此,项目组提出一种基于断裂部位轮廓线双向距离场的文物碎片自动拼接算法[37]。首先，提取文物碎片模型表面的显示脊线,将该脊线作为碎片的几何纹理；然后，采用最小逼近误差法识别表面几何纹理中的显著特征点；接着，获取断裂面上的特征点,从而构建碎片断裂面轮廓线至表面特征点和断裂面特征点的双向距离场;最后，在构建双向距离场的基础上,利用欧式距离的一致性和凹凸互补性两个条件约束构造特征描述子,并引入特征描述子的匹配度函数，从而确定匹配特征点对,实现碎片邻接关系的计算。

图7 部分兵马俑碎片拼合结果Fig.7 Some of the Terracotta Warriors pieces together

5.2 基于形状骨架图匹配的文物碎片自动重组方法

兵马俑碎片表面的几何纹理信息能够有效支撑碎片邻接关系的计算,为了解决断裂部位受损碎片的自动拼接问题,项目组提出一种基于形状骨架图匹配的文物碎片自动重组方法,将碎片匹配问题转化为碎片表面纹饰中非完整纹元的互补匹配问题[38]。首先，提取文物碎片表面的特征线,该特征线构成兵马俑碎片表面的几何纹理;然后，根据几何纹理中完整纹元的形状等信息,设计非完整纹元互补匹配约束，并利用视觉骨架剪枝法计算位于断裂边缘的非完整纹元的形状骨架图,基于形状骨架图语法及匹配约束确定非完整纹元互补匹配对;最后，基于带剪枝深度优先搜索方法搜索匹配碎片,实现文物碎片邻接关系的计算。

5.3 基于Morse-Smale拓扑特征的文物碎片拼接算法

针对计算机辅助文物虚拟复原中由于破损文物断裂部位边缘受损而引起的轮廓线不能充分表示断裂面几何特征的问题,项目组提出了一种基于断裂面拓扑特征的破碎文物自动拼接算法[39]。方法具体步骤如下:①定义顶点显著度度量函数,提取断裂面特征点,针对断裂面,依据Morse-Smale复形理论构建几何拓扑图;②定义基准点与0值面，并计算目标点的高度差值,然后利用构建的几何拓扑图中的四边形曲面构造特征描述符,该特征描述符能完整描述断裂面的几何形状特征；③根据凹凸互补性计算初始特征四边形匹配集并搜索最优匹配集,得到碎片的邻接关系；④采用四元组方法计算刚体变换矩阵并完成碎片的拼合。

5.4 基于表面邻接约束的交互式文物碎片重组

当断裂部位严重受损时,特征的完整度就会低于有效阈值,此时,基于特征匹配的方法就会失效,因此,项目组提出一种基于文物模型表面纹饰几何特征的交互式破损文物重组方法[40]。首先，提取文物碎片的显示脊线,并用该脊线作为碎片表面的几何结构和主动轮廓线;然后，领域专家根据碎片表面几何结构的连贯性,确定碎片的邻接关系,并基于区域生长法计算表面邻接约束点的最终位置；接着，以表面邻接约束点为中心获取初始匹配点集,利用线段约束得到最优匹配点对;最后，计算刚体变换,实现碎片拼合。

6 文物碎片自动分类

出土文物碎块数量庞大,且不同年代、不同颜色、不同质地、不同纹饰的文物碎块混杂一起,产生巨大的搜索空间和极高的计算复杂度,极大地限制了虚拟复原技术的落地及其在文物修复与保护单位的应用和普及。因此,需要研究智能分类技术,代替传统人工分类,将碎块的搜索空间缩小在有效范围内,支撑后续实体复原,促进现有虚拟复原技术的进一步落地和普及[41]。项目组针对文物碎片的自动分类,开展了系列研究。

6.1 基于C均值聚类和图转导的半监督分类算法

针对传统图转导(GT)算法计算量大并且准确率不高的问题,项目组提出一个基于C均值聚类和图转导的半监督分类算法[42]。首先,采用模糊C均值(FCM)聚类算法[43]先对未标记样本预选取,缩小图转导算法构图数据集的范围;然后,构建k近邻稀疏图,减少相似度矩阵的虚假连接,进而缩减了构图的时间,通过标记传播的方式得出初选未标记样本的标记信息;最后,结合半监督流形假设模型利用扩充的标记数据集以及剩余未标记数据集进行分类器的训练,进而得出最终的分类结果。

6.2 基于多特征和SVM的兵马俑碎片分类

融合多特征能有效提高分类的准确率,因此,项目组提出了一种基于多特征和支持向量机(SVM)的文物碎片分类方法[44]。首先,利用尺度不变特征变换(SIFT)算法[45]提取碎片纹理特征,在此基础上构建每幅碎片图像的词袋模型(BoW)[46]。其次,利用Hu不变矩提取碎片形状特征；最后,将纹理特征和形状特征结合并通过支撑向量机[47]进行训练,得到相应的文物碎片分类模型。利用该方法进行文物碎片分类,可以显著提高分类的准确率,本文以兵马俑残片图像为实验对象，共计527幅残缺兵马俑图像，其中，350幅作为SVM训练样本集，其余177幅作为分类模型验证样本集。根据分类要求，实验将采集到的兵马俑和马匹碎片图像分为5类：W1代表兵马俑的头部；W2代表兵马俑的躯干；W3代表兵马俑的裙子；W4代表兵马俑腿和踏板部件；W5代表兵马俑手臂部分。结合采集到的兵马俑三维模型和二维图像，利用Lib SVM对基于显着几何特征的方法和本文提出的方法进行实验。不同分类方法性能对比如表 1所示，显示了本实验中使用的各种碎片图像的数量。其中，碎片三维模型数量和碎片图像数量相等。

表1 不同方法的分类结果对比[44]Tab.1 Comparison of classification results of different methods[44] %

6.3 基于深度学习和模板引导的三维兵马俑碎片分类

项目组结合深度学习技术,提出了一种基于深度学习网络并结合模板指导的自动方法,对兵马俑的3D片段进行分类[48]。该方法由以下3个步骤组成：首先,为了解决片段的样本大小不足的问题,通过蒙特卡洛采样执行数据增强；其次,根据其身体部位标记兵马俑的片段,将这些片段的点云数据直接送入PointNet[49]训练模型并进行分类；最后,通过确定兵马俑“模板”与片段之间的对应关系,对分类错误的片段进行第二次分类。

7 文化遗产数字展示传播与应用

针对考古遗址和场景的展示和推广需求,项目组研制了文化遗产增强现实展示系统,实现考古遗址和文物的沉浸式多通道虚拟展示。如图8所示为遗址空间建模中秦陵保护区56 km2的鸟瞰图。

图8 秦陵保护区56 km2鸟瞰图Fig.8 An aerial view of 56 square kilometers of Qin Mausoleum Reserve

7.1 智慧博物馆

由于博物馆展品种类杂、数量大,2002年西北大学搭建了利用数字化手段管理展品和虚拟现实技术展示展品的数字化博物馆,为国内其他数字博物馆的开发建设提供了技术支撑。针对海量的文物文化资源难以完成人工标注的问题,智慧博物馆提出基于深度学习的文物文化自动标注技术,构建人工标识训练集及文物文化的深度标识模型,实现文物文化资源(文本、音频及视频)异构数据关联和聚类。针对文物文化资源数据不能与现实世界的事件直接关联,带来文物文化资源不利传播等问题,采用媒体大数据驱动的文物文化智能推送技术,构建文物文化知识库,支撑文物文化语义检索和标识管理,实现切合当前热点的文物文化个性化推荐。针对用户由于各种局限不能到博物馆实地参观的问题,提出文物文化三维数据服务与虚拟展示方法,基于人工智能技术,支撑交互拼接、虚拟修复,实现历史遗物与虚拟文物混合展示与交互,基于Web 和移动APP 平台实现创新的文物数字化虚实展示体验技术。智慧博物馆实现文物文化的数字传播与民众普及宣传,提升博物馆服务能力和服务水平,消除数字鸿沟,全方位保存和展示非遗文化和藏品信息,以供参观者、研究者随时访问,补充实地观展的不足,满足人民群众不断增长的精神文化需求。

7.2 兵马俑增强现实展示

数字博物馆和互联网上的文物信息都仅以传播文物知识和欣赏历史文物为目的。但是其展示方式缺乏多样性,也无法让人们,尤其是文物爱好者体验到互动的乐趣。因此,开发和设计更具互动性的历史文物展示渠道和传播历史文化的方式是必要的[50]。目前,随着技术的不断革新,增强现实(augmented reality,AR)技术可以为展示文物提供逼真的、多功能的交互[6]。使用增强现实展示应用时可以体验真实感,如图9所示,可以让兵马俑模型以三维立体的方式呈现在人们的眼前,然后，添加缩放旋转等功能,让人们可以了解到文物的方方面面。

图9 AR兵马俑展示效果Fig.9 The display of AR Terracotta Warriors

为了让兵马俑模型出现在恰当的位置(地面上)与用户合影留念,因此，项目组使用了一个通过自适应单目惯性SLAM[51]设计优化的实时增强现实系统[52],并在这个基础上,对稀有的3D点云也进行了深度信息稠密化和平面识别检测。实现模型可以自动识别地面并达到展示的目的,最后,介绍本研究所对扫描到的部分兵马俑模型利用新技术进行AR展示的结果,如图10所示。

图10 SLAM-AR兵马俑展示效果图Fig.10 The display of SLAM-AR Terracotta Warriors

8 结语

本项目组自20世纪90年代开始进行文物数字化保护相关研究,经过近30年的探索,在古人面貌虚拟复原、复杂外观文物数字化、考古遗址场景建模与展示、考古过程记录与应用、破损破碎文物虚拟修复、文物碎片自动分类、文化遗产的数字展示传播7个方面取得了系列成果，并且各项成果也已在诸多文物保护单位及考古现场推广应用。

在总结前期成果的优劣势并研究与思考当前层出不穷的新需求的基础上,项目组将进一步致力于结合计算机前沿技术(如人工智能、计算机视觉等)与考古学、文物保护等学科的交叉研究和应用,如智慧博物馆相关技术、戏曲的三维动画生成及全息展演等。