基于点云和高清影像数据的文化遗产多分辨率三维重建

朱 黎，胡 涛，郑明辉

(湖北民族学院，湖北 恩施 445000)

基于点云和高清影像数据的文化遗产多分辨率三维重建

朱 黎，胡 涛，郑明辉

(湖北民族学院，湖北 恩施 445000)

以不同类型的文化遗产为研究对象，提出了基于点云和高清影像数据的文化遗产多分辨率三维重建方法。该方法首先阐述了基于三维点云和高清影像数据的文化遗产三维重建的流程，然后提出了一种基于地理位置的不同分辨率遗址文物模型融合与展示方法。本文将该方法用于世界文化遗产——唐崖土司城遗址的虚拟展示，按照文物虚拟化方法精细重建了石人、石马、牌坊等文物模型，并且实现了文物模型和遗址模型的融合展示。

文化遗产数字化展示；点云获取；模型重建；模型融合

随着国民素质的不断提高，文物文化遗产越来越受到社会各界的关注。运用数字化技术、虚拟化技术保护和传承文化遗产这一科学问题越来越受到学术界的重视。目前较常用的文化遗产展示技术主要为基于虚拟模型的文化遗产数字化展示。

在基于虚拟模型的文化遗产数字化展示方面，主要是通过重建逼真的文化遗产虚拟化模型，从形态、纹理等方面展示文化遗产内涵。李德仁院士阐述了虚拟现实技术在文化遗产保护中的应用[1]，胡伟爔等从数字化获取和数字图像处理角度对世界自然文化遗产保护关键技术作了全面的描述，并且指出了利用激光扫描仪可以获得精确和完整的点云数据[2]。师国伟等提出了利用增强技术把虚拟物体有机地融合到真实环境中[3]，并且研发了数字圆明园增强现实系统，但该文献并没有阐述设计大范围虚拟场景的方法。朱庆等利用GIS三维可视化技术实现了建筑文化遗产的逼真化展示[4]，并且设计了基于不同建筑尺寸的LoD数据集成管理方法，但该文献未对如何在同一场景中动态展示不同尺寸文化遗产模型的问题进行说明。潘志庚等设计了一种基于B/S结构的文化遗产虚拟展示系统[5]，并且以二维动画和漫游技术为基础建立了京杭大运河虚拟展示平台。周国奎等利用无人机航摄等测绘手段对某王陵进行了三维数字化重建[6]。

从上述文献可以看出，较多的学者都是从设计文化遗产数字化展示系统角度出发，对所涉及的关键技术作了全面描述，很少提及如何虚拟地动态展示文化遗产的纹理细节。本文针对文化遗产的多样性和复杂性的特点，重点研究了如何在同一场景中完成不同精度的文化遗址数字虚拟展示。

1 基于点云和高清影像的文化遗产多分辨率三维重建

本章将重点阐述如何利用高密度的点云数据和大尺寸的高清影像数据重建文化遗产三维模型，对点云融合、模型网格化、曲面拟合等文化遗产三维重建关键问题提出了解决办法。在重建不同精度的遗址文物三维模型后，阐述了基于地理位置的多分辨率遗址文物模型的融合方法[7]，为在同一场景中动态地虚拟展示多分辨率文化遗产提供了解决方案。

1.1 基于点云数据和高清影像的文化遗产三维重建

通过激光扫描仪和高清影像设备采集文化遗产的点云数据和多角度高清影像数据后，首先需要对点云数据进行处理加工以生成文化遗产三维模型，然后在UV坐标系下利用高清影像数据完成文化遗产的纹理映射。基于点云数据和高清影像的文化遗产三维重建的流程如图1所示。

图1 基于点云数据和高清影像的文化遗产三维重建流程

对于遗址和文物，本文都采用了多站激光扫描技术获取遗址文物的初始点云数据。首先对每一站点云数据进行双边滤波[6]，通过将噪声点沿点的法矢方向移动，不断地修正由于操作、遮挡等因素引起的较小噪声。点云数据的双边滤波原理公式为

(1)

融合后的点云数据具备了高密度的特点，虽然可以最大限度保证重建模型的纹理细节，但对计算机处理能力提出了较高的要求。在保证重建模型质量的前提下，使用基于曲率采样的点云数据稀释方法减少单位体积内的点云数量[9]，降低点云数据的密度，从而提高点云处理的速度。根据点云坐标提取点云X-Y边界，估算所有点云的曲率，并且估算点云曲率阈值和曲率极值；根据当前点云及其κ-最近邻域点的曲率大小确定当前点的精简距离，从而计算整个点云数据的精简距离；最终通过遍历整个点云，在曲率变化大的部分对应较小的精简距离，在曲率变化小的部分对应较大的精简距离，从而实现点云数据的稀释。图2为唐崖土司城遗址张王庙左石人点云数据采用基于曲率采样点云数据稀释的对比图。

利用基于曲面warp的方法对经过稀释后的点云数据集进行网格化，建立遗址文物的三维网格化模型。基于warp的点云数据三角化方法利用形变的超二次曲面对点云数据集进行曲面拟合，实现了曲面与输入点云数据集较好的近似匹配。在曲面拟合过程中，离散的点云数据到超二次曲面的距离越近，三角化的模型精度就越高。由于在点云数据三角化的过程中会存在三维模型孔洞现象(如图2(c)所示)，通过人工交互的方式对三角化模型中存在的孔洞进行识别，并利用优先前序网格技术(AFM)[9]建立空洞初始化匹配网格，然后通过解泊松方程计算初始化匹配网格中所有顶点的新坐标，经过多次迭代，实现对网格孔洞的填补(如图2(d)所示)。

采用NURBS曲面拟合方法对修补后的遗址文物三维网格进行曲面拟合[10]，实现遗址文物模型的三维曲面重构。NUBRS曲面拟合方法是根据已经具有拓扑结构的模型三维网格利用最小二乘非均匀B样条[15]推导曲面的控制顶点Di,j和对应权值Wi,j，从而得到遗址文物模型的在水平方向u和垂直方向v的曲面参数方程N(u,v)。

建立遗址文物在NUBRS曲面方程后，利用UV映射创建二维纹理坐标将图像纹理映射到曲面网格。由于在采集遗址文物点云数据过程中完成了遗址文物的高精度影像数据的采集，然后利用控制顶点和对应影像数据的纹理坐标，确保了模型细节上的纹理完整性，最后通过纹理渲染制作出具有真实感的文物三维模型(如图2(e)所示)。

图2 基于点云数据和高清影像的文化遗产三维重建过程示例

1.2 基于地理位置的不同分辨率遗址文物模型整合

本文利用遗址文物的绝对位置坐标，完成不同分辨率遗址文物模型的数据融合[10]，实现了在同一场景下不同精度的遗址文物模型整合展示。遗址文物由于占有一定范围，需要进行多站的扫描，采用卫星定位手段进行多站的绝对定位。利用三维激光扫描仪进行遗址文物扫描过程中，可以获得扫描仪所处的地理位置信息{φ,λ,l}，其中，φ为经度信息、λ为纬度信息，l为海拔高度。根据空间参照系统理论，在进行地理坐标匹配时，需要将球面经纬度坐标转换成投影平面坐标。考虑到遗址文物三维模型融合需要利用高度信息完成各自模型在Z轴上的匹配，将扫描仪的海拔高度l转换成三维投影空间的Z轴坐标。由于需要多次扫描才能完成遗址文物的三维数据获取，在进行地理位置信息向三维投影空间转换之前，需要利用n站扫描仪地理位置信息确定扫描对象中心点的近似地址位置信息{φo,λo,lo}，转换公式如下

(2)

假设对m个模型按照地理位置进行融合，利用高斯-克吕格投影理论[11-12]，第j个模型中心点的三维投影空间坐标为

(3)

图3 遗址文物模型坐标变换示意

2 文化遗产三维模型重建实例

基于本文提出的基于点云和高清影像的文化遗产三维模型重建流程，对世界文化遗产——湖北唐崖土司城遗址的核心遗址文物进行了数字化重建和展示等试验。传统的分离式遗址文物虚拟展示，不仅不能完整地展示整个遗址的整体风貌，而且将遗址文化内涵进行了人为的分割。针对这种现象，本文在对唐崖土司城遗址和文物进行三维虚拟化的基础上，基于遗址地图和文物绝对位置，将遗址和相关的文物进行了三维虚拟融合。首先根据地理位置坐标将不同精度的遗址和文物模型归一到同一三维虚拟空间中，然后利用虚拟漫游等展示技术实现了同一空间中不同精度的虚拟遗址文物模型的展示。图4(a)、(b)为左右石人文物精细文物模型实例；图4(c)、(d)为张飞庙遗址模型与石人石马文物模型的融合展示效果图，从图中可以看出高分辨率的石人石马模型较张飞庙遗址模型具有更为逼真的细节纹理；图4(e)、(f)是衙署区遗址模型与“荆南雄镇”牌坊文物模型的融合展示效果图，从图中也可以清楚地看出牌坊的纹理较遗址的纹理更为丰富和逼真。总体上来看，多分辨率遗址文物模型融合与展示技术在保证了遗址完整性的前提下，充分突出了遗址上关键文物的细节和特点。

图4 多分辨率遗址文物模型融合与展示效果图

3 结 论

本文针对文化遗产的数字化展示问题，提出了基于点云和高清影像的多分辨率三维模型重建流程和方法，该流程包括点云数据的预处理、多站点云数据融合、点云稀释(采样)、点云三角化、三维模型修补、三维模型曲面重建和三维模型纹理映射整个过程。最后针对不同精度的三维模型如何在同一虚拟空间进行展示的问题，设计了一种基于地理位置的多分辨率遗址文物模型融合的方法，利用在获取三维点云过程中的激光扫描仪的经纬度坐标和海拔高度信息，确定了不同精度模型的近似中心点在同一三维虚拟投影空间的三维坐标。本文最后从文化遗产的三维重建、遗址模型与文物模型融合等多方面验证了提出方法的可用性，并为同类型文化遗址的虚拟展示提供了参考。

[1] 李德仁. 虚拟现实技术在文化遗产保护中的应用[J]. 云南师范大学学报(哲学社会科学版), 2008, 40(4):1-7.

[2] 胡伟爔, 潘志庚, 刘喜作,等. 虚拟世界自然文化遗产保护关键技术概述[J]. 系统仿真学报, 2003, 15(3):315-318.

[3] 师国伟, 王涌天, 刘越,等. 增强现实技术在文化遗产数字化保护中的应用[J]. 系统仿真学报, 2009, 21(7):2090-2093.

[4] 朱庆, 卢丹丹, 张叶廷. GIS三维可视化在数字文化遗产中的应用[J]. 测绘科学, 2006, 31(1):55-57.

[5] 潘志庚, 沈华清, 陈胜男,等. 文化自然遗产数字化与保护——漫游京杭大运河[C]∥ 世界遗产论坛暨全球化背景下的中国世界遗产事业学术研讨会. 南京：[s.n.]，2008.

[6] 周国奎, 张帆, 张慎满,等. 靖江王陵三维数字化系统设计与关键技术研究[J]. 测绘通报, 2015(8):105-109.

[7] 段伟, 闫利. 融合图像的频率定量分析及其空间分辨率的确定方法[J]. 测绘学报, 2016, 45(6):691-697.

[8] 毛华超, 彭功状, 张和明,等. 面向模型粒度控制的多分辨率建模方法[J]. 系统仿真学报, 2015, 27(11):2630-2637.

[9] 公羽, 吕志鹏. 基于双边滤波的点云数据预处理方法[J]. 测绘与空间地理信息, 2016, 39(1):125-127.

[10] ZHAO W, GAO S, LIN H. A Robust Hole-filling Algorithm for Triangular Mesh[J]. The Visual Computer, 2007, 23(12): 987-997.

[11] 曹娟, 欧阳永昇, 陈中贵,等. 非均匀B样条曲面的自适应节点设置方法[J]. 计算机辅助设计与图形学学报, 2015, 27(1):60-67.

[12] 李崇瑞, 张锦, 肖杰. 应用TLS点云数据确定边坡特征对象区域和形变分析[J]. 测绘通报, 2016(7):94-97.

[13] USINKIEWICZ S, LEVOY M. Efficient Variants of the ICP Algorithm[C]∥Proceedings of Third International Conference on 3D Digital Imaging and Modeling. [S.l.]: IEEE, 2001: 145-152.

[14] NURUNNABI A, WEST G, BELTON D. Outline Detection and Robust Normal-curvature Estimation in Mobile Laser Scanning 3D Point Cloud Data[J]. Pattern Recognition, 2015, 48(4): 1404-1419.

[15] MALING D H. Coordinate Systems and Map Projections[M]. [S.l.]: Elsevier, 2013.

[16] 袁修孝, 张雪萍, 付建红. 高斯-克吕格投影坐标系下POS角元素的转换方法[J]. 测绘学报, 2011, 40(3):338-344.

3DModelMulti-scaleReconstructionBasedonCloudPointandHDVideo

ZHU Li,HU Tao,ZHENG Minghui
(Hubei University for Nationalities, Enshi 445000, China)

In this paper, we propose a 3D model reconstruction for different types of cultural heritage based on cloud point and HD video. The three-dimensional reconstruction technology with multi-resolution on the basis of three-dimensional point cloud and high definition image data is described firstly. Then, we describe the method of cultural relics model fusion and display based on location. In this paper, the proposed method is employed to display of Tangya Tusi castle ruins which is the world’s cultural heritage. Shiren, shima, arches and other relic’s model were rebuilt according to the fine cultural relics virtual reconstruction method. Through model fusion the multi-resolution digital presentation for Tangya Tusi castle ruins was completed.

digital presentation for cultural heritage; point cloud acquisition; model reconstruction; model fusion

朱黎，胡涛，郑明辉.基于点云和高清影像数据的文化遗产多分辨率三维重建[J].测绘通报，2017(10)：111-114.

10.13474/j.cnki.11-2246.2017.0326.

2017-06-08；

2017-09-01

国家自然科学基金(61562025)；国家科技支撑计划(2015BAK27B03)；恩施州科技计划(XYJ2016000155)

朱 黎(1984—)，女，讲师，研究方向为民族文化数字化保护，激光扫描测量，数字图像处理。E-mail: lier_zhu@163.com

P234

A

0494-0911(2017)10-0111-04