基于近景摄影测量法的非遗三维数字模型生成与优化研究
——以石市竹木雕为例
2022-11-15王巍陈玉彬吴雨珩
王巍,陈玉彬,吴雨珩
石市竹木雕工艺是湖南省级非物质文化遗产(以下简称非遗)。石市位于湖南省衡阳市衡阳县的东北部,曾被授予“中国民间文化艺术之乡”的称号。早在秦汉之前,石市便开始了竹木雕的制作,至汉代时,已经具有相当的规模和水平,在长沙马王堆汉墓中就发现了石市竹木雕工艺品。明清时期,石市竹木雕工艺的发展走向顶峰。石市竹木雕工艺距今已有 2 000 多年的历史,如今正逐步走向凋敝,抢救和保护石市竹木雕刻不容缓。笔者认为,通过数字技术手段保护石市竹木雕工艺的传承与发展,是当下非常重要的研究课题。
一、石市竹木雕数字化的研究背景
(一)石市竹木雕工艺概况
竹木雕以楠竹竹根和黄杨木为主要原材料,以雕、刻、锉、磨等方式对其进行艺术加工。竹木雕的题材以《山海经》中的神话故事、佛教人物等内容为主。根据雕刻工艺的不同,竹木雕可以分为一体成型竹木雕、镂空雕刻竹木雕、组合式竹木雕,以及异形式竹木雕四类(见图 1)。一体成型竹木雕由一整块竹根雕刻而成,雕刻的人物大部分为半身像且竹根直接连至底部,身上无镂空雕刻;镂空雕刻型竹木雕会在作品底部单独刻出一个底座,上方雕刻人物或动物,其腿部与底座一体相连,腿的部分通常作挖空雕刻处理;组合式竹木雕通常会用一块竹根打造一个带有凹槽的底座,在另一块竹根上雕刻图案的内容,然后将两块竹根进行组合展示;异形式竹木雕是以生长过程中变形的竹体部分为原材料进行雕刻,异形竹根是一种比较稀有的原材料,雕刻图案时需要适应竹根的形状。因此,制作出的成品根雕艺术价值最高。
图1 石市竹木雕工艺的分类①
笔者通过实地走访调研发现,对于石市竹木雕工艺而言,其传承与发展存在资源开发不够、发展道路单一以及同行交流过少等问题[1]。而本文所讨论的近景摄影测量法能为以梁丰助为代表的石市竹木雕非遗传承人所做的工艺品,打造一个完整的三维数据库和面向全球观众的线上三维数字化平台。通过三维数据库和线上三维数字化平台,不仅可以弘扬与传播石市竹木雕,而且可以为与石市竹木雕研究相关的高校教师与非遗科研工作者提供丰富的学术资料。
(二)国内外三维数字化应用的现状
互联网时代下的数字化技术飞速发展,出现了三维数字化、虚拟现实、增强现实、混合现实等新型媒体展示技术,这些新技术不但可以对石市竹木雕等非遗工艺进行详尽的记录,而且能对这些非遗进行广泛的传播。
近景摄影测量法是实现非遗三维数字化记录与保存的重要手段之一,国内外对近景摄影测量法的理论研究均较为完善。国外研究中,Leitch L.R等[2]将近景摄影测量法用于测量非接触型的大型建筑,通过采集常规操作下较难收集到的数据,实现大型建筑的三维数字化重现。Miles H.C[3]及其团队采用近景摄影测量法,采集英国威尔士巨石纪念碑的三维数据并对其进行三维数字模型重建,旨在开发共同文化遗产(Heritage Together)保护项目。Hanan H等[4]将近景摄影测量法运用在传统房屋的三维数据采集中,通过创建传统房屋的三维数字模型,实现文化遗产的保护计划[4]。国内研究中,廖无双[5]系统地研究了传统多边形建模的局限性,对比了近景摄影测量法与三维激光扫描的优缺点,并以Agisoft Metashape和Trnio两款基于近景摄影测量法的三维数字模型重建软件为例,阐述了这两款软件的基本工作流程。陈浩智等[6]利用近景摄影测量法实现了油画的三维数字化。
通过对比国内外对近景摄影测量法的研究发现,国外偏向于利用近景摄影测量法保护建筑等大型文化遗产,这些建筑的细节纹理较为简单,如需还原建筑内部的结构,则需要通过人工进行后期的三维制作,需要大量的专业后期制作人员。而国内的研究大多是综合利用多种三维数字化采集方法制作较为精细的模型,或者直接利用摄影平面贴图的方式来还原文物,但这些方法在日常的实践和精细的三维数字模型制作中,仍然存在很多缺陷。
对于非遗的弘扬与传播,三维数字化平台起到了至关重要的作用,通过利用三维数字化平台,国内外对非遗保护的探索有了进一步的发展。例如,苏州博物馆推出的线上三维数字展厅收录了近 50 件馆藏文物[7],观众可以在线查看这些文物的三维数字模型(见图 2)。故宫博物院近几年推出的“数据文物库”公开了故宫 52 558件(套)文物影像资料,另一个“数字多宝阁”项目存储了故宫 180 余件器物的三维数据[8]。“Malopolska虚拟博物馆”项目对波兰博物馆的 1 000 多件历史文物进行了三维扫描与线上展示,同时该项目致力于公共领域的收藏,展示的三维数字模型涵盖了雕塑、建筑、家具、装饰、服装、照相机、仪器、机械,甚至还有动物标本等非常广泛的主题。“东盟文化遗产数字档案”项目将马来西亚、印度尼西亚、泰国三个国家的博物馆精选藏品进行了三维数字化,并将其展示给公众(见图 3)。
图2 苏州博物馆的线上三维数字展厅与故宫博物院的“数字多宝阁”项目
图3 “东盟文化遗产数字档案”项目的三维数字化展示
上述博物馆运用了三维数字化展示其馆藏文物,实现了线上宣传和教育的目的。但就目前三维数字化的发展现状来看,仍然存在一些问题。例如,苏州博物馆的线上三维数字展厅展示的文物并非真实的三维数字模型,而是由多张图片序列合成的HTML5网页,这导致线上数字三维展厅存在文物展示页面的载入时间长、交互性能低、观感不流畅等问题。故宫博物院的“数字多宝阁”项目无论是在电脑端观看还是在手机移动端观看,均有良好的展示效果,但唯一的缺点是其网页三维窗口中的摄像机交互为线性,线性的动画略显生硬,使得观感的流畅度降低。“Malopolska虚拟博物馆”项目与“东盟文化遗产数字档案”项目的三维数字模型展示精度较高,三维数字模型的制作以人工建模为主,以摄影测量与激光扫描的方法为辅,成本较高。
为了让石市竹木雕工艺得到更好的传承与发展,使石市竹木雕的三维数字化保真度更高、网络展示交互性更好、制作成本更少,笔者提出了基于近景摄影测量法的低成本、高保真的三维数字模型重建与PBR贴图的制作方法。通过改善数据采集的方法,得到高精度的高动态范围图像,用于石市竹木雕的三维数字模型重建。通过Reality Capture图像三维建模软件进行点云计算,得到石市竹木雕的高细节模型和高细节基础色贴图,然后进行纹理化和规则渲染,得到不同精度规格的 PBR 贴图,最终实现低成本、高质量的石市竹木雕三维数字模型,并用于多维度的互联网传播。
二、基于近景摄影测量法的三维数字模型生成
(一)近景摄影测量法
摄影测量是一种通过测量和分析文物的二维照片来确定其三维几何形状的技术[9]。摄影测量法属于三维扫描技术中的一种,而三维扫描技术主要指集光、机、电和计算机技术于一体的高新技术,主要是对文物的外形和结构进行扫描,以获得文物表面的空间坐标[10],扫描后的数据能用于文物的三维数字模型重建。
国内外现有的三维扫描技术主要分为结构光三维扫描技术、激光扫描技术、CT扫描技术和近景摄影测量法四类(见图 4)。结构光三维扫描技术一般配备体积较小的手持设备,难以捕捉尺寸过大的文物[11],并且结构光三维扫描设备的市场价格较为昂贵。激光扫描仪的价格也较为昂贵,且市面上大多数激光扫描仪都是单色激光,所形成的文物模型缺少色彩纹理[12],不能较好地还原文物本身,同时,激光很有可能会对文物表面产生不可逆的损伤。CT扫描设备的体量与重量都较大,不易携带且成本较高[13],不能满足小型文物的三维数字模型重建。近景摄影测量法是一种低成本且便携的技术,也可用于制作纪念碑、遗址等大型文化遗产的三维数字模型[14]。近景摄影测量法从微观模型到城市景观都可以捕捉,适用于石市竹木雕等非遗手工艺品的扫描与三维数字模型重建。
图4 三维扫描技术成本预算对比
非遗是中华优秀传统文化的重要组成部分,非遗的保护与传承对延续历史文脉具有重要意义。对于非遗手工艺品而言,利用近景摄影测量法可以对其进行毫米级的精度记录,并且能完整地记录非遗手工艺品表面的肌理和材质的特点,同时能在最低成本的情况下完成非遗手工艺品的三维数字模型重建。近景摄影测量法采用的是面光技术,其应用的光源主要是白光,工作过程类似于照相,扫描文物时能够快速扫描一个测量面,一般在几秒内便可以获取百万个测量点,通过多视角的测量数据拼接,可以完成对文物的 360°扫描和数据采集。同时,近景摄影测量法采用的是像素对比技术,依据三角函数原理向文物投射一系列的光线组合,然后通过检测光线的边缘来测量文物细节之间的距离。像素对比技术需要运用高分辨率相机,利用立体相机的测量原理,在极短的时间内获得物体表面高密度的三维数据,再利用参考点拼接技术,将不同位置和角度的三维数据自动对齐,进而获得完整的扫描结果,实现三维数字模型的重建。
(二)图像信息收集
在近景摄影测量法重建三维数字模型的工作流程中,第一步就是收集图像的信息,这需要对被扫描的文物进行数字图像的采集,采集的是二维数据,这是生成三维数字模型的基础。笔者使用的是索尼A-6500无反相机,采用等效全画幅 50 mm的光学镜头,以保证采集的图像不会出现广角畸变、桶形或枕形畸变等问题。由于被扫描文物的尺寸较小,因此需要放入室内摄影棚进行图像收集工作。室内摄影棚的尺寸为80 cm×80 cm×80 cm,其外壳是帆布材质,内衬为反光板材质,可以较好地反射光线,使被扫描文物的四周都有均匀的光照条件。在拍摄的过程中,应确保图片对拍摄对象有足够的覆盖范围,并且拍摄的图片之间有足够的重叠。对于石市竹木雕来说,其细节非常丰富,因此需要拍摄大量的图片来补充细节,以保证图片的重叠。笔者以横向每 15°为一个单位,对作品进行 360°的拍摄,纵向拍摄为俯拍、平拍、仰拍三个方向,并且还额外增加了一些特写细节的拍摄,以保证在三维数字模型重建的时候,能够准确还原物体镂空处的几何细节与纹理细节。
本研究以石市竹木雕工艺品《刘海戏金蟾》为例,对其进行近景摄影测量的数据采集实验(见图 5)。笔者在对这件工艺品进行拍摄的过程中,根据竹木雕的自身特点和细节分布,对其三个纵向角度和每 15°的横向角度进行了拍摄,共拍摄了 128 张图片,确保能覆盖其每个角度的细节。在实际操作过程中,每个被采集的文物都各有特点。因此,对不同的文物要有不同的采集角度和补拍细节,细节越多的地方,拍摄的角度也要越小,拍摄的图片越丰富,重建的三维数字模型才越逼真。相反,文物细节少的地方可以适当放大角度,减少拍摄图片的数量,这样也能加快后期计算机运算的速度,提高工作效率。
图5 石市竹木雕工艺品《刘海戏金蟾》的摄影测量数据采集实验
(三)图像对齐
近景摄影测量法,通过三维数字模型重建软件对已知内参数的相机拍摄的具有一定重叠度的影像序列进行处理,计算出文物表面点在空间中的三维坐标,实现文物三维数字模型的重建[15]。因此,在完成文物信息采集工作之后,需要将图片放入三维数字模型重建软件中进行处理和重建。笔者使用的是Reality Capture图像三维建模软件,可以对全部图片进行选择处理,但同时需要删除一些因为抖动而产生的模糊、虚焦、暗部噪点过高与白平衡偏移的图片,避免生成冗余点云。在确保所有图片都是清晰准确的之后,再进行图像对齐,在这一步骤中,Reality Capture图像三维建模软件会将每一张图片与前后图片的细节进行重叠和像素对比,结合相机传感器数据与镜头数据等参数,自动反求出拍摄时相机的相对位置,并根据对齐结果计算出被摄场景的三维点云数据。三维点云数据是生成多边形模型的必要前提,可以将其看成是几何多边形的顶点,将这些顶点连起来就会构成完整的多边形模型。在获取了足够多的三维点云数据之后,需要对三维点云数据进行进一步的处理,具体步骤为手动选择生成区域和重建的文物,然后删除多余的三维点云数据,便于后续的三维数字模型重建工作。
图6 为石市竹木雕工艺品《刘海戏金蟾》的三维点云数据与运算报告。三维点云数据形成了石市竹木雕工艺品最原始的模型,观察模型点云的大概轮廓和细节点云是否呈规律排列,可以判断出数据采集是否准确,或者是否需要增加拍摄来完善细节点云。运算数据报告的生成也便于我们进行后续的三维模型重建,报告显示,在生成石市竹木雕工艺品《刘海戏金蟾》时,可以得到 444 562 个顶点数,生成的三角面数量为 1 288 657 个,通过这些数据能帮助我们在后期重建三维数字模型时进行较快的优化。
图6 石市竹木雕工艺品《刘海戏金蟾》的三维点云数据与运算报告
(四)几何模型重建
在几何模型重建这个步骤中,我们需要设定重建模型的细节等级,此处笔者选择Reality Capture 图像三维 建模软件中的高细节重建,这样可以最大化利用点云数据,生成尽可能多的顶点,也会让模型细节更加真实地还原文物本来的样子。经过电脑运算之后,便可以得到一个精度极高的几何模型(见图 7),从高级模型中能清楚地看到模型的细节与棱角,且在光滑的地方没有凸起和冗余。通过点云的计算所解算出的模型结构非常接近现实模型。
图7 石市竹木雕工艺品《刘海戏金蟾》的高级模型
三、基于近景摄影测量法的三维数字模型优化
高精度模型生成之后,其表面并没有纹理贴图,且所占的内存较大,不便于网络在线加载与传播。因此,需要对三维数字模型进行进一步优化,优化后的三维数字模型所占内存小且更为精细,保真度也更高。三维数字模型优化的主要步骤包括纹理化模型、模型重拓扑处理和基于 PBR 工作流的模型贴图制作。
(一)纹理化模型
三维数字模型重建生成了高精度模型,但其完整的表面纹理信息也是三维数字模型的关键部分,不仅可以作为资料,用于文物颜色、材料的研究,而且可以作为数据测量的依据[16]。所以三维数字模型优化的第一步就是纹理化模型。在纹理化模型之前需要两个前置步骤,即简化与拆分UV贴图。在前置步骤中,目标模型的面数需要手动设置。在本案例中,笔者设置的目标面数为 200万面,这个数值既能很好地保留绝大部分三维数字模型的几何细节,又能大大加快运算速度与体积压缩,便于网络传播。在简化完三维数字模型之后,需要进一步对模型进行 UV 贴图的拆分,这样可以在三维空间内定义二维贴图的位置。完成前置的简化与拆分UV贴图的步骤之后,便可进行纹理化处理,此时Reality Capture图像三维建模软件会将之前高精度照片上的纹理信息一一对应到拆分好的UV贴图上,并且最终输出一张 16K像素的完整基础色贴图。
图8 为石市竹木雕工艺品《刘海戏金蟾》纹理化前后对比图。本案例中,笔者结合实际情况,选择输出 8K 分辨率的贴图,像素高达 6 400 万,输出纹理化后的模型比原模型增加了文物的真实材料属性。高清的纹理化模型可以显示出逼真的竹子材料,如细微的竹纹和虫洞等,很有质感。
图8 石市竹木雕工艺品《刘海戏金蟾》纹理化前后对比图
(二)模型重拓扑处理
纹理化模型之后,高精度模型与高精度贴图都已经完成,可以对三维数字模型进行存档保留,但是对于石市竹木雕工艺品的传播与活用来说还远远不够。为了适应电脑端、手机移动端的传播,以及虚拟现实、混合现实的支持,需进一步将模型的面数减少,同时需要对模型进行重拓扑处理。未重拓扑处理的模型表面结构线排布毫无规律,一般有着庞大的顶点数量与三角形数量。如此庞大的数据会导致模型在互联网端的传播非常缓慢,而且没有经过优化的原始模型对计算机的性能会有较高的要求。因此,有必要对此状态下的模型与贴图进行进一步的优化。
为了进一步优化纹理化后的模型,需要将模型导入三维软件中进行重拓扑处理。笔者选择的三维软件为Blender,将纹理化后的模型与贴图导入Blender软件中进行操作。具体方式为打开软件的顶点或者表面捕捉选项,使用多边形画笔在模型的表面重新绘制一个低面体的模型,处理后的模型要达到结构规整且全为四角面结构线排布。
本案例中,对模型进行重拓扑处理后,得到一个 75 000 面的低级模型,相比重拓扑前的模型,重拓扑后的模型棱角和起伏的结构细节都已经消失。因为此时的模型结构线排布规整,所占内存也大大减小,更适合网络传播,以及后续模型贴图的优化制作,同时还能节省计算机的计算空间,提高单个模型的制作效率。
(三)基于PBR工作流的模型贴图制作
1. PBR工作流
模型贴图的制作阶段,需要采用PBR工作流(见图 9)。PBR是一种基于真实世界光的物理特性渲染算法[17],是计算机图形学发展到一定程度,为解决传统三维渲染工作流中不真实的问题,而产生的一种新型渲染工作流。简单来说,PBR 工作流的特点是具有两种属性,即灯光属性和表面属性,通过加强这两种属性,可以使三维数字模型更加接近文物本来的样貌。
2. 模型贴图制作
为了高质量还原模型本身的材质特点与颜色信息,使模型更为精细且真实,一般需要制作四类贴图,即基础色贴图、法线贴图、粗糙度贴图与环境光遮蔽贴图。基础色贴图主要是还原物体的颜色与图案;法线贴图能更好地还原物体的细节,如微小的面部轮廓与细小的裂缝;粗糙度贴图能还原物体的材质,如竹木雕上清漆的光泽度还原;环境光遮蔽贴图不仅可以改善模型漏光和阴影不实等问题,也可以改善场景中缝隙、褶皱、墙角、角线以及细小文物表现不清晰的问题,还可以综合改善细节尤其是暗部阴影细节的问题。
具体的模型贴图制作步骤为:在重拓扑之后,还需手动拆分 UV 贴图。因为模型在重拓扑之后,会破坏原有的UV贴图结构,此时的原始模型贴图已经不适用于新模型,所以有必要对重拓扑过的模型进行 UV 贴图的拆分,以便适应之后的模型贴图制作。在拆分UV贴图的过程中,要注意缝合线尽量选在物体的转折处,这样可以避免模型贴图制作时出现接缝等问题。得到UV贴图的信息后,还需要将高级模型与低级模型完全对齐,然后将高级模型上的基础色信息烘焙到低级模型上,烘焙后就得到了基础色贴图。除此之外,由于低级模型损失了大量的几何结构细节,因此,需要烘焙一张法线贴图,以还原高级模型的几何细节。可以使用之前的最高细节模型进行烘焙,得到法线贴图。而粗糙度贴图需要手动绘制,此步骤可在Photoshop图像软件中完成,根据物体表面的粗糙或光滑程度,用基础色贴图进行“去色”和“反相”的操作,用绘图工具将光泽部分加深,直至符合原物体的真实质感,再将处理好的图像导入三维软件的模型中,完成粗糙度贴图的制作。
图10 为基于 PBR 工作流的模型及其 4 张贴图。贴图制作这一步骤虽然借助了强大的PBR工作流,但也考验模型制作者的审美能力。本案例中,制作者需要调整基础色贴图的整体色调来还原竹木雕在自然光线下的真实质感,以及通过处理竹木雕的细节纹理来增强其木质材料的真实性。在粗糙度贴图的制作中,制作者需要对照真实的模型来绘制竹木雕表面清漆厚薄的程度和清漆自然风干的流动感等。所以贴图制作是还原模型真实性的关键步骤,借助PBR工作流可以大幅度的减少贴图制作的成本与难度,但也需要借助人力来进一步完善,以制作出符合需要的三维数字模型。
图10 基于 PBR 工作流的模型及其 4 张贴图
最后,将完整的 4 张贴图分别链接至三维数字模型上,基础的PBR渲染流程就完成了,此时的模型既逼真又可以很好适用于网络传播。
四、基于近景摄影测量法的三维数字模型的存储与活用
(一)三维数字模型的存储
最高细节的模型完成之后,可以将三维数字模型导出并存储到本地的数据库中。由于这一模型的数据量过于庞大,一般超过 5GB,因此很难对其进行其他操作,但是由于三维数字模型高精度的特性,可以对其进行 3D打印、照片级渲染、离线展示等操作,也具有一定的研究价值。
(二)三维数字模型的活用
三维展示是一种将原本静态的物质转为动态,物质实体转向非物质实体,从现实转为虚拟的展示手段,这种展示方式将科技与艺术综合于一身[18]。对于石市竹木雕来说,网络的三维展示是一个很好的传播方式。笔者选择了世界上最大的三维数字模型众包平台Sketchfab,这个平台可以在线对模型进行观看、下载、交互等多种操作,并且在模型完成上传之后,会生成一个链接进行对外分享。以数据库的方式集中遗产数据是文化遗产保护的一贯做法,数字技术的广泛应用也为非遗数据库建设的规范化、网络化提供了技术支持和保障[19]。将石市竹木雕重建之后的所有三维数字模型数据通过 Sketchfab平台搭建成一个数据库(见图 11),并且在累计一定数量的数字资产之后,可以搭建一个线上数字博物馆,将所有的非遗数字资产分享到数字博物馆中,以达到广泛传播的目的。
图11 Sketchfab平台上的石市竹木雕三维数据库展示平台
五、结语
要想发展非遗事业,必须转变观念。只有推动文化与科技的融合,才能有助于打造文化遗产保护的新平台,拓展文化遗产的开发空间[20]。近景摄影测量法对于非遗的传承与保护来说,是一种非常重要的技术手段。传统的手工艺人与非遗传承人很难负担起三维数字模型重建工作的费用,目前也很少有专业团队愿意做这些工作,而近景摄影测量法的普及将改变这一现状。近景摄影测量法因其低廉的成本和优秀的效果,受到国外很多大学、科研机构以及个人的欢迎,并开始从事该研究工作,这无疑有益于非遗的保护与发展。
注释
①梁丰助先生是石市竹木雕的代表性传承人,也是梁氏竹木雕第五代传人。本文研究所使用的石市竹木雕工艺品均由梁丰助先生提供。