基于PTM模型文物纹理映射算法

刘 颖，刘 倩，李大湘，杨文宗

1.西安邮电大学 通信与信息工程学院，西安710121

2.中国科学院 西安光学精密机械研究所，西安710121

3.电子信息现场勘验应用技术公安部重点实验室，西安710121

1 引言

在计算机视觉及3D技术高速发展背景下，文物数字化得到了迅速普及和发展，在对文物数字化中，能否真实再现物体表面纹理细节，对于文物保护工作具有重大意义[1-2]。对于三维重建物体，物体的宏观结构仅决定着绘制物体的外观轮廓，而更精致的真实感图形绘制则需要考虑物体表面的细节纹理。但是在建模物体表面进行细节精确的建模是很困难的工作，而纹理映射技术可以用拍摄的表面细节图像贴在虚拟物体表面以很低的代价完成这一工作[3]。因此，物体在计算机中能否真实再现，表面细节绘制是关键所在。

纹理映射[4]（Texture Mapping）是将纹理空间中的纹理像素映射到屏幕空间中像素的过程，是绘制复杂场景真实感图形最为常用的技术之一。传统纹理映射，如环境纹理映射、几何纹理映射、法向纹理映射等，都是通过用拍摄的表面细节图像贴在虚拟物体表面形成纹理[5]。然而，由于纹理的来源一般是在现实中以某一特定视点位置，在特定的光照条件下拍摄到的照片，当把这个纹理映射到三维物体表面没有考虑虚拟场景中的光照条件时，此时合成环境中的光照与捕获原始拍摄对象的光照不一致，则生成的纹理将显得不正确、不真实。而且当原始捕获对象与算法模型在几何表面光照上由于计算误差而导致光照混合时，生成的纹理渲染将变得非常平坦和平滑，将更无法真实地再现物体表面的细节纹理。此外当物体表面具有较大凹凸变化，其自身导致的自阴影和互反射，也会使得渲染效果变得不再真实、细致。

多项式纹理映射[6-8]就是针对以上诸多问题所提出的一种解决方案，可以大大提高传统纹理映射方法的真实感，并且无需对复杂几何体进行建模。这种映射方式选择使用简单的双二次多项式独立地表示每个像素的表面颜色变化，以此保持色度恒定，并且允许在渲染期间快速重建颜色。其适当地再现了光源方向相对于物体对象变化的影响[9-12]，无论是对纹理映射对象的表面法线取向，还是改变光源的位置，所产生的自阴影、亚表面散射和互反射引起的强度和颜色变化，都可以由PTM捕获和建模。

基于原始PTM模型，Zhang等人[13]提出了利用最小平方残差中值（LMS）稳健回归来生成6维多项式模型，试图通过最小化残差的中值来将尽可能多的数据点拟合至该模型，通过正确识别的哑光像素来更准确地恢复表面法线，像素色度等。尽管利用LMS稳健回归可以实现更好的表面纹理重建，但该方法回归缓慢并会造成巨大的计算负荷。

此外Gautron等人[14-15]提出了使用源自球谐函数（SH）来模拟光照的PTM模型。利用球谐函数作为单位球面上的一组基函数替代原PTM模型中的多项式的基函数。但是，使用在整个球形域上定义的基函数SH来表示这种半球函数会在半球的边界处引入不连续性，并且需要大量的系数。且在大入射角的情况下，SH在边界点处的拟合效果会非常差。

为克服上述同类改进算法的不足，本文通过改进多项式的基函数和优化拟合系数来避免在实现高精度重建图像时所产生的较大的计算负荷、LMS所导致的缓慢回归及利用SH模拟光照模型在半球边界引起的不连续性等问题。实验证明本文提出的PTM优化模型实现了在表面纹理重建精度同等的条件下，具有更小的计算负荷和计算复杂度的优点。

2 光照模型

2.1 双向纹理函数BTF

双向纹理函数BTF（Bidirectional Texture Function），由Dana等人引入，描述在不同光照条件和视线方向下纹理的外表[16]。使用相机对景物进行平面采样，每像素的亮度是由光源方向和拍摄角度不同引起的，拍出的结果图像就是视点和光线的函数，如图1所示。显然，BTF的不同照片数据可以看作一个6维的反射域。

图1 测量双向反射分布函数BTF方位角示意图

平面采样的每一点和实际物体面上的每一点(u,v)以及在入射光(θi,ϕi)和出射光(θe,ϕe)方向上是分别相联系的。BTF获取综合光照条件下的景物图像，通过照片提供BTF采样，而在纹理空间的点采样只能保留4维的采样数据，要得到完整的数据需要大量的照片采样。

2.2 多项式颜色依赖性

受双向纹理函数BTF模型的推动[17-18]，多项式纹理贴图（PTM），是一种新颖的基于图像的纹理映射技术，用于在空间可变的照明源下重建物体表面的细节外观。PTM通过保持光照出口方向恒定，即反射角始终朝向固定摄像机位置，简化了光亮度计算。

即像素强度是入射光源的角坐标(θi,ϕi)和两个空间变量(u,v)的函数[19]。牺牲了捕获视图相关效果（如镜面反射）的能力，但保留了在表面上表示任意几何阴影和漫反射阴影效果的能力。获取固定视点的PTM采样原理如图2。

图2 PTM采样示意图与设备搭建图

对于纹理贴图中的每个纹素，需要为每个输入光位置存储颜色样本，这些图像中的一个冗余源，是在变化的光源方向上像素的色度恒定。在朗伯表面的假设下，每个像素的亮度随光源方向而变化，并且色度被认为是恒定的。

利用这种冗余模型，通过由亮度调制的纹素(Rn(u,v),Gn(u,v),Bn(u,v))来存储颜色信息，而每个像素的颜色又用角度相关的亮度因子L(u,v)调制，这使得光照亮度具有如下式所示的可分离性：

3 多项式纹理映射PTM

3.1 PTM原理

对于漫反射物体，发现即使对具有高频率纹理的物体，得到的渲染纹理结果也非常平滑。故选择使用双二次多项式来模拟这种颜色与亮度的依赖关系：

以相机为顶点定义一个局部坐标系，基于法线以及从局部纹理坐标导出的切线和副法线。其中是归一化光矢量到局部纹理坐标系的投影，是像素点合成的在该坐标处的合成表面亮度。系数存储了每张照片的纹素数据。

获取少量的不同光线方向条件下的照片，用它们合成近似表面的反射函数。这里图像上每个像素包括一个亮度信息，这个亮度是入射光线方向的函数。在固定视点拍摄一系列入射光线方向变化的照片，假定有N+1张图像，使用奇异值分解（SVD）[20]计算出L2范数中的最佳拟合，求解以下方程组的(a0-a5)。

L0～LN是根据变化的光线方向(Iu,Iv)对每像素测得的实际光亮度值，这些值由图像采样获得。(Iu0,Iv0)是第一次光线方向在本地纹理坐标系统中的投影，(Iu1,Iv1)是第二次光线方向在纹理坐标的投影等等。纹理图像每个像素对应一套反射系数，每个像素的多项式系数只计算一次，给定一系列不同光源位置的采样照片，这些系数由采样数据用方程（5）拟合求出后，为每个像素存储作为一个多项式纹理图，然后用方程（4）进行纹理像素值的计算，从而重构出一张具有多角度光照深度信息的PTM纹理图。

3.2 多项式拟合系数优化

原始PTM模型中借助(u,v,v2,u2,uv,1)作基函数所构造的光照方向矩阵I，该形式的基函数只能先通过扭曲非线性模型来适应线性数据，故无法良好地模拟真正的朗伯表面。上文方程式（3）所述的反射函数是基于亮度模型下的，该式中反射系数L可以通过将RGB彩色图像转变为灰度图像后采集亮度信息获得。若方程式（5）中的亮度信息求解良好，则求解出的双二次多项式拟合系数较为精确。但在较差光照环境下采集到的图像亮度信息可能分布不均匀，集中在较窄范围内，图像细节不够清晰，导致重建PTM复现图像效果不理想。

为解决以上问题，本文借助改进的基函数构造新光照方向矩阵I与灰度图像的直方图均衡化技术对由RGB图像转为灰度图后的亮度信息进行再均衡的改进，使图像的亮度信息在整体上分布更加均匀，从而达到改进拟合系数，克服非线性模型对线性数据的适应问题，使得PTM达到重建纹理更加精确的目地。

具体实现过程如下：

（1）利用改进的基函数(u,v,z,u2,uv,1)构造新光照方向矩阵I，其中。则原模拟这种颜色与亮度的依赖关系的二次多项式优化为：

（2）根据原始图像灰度计算灰度密度函数PDF，即原始图像直方图：

其中，nrN分别表示每个灰度级的像素个数和总像素个数。

（3）由（1）中PDF获得积累分布函数CDF，且原始图像灰度级概率密度的累积就是新图像灰度级的概率密度。

其中，k=0,1,2,…,255，为转换后图像的灰度级，这里最大取255。

（4）将CDF归一化至原始图像取值范围。

（5）对已知的CD进行取整操作，获得灰度转换函数：

（6）借助灰度转换函数对原始图像进行灰度信息再均匀。

经过上述操作使得建模对象反射系数L的获取更加精确，模型对线性数据的适应性更强，图像细节更加精细，进而对方程式（5）中求解得到的双二次多项式系数更为精确，最终使得凭借该多项式系数重建的PTM图像模型更为真实，细腻。

3.3 PTM的摄影采集

如一般的光度立体声领域所做的那样，在不同的光照条件下一般使用静态相机收集静态物体的多个图像。原始的PTM采集设备是用简单的合金框架搭建二十面体模型，手动将光源定位在每一面的中间位置，如图3所示。

图3 实验设备原始搭建图

由于原始采集设备如图3所示，较为简陋，拍摄框架模型光源数目太少，无法精确地获得重建物体的表面法线信息。此外设备没有外围遮光罩，导致采集图像在自然光下发生光照混合情况，近而使得法向光照定位不准确，重建效果不理想。因此Zhang等人设计了如图4所示立式PTM模型数据采集设备，充分扩充了光源数目，获得了较多且相比原始采集设备更加精确的重建物体的表面法线信息。虽然立式采集装置克服了原始采集设备的部分问题，但两个实验设备仍具有共同的不可克服的问题。即：

（1）面积大小的不统一，对光源中心设定与光源分布不均，产生影响。

（2）内部没有遮光涂层，物体表面反射与漫反射现象严重。

图4 立式实验设备图

综上存在问题，通过大量实验验证，提出了如图5所示的PTM摄影采集装置。该实验装置从一个固定视点来捕获图像集，采用一个通体涂满遮光材料的半球形模型。这样可以避免自然光以及内部光照产生的反射与漫反射光的负面影响。光源位置标定后，将光源固定在相对于样品的40个位置，采取独立开关控制每一个光源。将相机固定在半球装置的顶部位置，与所控制光源完成同步拍摄。拍摄物体与RTI工具箱的黑色斯诺克球一起放置在半球形模型内部的水平白色基板上，如图5所示。闪光灯的坐标由几何校准程序确定，该程序基坐标为由放置在基板中心的垂直投射阴影。方式不仅简单易行，而且这种方法能够取得良好的实验效果。这样的设计有助于避免自然光对PTM图片采集的影响。

图5 改进后实验设备搭建图

4 实验和分析

4.1 实验重建图像效果分析

图6为原始设备与改进设备对于同一拍摄对象的PTM算法模型重建图。图6（a）所示为原始设备下的PTM重建图，玉璧表面字体与纹理模糊，祥云辨识度低、甚至出现细节缺失的现象。图6（b）所示为立式设备下的PTM重建图，图像重建效果基本理想，但是由于受到自然光照以及自阴影和互阴影等因素的影响使得重建图像的纹理出现表面深度信息不明显，重建图像曝光严重。图6（c）所示改进设备后的PTM重建图像，较好地再现了玉璧的表面纹路及原始光照环境，其中“52”字样、外边缘涡蚊纹理浮现较为清晰，辨识度较好，但内边缘“锡”等8个字样纹理细节复现一般。

图6 新旧设备重建图像比较

如图7所示，（a）为SH基函数的PTM渲染图，（b）为LMS回归的PTM渲染图，（c）为系数优化后的PTM渲染图。由图7清晰可见这三者优化PTM后的重建图，都具有纹理复现深刻，光照条件复现良好的效果。其中“52”字样和外边缘涡蚊纹理浮现也更为深刻、细腻、辨识度更高，且内边缘“锡”等8个字样纹理细节复现清晰。

图7 三种优化后PTM渲染图

4.2 客观量化评价

本文通过引入PSNR（Peak Signal to Noise Ratio）对PTM和原图分别进行客观考核来量化衡量两个比对图像之间的相似性，PSNR的优点是算法简单，相似度检测耗时短，但同时呈现出检测结果与人类主观感受存在偏差的缺点。为解决单一检测指标的不充分、不严谨的缺陷，故在此量化评价指标的基础上又加入SSIM算法评价，分别从亮度、对比度、结构三个方面来比较两幅图像的相似度，修正了PSNR的缺点，进而使得量化指标更具有可信度。

式中，M N为图像的尺寸，x为原始图像，x̂为PTM重建后图像，μx和μx̂分别为原始图像的平均灰度值和方差，σx和σx̂分别为PTM重建后图像的灰度平均值和方差，σxx̂为原始图像和重建图像的协方差，c1和c2为常数。

由表1可得在PSNR指标下，改进设备前PTM重建图像，立式设备PTM重建图像、改进设备后PTM重建图像与原始图像的相似指标分别为：20.499 1、30.016 5、30.394 9。三者检测指标值依次增大，证明了改进后的PTM贴图重建图像纹理相较改进前的PTM重建图像更加清晰、深刻，而且组建复杂度和价位更低廉。SH基函数的PTM重建图像、LMS回归的PTM重建图、改进基函数和拟合系数的PTM重建图的相似指标分别为：35.859 2、35.987 9、36.291 4。表明三者的重建效果基本一致，但本文提出的方式纹理相似度与实物更相近，真实性更高。

表1 图像质量的客观评价表

在SSIM指标下，改进设备前PTM重建图像、立式设备PTM重建图像、改进设备后PTM重建图像与原始图像的相似指标分别为0.346 1、0.489 2、0.504 1。SH基函数的PTM重建图像、LMS回归的PTM重建图、改进基函数和拟合系数的PTM重建图的相似指标分别为0.637 3、0.696 7、0.765 0。综上验证了本文提出的改进方法不仅在硬件上具有复杂度低、价位低廉、重建效果优秀的效果。而且提出的改进基函数和拟合系数的PTM相较利用SH为基函数的PTM模型和利用LMS回归的PTM模型分别高出0.167 7和0.138 3，计算复杂度也得到极大的降低。

最后在PSNR及SSIM的综合考核下，表明了本文提出的PTM优化方法具有设备组建简易、低廉，细节纹理重建深刻真实，计算复杂度低等优秀特性，再次验证提出优化PTM理论的正确性。

5 结语

本文介绍了一种新颖的纹理映射方法PTM，并提出了基于改进的PTM算法模型的拟合系数与实验设备优化方法，该方法采用改良后的遮光式多角度光源采集设备，从固定摄像机位置捕获的一组指定光照方向的图像。通过多项式函数将图像光强集合拟合到每个像素处，来生成高质量的照片级别的重建物体纹理表面。并且改进了光照方向矩阵的基函数，使得模型对于线性数据的适应性提高。此外提出优化PTM拟合系数的算法模型，成功地解决了在原PTM模型求解中原始图像亮度信息分布不均匀，亮度系数求解不准确，导致的求解双二次多项式拟合系数较差，重建纹理图像模糊不真实的状况，从而增强了PTM模型真实并且精确重建物体纹理细节的能力。该算法不仅在计算机视觉领域中具有实际的应用价值，而且更是对数字化文化遗产保护，如博物馆展品数字化存档、壁画再现、虚拟文博馆建设等都具有极其重大的实际意义。