附加法向信息的三维网格预测编码

高原， 施云惠， 韩妍妍， 曾萍， 尹宝才,4

(1. 北京电子科技学院 电子与通信工程系，北京 100070；2.国家信息中心，北京 100045；3. 北京工业大学 信息学部，多媒体与智能软件技术北京市重点实验室，北京 100124；4.大连理工大学 电子信息与电气工程学部，辽宁，大连 116024)

三维模型可以用来模拟任何物理自然界存在的实体或虚构的物体，既可以通过三维建模软件等计算机程序人工合成，也可以使用如Cyberware三维扫描仪[1]和多视点摄像机[2]等专业感知设备捕获现实世界中的真实对象获得. 尽管三维模型可以通过多种方式表达，但通过网格形式(尤其是广泛应用的三角网格[3])表示以其结构简单、形式通用等特点成为表示三维模型、描述三维物体最为流行的方法. 随着虚拟现实技术以及三维扫描技术的飞速发展，三维模型的采集、获取及建模手段日趋成熟，由此生成了大量复杂的三维网格数据扩展到各类应用，与日俱增的复杂度和精度为传统的压缩算法和处理技术带来了巨大的压力. 为了保持三维网格的视觉效果，在压缩和传输三维网格时通常将法向数据连同几何数据(也称为几何网格，由顶点的位置信息和拓扑连接信息组成)同步编码，而作为网格主观渲染的重要因素，法向数据包含了更多网格的纹理细节，数据通常由3个IEEE 32位浮点数组成[4]，无论是传输、存储还是实时渲染都会给软硬件环境带来巨大压力.

针对附加法向信息的三维网格编码，例如文献[5-8]通常法向数据独立编码，基于相邻顶点、面片或网格单元法向间的预测，大部分通过改进法向数据的量化算法提高编码效率. 由于传统附加法向信息的三维网格编码未充分考虑顶点法向3个分量间(帧间)及顶点几何数据与法向数据间(帧间)的相关性，因此，压缩性能有提升空间. 如何在现有压缩技术基础上充分挖掘法向与几何数据帧内-帧间相关性提升编码效率仍然是一个值得深入研究的问题.

本文对附加法向信息的三维网格进行预测编码研究，利用法向数据帧内相关性以及几何与法向数据帧内-帧间相关性，提出三维网格帧内-帧间预测编码方法，并与传统分别压缩三维网格法向与几何数据的编码方法进行比较，通过实验仿真展示压缩编码性能.

1 法向信息压缩

在三维计算机图形学中，通常使用几何网格模拟三维物体的基本形状，而网格的主观视觉质量则通过网格的法向数据提升. 三维网格的几何形状是由顶点连接的多个小平面组合确定，这些小平面称为面片. 通过每一个面片的法向确定了渲染过程中抽样模拟曲面时模型的光照强度，从而获得三维网格的主观视觉感. 在三角形网格中，每3个顶点构成一个三角形面片. 为了方便渲染、计算和处理，在网格绘制阶段，常见绘制工具和软件需要三维网格顶点的法向量作为曲面光照法向信息. 以三维模型bunny为例，其几何网格和经过法向量渲染绘制后的附加法向信息的三维网格如图1(a)(b)所示.

图1 三维网格的几何与法向Fig.1 Geometry and normals of the mesh

给定附加法向信息的三角网格(M，N)，M表示几何网格，由顶点的三维坐标集V以及面片集F两类几何数据组成，N表示网格顶点的法向数据. 其中

V={vi|vi=(xi,yi,zi)}i=1,2，…，s，

F={fj|fj=(vi1,vi2,vi3)}j=1,2，…，t，

s为三维网格顶点的个数，t为三维网格三角面片的个数.

(1)

(2)

(3)

本文中顶点法向是单位化相邻所有三角面片的法向量平均值获得，其第i个分量为

(4)

其中m是与顶点相连的面片数. 面片法向量和顶点法向量示意图如图1(c)所示.

通常单纯压缩网格的位置信息和拓扑连接信息，解码端通过重建的几何数据可以估计法向信息，并以估计的法向数据对几何网格进行渲染绘制得到重建的三维模型(本文称之为自渲染)，如图2 (b)所示. 以三维模型venus为例说明网格法向数据压缩的重要性，图2 (a)展示了未经压缩的原始venus网格，图2 (b)展示了通过自渲染重建的网格模型，图2 (c)展示了利用与图2 (b)相同总码率，并以1∶1的比例分别压缩法向和位置信息后重建的法向数据渲染的网格. 可明显看出，在相同的总码率下，将法向数据与几何数据同步压缩相比单纯压缩几何数据更能提高附加法向信息三维网格的主观视觉质量，进一步说明了三维网格法向数据同步压缩的重要意义.

图2 不同法向渲染的网格主观质量比较Fig.2 Subjective quality comparison of the rendered mesh with different normals

再以三维模型bunny为例，图2 (d)展示了未经压缩的原始bunny网格，通过重建的几何网格预测法向数据，若直接以预测的法向数据渲染绘制几何网格，生成的最终网格如图2 (e)所示(自渲染). 为了方便比较，仍然使用重建的几何网格，但是通过原始的法向量进行渲染绘制，生成的最终网格如图2(f)所示. 经比较可以看出，同样是有损解压缩重建的几何网格，用不同的法向数据渲染绘制，获得的主观质量视差很大，而这个差值就是本文帧间预测思路中的法向量预测残差. 因此，有损压缩的三维网格，法向数据与几何网格同步压缩效果更好.

2 帧内预测编码

2.1 法向数据帧内相关性

在计算法向量的过程中，为了简化计算，通常是将法向量的长度单位化为1，即将法向量归一化到单位球面上，如图1 (d)所示. 因此，网格所有顶点法向量的模长均为1，即

x′2+y′2+z′2=1.

(5)

式(5)充分说明了法向量的三个分量之间存在着较强的相关性. 因此，3个分量中的任何分量可以通过另外两个分量表示，即

(6)

因此，在法向z分量符号已知的情况下，其可以通过其它两个x,y分量经式(5)和(6)预测得到，即

(7)

其中Sz为法向z分量的符号.

将法向数据3个分量之间的相关性称为法向数据帧内相关性. 将帧内相关性应用在附加法向信息的三维网格压缩中，可以达到降低法向分量的数据规模，提高压缩性能的目的.

2.2 编解码框架

为了有效利用法向数据帧内相关性，降低法向数据的传输比特流，提出一种帧内预测法向数据的编码框架. 该预测模式利用法向数据内部3个分量间的相关性，在编码网格法向信息时只编码x,y两个分量及z分量的边信息，从而降低了法向z分量的编码数据量.

整体的编解码框架如图3所示. 帧内基本预测编码的主要思想如下.

在编码端，将附加法向信息的三维网格分解为原始的几何网格及法向数据. 对于几何网格M，其拓扑连接信息采用无损方式编码，顶点位置数据采用小波变换编码输出码流. 在编码法向数据时，仅小波变换编码x,y分量. 对于法向z分量，无损编码其符号值Sz输出码流.

图3 帧内预测编解码框架Fig.3 The codec framework of proposed intra-inter prediction

3 帧内-帧间预测编码

通过深入分析几何数据与法向数据之间的关联，结合法向数据内部分量间的关系，提出附加法向信息的三维网格帧内-帧间预测编码方案.

3.1 法向与几何帧间相关性

法向与几何帧间相关性是基于顶点法向数据的计算理论，挖掘几何网格与法向数据间的关系，从而获得重建的几何网格与法向数据之间的相关性.

(8)

(9)

3.2 编解码框架

为了提高附加法向信息三维网格的压缩效率，有效利用法向数据与几何数据帧内和帧间相关性，提出了一种帧内-帧间预测法向数据的编码框架. 该预测模式通过重建的几何网格帧间预测顶点的法向数据x,y分量，再对z分量进行帧内预测.

整体的编解码框架如图4所示. 帧内-帧间预测编码的主要思想如下.

图4 帧内-帧间预测编解码框架Fig.4 The codec framework of proposed intra-inter mixed prediction

4 实验结果及分析

本文在4个三维模型上验证提出的基于法向与几何数据帧内-帧间相关性的附加法向信息的三维网格预测编码方法. 此外还实验了对比组直接压缩法向数据的编码方法，并给出实验结果及分析. 在实验中，使用三维模型bunny，venus，lion，cow. 这4个模型的基本信息见表1.

表1 实验模型的基本几何信息

实验中分别对模型的顶点位置信息、面片信息以及法向数据/法向残差数据进行压缩. 面片信息使用7 zip压缩工具进行无损编码. 对于顶点位置信息和法向信息，首先将顶点位置数据量化为10 bit，法向数据量化为8 bit，再应用一维小波技术(1DWT)对这些数据进行变换. 使用不同的量化步长对小波变换系数进行量化. 由于量化后的数据仍存在大量冗余信息，因此，使用7 zip压缩工具对其进行压缩，最后通过信道输出最终码流. 为了方便比较和分析，本文针对法向数据压缩采用调整量化步长的方式，将上述编码方案中法向信息的码率控制在10∶0.5∶12范围. 本文提出的编码方案以及对比组直接压缩法向数据的编码方案，都是在此码率范围进行分析比较.

实验中对重建三维网格的主客观质量进行了对比，利用针对几何的峰值信噪比(peak signal to noise ratio,PSNR)衡量重建三维网格的客观质量，定义如下：

(10)

式中：lpeak为三维网格包围盒的对角线长度；d为原始网格与重建网格之间的Hausdorff距离[9]. 对于法向数据的客观质量，采用均方误差(mean squared error,MSE)衡量压缩前后法向数据的平均误差.

首先压缩4个模型的几何数据，顶点位置坐标利用450，350，250，150，50的量化步长对小波变换系数进行量化. 表2展示了利用解压缩后的顶点位置数据与无损压缩的拓扑连接信息重建的几何网格与原始网格之间的PSNR结果.

表2 重建几何网格的PSNR

对于法向数据，分为3组进行实验：直接编码法向数据、帧内预测编码、帧内-帧间预测编码. 为方便对编码算法进行主客观质量的对比和评估，将法向数据码率控制在10.0∶0.5∶12.0范围. 4个模型法向数据编码实验的客观质量由图5所示.

图5 法向数据压缩MSE曲线Fig.5 MSE curves of normal compression

在图6～图9中展示了每个模型在法向数据压缩码率为10 bpv的条件下，使用重建的法向数据渲染经QP为450压缩的几何网格的主观质量. 其中可以明显看出，对比直接压缩法向数据的方案，本文提出的基于预测的编码方法，无论从主观质量还是客观性能上都优于直接压缩法向数据的编码方案，提出的帧内-帧间预测编码方案优于帧内预测的编码方案.

图6 Bunny模型压缩重建的主观质量对比Fig.6 Subjective quality comparison of the rendered meshes with normal for bunny

图7 Venus模型压缩重建的主观质量对比Fig.7 Subjective quality comparison of the rendered meshes with mormal for venus

图8 Lion模型压缩重建的主观质量对比Fig.8 Subjective quality companson of the rendered meshes with normal for lion

图9 Cow模型压缩重建的主观质量对比Fig.9 Subjective quality comparison of the rendered meshes with normals for cow

5 结 论

三维网格压缩一直是充满挑战且具有重要意义的研究领域，针对现有法向与几何数据分别压缩效率低的问题，本文从法向数据生成理论出发，提出了基于帧内预测和帧内-帧间预测的附加法向信息的三维网格编码方法. 该方法充分利用法向数据内部分量间(帧内)及法向与几何数据间(帧间)的相关性，有效保持了解码后三维网格的几何特性，为附加法向信息的三维网格压缩提供了一种全新的解决方案. 同时，该方法在减少传输数据量、降低能耗以及提升绘制效果方面具有巨大的优势. 但现有的工作无法应对该领域中出现的所有挑战，下一步的研究工作将围绕真实感三维网格富含的法向、颜色、纹理等属性信息编码以及附加法向信息的三维网格序列压缩展开研究.