VR技术下多投影视频纹理合成方法仿真

袁 帅，张 静

(武汉科技大学城市学院，湖北武汉 430000)

1 引言

VR技术以其沉浸性、交互性与构想性为用户营造高质量的视觉体验[1]。VR技术下的视频需经过内容制作、编码压缩、网络传输与终端显示等不同过程完成。

纹理合成是VR技术下视频内容制作过程的核心方法[2]，纹理合成的主要目的是处理小样本纹理映射至大曲面上导致表面纹理变形与模糊等问题。纹理合成的基本概念是根据一个有限的小样本纹理，生成任意大小的纹理图像，且小样本纹理与生成纹理图像在纹理视觉上具有较高相似度[3]。由于纹理合成方法能够明显改善纹理拼接的边界间断、合成纹理具有周期性等问题，因此该方法普遍应用在VR技术、计算机视觉处理等领域。普遍使用的纹理合成方法为基于元素分布构建的纹理合成方法和基于梯度的块尺寸自适应Wang Tiles纹理合成算法[4-5]，这些方法在纹理合成过程中需要消耗大量的时空资源，导致纹理合成的实时性能较差。为此提出VR技术下多投影视频纹理合成方法，三维场景透视变换通过屏幕投影到二维平面上。在二维平面上，给三角网格赋予一个连续的缩放因子场，并将该纹理缩放到不同的级别，使之与网格中的缩放因子对应。提出了一种基于矢量加光滑法的曲面纹理方向矢量场生成方法，该方法基于扫描线序列搜索样本纹理空间，确定匹配的纹理坐标值，并结合尺度因子进行纹理合成，从而实现了曲面纹理的生成，有效解决上述问题，为多投影视频纹理合成方法提供参考。

2 VR技术下多投影视频纹理合成方法

2.1 VR技术下视频处理

图1所示为VR技术下视频处理流程图。

图1 VR技术下视频处理流程图

VR技术下视频处理可划分为三个环节[6]：VR内容制作环节、服务器环节和客户端环节。其中VR内容制作环节是整个视频处理流程的核心。VR内容制作环节中，利用一组摄像机或一个包含多摄像头与传感器的摄像设备与音频传感器采集现实物理世界内的声音—视觉场景[7]。摄像机与传感器等设备输出的是一组数字视频与音频信号，一般情况下，摄像头可采集其周边360°方向内的内容。

针对VR技术下的视频处理而言，同一时刻下的VR视频图像经过拼接、投影映射与投影图像帧纹理合成，生成一个封装帧[8]，如图2所示。

图2 VR图像拼接、投影与基于区域封装

VR视频的主要特征为一般情况下在全景视频内只显示同当前视点相对应的局部视频[9]。基于该特征，采用视点相关投影映射技术、纹理合成方法与区域封装技术等，以保障向用户提供相同视频分辨率为基础，降低图像预处理时间与VR视频传输带宽需求，改善纹理合成消耗大、更新新纹理时重新预处理导致三维大规模场景漫游实施性较差等问题，提升VR视频整体性能。

2.2 屏幕投影

针对三维平面或曲面场景，其所描述的是设置视点位置与方向、视线方向与投影平面位置等参数后，以三角网格表示的投影变换矩阵，利用该矩阵能够反向推导三维平面或曲面场景内网格的三维坐标在投影平面上的二维坐标。

2.3 缩放因子场构建

通过屏幕投影确定二维平面上的三角网格后，对其赋予连续的缩放场，即对各三角面片赋予一个缩放因子，确保相邻三角面片间缩放因子具有连续变化性[10]，具体过程如下：

以Si表示三维场景内各三角面片到视点的距离，将Si定义为视距，全部的Si可集成为一个离散函数S(i)的阈值。

确定任意相邻三角面片i与i+1间的视距Si和Si+1，两者间的差值∂i可表示为

∂i=|Si-Si+1|

(1)

通过式(1)获取∂i的上限值max∂。

交互式输入样图缩小程度的长度因子minScale，当minScale值为0.4时说明样本的大小在0.4—1间逐渐变化。基于minScale值，对给定的纹理样图实施金字塔式的缩小，由此获取多层次的逐步缩小样图，将这些逐步缩小样图作为纹理合成过程中缩放场内的缩放因子获取对应样图的依据[11]。

为令相邻的三角网格与相邻的图层相对应，基于max∂，设定：S函数内的值仅在差异为max∂的条件下才可在样图层内相差一层，即依照max∂划分S函数的值域，令其函数值依max∂划分成不同层次，令相邻三角网格对应的图层也相邻，由此在合成的过程中确保纹理的连续性[12]。

各三角面片的Si值根据上述设定能够获取一个Scale(minScale≤Scale≤1)值，该值即为元纹理样图实施缩放时对应的Scale值。基于此，各Scale值将对应于一个被缩小Scale倍的图层，由此可构建一个Scale与缩小Scale倍图像间的映射关系，获取一个连续波动的缩放因子场，其中各三角面片均具有一个缩放因子。

2.4 曲面纹理合成方法

由于VR视频是向用户提供一个360°方向内的内容，因此在屏幕投影与缩放因子场的基础上，可采用曲面纹理合成方法进行多投影视频纹理合成。曲面纹理合成方法的最终目标是以保障三角面片纹理连续性为基础，利用相关算法遍历全部三角块，计算其在原本纹理空间内的纹理坐标。

2.4.1 相关知识

1)纹理矢量的夹角

曲面纹理矢量场的主要作用是控制曲面上纹理的基本走向。用A={a1，b1，c1}和B={a2，b2，c2}分别表示两个矢量，φ表示矢量A与矢量B间的夹角，则

(2)

2)旋转三角面片

以任意轴为中心，将一个三角面片旋转一定角度，且旋转后三角面片的大小形状均未发生变化。用AB表示任意轴，(Xa，Ya，Za)和{a，b，c}分别表示A点的坐标和AB的方向矢量，由此得到一个三角面片绕AB轴旋转φ度所对应的就是三角面片三个顶点分别乘上矩阵W，其表达式如下：

(3)

2.4.2 曲面纹理矢量场的计算

旋转曲面上各三角面片令其三个顶点的Z轴坐标一致，以A(x0，y0，z0)、B(x1，y1，z1)、C(x2，y2，z2)分别表示三角面片ABC的三个顶点坐标，n={a，b，c}表示三角面片的法向。

将点B、C绕过A点且与面OXZ平行的矢量旋转，令此三角面片的法向量平行于OXZ面。

将点B、C绕过A点且与Y轴平衡的矢量旋转，令此三角面片的法向量与Z轴正方向平行。

曲面上的各三角面片被旋转后，各法向量均与Z轴相平衡，由此可将旋转后的三角面片理解为是在相同平面上，简化矢量场计算过程。

设定n个矢量的均值与这n个矢量的和一致，对n个矢量进行单位化处理，确定用户指定外曲面三角网格的矢量方向构建平滑的矢量场。

2.4.3 搜索匹配的过程

搜索匹配的过程即在纹理三网格内提取匹配区域，依照当前待纹理化三角面片的纹理方向矢量，在样本纹理内依扫描线逆向顺序进行搜索，确定与匹配区域模板纹理值相似度最高的纹理坐标，将其作为当前待纹理化三角面片的纹理坐标值。待合成三角面片是依照纹理方向旋转且依照缩放因子场确定尺寸后获取的。

在纹理空间的底部，将相邻合成三角片的待合成三角片按相同的方向旋转，得到匹配模板，用扫描线法根据相应的步长搜索样本纹理空间，得到与已纹理化三角片一致度最高的纹理坐标，再给出待合成三角片，通过比例因子场进行纹理合成。

3 仿真分析

实验为验证本文所提VR技术下多投影视频纹理合成方法的实际应用效果，对本文方法进行仿真分析。在Windows XP系统内，利用Open GL图像开发工具与VC++6.0编译环境搭建仿真环境，构建纹理样本数据库。进行VR视频设计，利用本文方法对VR视频内大规模场景漫游进行纹理合成仿真，仿真结果如下。

3.1 纹理合成结果

在纹理样本数据库内随机选取水纹、草地和烟雾等纹理样本进行大规模场景漫游中纹理合成的样本纹理，各样本大小均为512像素×512像素。对所选样本进行纹理合成，合成结果如图3到图5所示。

图3 水纹纹理合成结果

图4 草地纹理合成结果

图5 烟雾纹理合成结果

由图3到图5得到，在VR视频大规模场景漫游条件下，利用本文方法对大面积相似纹理进行纹理合成，可真正实现无纹理变形，解决纹理合成过程中边界间断、合成纹理具有周期性等问题。同时采用本文方法进行纹理合成还能够实现较高的透视效果。

3.2 时空性能测试

以文献[4]内基于元素分布构建的纹理合成方法和文献[5]内基于梯度的块尺寸自适应Wang Tiles纹理合成方法为对比方法，以草地纹理样本合成为例，对比本文方法与对比方法的时空性能，结果如表1和表2所示。

表1 时间性能仿真结果

表2 空间性能仿真结果

分析表1得到，采用本文方法进行VR视频内纹理合成时，三种方法用时长短分别为：本文方法<基于梯度的块尺寸自适应Wang Tiles的方法<基于元素分布构建的方法。本文方法纹理合成用时与两种对比方法相比具有明显优势，纹理合成用时降低300%以上。这是由于本文方法在场景绘制过程中实时合成，无需对纹理样本进行复杂的预处理程序，提升纹理合成效率。

分析表2得到，采用本文方法进行VR视频内纹理合成时，三种方法合成后图像的尺寸大小分别为本文方法<基于元素分布构建的方法<基于梯度的块尺寸自适应Wang Tiles的方法。本文方法纹理合成所需存储空间较小，与两种对比方法相比存储空间降低50%以上。

综合以上实验结果说明本文方法与对比方法相比具有明显的时空性能优势。

4 结论

本文针对VR视频处理过程中VR内容制作环节，提出VR技术下多投影视频纹理合成方法，基于缩放因子场与纹理矢量场实现纹理合成。仿真结果显示本文方法在保障高质量纹理合成的基础上，与对比方法相比具有明显的时空优势。在今后的优化过程中将针对VR视频三维场景内，多纹理间怎样自然过渡，如和提取纹理样本内的纹理特征优化纹理合成过程等问题进行研究，以提升纹理合成质量。