点渲染方式对量化点云主观质量的影响及算法优化

陈章,尹宇杰,,冯芸,万帅,3

(1. 西北工业大学电子信息学院,710129,西安; 2. 河海大学信息学部计算机与信息学院,210024,南京;3. 皇家墨尔本理工大学工程学院,VIC3001,澳大利亚墨尔本)

点云是三维空间中一系列具有空间坐标信息以及额外属性信息的点所组成的集合。随着数字技术与三维感知技术的高速发展,在面向人眼视觉感知的沉浸式新媒体应用中,表征三维物体或场景的点云数据已经得到广泛应用,如虚拟现实(virtual reality, VR)、增强现实(augmented reality, AR)、数字文化遗产以及3D视频会议等[1-2]。随着点云相关技术的发展,如何提高用户的观看体验成为目前点云研究领域内的一个关键问题[3]。不同于传统图像的呈现方式,点云在呈现过程中需要通过硬件和渲染算法进行辅助[4]。其中,点渲染是一种广泛应用于计算机图形学中渲染点云的技术[5-6]。与传统的基于三角形网格重建表面的渲染方式不同,点渲染则直接渲染出离散的点集,将每个点的颜色、透明度、法向量等信息映射到屏幕上。在点渲染中,图形对象以点的形式表示,而不是以面的形式表示,具有更好的可扩展性和动态性,能够更好地处理复杂的几何形状和大规模的点云数据[7]。因此,针对点渲染方式对量化点云主观质量的研究,既有利于提高点渲染算法实际应用效率,又可以辅助点云编码器相关算法性能的优化。

近年来,国内外专家学者结合点渲染方式对点云的主观质量进行了广泛探索。瑞士联邦理工学院的Alexiou等探究了渲染过程中各种相关因素对点云主观质量的影响:文献[8]将无色点云在2D显示器上以点渲染的方式呈现,探究了八叉树剪枝和高斯噪声两种失真对无色点云主观质量的影响,利用点对点距离计算客观质量,通过对比上述两种失真的主观质量分数,发现该客观指标对高斯噪声产生的失真评价更加准确;文献[9]对比了绝对类别评级和双刺激损伤评价法(double-stimulus impairment scale, DSIS)两种主观打分方式与点渲染失真程度的关系,结果显示DSIS打分方式与点渲染失真程度更接近;文献[10]将同一压缩失真点云在不同显示设备上进行点渲染显示,实验结果显示2D显示屏和AR头戴式设备上渲染的失真点云得到的主观质量分数具有差异;文献[11]通过对失真点云进行网格重建,对比点渲染和经过表面重建点云的主观质量差异。葡萄牙里斯本理工大学的Javaheri等[12]探究了不同点云编码方式和渲染显示方案对点云感知质量的影响,并在点渲染过程中,利用每个点在点云中空间距离最近的10个邻居点计算点渲染半径。实验结果显示,点渲染方式下,量化后的颜色失真会对几何失真产生屏蔽效应。上海交通大学的Yang等[13]探究了点渲染方式下,八叉树失真、颜色噪声失真、几何噪声失真和缩放失真对主观质量的影响,并提出了一个包含上述失真类型的点云主观质量数据库SJTU-PCQA[14]。中国科学院大学的Wu等[15]通过VR头戴式显示设备观察V-PCC压缩生成的失真点云,建立了一个包含17种压缩失真的主观质量数据库SIAT-PCQD[16]。青岛大学的Liu等[17]利用点渲染对彩色3D点云序列进行可视化,采用DSIS的打分方式评价主观质量,并根据渲染显示结果,提出了一种基于注意力机制和信息内容加权、结构相似性变体的新型客观点云质量评估模型。

然而,现有大多数工作在采用基础的点渲染时,未能考虑点渲染方式对主观质量的影响。对于基于点的渲染方式,影响人眼视觉质量的因素主要有2个:初始渲染的基础几何体类型和基础几何体的半径。基础几何体半径最为关键,半径过小渲染后点云会产生空洞现象,半径过大则会造成基础几何体的混叠。本文针对这一问题:首先,设计了3组不同点渲染方式的主观质量评价实验;其次,在对比了3组主观质量分数后,分析了不同几何体类型、最近邻计算半径算法对量化失真点云主观质量的影响;最后,结合上述主观实验结果和理论分析,建立了点渲染失真面积与基础几何体半径的模型,提出基于几何八叉树量化参数的点渲染优化算法。测试结果显示,本文算法相比于基于最近邻的算法渲染效果更佳,有利于提升量化点云的主客观质量。

1 点云主观质量评价实验

1.1 主观质量评价数据集构建

1.1.1 原始序列构建

选取MPEG点云数据库[18]中的9个高质量静态序列,其中包含5个人物序列和4个物体序列。序列缩略图和详细信息分别如图1和表1所示。使用人物序列basketball player作为预实验的评价序列,其余8个序列用于最终实验结论分析。

表1 点云序列详细信息Table 1 Point cloud sequence details

(a)basketball player

1.1.2 失真点云生成

失真点云序列采用基于几何的点云压缩标准(geometry-based point cloud compression, G-PCC)[19]对原始点云量化生成。G-PCC能够分别对几何和属性设置不同的量化参数,产生不同的失真等级。量化参数的设置参考通用测试条件(common test conditions, CTC)[20],几何量化包含无损、R02和R05这3个等级,属性量化包含R01、R03和R05这3个等级,因此每个点云序列共有9种不同的量化失真组合,如表2所示。G-PCC编码软件版本为Test Model Category 13 version 14.0(TMC13v14.0)。其中,几何编码采用八叉树编码方式,属性编码采用预测方式。

表2 点云序列量化参数Table 2 Quantization parameters of point cloud sequence

1.2 可视化平台及子实验设计

为探究点渲染方式对主观质量的影响,将点云采用3种不同点渲染方式显示,每种点渲染方式对应一组子实验。子实验渲染参数如表3所示。

表3 子实验渲染参数Table 3 Sub-experimental rendering parameters

(1)

式中:N=10。

主观实验的显示设备主要参数如表4所示。环境设置参考电视主观质量评价标准[21-22]中的建议。测试背景RGB(红、绿、蓝)三通道颜色值为 [128, 128, 128]。评分期间,受试者与屏幕的位置固定,受试者可以通过鼠标对点云序列进行自由旋转以做到全方位观测,受试者评分时间不做限制。实验实施环境如图2所示。

表4 显示设备主要参数Table 4 Display main parameter table

图2 实验实施环境Fig.2 Experiment implementation environment

1.3 主观质量评价流程

1.3.1 实验打分方法

打分方式采用DSIS打分方式[21],原始无失真点云序列置于屏幕左边,量化失真点云序列置于屏幕右边。实验评分采取五级评分制[22],如表5所示。受试者同时观察原始参考点云和量化失真点云,依据原始参考点云序列对量化失真点云序列进行五级评分。参考点云序列作为隐藏参考出现在量化失真的测试点云序列位置,即要求受试者对每个点云模型的参考点云序列进行一次五级质量评分。在进行数据分析时,计算每个测试点云序列和其对应的隐藏参考之间的差异平均主观分数(differential mean opinion score,DMOS)。

表5 五级评分制Table 5 Five-level grading scale

1.3.2 实验受试者筛选

主观质量评价过程中邀请了11名受试者参与。受试者年龄在20～40岁之间,其中10人为高校学生,1人为点云视频领域的研究学者。受试者均通过Snellen和Ishihara视力表[23]检测,并在正式主观实验之前对实验受试者进行相关的实验指导和预实验演练。

1.3.3 实验指导及预实验

为确保主观质量评价的准确性,所有受试者在进行实验前均进行实验指导及预实验。实验指导包含以下内容:点云相关概念以及主观质量评价要求介绍,点云失真种类、失真类型和点云渲染的相关介绍,正式实验与预实验等实验流程介绍,实验环境与设备使用说明,实验评分规则方式介绍。在正式实验之前,为确保受试者熟悉正式实验的操作过程,采用basketball player序列进行演练,失真类型、渲染类型、显示方式、评分方式等均与正式实验相同,预实验评分结果不记录在实验数据之内。

1.3.4 正式实验要求

正式实验包含上述3个子实验,每组子实验在主观评价过程中测试序列顺序随机,以免序列排序对主观质量的干扰。受试者每持续评价30 min强制休息5～10 min,以避免受试者因为长时间观察产生视觉疲劳,从而影响对失真程度的判断。正式实验过程中,总点云序列数目为240个(8个初始序列×(9组失真+1组无失真)×3种渲染方式),受试者人数为11,最终获得平均意见分数(mean opinion score,MOS)为2 640个。

2 主观质量评价结果与分析

2.1 受试者可靠性分析及DMOS计算

依据ITU-R BT.500-13[22]附件1中2.3小节推荐的受试者可靠性分析方法,剔除异常受试者数据。经验证筛查,本次主观质量评价3个子实验中均无异常受试者数据。

为剔除量化失真点云序列MOS值中原始点云的隐藏参考,将点云MOS值转化为DMOS值,做到“隐藏参删除(hidden reference removal,HR)”。DMOS的计算参考ITU-TP.913[20]中的方法。DMOS值计算方法为

(2)

式中:t为受试者;j为测试点云序列;jref为j对应的原始参考点云序列;mtj为t对j的MOS分值,mtjref为t对jref的MOS分值;dtj为j与jref之间的质量分数差异,即DMOS值。子实验的DMOS均值如表6所示。

表6 点云主观质量评价DMOS均值Table 6 Point cloud subjective quality assessment DMOS distribution

2.2 几何体类型对主观质量的影响

为探究几何体类型对主观质量的影响,对子实验1和子实验2的主观质量评价分数进行统计检验。采用威尔科克森符号秩检验[24]和双独立样本T检验[25]分别对两组实验数据的中值和均值分布进行检验。为满足双独立样本T检验方差齐次性的先验条件,采用莱文检验验证样本组方差齐次性。各检验的零假设和备择假设如表7所示。

表7 原假设与备择假设Table 7 Null hypothesis and alternative hypothesis

检测结果显示:子实验1和子实验2的威尔科克森符号秩检验P值为0.000 065,莱文检验P值为0.762,双独立样本T检验P值为0.69。子实验1和2莱文检验P值大于0.05,因此各个样本组均满足双独立样本T检验的方差齐次性条件。由于威尔科克森符号秩检验的P值小于0.05,因此子实验1和子实验2在总体分布上存在显著性差异。渲染几何体类型对主观质量存在影响。

图3为各个量化失真类别下,子实验2和子实验1主观质量分数差值的箱式图,图中纵坐标d2,1计算式为

图3 子实验2和子实验1主观质量差值箱式图Fig.3 Sub-experiment 2 and sub-experiment 1 subjective quality difference compartment plots

d2,1=d2-d1

(3)

式中:d1、d2分别为子实验1和子实验2计算得到的DMOS值。

从图3可知,对于各量化失真类别,整体d2,1均值高于0,即子实验2的主观质量优于子实验1。同时,在相同几何量化失真下,当属性量化失真增大时,d2,1呈现上升趋势,子实验2的渲染优于子实验1的情况在主观质量上更加显著。虽然两组子实验在渲染过程中每个基础几何体的渲染半径相同,但是立方体的半径对应立方体对角线的一半。所以,在相同的观察视角下,圆形渲染产生的混叠面积会大于立方体,即圆形产生的几何和属性畸变大于立方体,如图4所示。

图4 圆形与立方体最近邻点渲染比较Fig.4 Comparison of circle and cube nearest neighbour rendering

2.3 最近邻渲染对主观质量的影响

为探究最近邻渲染方式对主观质量的影响,对子实验1和子实验3的主观质量评价分数进行统计检验。与2.2节中使用的统计方法相同,采用威尔科克森符号秩检验和双独立样本T检验分别对两组实验数据的中值和均值进行检验。各个检验的零假设和备择假设同表7。

检测结果显示:子实验1和子实验3的威尔科克森符号秩检验P值为0.354,莱文检验P值为0.892,双独立样本T检验P值为0.841。子实验1和子实验3莱文检验P值大于0.05,因此样本组均满足双独立样本T检验的方差齐次性条件。又因为威尔科克森符号秩检验和双独立样本T检验的P值均大于0.05,因此子实验1和子实验3在总体分布上无显著性差异。基于最近邻计算渲染半径的算法并没有因为减少空洞现象而提升量化点云的主观质量。

图5为各个量化失真类别下,子实验1和子实验3的主观质量分数差值,图中纵坐标d1,3计算式为

d1,3=d1-d3

(4)

从图5可以看出,相同几何量化失真时,随着属性量化参数的增大,d1,3呈现下降趋势,且d1,3均值会从大于0转变成小于0的情况。在属性量化参数为51时,子实验3的主观质量分数显著高于子实验1。基于最近邻的点渲染算法是利用空间中点的密度信息自适应计算基础几何体的渲染半径,从而减少几何量化产生的空洞。但是,由于基础几何体渲染半径增大,在这一过程中人眼对于属性质量的感知更加敏感,渲染结果上与属性量化失真相关性高。因此,当属性量化失真较小时,子实验1中人眼感知的质量会高于子实验3中,反之结果相同。

3 量化点云点渲染算法优化

3.1 面向八叉树量化的点渲染优化

通过主观实验的分析可知,量化点云的主观质量在点渲染过程中受基础几何体半径产生的混叠和空洞影响。2.2节的实验结果表明,在不产生空洞的前提下,较小的基础几何体可以减少点云渲染过程中的混叠,从而减小几何和属性上的畸变,提高点云的主观质量。此外,2.3节的实验结果显示,基于最近邻的点渲染算法可以有效减少空洞的产生,并在属性量化较低的情况下表现出良好的效果。然而,当属性量化增大时,混叠引起的失真会降低点云的主观质量。因此,为了优化量化点云的主观质量,应当在设置基础几何体半径时避免产生空洞,并尽可能减少混叠现象的发生。

以基础几何体采用圆形渲染为例,假设当前点云中点的几何坐标为(xi,yi,zi),i=1,2,,M,每个点对应的渲染半径为ri,整个点云渲染产生的空洞面积为S1(如图6中的蓝色区域所示),整个点云渲染产生的混叠面积为S2(如图6中的绿色区域所示),则最优的人眼感知质量下,渲染半径满足

图6 点渲染空洞和混叠产生过程示意Fig.6 A diagram of the process of creating point-rendering hole and blending

minS2(r1,r2,,ri); s.t.S1(r1,r2,,ri)=0

(5)

(6)

在渲染过程中,S1由点云中每个点和其空间最近邻点决定。八叉树剪枝后,点云中的点在空间中的最近邻距离近似。因此,全点云中量化后的点与其最近邻的平均距离d近似为

(7)

令所有点的渲染半径相同,即

r1=r2=r3==rM

(8)

此时,空洞可视为由点云中每个点与其26个邻居点产生,则满足S1=0约束条件的渲染半径为

(9)

结合式(7)、(8)可知,满足minS2的渲染半径为

(10)

所提算法在二维屏幕上的渲染示意如图7所示。

图7 所提算法的点渲染过程示意Fig.7 Diagram of the proposed method point rendering process

3.2 优化算法性能测试结果

本文以渲染图像峰值信噪比(peak signal-to-noise ratio,PSNR)、主观质量分数和渲染时间复杂度这3种指标评价所提算法性能。其中,渲染图像PSNR的计算是先将点云渲染后投影到包围盒的6个平面上,再计算6个图像PSNR的均值。

将所提算法与最近邻渲染算法进行对比,评价指标为

(11)

ΔIDMOS=IDMOS,proposed-IDMOS,NNR

(12)

(13)

式中:IPSNR、IDMOS分别代表PSNR、DMOS值;T代表渲染时间复杂度;下标proposed、NNR分别代表本文算法、最近邻渲染算法。

表8展示了所提算法与基于最近邻的点渲染算法[12]的比较结果。

表8 最近邻渲染算法与所提算法性能对比结果Table 8 The performance comparison results between the nearest neighbor rendering algorithm and the proposed algorithm

从表8可以看出,与最近邻渲染算法相比,所提算法渲染质量提升了12.3%,主观质量分数提升了0.5,时间复杂度显著减少,降低了52%。这是因为所提算法在对量化后的点云渲染时仅利用几何量化参数计算渲染半径,减少了对量化点云中每个点的遍历和寻找每个点最近10个邻居点的过程。

同时,图8展示了所提算法与最近邻渲染算法在不同量化参数下的主观效果对比。由结果可知,相比于最近邻渲染算法,所提算法根据几何量化参数计算渲染半径,减少了基础几何体间的混叠,从而使渲染后的点云在细节表达上效果更好。

(a)longdress,几何量化参数为1/4,属性量化参数为28

4 结 论

本文通过设计不同点渲染方式的点云主观质量评价实验,分析了不同点渲染类型和最近邻渲染方式对量化点云主观质量的影响。研究结果表明:点渲染类型会因为基础几何体产生的混叠程度不同而影响主观质量;最近邻渲染的质量分数与属性量化失真相关性更高,在属性失真严重时,渲染效果更差。实验结果显示,点渲染中基础几何体半径的合理设置是提升量化点云主观质量的关键因素,需要在不产生空洞时减少混叠。

结合主观实验结果,本文在理论分析的基础上,建立了点渲染半径和渲染失真面积的优化模型。通过结合八叉树量化后的空间相似性,将多模型参数简化为单一参数并求解,提出一种利用几何量化参数计算基础几何体半径的渲染算法。相比基于最近邻计算渲染半径的算法,所提算法减少了空间最近邻的搜索过程,时间复杂度降低了52%。同时,因为减少了渲染过程中基础几何体的混叠程度,所以所提算法PSNR提升了12.3%,并且主观实验结果反映人眼感知质量更高。