长期演进系统基于加权平均时延的下行资源调度

王妍 马秀荣 单云龙

摘 要：三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像; 然后，每幅重定向图像通过主观测试，得到相应的主观打分值; 最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。

关键词：质量评价;图像数据库;三维图像重定向;深度感;舒适度

中图分类号：TN919.81

文献标志码：A

Abstract： Stereoscopic 3D （S3D） image retargeting aims to adjust aspect ratio of S3D images. To objectively and accurately assess the quality of different retargeted S3D images， a retargeted S3D image quality assessment database was constructed. Firstly， 45 original images were retargeted by eight representative retargeting algorithms with two retargeting scales to generate 720 retargeted S3D images. Then， the subjective quality evaluation score of each retargeted image was obtained via subjective testing. Finally， the subjective scores were converted to MOS （Mean Opinion Score） values. Based on all above， an objective quality assessment method was proposed for retargeted S3D images. In this method， three types of features including depth perception， visual comfort and image quality of left and right views were extracted to calculate the retargeted S3D image quality with the use of support vector regression prediction. Experimental results on the proposed database show that the proposed method has the Pearson linear correlation coefficient and the Spearman rankorder correlation coefficient higher than 0.82 and 0.81 respectively， demonstrating its superiority in retargeted S3D image visual quality assessment.

英文關键词Key words： quality assessment; image database; stereoscopic 3D image retargeting; depth perception; visual comfort

0 引言

随着三维（Stereoscopic 3D， S3D）图像显示技术的快速发展，越来越多的S3D显示设备融入人们的生活。各种类型的S3D图像和视频极大地丰富了观众的视觉体验， 然而，显示设备分辨率的多样化导致S3D图像无法在不同宽高比的显示器上自适应显示， 因此，需要S3D图像重定向技术对S3D图像的宽高比进行调整[1]。

传统平面重定向方法如CR（CRopping）、SCL（uniform scaling）、SC（Seam Carving）[2]和WARP（WARPing）[3]等，在调整图像分辨率的同时，将图像重要区域的几何形变和内容缺失最小化; 然而，S3D图像的质量不仅包含图像内容本身，过大的双目视差、双目不对称以及双眼调节和辐辏冲突等都会严重影响S3D图像的观看舒适度[4]。另外，S3D图像的深度信息使观看者能够获得更加逼真的临场体验。深度失真将会严重影响S3D图像的观看效果[5]， 因此，与平面重定向方法相比，S3D图像重定向技术需要考虑更多的图像失真因素，这也极大地增加了S3D图像重定向技术的复杂度。

近年来，人们提出了许多S3D图像重定向方法，大致可分为离散方法和连续方法两类。离散方法通过删除或者增加左右图像对应位置的像素点或图像块，调整S3D图像分辨率[6-8]。离散方法的优点是直接对像素点进行插入或删除操作，能够较好地保持S3D图像的几何一致性; 然而，高耗时、对象形状难以保持等问题是这一类方法的主要瓶颈。连续方法的本质是非均匀伸缩变换。这类方法通过设定约束条件，将原始图像映射至目标尺寸[9-12]。连续方法的优点是能够根据图像内容的重要性程度，将图像的形变处理分布到人眼不关注的区域，相对于离散方法能够更好地保持对象的形状，尤其是当图像分辨率压缩较大时， 但连续方法较难保持重定向图像的几何一致性[6]。由于不同的S3D图像重定向方法对图像的处理结果差别很大， 一些S3D重定向方法在某一类图像上处理效果较好，但在其他类别上处理结果却很差， 因此，提出一种有效的S3D重定向图像客观质量评价方法，对不同S3D图像重定向方法的处理结果进行准确和客观的衡量，进而指导和优化S3D图像重定向算法就显得尤为重要。

然而，S3D重定向图像的分辨率与原始图像不同，传统的S3D图像质量评价方法如文献[13-15]等无法直接运用到S3D重定向图像质量评价中。目前，针对图像重定向技术的评价方法大多集中在平面领域，例如，Fang等[16]提出了一种IRSSIM（Image Retargeting Structural SIMilarity）算法，采用SIFT（ScaleInvariant Feature Transform）特征建立原始图像和重定向图像间稠密匹配，并根据SSIM算法计算匹配后图像的局部质量，最后对局部质量进行加权得到重定向图像的质量; Hsu等[17]提出了一种PGDIL（Perceptual Geometric Distortion and Information Loss）算法，将重定向图像的质量分为几何失真和内容损失两部分; Zhang等[18]提出了一种ARS（Aspect Ratio Similarity）算法，将图像重定向过程转换为后向重采样问题。Liang等[19]将重定向图像失真分为显著区域保留、形变失真、全局结构保留、美学特性和对称性五个因素; Jiang等[20]通过构建学习字典，预测重定向图像质量; Chen等[21]提取自然场景统计特征、全局结构特征和双向内容缺失特征，评价重定向图像质量; Zhang等[22]分别从区域失真、图像块失真和像素失真三个层次评价重定向图像质量; Guo等[23]从全局失真和局部失真两个方面计算重定向图像的几何失真和内容缺失。然而，平面重定向图像质量评价方法未考虑S3D图像的舒适度和深度等信息，不适用于S3D重定向图像质量评价。

为准确和客观地评价S3D重定向图像的视觉质量，本文首先建立了一个S3D重定向图像质量评价数据库，并对数据库中的S3D重定向图像进行主观打分。其次，提出了一种S3D重定向图像客观质量评价方法。该方法从深度感（Depth Perception， DP）、视觉舒适度（Visual Comfort， VC）以及图像质量（Image Quality， IQ）三个方面评价S3D重定向图像的视觉质量。主要贡献包括：1）本文建立了一个S3D重定向图像质量评价数据库。包含45幅原始图像、8种重定向方法、2种压缩尺度，整个数据库共720幅S3D重定向图像。2）本文从遮挡区域面积和对象深度差两个方面评价S3D重定向图像的深度感。提取视差幅值特征和视差梯度特征评价S3D重定向图像的视觉舒适度。最后，结合深度感、舒适度以及S3D重定向图像左右视点图像的质量，得到S3D重定向图像的质量，评价结果符合人眼主观感知。

1 三维重定向图像质量评价数据库

当前，重定向图像的质量评价研究主要集中在平面领域，对三维重定向图像的视觉质量评价研究较少，且缺少相应的质量评价数据库。为此，本文首先建立了一个三维重定向图像质量评价数据库，对三维重定向图像进行主观质量评价。

1.1 原始圖像

三维图像重定向方法根据S3D图像的内容差异，压缩人眼不感兴趣区域，保留图像的重要内容，保持或提升S3D图像的深度感和视觉舒适度。为建立可靠的S3D重定向图像据库，更加有效地反映不同重定向方法的处理效果，本文筛选了45幅原始S3D图像，包含自然场景、显著前景对象、几何结构、人物等室内与室外场景。45幅原始S3D图像的左图像如图1所示。另外，本文筛选的原始S3D图像包含不同的视差范围，以验证不同重定向方法的深度和舒适度优化性能。

4 结语

本文构建了一个S3D重定向图像标准数据库，选取八种代表性的S3D重定向方法，生成720幅S3D重定向图像，并对每一幅图像进行主观打分。在此基础上，本文提出了一种结合深度感、舒适度和图像质量的S3D重定向图像客观质量评价方法。在数据库上的测试结果表明，提出的方法的评价结果符合人眼感知。本文提出的图像数据库可用于S3D重定向图像的视觉质量研究，提出的S3D重定向图像质量评价方法能客观地预测S3D重定向图像的视觉质量，对S3D图像重定向算法优化有一定的指导意义。未来的研究重点是提取更多高层次的语义和结构信息，建立更加准确的评价模型。

参考文献 （References）

[1]     LUO S J， SUN Y T， SHEN I C， et al. Geometrically consistent stereoscopic image editing using patchbased synthesis[J]. IEEE Transactions on Visualization and Computer Graphics， 2015， 21（1）： 56-67.

[2]     SHAMIR A， SHAMIR A， AVIDAN S. Improved seam carving for video retargeting[J]. ACM Transactions on Graphics， 2008， 27（3）： Article No. 16.

[3]     WOLF L， GUTTMANN M， COHENOR D. Nonhomogeneous contentdriven videoretargeting[C]// Proceedings of the 2007 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2007： 1-6.

[4]     LEE K， MOORTHY A K， LEE S， et al. S3D visual activity assessment based on natural scene statistics[J]. IEEE Transactions on Image Processing， 2014， 23（1）： 450-465.