基于结构相似度和帧间残差四元数模型的视频质量评价方法

（宁波大学，浙江 宁波 315211）

基于结构相似度和帧间残差四元数模型的视频质量评价方法

艾孜麦提·艾尼瓦尔，李 纲，杨斌斌

（宁波大学，浙江 宁波 315211）

基于结构相似度的视频质量评价方法（SSIM）与其他传统方法相比，不仅具有较好的性能而且计算简单。本文将提出一种基于四元数模型的新度量方法，该方法将结构相似度作为四元数的3个部分，把参考视频和失真视频的帧间残差作为第4部分，然后对四元数向量进行奇异值分解获取评价度量。在视频质量专家组（VQEG）第1阶段FR-TV测试数据集上的结果表明，该方法计算复杂度低，评价结果更准确。

视频质量评价 结构相似度 帧间残差 VQEG

1 引言

随着视频图像处理技术的不断发展，在众多视频处理应用领域（如视频图像的采集、编码压缩、网络传输等）研究一种能够自动检测视频图像质量的方法已成为迫切的需求。

目前，视频图像评价方法可以分为主观评价方法和客观评价方法这2种。但由于主观评价方法存在费用昂贵、步骤复杂、实时性差等问题，因此在视频处理应用中越来越多地关注和研究客观视频质量评价方法。现在最常用的客观视频质量评价方法为均方差（MSE）和峰值信噪比（PSNR）。上述方法计算简单、具有明确的物理意义，然而评价数值与人眼视觉感知之间缺乏必然的联系，存在着明显的不足[1-2]。

人类视觉误差的敏感度和掩蔽效应是受空间和时间的频域、通道方向等因素影响的。因此，根据人眼视觉特征（HVS），提出了基于频域分解的视频质量评价方法。这些方法都建立在复杂的HVS系统的基础上，而人类对HVS系统的认识十分有限，因此这类方法仍存在明显的缺陷。

Wang等人认为自然图像信号和视频信号是高度结构化的[3-5]，信号的样本之间有很强的依赖性，尤其是他们在相邻的空间中。他们针对图像质量评价和视频质量评价，分别提出了SSIM方法和VSSIM方法。实验结果表明，VSSIM方法不仅优于传统的视频质量评价方法，而且计算简单。

本文将提出一种基于结构相似度和帧间残差的客观视频质量评价方法。该方法把参考视频与失真视频的结构相似度和帧间残差作为四元数矩阵的4个部分，对四元数向量进行奇异值分解得到评价度量。实验结果表明该方法不仅优于MSE、PSNR和VSSIM，而且计算复杂度低、运行速度快。

2 四元数构造及奇异值分解

四元数的概念是1843年由W R Hamiltion提出来的[6]，是对复杂数据的一种泛化表示。四元数由1个实部和3个虚部构成，其表示形式为：

其中a、b、c和d是实数，i、j和k是虚部并且遵守以下规则：

根据QSVD（Quaternion Singular Value Decomposition）的定义[7-8]，任何一个秩为r的四元数矩阵Q，必定有2个四元数酉矩阵U和V，其关系为：

其中∑r=diag(σ1,σ2,…,σr),σi(1 ＜ i＜ r ) 是四元数矩阵A的奇异值。在图像和视频的质量评价领域中，四元数和奇异值分解被广泛应用于提取图像和视频的特征信息[14-15]。

本文利用原始视频和失真视频的亮度结构相似性和帧间残差等信息建立四元数矩阵，并对其进行奇异值分解求得奇异值，用于提取每帧视频的特征信息。

3 基于结构相似性和帧间残差的四元数模型

3.1 帧间残差度量（IFD）

文献[9]和文献[10]中，使用连续两帧亮度像素值之差表示帧间残差。然而在彩色视频中，色度信息对人眼视觉也是至关重要的，比如某个视频序列连续两帧i和i+1之间的帧间残差如图1所示：

图1 连续两帧之间的帧间残差

本文将连续两帧之间的亮度和色度相结合，在视频序列第i帧第j块中，亮度之差diflumi和色度之差difchro的表示形式为：

其中，bsize表示块的大小，Ypixel(i,j)和Cpixel(i,j)分别表示第i帧第j块的亮度和色度像素值，idistance表示帧间隔，本文取值为3。

失真视频和原始视频序列中，亮度残差complumi和色度残差compchro的表示形式为：

其中，x和y分别表示失真视频和原始视频。

最终，每视频块残差对比值residual(x,y)的表示形式为：

3.2 结构相似性度量

文献[3]中结构相似性评价定义如下：

其中，亮度比较函数l(x,y)、对比度函数c(x,y)和结构比较函数s(x,y)分别为：

其中，μx、μy分别表示x和y的均值，分别表示x和y的方差，σxy表示x和y的均值协方差。

常数C1和C2表示为：

其中，L代表像素值的动态取值范围（对于8×8的块，L=255），K1和K2是远小于1的常数。当和的值很小的时起作用，本文中K1=0.01、 K2=0.03。

由上述内容可知，连续两帧之间的帧间残差作为四元数的一部分，并且其他3部分分别为l(x,y)、c(x,y)、s(x,y)。四元数模型的表示形式为：

其中i、j、k为四元数的虚部，residual(x,y)描述视频序列时域上的结构失真，l(x,y)、c(x,y)、s(x,y)描述时域上的结构失真。

4 四元数奇异值分解及视频质量评价

4.1 帧度量

根据奇异值分解的定义，四元数矩阵Q(x,y)的奇异值向量为Qi，并且关系为：

其中，Q(x,y)代表公式（1）所示的四元数评价模型，Qi表示Q(x,y)的奇异值分解向量。

4.2 帧间相关性

视频失真的能见度很容易受场景变化的影响，所以本文将帧间相关性[11]作为残差的权重因子，其表示为：

其中，Pi(x,y)和Pi-1(x,y)分别是参考视频中第i帧和第i-1帧的像素值。

4.3 视频度量

文中把所有视频帧评价结果的平均值作为整体视频的质量评价度量，即：

其中，F为视频序列的总数。

5 实验结果

本文中的实验采用视频质量专家组VQEG阶段FR-TV视频测试库[12]中的10个参考视频和160个失真视频进行测试。实验结果采用三次多项式回归，利用评估图像质量评价方法的3个常用客观参量作为客观质量评价指标，即Spearman相关系数（SROCC）、非线性回归条件下的相关系数（CC）和离出率（OR）。SROCC用于反映失真视频的客观评价结果的单调性，CC用于反映失真视频的客观评价结果的准确性。SROCC和CC的值越大，表示客观评价方法的 评价结果与主观方法的评价结果更一致。OR越小表示预测值的一致性越好。

表1给出了本文所提出方法的3个评价结果与其他模型的对比值。从中可以看出，与其他模型相比，本文所提出的方法提供了更好的CC和SROCC值。

表1 客观方法的比较

图2分别给出了PNSR模型、SSIM模型和本文所提出的模型在测试视频序列上主/客观值比较的散点图。其中纵坐标为主观值，横坐标为客观评价值。SSIM模型中视频度量是所有帧SSIM值的平均值。

6 结束语

本文提出了一种基于四元数矩阵的视频质量评价方法。该方法将帧间残差和结构相似度作为四元数的4个部分，然后四元数的奇异值分解值作为最终的评价值。该方法不仅运算复杂度低、运行速度快而且在VQEG FR-TV阶段的测试数据表明，客观评价结果与主观感知有比较好的相关性。

图2 不同的视频质量评价模型在VQEG第1阶段测试数据集测试的散点图

[1] And Z W, Wang Z, Bovik A C. Why Is Image Quality Assessment So Difficult?[J]. in Proc. IEEE Int. Conf. Acoust., Speech, and Signal Processing, 2002:3313-3316.

[2] Chikkerur S, Sundaram V, Reisslein M, et al. Objective Video Quality Assessment Methods: A Classification, Review, and Performance Comparison[J]. IEEE Transactions on Broadcasting, 2011,8(2): 165-182.

[3] Wang Z, Bovik A C, Sheikh H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004,13(4): 600-612.

[4] Wang Z, Lu L G, Bovik A C. Video Quality Assessment using Structural Distortion Measurement[C]. International Conference on Image Processing, 2002,3(24-28): 65-68.

[5] Wang Z, Lu L G, Bovik A C. Video Quality Assessment Based on Structural Distortion Measurement[J]. Signal Processing: Image Communication, 2004,19(1): 1-9.

[6] Zhang F. Quaternion and Matrices of Quaternion[J]. Lin. Appl., 1997,215(2): 21-57.

[7] D Kahaner, C Moler, S Nash. Numerical Methods and Software[J]. Prentice-Hall, Inc, 1989,3(4): 23-30.

[8] Bihan N L, Mars J. Singular Value Decomposition of Quaternion Matrices: A New Tool for Vector-Sensor Signal Processing[J]. Signal Processing, 2004,84(7): 1177-1199.

[9] Qiang Zhang, Long Wang, Hui juan Li, et al. Video fusion performance evaluation based on structural similarity and human visual perception[J]. Signal Processing, 2012,92(4): 912–925.

[10] Ong E P, Yang X, Lin W, et al. Perceptual quality and objective quality measurements of compressed videos[J]. Journal of Visual Communication and Image Representation, 2006,17(4): 717–737.

[11] A P Hekstra, J G Beerends, D Ledermann. PVQM-A Perceptual Video Quality Measure[J]. Signal Processing: Image Communication, 2002,17(10): 781-798.

[12] Chung E T, Du Q, Zou J. Final report from the Video Quality Experts Group on the validation of objective models of video quality assessment[J]. VQEG, 2000: 37-63.

[13] Group T V Q E. Final report from the video quality experts group on the validation of objective models of video quality assessment, phase ii[J]. VQEG, 2003: 46-74.

[14] Zhang Fei-yan, Xie Wei, Chen Rong-yuan, et al. Compression Image Quality Assessment Based on Human Visual Weight and Singular Value Decomposition[J]. Journal of Electronics & Information Technology, 2010,32(5): 1061-1065.

[15] Zhang Fu-qiang, Li Jun-li, Li Gang, et al. Video Quality Assessment Based on Quaternion Singular Value Decomposition[J]. ACTA ELECTRONICA SINICA, 2011,39(1): 219-223.★

Quaternion Model Video Quality Assessment Method Based on Structural Similarity and Inter-Frame Residual

AIZIMAITI Ainiwaer, LI Gang, YANG Bin-bin

(Ningbo University, Ningbo 315211, China)

Compared with other traditional methods, the video quality assessment method based on structural similarity (SSIM) has not only better performance, but less computation. A new metric method based on quaternion model was proposed in this paper in which structural similarity is used as three parts of quaternion, while the inter-frame residual between reference video and distorted video is used as the fourth part. Then, the assessment metric is derived from singular value decomposition of the quaternion. Experimental results on VQEG Phase I FR-TV test data set show that, the proposed method has both low complexity and precise assessment result.

video quality assessment structure similarity inter-frame residual video quality expert group

10.3969/j.issn.1006-1010.2015.08.013

TP391.4

A

1006-1010(2015)08-0061-04

艾孜麦提·艾尼瓦尔,李纲,杨斌斌. 基于结构相似度和帧间残差四元数模型的视频质量评价方法[J]. 移动通信, 2015,39(8): 61-64.

2015-01-19

责任编辑：刘妙 liumiao@mbcom.cn