基于视敏度的Q-STAR模型参数预测*

杜 麟，田 畅，吴泽民，张兆丰，胡 磊，张 磊

(中国人民解放军理工大学 通信工程学院，江苏 南京 210007)

基于视敏度的Q-STAR模型参数预测*

杜 麟，田 畅，吴泽民，张兆丰，胡 磊，张 磊

(中国人民解放军理工大学 通信工程学院，江苏 南京 210007)

Q-STAR模型是现有的客观视频质量评价中最接近主观得分的模型，但是在解码端难以从丢包解码后的YUV视频序列中提取与编码端相一致的运动矢量信息，从而影响模型参数的预测。针对该问题，提出了基于视敏度信息的模型参数预测方法，从YUV视频序列中提取时间域和空间域视敏度特征，并结合Q-STAR模型中提取的特征进行预测。通过实验发现，使用视敏度信息代替原有的运动矢量信息进行预测，所得模型参数值与Q-STAR基本相符，并且计算更为简单。

视频传输质量保障；主观感知；参数预测；视敏度信息

0 引言

视频传输质量保障的最终目的是保障接收端视频的服务质量，首先需要建立与人的主观感受相一致的视频质量评价模型。近年来，越来越多的研究着力于建立符合人眼视觉感知特性的评价指标[1-2]。常见的方法是对主观评价结果进行分析，并建立相应的模型使得评价的结果逼近真实主观评价的结果。文献[3-4]首先从时间域和质量域出发，分别研究了帧率以及量化步长对主观感知和码率的影响，随后在文献[5]中加入分辨率对主观感受的影响，并提出了联合模型Q-STAR。文献[6]中提出用视敏度评估视频质量，用相邻的视频帧之间像素之差表示时间信息，用源视频与测试视频的时间信息差异表示视频的损伤，并通过回归树的方法估计主观得分。

本文从YUV视频序列中提取时间域和空间域视敏度信息作为新的特征值，并进行模型参数的预测。

1 Q-STAR模型

文献[5]从质量域、时间域以及空间域三个方向出发，分别研究了量化步长、帧率以及分辨率对视频主观感知质量的影响，从而得到了联合的视频主观感知模型Q-STAR，模型的计算表达式以及参数预测如下所示：

(1)

(2)

(3)

(4)

使用Q-STAR模型对6个视频序列(city、crew、harbour、soccer、garden和foreman)进行参数预测。图1为6个视频序列的简图。预测的结果如表1所示。表2表示用最小二乘拟合对主观得分进行拟合得到的模型参数值，将该数值作为模型参数预测的真实值，用于评价参数预测的好坏。(表格中视频序列取前两个字母表示)。

图1 6个测试序列从左至右，从上至下一次为city、crew、harbour、soccer、garden和foreman

cicrhasogafoMSEαq误差7．454．299．176．3710．764．380．20-0．22-0．480．060．08-0．190．246＾αs误差3．684．073．854．555．115．560．160-0．7300．28-0．380．360αf误差3．993．352．762．152．953．690．110．26-0．07-0．080．15-0．110．144

表2 模型参数最小二乘拟合结果

对表1中的结果进行分析可以发现，对于运动剧烈和场景复杂的视频序列来说，Q-STAR模型参数的预测存在较大的误差，分析原因在于模型参数的预测中使用了特征σDFD，而σDFD是基于运动估计的相邻两帧之间帧差均值的标准差。对于运动剧烈和场景复杂的视频序列来说，运动矢量信息以及残差信息远大于其他的视频序列，难以进行准确的运动估计，运动估计的不准确性导致运动补偿之后的误差增大，使得特征σDFD计算不准确，从而造成模型参数预测的误差。另一方面，运动矢量信息需要从264码流中提取，无法直接从YUV视频序列中得到，在视频传输过程中如果发生丢包，解码后的视频能难得到有效的运动矢量信息，因此，该预测只能用于编码端或者是无丢包条件下的视频质量评价。为了解决以上问题，本文提出了一种基于视敏度的参数预测方法。

2 视敏度

文献[6]将视敏度[7-8]定义为视频的感知质量，并给出了一种在线计算视敏度的方法。视敏度是最基本的人眼视觉系统(Human Visual System，HVS)视觉处理机制，它表征了HVS对不同频率视觉信号的响应强度，主要有时域对比敏感度和空域对比敏感度。

时域对比敏感度主要反映了视频序列受帧率的影响，表现在视频序列的连贯性上，体现了帧与帧之间的差别。图2分别表示同一视频在帧率为3.75、7.5、15以及30时相同位置连续的5帧。从图2可以看出帧率越大，帧与帧之间的差别较小，视频序列的连贯性越好；而帧率越小，帧与帧之间差别较大，造成视频序列的不连贯，出现“跳跃”的现象。

图2 SOCCER序列在4种帧率下的对比

用时域信息Ti表示时域对比敏感度，Ti的计算表达式如下：

(5)

(6)

(7)

其中H和W分别代表视频的高度和宽度；c代表颜色深度；Fn(i,j)代表视频第n帧图像中位于位置(i,j)的像素值；N代表视频的帧数。

空域对比敏感度主要受分辨率影响，体现在视频序列的尺寸上，图3分别表示了同一视频在两种分辨率下相同位置的帧。从图3中可以看出分辨率越大，人眼的主观感受越好；分辨率越小，越容易造成主观感受的下降。

图3 SOCCER序列在两种分辨率下的对比

用空域信息Si表示空域对比敏感度，Si的计算表达式如下：

|Fn(i,j+1)-Fn(i,j)|)

(8)

(9)

(10)

为了解决模型参数预测中运动矢量信息的问题，分别计算了源视频时域信息Tio以及空域信息Sio和测试视频的时域信息Tit以及空域信息Sit，并把时域信息和空域信息的变化DTi和DSi作为新的特征，特征计算如下：

(11)

3 模型参数预测

表3 视频特征描述

从6个视频序列中选取5个用于训练，剩下一个视频序列用于测试，求取预测结果与最小二乘拟合值之间的误差，通过误差大小进行特征组合的选取，表4表示了不同个数特征组合下最佳的特征组合以及其最小误差。

表4 特征组合选取

通过表4可以看出，当K=4时误差最小，而K=3时的误差与K=4时仅相差0.013，因此，选择DTi、η(μFD,σ)和Gm三种特征进行模型参数的预测，预测方程如式(12)所示。

(12)

4 实验结果

表5 本文提出的方法预测结果

5 结论

[1] 蒋刚毅, 朱亚培, 郁梅, 等. 基于感知的视频编码方法综述[J]. 电子与信息学报, 2013, 35(2): 474-483.

[2] LEE J, EBRAHIMI T. Perceptual video compression: a survey[J]. IEEE Journal of Selected Topics in Signal Processing, 2012, 6(6): 684-697.

[3] OU Y F, MA Z, LIU T, et al. Perceptual quality assessment of video considering both frame rate and quantization artifacts[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(3): 286-298.

[4] MA Z, XU M, OU Y F, et al. Modeling of rate and perceptual quality of compressed video as functions of frame rate and quantization stepsize and its applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5): 671-682.

[5] OU Y F, XUE Y, WANG Y. Q-STAR: a perceptual video quality model considering impact of spatial, temporal, and amplitude resolutions[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2473-2486.

[6] BAIK E, PANDE A, STOVER C, MOHAPATRA P. Video acuity assessment in mobile devices[C]. 2015 IEEE Conference in Computer Communications (INFOCOM), HONG KONG, 2015: 1-9.

[7] LIN W, KUO C C J. Perceptual visual quality metrics: a survey[J]. Journal of Visual Communication & Image Representation, 2011, 22(4):297-312.

[8] BALACHANDRAN A, SEKAR V, AKELLA A, et al. Developing a predictive model of quality of experience for internet video[J]. ACM SIGCOMM Computer Communication Review, 2013, 43(4): 339-350.

[9] LI C, XIONG H, WU D. Delay-rate-distortion optimized rate control for end-to-end video communication over wireless channels[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(10):1665-1681.

The parameters prediction of Q-STAR model based on video acuity

Du Lin，Tian Chang，Wu Zemin， Zhang Zhaofeng， Hu Lei， Zhang Lei

(College of Communications Engineering, PLA University of Science and Technology, Nanjing 210007, China)

Q-STAR is now the best model whose objective evaluation is close to the real subjective scores. But in the decoding end, it’s difficult to extract the same information of motion vector from YUV sequences with packet loss, which influences the prediction of model parameters. In order to solve this problem, a new model parameters prediction method was proposed based on video acuity. Firstly, it extracts video acuity features of time domain and space domain from the sequence, and then predicts the model parameters with the features extracted in the Q-STAR. Experimental results demonstrate the new prediction method is close to the old prediction and makes the calculation easy.

video transmission quality metric; subjective perception; parameter prediction; video acuity

国家自然科学基金(61501509)

TN919.85

A

10.19358/j.issn.1674- 7720.2017.01.013

杜麟，田畅，吴泽民，等. 基于视敏度的Q-STAR模型参数预测[J].微型机与应用，2017,36(1)：40-43.

2016-09-30)

杜麟(1992-)，男，硕士，主要研究方向：视频传输保障。

田畅(1963-)，通信作者，男，博士，教授，主要研究方向：数据链系统与信息感知。E-mail：tianchang_cce@163.com。

吴泽民(1973-)，男，博士，副教授，主要研究方向：信息融合。