基于边缘结构相似性的视频质量客观评价

邹 钧，姜秀华，杨 爽

（中国传媒大学 信息工程学院，北京 100024）

0 引言

视频图像质量评价方法可以分为主观评价方法和客观评价方法。前者凭感知者主观感受评价图像的质量，后者依据模型给出的量化指标或参数衡量图像质量[1]。目前，国际上公认一个评价视频图像质量最可靠的方法是主观评价方法，因为在应用过程中，人是最终的接受者，但是这种评价受观察者的知识背景、观测目的、观测环境和人的视觉心理的影响，在工程应用中不但成本高、费时费力，而且很多情况下无法采用。客观评价方法采用数学模型计算失真图像和原始图像的相似度得到评价结果，因而具有简单，便于内置于图像处理系统中等优点，是目前图像质量评价领域的研究重点。

图像质量客观评价方法研究的目的是使评价结果与人的主观感觉相符。传统的图像质量客观评价方法，例如均方误差（Mean Square Error，MSE）和峰值信噪比（Peak Signal Noise Ratio，PSNR）都是基于对应像素点间的误差进行图像质量评价。采用这种方法，当参考图像与受损图像的像素位置发生偏移时，将会带来较大的评价误差，因此无法对经过变换后的图像进行质量评价，并且由于未考虑到人眼的视觉特性，评价结果与人的主观感觉相关性也不高。

研究表明，人眼视觉系统的主要功能是提取图像和视频中的结构信息[2]。由于结构相似度（SSIM）模型算法具有对像素偏移不敏感、计算简单、评价性能优于PSNR与MSE等特点，应用较为广泛，但是SSIM算法不能较好地评价严重模糊图像的质量，因此，本文提出了一种基于边缘提取的结构相似度（ESSIM）的视频图像质量评价方法。

1 结构相似度方法

方法的基本理论是[3]：人眼的主要功能是从视觉区域提取图像的结构化信息，模型框图如图1所示。

在图1中，设原始图像和失真图像分别为x和y，分成不重叠的子块。从结构信息出发计算块的结构相似度，其计算公式为

式中：μx和μy表示原始子块和受损子块的均值，C1=(K1L)2，C2=(K2L)2，σx和σy表示原始子块和受损子块的标准差，σx=，σxy表示子块的协方差，C3=，K1=0.01，K2=0.03，L=255，C1，C2和C3是为了保证分式的分母不为零而添加的常数。式（1）表示子块的结构相似度，整幅图像的结构相似度为

式中：N是整幅图像的分块数。实验表明，相对于传统的PSNR和MSE方法，SSIM算法所得结果能够更好地与人的主观评价相符合，但对严重模糊图像的评价效果较差。

2 边缘结构检测算法改进结构相似度

边缘就是指图像局部亮度变化最显著的部分[4]，如灰度、颜色、纹理结构的突变，是人眼提取视觉信息的重要依据。人眼对边缘或轮廓信息更加敏感，特别是在观看运动序列时。边缘是图像的重要信息，也是视觉感知的重要线索，不仅能够传递图像的大部分信息，而且能够勾勒出物体的基本轮廓，尤其是当图像的边缘信息损伤时人眼特别容易察觉，因此边缘信息一直是国内外研究的热点。

ESSIM算法的核心思想是[5]：首先计算色调、饱和度、亮度等三个分量的边缘信息，然后对三个分量进行边缘提取合成得到总边缘信息，最后通过非极大值抑制，得到视频图像的边缘。ESSIM算法模型框图如图2所示。

为了保证检测到所有的边缘，采用改进的4方向的Sobel边缘检测算子，分别为水平方向、垂直方向、45°方向和135°方向。4个边缘检测算子为

分别对色调、饱和度、亮度按照式（6）的梯度算子进行4个方向的边缘提取[6]，定义合成的G为4个方向的边缘强度值，同时也作为该图像的边缘信息。图3为原始图像，图4～图8分别是经过4个方向边缘提取后所得的图像。

3 实验结果分析

实验中共用了3个经过H.264压缩的高清序列（花、港口、秋叶），其中每个序列包含了（原始，8 Mbit/s，10 Mbit/s，12 Mbit/s，14 Mbit/s，16 Mbit/s，18 Mbit/s，20 Mbit/s，25 Mbit/s）等8个码率；高清序列帧频均为25 f/s，色度格式为4∶2∶0，GoP长度为12，GoP结构均采用广播电视系统常用的IBBPBBPBBPBB结构。

在实验中，对未经过边缘提取的结构相似度客观值与经过边缘提取后得出的结构相似度客观值进行主客观相关性计算，其结果如表1所示。

表1 SSIM，ESSIM与主观评价的相关性比较

SSIM与主观评价值的拟合如图9所示，ESSIM与主观评价值的拟合如图10所示。

从实验数据中可分析出，经过边缘提取后的ESSIM模型得出的客观值与主客观评价值具有更高的相关性，能更好地反映视频图像的质量。

4 小结

本文从人眼的视觉模型出发，深入研究了SSIM模型算法，分析其优缺点。并在此基础上加入了边缘检测算法，综合利用了梯度的幅度和方向信息，很好地反映了图像的边缘纹理结构特征，得到更好的评价结果。在实验中，ESSIM算法的仿真效果优于SSIM算法，能更好地评价图像质量，更符合人眼视觉系统的特性，具有广泛的应用价值。

[1]袁飞，黄联芬，姚彦.视频质量客观评价技术研究[J].电视技术，2007，31（3）：91-94.

[2]张文俊，王兴国，陈国斌.一种基于视觉感知的视频质量客观评价方法[J].电视技术，2004，28（8）：57-59.

[3]朱里，李乔亮，张婷，等.基于结构相似性的图像质量评价方法[J].光电工程，2007，34（11）：108-113.

[4]WANG Zhou，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.

[5]FAN Jianping，AREF W G，HACID M S ，et al.An improved automatic isotropic color edge detection technique[J].Pattern Recognition Letters，2001，22（3）：1419-1429.

[6]WANG Z，BOVIK A C，SHEIKH H R.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.