基于SSIM算法的全参考视频自动评价系统

一、引言

视频质量评价是对视频解码器等设备质量分析评价中最为重要的步骤。将视频解码设备输出的视频与原始视频进行比对，即全参考视频质量评价，是目前应用最为广泛的视频质量评价方法之一。全参考视频质量评价中往往采用专家人工观察对比待评价视频和原始视频的方法。但是这种方法具有显著的缺点：

（1）依赖专家经验，比对人员专业技能要求较高；

（2）比对结果受主观影响较大；

（3）比对工作耗时较长，期间可能多次反复。

为解决传统人工比对的缺点，已有大量的研究提出了基于计算机自动比对的视频质量评价算法[1]。其中最为著名的包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）算法[2]和结构相似性（Structural SIMilarity,SSIM）算法[3]。这些算法可以将对应的一对被测图像与参考图像进行自动比对，计算出其定义的指标作为被测图像质量的评价。

在利用上述算法对视频质量进行评价时，理论上只需要将被测视频与原始视频逐帧进行比较，就可以获得被测视频每一帧图像的质量评价，然后以各个视频图像得分的统计值，例如平均值，作为整个视频的质量评价。然而，在实际视频质量评价中，高效、可靠地获得被测视频的逐帧图像，并获得其与原始视频图像逐帧对应关系十分困难，从而造成了PSNR、SSIM等算法应用前提要求过高，难以在实际视频评价工作中使用的问题。造成这些困难的主要原因包括：

（1）被测视频的输出形式差别较大，既有数字信号输出的，也有模拟信号输出的。为了具备通用的视频质量评价功能，只能采用具有多种输入方式的视频采集卡对被测视频进行采集。而视频采集卡采集的帧率往往与原始视频不同，逐帧图像的完整性也不能保证，因此采用哪些采集到的视频帧与原始视频进行比较需要研究。

（2）在被测视频采集中，一般不能保证准确地从视频的开头进行采集。并且为了保证整个视频能被采集完整，需要采集相当于原始视频两遍甚至更多的被测视频。在这种情况下，找到对应原始视频开头（第一帧）和结尾（最后一帧）在被测视频帧中的位置就十分困难。找到起始点就不容易。

（3）由于被测视频在采集时使用的帧率与原始视频不同，即使在知道原始视频开头结尾在被测视频中对应位置之后，也需要为原始视频中的每一帧找到其对应的被测视频帧。由于采集的帧率一般大于原始视频的帧率，那么原始视频中的一帧可能会对应被测视频中多个帧。选择哪一帧作为质量评价算法的输入值得考虑。

综上所述，尽管已有算法能够评价视频帧的质量，但是在实际的视频自动评价系统中，还需要解决高效、可靠地获得被测视频的逐帧图像，并给出其与原始视频图像逐帧对应关系的问题。如果使用人工来找到原始视频开头结尾在被测视频中的位置，并把其中的各个帧与原始视频逐帧一一对应，将非常的耗时费力。在本文中，研究了获取被测视频逐帧图像的方法，提出了自动判定被测视频逐帧图像与原始视频帧对应关系的算法，并在此基础上实现了基于SSIM的视频质量评价，进一步提高了视频质量评价系统的自动化程度和实用性。

二、视频质量评价算法描述与比较

1.视频比对算法描述

视频是由若干帧大小相同的图像组成，因此视频比对可以等价转化为逐帧进行图像比对，最后综合组成视频的所有图像帧对比结果，形成最终的视频比对结果。

计算机视觉研究领域已经提出两种相对成熟可靠的图像质量比对算法：PSNR算法和SSIM算法。

2.PSNR算法

PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。通过计算均方差（Mean Squared Error，MSE），进一步得到原始图像和被测图像的PSNR值。假设原始图像和被测图像大小为m×n，I（i,j）和K（i,j）分别表示原始图像和被测图像位置为（i,j）的像素点的信息，则PSNR指标计算方式如下：

其中MAXI是表示图像点颜色的最大数值，如果每个采样点用 8 位表示，那么就是 255。PSNR值越大，表示被测图像与原始图像越接近。

3.SSIM算法

SSIM（Structural SIMilarity，结构相似性）指标由美国得克萨斯州立大学奥斯丁分校的图像和视频工程实验室首先提出。SSIM算法的基本观念为自然影像是高度结构化的，亦即在自然影像中相邻像素之间有很强的关联性，而这样的关联性承载了场景中物体的结构资讯。人类视觉系统在观看影像时已经很习惯抽取这样的结构性资讯。因此SSIM指标可以衡量原始图像与被测图像的相似程度。假设原始图像和被测图像分别为x和y，则SSIM指标计算方式如下：

4.PSNR算法和SSIM算法的比较及项目中的应用

图1和图2是针对图像比对算法与人工主观比对差异的研究结果。根据分析大量测试图片数据，PSNR算法给出的结论与人眼主观分析结论存在较大的差异，而SSIM算法的结论与人眼主观分析结果相似度较高。两种算法相比，SSIM算法能更好的反应人眼的主观感受。

图1 PSNR算法与人工主观比对的差异

图2 SSIM算法与人工主观比对的差异

综合上述讨论，两种图像比对算法的特点参见表1。本研究中利用两种算法不同的特点，在采集视频预处理阶段使用PSNR算法，在视频比对打分阶段使用SSIM算法。

5.视频压缩算法描述

表1 PSNR算法与SSIM算法对比

比对工具开发过程中需要对视频的图像帧进行缩放。为取得较好的缩放结果，尽可能避免缩放带来的图像失真，研究中采用了“双线性插值（Bilinear Interpolation）”算法。其核心思想是在两个方向分别进行一次线性插值，图3给出了算法的示意图，计算公式如下：

图3 双线性插值算法原理

三、视频自动评价系统设计与实现

为了进一步提高视频质量评价系统的自动化程度和实用性，本文提出了一种新型的全参考视频质量自动评价系统，如图4所示。在本系统中，被测设备为面向SVAC、H.265等标准的软硬件解码设备,通过比特流发送工具向被测设备输入测试测试比特流,测试比特流为原始视频经参考编码器编码形成。系统采用视频采集卡来统一地收集被测设备输出的视频，其中既包括了数字格式的DVI、HDMI等输出方式，也包括了传统的VGA等模拟输出方式。本系统然后将采集到的待评价视频保存为YUV视频文件。然后系统对待评价视频进行自动化处理，包括对待评价视频的裁剪和缩放，待评价视频与原始视频的逐帧对齐。接下来将处理好的待评价视频和原始视频作为SSIM算法的输入，对视频逐帧进行质量评价。最后，将每帧视频图像的得分综合得到对整个视频质量的评价。

其中本文主要的贡献在于对采集得到的待评价视频进行全自动化处理及评分的算法。该算法流程如图5所示。以下将在3.1节至3.4节详细描述这一算法各部分的设计与实现。

图4 全参考视频质量评价系统结构图

1.采集到待评价视频的剪裁和缩放

图5 待评价视频全自动处理流程

视频图像帧对比的基础是原始图像帧和被测图像帧具有相同的大小。然而实际过程中采集视频的大小与原始视频并不相同。此外某些采集设备对应的采集软件带有宽度不定的边框，也会影响最终的比对结果。因此在开始视频比对之前，首先应对采集视频进行剪裁和压缩。选择采集视频后，软件工具提示用户输入边框宽度（如果采集软件不存在边框则输入0即可），然后根据给定的边框宽度和原始视频的大小，进行剪裁和缩放。

在计算机中，图像被转化为数值的矩阵，因此图像的剪裁和缩放的操作也转化为对应的矩阵操作，如图6所示。其中缩放操作使用节描述双线性插值算法，尽可能减小图像缩放引起的失真，避免过度影响最终的视频比对结果。

2.待评价视频与参考视频的逐帧对齐

被测视频的采集过程为播放原始视频的同时通过采集设备进行抓取。因启动播放和采集很难做到同步开始，因此采集视频的第一帧为黑屏（采集先于播放原始视频）或原始视频中间帧（播放原始视频先于采集）。为解决该问题，视频采集过程中通常需要循环播放原始视频，保证至少完整采集一次原始视频，然后进行原始视频和被测视频的头部帧对齐。具体的流程为：

（1）读取原始视频的第一帧（头部帧）；

（2）依次读取被测视频的图像帧，使用PSNR算法快速分析与原始视频头部帧的相似性；

（3）找到第一次出现与原始视频头部帧高度相似的图像帧，以该帧为被测视频比对的头部帧；

（4）删除被测视频比对头部帧之前的图像帧，完成原始视频与被测视频的头部帧对齐；

除了头部帧对齐之外，还需进行原始视频和被测视频的帧率对齐。被测视频的帧率与显示设备的刷新频率一致，而显示设备刷新频率通常要大于原始视频的帧率。在研究中，原始视频的帧率为24或30，而采集视频的帧率接近60。帧率不相等导致存在以下两个严重问题：

（1）视频比对依赖于原始视频和采集视频相对应的图像帧间的比对，帧率不一致则相同时间内原始视频和被测视频的图像帧数目不一致，难以选择使用SSIM算法比对的帧；

（2）显示设备的刷新频率大于原始视频帧率，很可能出现采集设备抓取到显示设备正在进行原始视频前后两帧间切换的情况，即呈现出错位的效果，如图7所示。这种采集到的图像帧严重影响视频比对的结果，必须在正式使用SSIM算法比对前删去。

图6 图像剪裁边框和缩放

图7 被测视频出现错位情况的示意

因此，为解决原始视频和被测视频帧率对齐，本研究实现了一种“步进式”抽取被测视频的图像帧，实现帧率对齐的算法。该算法的示意图如图8所示，核心思想如下：

图8 步进式帧率对齐算法

（1）假设被测视频的第N帧与原始视频的第M帧对应；

（2）原始视频的帧率为fpsorigin，采集视频的帧率为fpstester，因则原始视频第M+1帧在被测视频中对应的帧在下述范围内：

（3）因被测视频与原始视频的头部帧已经对齐，以

头部帧为起点，步进式搜索并对齐被测视频；

（4）递归对齐至原始视频的最后一帧，此时被测视频帧率与原始视频完全一致，可以利用SSIM算法进行比对得分。

3.全参考视频比对算法实现

PSNR算法和SSIM算法的核心思想相对较为成熟，研究中采用运算高效的矩阵结构表示图像，依据已经公开发表论文作为算法实现基础，并根据测试结果进行参数调优，使得自动视频比对软件工具更加适用于分析采集设备的质量。

本文中实现的PSNR算法和SSIM算法均以输入的图像矩阵为参数，输出的值为原始图像和被测图像的相似程度。

PSNR算法的部分实现程序示例如图9所示：

SSIM算法的主要流程如图10所示：

图9 PNSR算法流程图

图10 SSIM算法流程图

可以看出，SSIM算法远比PSNR算法复杂，SSIM算法执行的时间更长，但取得与人眼主观感受更加接近的结果。

4.系统人机交互界面设计

为实现可视化操作和比对效果，本研究开发了交互程度较高的图形界面。软件工具原型示意图如图11所示。

软件工具分为视频播放区、参数输入区、结果展示区。视频播放区循环播放原始视频和被测的采集视频，可以进行人工比对；结果展示区用图形化的方式逐帧展示比对结果，并提供被测视频的综合得分。

图11 系统人机交互图形界面

四、测试实验

为测试验证本研究的效果，研究中使用实际验证采集设备质量的测试用例对软件工具进行测试，并与人工比对测评评分进行了比较。

人工比对测试评分办法参考行业通用主观刺激法。

评价人员可以是专业人员，也可以是非专业人员，应有正常的视力和彩色视觉，人数至少7人。

将测试比特流分别送入标准解码软件和被测设备，在显示设备上同时显示标准解码软件和被测设备的输出图像，由观看员通过主观判断可察觉的差别的存在做出比较性评分。比较评分的分级如下：

5分：被测解码输出图像与标准解码软件输出图像相同

4分：稍有差异

3分：有差异

2分：差异较大

1分：差异很大

对所有参加主观评价的观看员对某测试编码比特流的评分进行算术平均，结果即为该项评价指标的平均得分的计算公式为：

式中：

测试视频流为公安部检测中心用于日常SVAC标准符合性测试的标准测试码流，已通过第三方评审。

对A厂家生产的SVAC硬件解码器的测试结果如表2所示。

表2 A厂商解码器主客观测试评分

对B厂家生产的SVAC硬件解码器的测试结果如表3所示。

表3 B厂商解码器主客观测试评分

五、结论

SSIM算法作为一种兼顾执行效率和准确程度的图像比对算法，在计算机图形学的各个领域获得了应用。本文创造性地将SSIM算法及PSNR算法用于采集设备质量分析中，将过去主要依赖人工比对原始视频和被测视频的方式转化为一种可视化的自动视频比对工具。通过一系列的测试用例，证明本文提出的软件工具不仅执行效率较高，同时与人工比对的主观结果较为接近，可以适用于视频采集设备的质量分析过程中。

然而视频比对工具仍然有较大的研究和发展空间，后续将从以下三个方面进一步展开深入的研究工作：

（1）目前视频的采集与比对过程是分离的，自动化程度不高。将继续开发将视频的采集和比对过程相集成，提高视频比对软件工具的自动化程度和易用性；

（2）SSIM算法只是图像比对众多算法中的一种，一方面将继续发掘计算机图形学中的其他图像比对算法，探索将其他算法应用于视频采集设备质量分析领域，另一方面将继续对SSIM算法调优，使得更加接近人眼主观感受，提高视频比对软件工具的可用性；

（3）可以看出SSIM算法包含大量复杂的矩阵运算，执行速率相对较慢。为提升视频比对软件工具的效率，将研究加速SSIM算法的策略，例如并发计算、GPU加速等。

通过持续研究和优化，可视化的自动视频比对软件工具将能够逐步替代人工比对，以高效和可靠的特点广泛应用于视频采集设备的质量分析之中。

[1]Chikkerur, S., et al., Objective video quality assessment methods: A classification, review, and performance comparison. IEEE transactions on broadcasting, 2011. 57(2): p. 165--

[2]182.Huynh-Thu, Q. and M. Ghanbari, Scope of validity of PSNR in image/video quality assessment. Electronics

[3]letters, 2008. 44(13): p. 800--801.Wang, Z., et al., Image quality assessment: from error visibility to structural similarity. IEEE