基于遗传算法的视频缩放方法及性能实验

张明， 司维

(1. 河南水利与环境职业学院 机电与信息工程系, 河南 郑州 450000；2. 河南省外贸学校 信息服务办公室, 河南 郑州 450002)

0 引言

视频缩放是保证在不失真显示全部视频的内容前提下，对视频的高宽比和分辨率进行调整[1-2]。近些年，随着各种尺寸的平板电脑、显示器，尤其是全面屏手机的不断更新，对显示器要求的比例逐渐多样化，因此为了适配不同设备，对视频进行缩放具有重要的意义[3]。但是传统的视频缩放方法通过裁剪或者均匀缩放的方式，往往会导致视频不同程度的扭曲或失真[4]，近些年出现的基于内容感知的视频缩放方法[5-6]，可以在保留原图像不失真的前提下改变视频的纵横比和大小，可以满足不同设备的观影体验[7]。目前，基于内容感知的视频缩放方法分为基于接缝和基于网格两种[8]。文献[9]提出的基于网格的视频缩放方法通过弯曲和裁剪获得空间和时间上的一致性，但往往会因为裁剪的操作造成视觉信息的丢失。而基于接缝的视频缩放方法首先保证原视频的信息，但此方法往往较为费时。Grundmann[10]提出了可以较高地保持空间和时间一致性的方法，其采用的方法为不连续接缝。但Grundmann方法由于使用动态规划，提高了计算的复杂程度，增加了视频缩放的时间。针对此问题，本文提出了一种利用遗传算法的缩放方法对Grundmann方法进行改进，文献[11]研究表明次优接缝可以保持空间和时间的连贯性。显著性信息对视频缩放非常有效，本文利用文献[12]提出的显著度的方法提升视频的缩放效果。本文的主要成果为：提出了一种新的利用遗传算法的视频缩放方法，并考虑了计算复杂度和视觉信息，在实现较好缩放效果的基础上，将消耗时间缩短为Grundmann方法的30%左右。

1 基于遗传算法的视频缩放方法的提出

本文提出的视频计算方法为利用移除接缝和迭代的方式对视频的大小进行调整，本文利用Grundmann提出的能量函数来保证空间和时间的一致性，利用该技术得到的能量图可以生成不连续的接缝从而跳过显著性物体，而且可以利用其动态规划的方法对接缝进行识别。本文的遗传接缝跳过了足球运动员在的区域从而保证了显著性物体的完整性，如图1所示。

(a) t帧

1.1 时间的一致性

计算时间一致性损失的过程，如图2所示。

图2 计算时间一致性的损失

选择上一帧时间的接缝(图中红色)作为目前帧的引导，Rc表示最佳时间的一致性帧，把上一帧的接缝应用至当前帧Fi。时间损失公式[13]Tc(x,y)，如式(1)。

(1)

1.2 空间的一致性测量

空间一致性的损失包含垂直一致性和水平一致性损失两组[14]。损失公式，如式(2)。

Sc=Sh+Sv

(2)

对于垂直损失和水平损失的测量，本文选用梯度变化进行测量。Sh与像素有关，而Sv不仅与当前像素有关，还与上一行接缝所在的像素有关，如式(3)、式(4)。

Sc(E)=|D-E|+|E-F|-|D-F|

(3)

Sv(E,A)=||A-D|+|B-D||+

||B-E|-|B-D||

(4)

移除相邻相位和酚酸接缝损失的计算，如图3所示。

(a) 移除相邻像素

1.3 利用遗传算法的不连续接缝裁剪

传统的接缝裁剪方法基于动态规划在能量图中识别能量最低的接缝。但研究表明由于最优和次优的接缝效果几乎相同，因此没有必要限制最低的能量[15]。基于此，本文利用迭代完成视频缩放，利用遗传算法寻找次优接缝。在遗传模型中，每个个体只包含一个染色体，位于染色体中的基因组可以将其编码成一条接缝。本文初始种群为通过初始化一批个体得到的，群体经过一定数量的代数演化后得到次优解，从而得到次优裂缝。

染色体的定义为，由n个基因组成的整体。n表示水平接缝帧宽和竖直接缝帧高。为了表示像素的实际位置，设计了枢纽基因ai=p。对于其它基因，其值介于-1和1之间用来表示相邻3个像素的位置，如式(5)。

I={a1,a2,…，ai=p，…an}

(5)

为了选择次优接缝，本文定义了适当度函数，如式(6)。

(6)

式中，h表示最高能量值；1表示最低能量值；x表示当前的能量值，适应值介于0和2之间。

2 性能试验及结果

本文选用了高宽比比例不同的视频对视频的缩放算法进行试验，为了与其它缩放方法进行对比，本文将缩放时间和缩放结果与其它缩放方法进行了对比。另外还研究了遗传算法的不同对缩放效果的影响。本文所有的缩放试验均基于某笔记本，该笔记本采用的处理器为AMD瑞龙7，内存容量为8GB，硬盘容量为512G PCIe SSD。本文的计算结果与Grundmann和Rubinstein[16]的处理结果，如图4所示。

图4 不同视频缩放方法对比

图4中(a)、(b)、(c)、(d)分别为原始视频、本文缩放结果、Grundmann方法缩放结果、Rubinstein方法缩放结果。

由图4可知，本文提出的视频缩放算法的缩放效果与Grundmann方法基本一致，未出现扭曲和失真等现象，而Rubinstein的方法在卡车边缘出现了扭曲的现象。对于飞行在空中的飞机，Grundmann方法缩放完之后出现了多处帧边缘部分为裁剪的现象，而Rubinstein方法使得图中左侧的飞机出现了扭曲，而本文提出的缩放方法保持了最好的一致性空间，消除了周围边缘的区域，缩放效果最好。对于冲浪画面，Grundmann方法和本文提出的方法缩放效果较好，未出现扭曲和变形的情况，而Rubinstein方法出现了运动员头发的扭曲变形。因此可知，对于视频的缩放来说，次优接缝完全可以满足要求。

与Grundmann方法相比，本文提出的算法从两方面降低了计算复杂度。首先，本文通过实验方法研究多种分辨率视频的条件下3类算法的性能，如表1所示。

表1 视频不同分辨率情况下的耗时

对于340×280、480×260和640×256 3种不同的分辨率的视频，Rubinstein方法耗时最多，而本文提出的方法耗时是最少的，基本上仅为Grundmann方法的30%左右。

本文通过实验研究不同缩放比例条件下各个方法的性能，本实验选用的视频分辨率帧数为15；分辨率为480×260的视频，如表2所示。

表2 视频不同缩放因子情况下的耗时

由表2可知，本文提出的方法耗时最少，其次为Grundmann，而Rubinstein方法的耗时最多。

图5不同初始群种个数所对应的缩放结果，如图5所示。

图5 不同初始群种个数所对应的缩放结果

其中，p为初始总群的数量，图中的空色方框为对比不同缩放效果的显示对象。

对于冲浪画面来说，当p为30时，缩放效果最佳；对于空中的飞机来说，当p为10时，缩放效果最佳；对第三排的图片来说，当p为10时，缩放效果最佳。

不同遗传代数所对应的缩放结果，如图6所示。

图6 不同遗传代数所对应的缩放结果

其中,n表示进化代数，图6中的红色方框为对比不同缩放效果的显示对象。

对于冲浪画面来说，当n为5时，缩放效果最佳；对于空中的飞机来说，当n为7时，缩放效果最佳；对第三排的图片来说，当n为9时，缩放效果最佳。

因此可知，对于不同类型的视频来说，其最好的缩放效果所对应着不同的遗传算法参数值。

综上所述，证明了本文所提出的视频缩放算法具有有效性和高效性。首先本文提出的视频缩放方法得到的缩放结果与Grundmann方法基本相同，然后证明了使用遗传算法可以大大降低计算的复杂程度，通过对比不同的视频缩放比例和分辨率，本文提出的方法的耗时为Grundmann方法的30%左右。最后，本文证明了遗传参数对于视频的缩放效果有着重要影响。

3 总结

本文提出了一种新的不连续接缝裁剪方法和基于遗传算法的视频缩放方法。本算法通过允许接缝跳过显著性物体，从而生成不连续的接缝来保证时间的一致性；通过基于不连续的接缝对损失函数进行定义来保证空间的一致性。此外，本文基于遗传算法得到次优接缝，从而得到与Grundmann方法相同的缩放效果，并且通过时间对比可知，本文的耗时只有Grundmann方法的30%左右。