高色彩饱和度视频序列过渡帧合成仿真优化

2021-11-17杨舒悦刘维浩

计算机仿真 2021年8期

杨舒悦，刘维浩

(1.南昌大学，江西南昌330031；2.培材大学，韩国030008)

1 引言

视频色彩饱和度指的是视频内色彩的鲜艳程度，在HSV色彩模型的视角下，色彩饱和度的取值范围在0～100%，饱和度数值越大则表明色彩饱和度的等级越高[1]。视频序列能够将有时空联系的视频图像按照一定的顺序进行排列组合，在定义了视频的起始关键帧和结束关键帧后，两者之间的帧则定义为过渡帧[2]。随着多媒体以及网络技术发展，视频处理技术已成成为了当今研究的热点，视频领域内存在着多种格式的过渡帧，根据视频序列的需求合成处理过渡帧已经成为了研究难点[3]。为此研究一种高色彩饱和度视频序列过渡帧合成仿真优化方法，国外在研究过渡帧合成较早，自20世纪80年代开始，如今已经研究的到了多种帧率处理技术，在仿真优化过渡帧合成技术上也获得了多个分析模型。国内研究视频序列过渡帧起步较晚，在仿真优化过渡帧的合成还处于起步阶段[4]。综合国内外的研究成果来看，仿真优化高色彩饱和度视频序列过渡帧合成是很有必要的，为此提出高色彩饱和度视频序列过渡帧合成仿真优化。

2 高色彩饱和度视频序列过渡帧合成仿真优化

2.1 获取高色彩饱和度视频序列过渡帧

定义视频内的起始关键帧，以视频内的起始关键帧作为研究起点，转换处理含有色彩饱和度的像素点[5]，转换处理过程就可表示为

(1)

(2)

上述计算公式中，T表示视频帧的重复周期参数，其余参数含义不变。随着过渡帧的不断推移，为了控制序列质量，在视频序列的播放刻度下，设定实际的插帧位置，设定的插帧位置如图1所示。

图1 设定的过渡帧插帧位置

在图1所示的插帧位置下，为了将单位帧划分为不重叠的块，计算各个帧块之间的欧式距离，计算公式就可表示为：

(3)

其中，m×n表示单位的帧块，(dx，dy)表示选定视频帧的位置，I(m，n)表示选定帧像素的亮度值。根据上述计算公式得到欧氏距离大小，以中间像素数值作为对比，划定像素亮度数值大于中间像素数值的作为高色彩饱和度视频序列[6]，整合该部分高色彩饱和度的视频序列作为处理对象，为了消除相同色彩饱和度的视频帧中运动矢量的一致性[7]，采用递归搜索处理获得的高色彩饱和度视频序列，控制其在空间与时间上的一致性，根据视频序列过渡帧运动矢量的收敛性，控制视频序列内的物体处于单一的递归方向后，将当前视频序列处理为一个矢量集。将该矢量集作为获取高色彩饱和度视频序列过渡帧集合，以该集合作为处理基础，仿真过渡帧合成过程。

2.2 仿真过渡帧合成过程

仿真过渡帧合成过程时，根据上述得到的过渡帧集合，综合过渡帧集合的大小，设定一个灵活尺寸的窗口，定义最佳匹配过渡帧间的相对位移量，根据选择不同的起始帧，设定向前与向后的运动仿真窗口，设定的仿真窗口如图2所示。

图2 设定的仿真窗口

在图2所示的仿真窗口下，定义两种单一仿真方向涉及的图像块数量后，计算相同运动轨迹的参考块与过渡帧间的交汇位置，计算公式可表示为

(4)

其中，λ表示自适应调节函数，∇u表示轨迹边缘梯度参数，k表示调节参数。以该交汇位置作为仿真窗口与过渡帧合成的开始点，为了控制仿真窗口与过渡帧合成间的匹配[8]，使用全搜索运动估计对过渡帧中所有的点进行搜索，为了降低搜索过程产生的复杂度，设定一个标准像素块消除过程，搜索帧产生的冗余计算量，消除过程就可表示为

|R-M(x，y)|≤MAD(x，y)

(5)

其中，R表示搜索参数，M(x，y)表示过渡帧的位置，MAD(x，y)表示标准像素块的位置。消除该部分冗余计算量后，将剩余的搜索帧作为仿真窗口的内插帧，使用MVF处理技术处理内插帧为一个运动的矢量场，滤波处理该矢量场后，使用自适应加权矢量中值滤波算法控制仿真窗口与过渡帧间的精度处于一个固定的数值区间内[9]，采用4×4块的仿真窗口在该区间内作用，当仿真窗口处理的合成块处于过渡帧的边界时，投影处理该过渡帧的运动矢量，投影处理过程如图3所示。

图3 投影处理过程

在上图所示的投影处理下，根据运动矢量在二维坐标系中表现出的正负数值的绝对值，分类处理窗口未处理的过渡帧，当过渡帧的矢量不再发生变化时，则表示仿真窗口完成了对过渡帧合成过程的仿真[10]。在上述过渡仿真过程内设定一个优化参数，增强仿真过程的鲁棒性。

2.3 设定合成仿真优化参数

根据上述设定的仿真过渡帧合成过程可知，在仿真窗口处理过程中，窗口的仿真参数会随着移动过程产生一定的衰减，不同阶段的仿真窗口存在一定的偏差，计算该部分产生的偏差，计算公式可表示为

(6)

其中，η表示仿真窗口的二阶矩均值，β1表示仿真窗口的移动数值，gt表示衰减参数。根据该偏差参数可知，仿真参数的衰减对过渡帧产生了一定的像素误差，影响了仿真结果得到的量化指标[11]。为此在仿真参数内设定一个固定的范数，控制产生的像素误差。以相近的过渡帧作为处理对象，设定真实的仿真中间帧为It，计算该部分损失，计算公式就可表示为

(7)

图4 设定的感知模拟过程

在图4所示的感知模拟过程下，将仿真窗口处理过的过渡帧看作为一个池化层，联合上述计算式(7)，计算得到仿真过程产生的感知损失，计算公式可表示为

(8)

3 实验

3.1 实验准备

选取时长为30分钟的高色彩饱和度视频，根据各个帧之间的时空相邻块之间的位置，连续采样100帧，采集过程可表示为图5。

图5 设定的过渡帧采集过程

在图5所示的采集过程下，将不同帧之间的过渡作为实验对象，将10帧作为一个测试组，设定测试组的参数，参数结果如表1所示。

表1 设定的视频帧参数

以上表所示的视频帧参数作为实验对象，分别使用传统仿真优化方法、文献[2]中的仿真优化方法以及文中设计的仿真优化方法进行实验，对比三种仿真优化方法的性能。

3.2 实验结果及分析

基于上述实验准备，选择上表1中50帧的图像进行处理，定义三种仿真优化方法处理后的视频序列信噪比可计算得到

(9)

图6 三种仿真优化方法信噪比结果

由图6所示的信噪比结果可知，在三种仿真优化方法的控制下，随着仿真优化帧数不断地增加，传统合成优化方法仿真优化的信噪比数值的数值最小，文献[2]中的仿真优化方法仿真优化后的视频序列信噪比数值大于传统仿真优化方法，而文中设计的仿真优化方法，与两种现有的仿真优化方法相比，实际仿真优化的信噪比数值最大，合成得到的视频序列图像质量最强。

保持上述实验环境不变，以三种仿真优化方法的信噪比数值作为变量，设定其变量区间在10～60dB之间，统计三种仿真优化方法实际编码处理过渡帧的时间，时间结果如表2所示。

表2 三种仿真优化方法的编码处理时间

由表2所示的实验结果可知，设定固定的视频序列信噪比数值区间后，统计三种仿真优化方法的处理时间，根据表中的时间结果可知，传统仿真优化方法平均编码时间在340s左右，所需的编码时间最长。文献[2]中的仿真优化方法的平均编码时间在225s左右，实际编码时间较短，而文中设计的仿真优化方法所需的平均编码时间在110s左右，与两种现有的仿真优化相比，该种仿真优化方法编码过渡帧所需的时间最短。

在上述实验环境下，选定实验准备所有测试组中的视频帧，使用上述计算式(9)计算视频帧的信噪比数值，计算各个测试组内过渡帧的比特率，计算公式可表示为

(10)

其中，T表示仿真优化的处理时间，ε表示过渡帧的参数，其余参数含义不变。使用上述计算公式计算三种仿真优化方法的比特率，比特率结果如表3所示。

表3 三种仿真优化方法的比特率结果

由表3所示的实验结果可知，在相同数量及相同信噪比数值的视频帧作为实验对象，三种仿真优化方法表现出了不同大小的比特率结果，根据上表中的数值可知，传统仿真优化方法得到的比特率数值最小，对应仿真优化过程传送处理的过渡帧数据量最小，文献[2]中的仿真优化方法得到的比特率数值较大，对应仿真优化传送处理过渡帧的数据量也较大，而文中设计的仿真优化方法得到的比特率数值最大，对应传送处理过渡帧的数据量最大，与两种现有的仿真优化方法相比，文中设计的仿真优化方法可处理过渡帧数据量最大。综合上述实验结果可知，文中设计的仿真优化方法得到的视频序列过渡帧信噪比数值最大、编码处理时间最短且得到的比特率数值最大，适合实际在实际处理中使用。