基于编码量化参数调节的图像清晰化处理

孙令翠，冯辉宗

(1. 重庆工程学院计算机与物联网学院，重庆 400056；2. 重庆邮电大学自动化学院，重庆 400065)

1 引言

与普通低动态图像相比，高动态范围图像能够直接展示出现实世界的动态亮度信息，所需的存储空间更大，动态范围也更大，光影效果也更加逼真[1]。随着视频技术的进步，高动态范围图像所应用的场景越来越多，商业价值也更加大[2]。视频中的动态图像范围和位深逐渐增大，要求网络具有更宽的传输带宽与传输空间，但是目前视频设备中的编码标准只能针对普通低动态图像，不能处理高动态图像，因此进一步加剧动态图像的失真情况，这种情况也给视频编码器带来了一定的工作压力，所以修正图像的失真情况也就是提升视频编码传输的功能[3]。现有研究中，编码器在编码时使用失真率优化技术实现图像的失真修正，但是这种修正方法只针对图像参数优化，却忽视对于图像特征的优化，校正后并没有提升图像细节信息[4]。部分研究者使用直方图均衡化实现图像失真处理，该方法能够提升图像对比度，改善图像视觉效果，但是尽管能够实现图像细节处理，但是对于亮处的细节却经常忽视。

视觉感知实质上是一种图像增强技术，考虑人类视觉主观特点，对图像加工处理，实现图像中某些信息突出的目的，把图像中不需要的部分数据去除，获得更加清晰实用的图像内容，经过视觉感知处理的图像更加适合机器进一步处理或者人类视觉的习惯，在视觉上提升图像效果[5]。所以本文充分考虑视觉感知特性，实现图像失真校正，并做进一步研究。

2 图像失真校正方法

2.1 图像失真计算

经过已有研究表明，对于视频图像中的时域运动性、空域活动性、纹理等区域，人的视觉感知都较敏感，而且视觉感知能够快速准确地捕捉到图像的亮度变化情况。本文研究过程中，从视觉敏感对因子的角度出发，校正视频编码过程中出现的图像率失真情况[6]。针对第i个当前编码树单元，通过式(1)表述视觉明暗度PSi

PSi=KLi*KAi*KTi

(1)

式中，KLi、KAi和KTi分别表示第i个当前编码树单元的亮度、空域活动性、纹理等内容的权重因子。分析式(1)可知，视觉明暗度会随着各权重因子的升高而变大，这些值的变化直接影响视频图像的亮度和纹理等内容的视觉效果，通过计算获得视觉明暗度的大小，该值越高则导致当前编码树单元的视觉明暗度越低，二者呈现反比例关系[7]。各权重因子计算过程如下：

1)亮度权重因子计算

最直接影响视觉感知的权重因子便是亮度，无论是极高亮度还是极低亮度，都会降低视觉敏感度，但是如果视频图像的亮度较高，对于视觉敏感度影响较小，经数据统计显示，图像亮度越高，人眼感知门限值越高，也就显示视觉敏感度越高[8]。

75至125亮度值属于视觉敏感度比较高的亮度范围，为获得视觉亮度权重因子，设置敏感度值为1.0，对其它范围亮度实行缩放，使用式(2)计算亮度权重因子：

(2)

式中，第i个当前编码树单元的亮度平均值使用Li表示。

2)计算空域活动性权重因子

人类视觉更容易捕捉到视频图像中较小活动区域失真的情况，也就是说，人眼视觉对于视觉区域中比较小的活动范围更加敏感，反之敏感度更低[9]。已有研究表明在当前编码树单元活动性获取方面，使用梯度计算方法能够获得更加良好的效果。式(3)为具体计算过程

acti=

(3)

式中，当前编码树单元的宽度与高度分别使用W和H描述；假设编码块中某个位置使用(x，y)表示，运用Ix，y表示该位置的亮度像素值。计算第i个当前编码树单元空域活动性

(4)

式中，第i个当前编码树单元(处于当前编码帧内)的梯度表示为acti，actAvg代表平均梯度。

3)计算纹理权重因子

参考空间遮掩效应，纹理复杂程度与图像失真之间存在正比例关系，图像纹理越平坦越不容易出现失真情况。图像纹理复杂程度存在差异，导致图像均方误差和展现出不同的视觉感受，相比于较低视觉敏感度区域，视觉敏感度高的区域失真更严重[10]。

通过方差表示视频图像的纹理复杂度

(5)

式中，当前编码树单元亮度像素平均值用avg表示；(x，y)位置的亮度值通过I(x，y)描述，当前编码树单元亮度像素平均方差用sq表示，第i个当前编码树单元方差值用vai表示。使用式(6)描述纹理复杂度权重因子

(6)

式中，当前编码帧平均方差描述为vaavg。

2.2 调节拉格朗日乘子

通过以上研究计算获得影响图像视觉明暗度的各权重因子，已有研究表明，尽管亮度权重因子与空域活动性权重因子都会导致视频图像出现失真情况，但是这些影响图像失真最直接的权重因子是纹理权重因子。尽管大多数情况下，图像中平滑的区域出现失真不会直接被视觉感知，但是部分发生在平滑区域的失真也会被视觉感知察觉，所以无论是平滑区域还是纹理复杂区域都需要对失真情况展开校正[11]。本文研究中，为获取视频高动态范围图像结构分量与纹理使用边缘保持滤波器，同时为实现拉格朗日乘子调节，引入纹理特性，由此进一步完成参数动态调节。

视觉系统能够感知视频图像中平滑区域的失真情况，所以对于纹理复杂区域的失真感知更加精准，研究过程中需要将图像中的纹理区域与结构区分出来，本文所采取的方法为双边滤波器[12]。该滤波器属于非线性边缘保持滤波器。滤波系数是由位于{p，s}的滤波器系数与对应{p，s}的像素点Is减去近似像素点Ip获得的差值系数相乘而获得的。通过双边滤波器分割出视频图像基本层，该层主要负责图像结构完整保存，这种结构主要为轮廓边缘信息与平滑信息，双边滤波像素值Is后输出Bs

(7)

式中，g(·)与h(·)分别表示空域高斯函数与在像素域中的另一个高斯函数，经Bs与Is获得对应细节层的像素值：|Is-Bs|。

通常情况下，人类直接观察图像并不会过多关注图像中较平滑区域，而视觉感知对于图像非复杂纹理敏感度较高。传统方法中为实现感知冗余去除，会采取修改失真计算的方法，但是修正拉格朗日乘子能够使率失真代价函数优化更加合理，所以在该部分研究中将拉格朗日缩放因子引入ηp

(8)

式中，TCU代表当前帧编码树单元的灰度均值；a属于调节参数；Tframe表示对应图像帧双边滤波后的灰度均值。编码最终性能受到a取值影响，实验时从合理区间选取。

分析式(8)可知，当前帧编码树单元纹理越复杂，视觉越不容易感知到图像中的失真情况，也就导致经修正的ηp越大。当前帧编码树单元ηp越小，越容易感知到该区域的失真情况。通过拉格朗日乘子自适应调节，实现图像中码率与失真的平衡，增大或缩小拉格朗日乘子以应对纹理复杂区域和平滑区域。

2.3 修正量化参数

本文研究中使用视觉感知中的纹理掩盖特性以及视觉注意力修正视频率失真，消除编码量化器冗余和视频感。使用式(8)和修改后失真计算对率失真代价函数进行修改，式(9)为经过规划的率失真代价值Jp

(9)

式中，{Para}opt与Dp分别表示最优编码参数集与修改后的失真计算，R代表由于编码而被消耗的比特数码率。若要得到最优编码参数需要先计算率失真代价函数，使用式(10)表示量化参数QP和拉格朗日乘子之间的关系。

(10)

式中，有关编码图像帧类型常数表示为β。使用式(11)推导原始编码量化参数

(11)

式中，拉格朗日乘子与量化参数互相影响，QP变化量为ΔQP，修正后QP值变化为QPHEVC，根据式(11)获得量化参数变化值

(12)

在原始编码器中，量化参数都是整数，所以为获得最后的量化参数iQPPro取整数ΔQP。经计算得到ΔQP值实现编码器量化，简单增减修改初始量化参数，并向编码器发送。该情况下，无需计算编码器中的任何数，直接量化和解码iQPPro。

3 结果分析

本文实验研究需要在高效视频编码的测试平台中开展，实验对象为实验资料库中的3个视频测试序列(分别命名为散步序列、赛车序列和篮球序列)，1920×1080分辨率，设置{23，28，33，38}为量化参数，使用视频编码质量评价编码效果，该评价标准为视频质量相同的情况下，码率变化的百分比，评价图像视觉失真差异时使用HDR-VDP-2.2，该评价方法具有主观性。通过峰值信噪比评价视频图像的颜色失真情况，信噪比和失真情况呈现反比例关系。

为了获得式(8)调节参数的取值范围，先要确定下一个合理的参数区间，受到条件限制，不能遍历全部值，因此本文研究中只随机研究0.2、0.4、0.6、0.8四个取值的编码情况，结果见图1。

图1 调节参数不同时视频编码质量评价

通过图1可知，无论何种运动速度的视频序列，如果调节参数低于0.4，使得拉格朗日乘子增大，块效应明显，造成图像失真恶化；如果调节参数较大的情况下，对结果影响不大，同时编码性能也不会出现明显变化。从图中能够看出，当调节参数为0.6时，3个视频序列均能实现编码最低节省，由此证明，调节参数选取0.6能够获得较好的编码与失真平衡效果，并且获得较好的图像失真校正效果。

以运动区域动作较慢的散步序列为例，验证使用双边滤波器处理图像后的失真基础处理效果，结果见图2。

图2 双边滤波器处理效果

通过图2能够看出，使用双边滤波器处理后获得的基本层图像一定程度上模糊处理图像，但是同时仍旧能够保留图像中清晰的轮廓，在图2(b)中，建筑物已经被模糊但是仍旧能够看出物体形状，这就达到平滑处理图像纹理的目的；图2(c)图像是消除原始图像滤波后获得的细节层图像，可以看出，双边滤波处理后能够保留图像中的高频纹理细节，同时图像边缘灰度值较小纹理复杂区域灰度值较大，在视觉感知领域，图像灰度值越大说明纹理视觉处理越好，从视觉感知层面消除失真效果。

当调节参数为0.6时，各视频序列的峰值信噪比与视频编码质量情况见表1。

表1 视频图像质量评价

从表1中能够看出，校正后的图像失真情况优于校正前的图像失真情况。赛车序列的运动区域比较剧烈，本文方法在校正该图像时面对较复杂的纹理情况，对图像中的各个区域只能采取统一处理的方式，失真校正性能一般；篮球序列图像场景比较固定，可参照的固定物体比较多，如底板、篮球架等位置基本属于静止状态，这些静止状态的区域运动强度较低，纹理复杂度也较低，亮度权重因子也比较稳定，因此失真校正效果也更好。

对比使用本文方法校正视频图像前后的图像变化情况以及细节信息，结果见图3。

图3 校正前后图像对比

从图3中各视频序列的细节图像对比可以看出，失真校正之前图像细节模糊，难以分辨出图像找那个的具体内容，经过本文方法校正后能够提升图像的细节清晰度，获得更好的图像清晰效果。

4 结论

视频图像由于编码过程中受到各种原因的影响常出现图像失真的情况，本文融合视觉感知特性实现图像失真校正，经过自适应调节拉格朗日乘子优化平衡编码和失真的问题，确保校正后的图像更加符合人体视觉感知习惯，有效去除图像中的感知冗余。针对高动态范围视频图像编码构建视觉感知特性的动态拉格朗日率失真模型，同时动态调节参数，在一定程度上提升了编码器视频压缩性能。通过校正优化前后对比，得出使用本文方法校正图像后，能够提升图像细节信息，使得图像视觉效果更好。