基于双流网络的视频图像去噪算法

黄异嵘 李汶隆 刘川杰

摘  要：该文针对传统视频图像去噪算法因阈值不准确导致伪影等时域模糊问题，提出了一种基于双流网络的视频图像去噪算法。该算法统筹考虑视频图像在时间通道与空间通道的关系属性，通过效仿人体视觉过程，对视频帧序列中的时序信息与空间信息进行内容理解，以帧间图像绝对误差均值MAD的方差来表征视频序列在时空网络中的动静属性，并由此计算出动态可变的去噪阈值，使采用的时空维度去噪算法更科学、更精准。

关键词：视频图像;阈值;双流网络;去噪算法;方差

中图分类号：TP391             文献标志码：A

0 引言

近年来，随着神经网络的迅速发展，对计算机视觉的研究也越来越深入，并且在视频图像数据处理方面，二者已紧密结合起来，便于机器更好地理解图像，基于图像内容理解的视频图像处理技术正得到广泛应用。

图像在形成、传输、接收和处理过程中容易受到外界干扰，产生一些脉冲噪声，从而在图像中产生椒盐噪声，这会进一步影响图像分割、特征提取等后期图像的应用效果[2]。因此，提高信噪比是圖像处理的重要任务之一。

1 技术现状

目前，传统的视频图像去噪方法主要分为空域滤波、时域滤波和时空结合滤波3种。空域滤波常采用对相邻像素点进行加权平均的方式滤波，所以空域滤波去除噪声的效果较差，并且会牺牲图像高频细节部分，使图像产生失真。时域滤波由于考虑了视频图像在时间上的相关性，采用IIR滤波算法进行帧间图像的加权处理，图像序列越相似，相关性越强，去噪效果越好。但对于时空网络维度的运动图像，运动目标会产生伪影等时域模糊现象[1]。时空结合滤波采用对视频图像中静止部分进行时域滤波，对运动部分图像进行空域滤波的方式，有效地解决了空域滤波去除噪声较差和时域滤波运动目标会产生伪影等时域模糊问题[4]。

现有的时空滤波方法通常采用预测阈值法[6]来判断图像中的运动与静止部分，当帧间像素块差值大于该阈值时，该区域像素为运动块，对该块进行空域滤波。当小于该阈值时，判断该区域像素为静止块，对该块进行时域滤波。但现有方式存在2个问题。1）在图像静止区域，当噪声较大时，帧间像素块差值仍然比较大，因此就会将该块误判为运动块而进行空域滤波。2）在视频图像运动区域，如果阈值选择比较大，会将该块判断为静止块进行时域滤波，从而导致图像时域模糊。

针对传统方法存在的各种问题，该文重新设计一种基于双流网络[3]的视频图像去噪算法，统筹考虑视频图像在时空网络之间的关系属性，通过效仿人体视觉过程，对视频帧序列中的时序信息与空间信息进行内容理解[5]，以帧间图像绝对误差均值MAD的方差来表征视频序列在时空网络中的动静属性，由此计算出动态可变的去噪阈值，再使用基于时空维度的去噪手段。实验证明，该文所设计的基于双流网络的视频图像去噪算法，可以适配复杂多变的视频场景，去噪后的图像失真度更小，图像更清晰。

2 双流网络视频图像去噪算法

2.1 基本思想

为了克服现有技术上的缺点，该文提出了一种以双流网络为基础思想的视频图像去噪算法。通过效仿人体视觉过程，对视频信息进行理解，在处理视频图像中的环境空间信息的基础上，对视频帧序列中的时序信息进行理解。其基本思想是将单独的视频单帧作为表述空间信息的载体，其中包含环境、视频中的运动与静止的物体等空间信息网络。光流信息作为时序信息的载体，用来理解运动的动态特征，通过时间信息网络中图像的绝对误差均值MAD，来表征视频图像在时间序列的运动状态，通过MAD的方差，动态计算时间通道上视频帧去噪阈值的大小，使视频图像的时空网络信息表征更合理，算法实施效果更好。

2.2 算法建模

该文利用视频图像时间动态特性和空间相对关系进行建模，之后再对不同模型得到的结果进行融合，主要过程如下。首先，计算去噪阈值权重。阈值权重的选择将直接影响到网络的收敛速度及效果，如何选择一种合适的方式成为了该文首先需要解决的问题。实际视频图像中多为白噪声，服从均值为0、方差为δ的高斯分布，假设在一定时间范围没有运动出现，图像间的差异主要由噪声引起，则有：

式中：当前处理区域块大小为16×16的像数块，i与j分别代表像数块中行与列编号。用当前帧去噪阈值TH和MAD进行比较并判断，分离出动静视图区域。

最后，通过遍历一帧图像，计算出空间信息网络中的动静视图区域，再利用形态学滤波算法，去除孤立属性区域块，更新视频帧中动静区域。在时间信息网络中，对静止区域进行IIR滤波，在空间信息网络中对运动块进行空域滤波。

2.3 算法分析

和传统算法相比，该文通过计算帧间图像绝对误差均值（MAD）的方差，以方差来表征当前视频序列在时间网络信息中的运动状态。使得在对每帧视频图像的去噪处理中，在空间网络信息中能够细分出运动区域和静止区域，并分别进行处理。在时间网络中，通过视频帧MAD的方差来计算阈值，动态地分析视频序列的运动属性，使去噪阈值能够与当前的视频应用场景动态适配。该文采用的去噪算法在实际工程应用中，有效地解决了传统算法在对复杂环境下的视频图像去噪而产生的伪影等时域模糊问题，对后续基于视频图像的挖掘分析应用具有较好的实际意义。

3 结语

为解决传统去噪算法中不能很好地进行视频图像理解而产生的图像失真、模糊等问题。该文重点阐述了利用时空双流网络对视频图像进行内容理解，动态表征视频序列在时空网络中的运动属性，在此基础上进行视频图像动静分离处理与融合。

该文基本思想在于，在时间通道中，以视频帧MAD来表征视频序列动态特征，并用MAD方差来计算去噪阈值权重。在空间通道中，对单帧视频图像中的处理区域在时间通道中的运动特征进行状态分类，以此来确定时空网络的滤波算法。在实际应用场景中，特别针对复杂多变的视频应用这一业内较难处理的业务场景，该文提出的算法，可动态、快速地完成收敛，具有较好的场景适应性。该文采用的基于双流网络的视频处理基本思想，也可应用于其他视频图像处理场景中。

参考文献

[1]李朋，余谅.一种改进的小波阈值去噪方法[J].现代计算机，2016（7）：72-75.

[2]刘冰，雪梅.基于连续小波阈值去噪算法的目标检测研究[J].现代计算机，2017（14）：64-68.

[3]汤鹏杰，谭云兰.基于双流混合变换CNN特征的图像分类与识别[J].井冈山大学学报，2015，36（5）：53-59.

[4]李竹林.数字图像去噪算法的研究与应用[D].延安：延安大学，2015.

[5]陈晓.基于Shearlet变换和深度CNN的图像去噪研究[D].南京：南京信息工程大学，2018.

[6]王小玉.基于小波阈值的图像去噪研究[D].哈尔滨：哈尔滨理工大学，2016.