实时视频图像降噪增强解决方案

文/张荣祥 邓志辉

随着视频监控的普及和人们安防意识的提高，人们对安防视频监控图像质量的要求也日益精益求精。低照度环境是安防视频监控系统一个重要的应用场合。由于环境光照的变化，低照度环境下图像质量会明显变差；主要表现在，为了获得合适的图像亮度，必须提高增益，从而导致噪声剧烈增大，信噪比降低，甚至淹没图像中物体的纹理细节。为了能使安防视频监控技术在夜晚和低照度环境下，确实发挥有效的防范监控和报警作用，比如车牌识别、入侵检测等，实时视频图像噪声抑制和细节恢复就成为了关键所在。

安防视频监控系统中的噪声模型

安防视频监控系统中，图像传感器是实现光电转换获取环境图像的关键器件，也是引入噪声的源头。图像传感器按照采用的感光源器件的不同可以分为CCD和CMOS两种。由于电荷转移方式的不同，以及光电转换方式的不同，导致了这两种图像传感器的噪声特性也略有不同，主要体现在CCD的噪声比较细腻，不同颜色通道间串扰较少；而CMOS的噪声比较严重，并带有明显的色块，不同颜色通道间串扰较多，但是两者的噪声分布形态基本一致。

安防视频监控系统的噪声可以分为器件电子噪声和环境噪声。其中环境噪声是指安防视频监控的电路受到电源、地线、衬底等的随机干扰，或者监控场合环境温度变化、时钟抖动、电磁干扰等，通过外围电路的耦合对图像传感器造成影响；而电子噪声是器件固有的噪声，一般包括：热噪声、散粒噪声、闪烁噪声、暗电流、量化噪声等。这些噪声经过摄像机中的模拟增益和数字增益放大后，就会影响视频图像的可观性，降低信噪比，并且严重降低后续图像处理的效果。

通常，噪声图像Y(i,j)可以采用如下模型表示：

其中，X(i,j)是无噪声图像，n(i,j)是高斯噪声。根据γ值的不同，该噪声模型可分为高斯白噪声模型、椒盐噪声模型以及泊松噪声模型。下文重点阐述高斯白噪声模型下安防视频监控领域实时视频降噪增强技术。

实时视频图像降噪增强技术

安防视频监控系统中，噪声的存在会造成图像看不清楚，编码压缩码率大幅升高，压缩后的图像容易出现闪烁、蠕动和块效应等瑕疵。引入降噪增强技术，可以带来图像干净，可判别细节增加，码率降低，呼吸效应减少等益处。

面向安防监控摄像机的数字视频图像降噪增强方法的基本思路，是结合摄像机视频流输出帧的帧内信息和帧间信息，辅以适当的信号处理技术，抑制视频流中的噪声，恢复真实有用的图像信息。

目前，主流的视频图像降噪增强技术大多基于图像的两个先验知识而衍生出来：图像自相似性（Self-Similarity）和稀疏性（Sparseness）。这是视频图像降噪增强技术领域最大的两个分支，衍生出来的算法也很多，本文仅以图像自相似特性为例，阐述安防监控视频图像降噪增强技术中空域降噪和时域降噪增强的解决方案。

如图1所示，图像自相似性可以分为局部自相似性和非局部自相似性。局部自相似性是指某像素所在邻域内会存在许多和该参考像素灰度级相似的像素；非局部自相似性是指图像中会存在与参考图像块相似的局部图像块。

图1：图像自相似性示意图

经典的双边滤波器(bilateral filter)就是一种基于图像自相似先验知识而发展起来的降噪方法；当前像素的降噪结果是该像素领域内所有像素值的加权平均值，其权重由空域权重和值域权重组成。空域权重的大小反比于邻域像素至当前像素的空间距离；值域权重的大小正比于邻域像素和当前像素的相似程度。

双边滤波器具有形式简单、易于理解，参数少、方便控制，适合硬件实现等特点；最重要的是，双边滤波器剔除或减小了不相似像素参与加权平均的权重，从而减少了边缘平滑的风险，较好地保持了图像边缘和细节纹理。

也正因为双边滤波器的这些优点，众多ASIC厂家通常采用类似于双边滤波器的原理设计降噪模块，比如TI公司的Bayer域空域降噪模块，Ambarella公司设计的CFA Noise Filtering模块和YUV域的Spatial Noise Filtering大都采用了类似的设计原则。

然而，双边滤波器也存在缺点，如图2所示，噪声较大或者参数控制不合理时，像素间自相似性的判断误差会急剧变大，从而导致降噪能力严重下降，甚至损失图像边缘和细节纹理。实际使用中，需要根据视频监控场合以及环境光照情况适当调整相关控制参数。一般来说，在银行柜台、智能交通车牌分析等应用场合应尽量避免边缘过度平滑，保留较多细节。

图2：双边滤波器降噪效果示意图

上述主要阐述了图像自相似先验知识在空域降噪中的应用，其实图像自相似特性不仅存在于图像帧内，也存在于视频帧间。

时域降噪增强技术中，基于运动补偿的时域降噪方法就是图像自相似特性的最好应用。25fps帧率的实时视频监控系统，意味着输出的一帧一帧视频图像相对于人眼来说，是连续的。即使是运动的物体，在两个相邻视频帧之间也不会有太大的位移，至少还在视场范围内。换句话说，视频流中相邻两帧具有自相似特性。

不过，和空域双边滤波以像素点为自相似判断元素不同的是，时域基于运动补偿的自相似判断元素为图像块。首先当前帧图像块和上一帧若干图像块计算相似度，找出最相似的图像块，根据最相似图像块的相似程度确定加权平均的权重，实现对当前帧图像块或像素进行平滑处理，抑制噪声。然而，运动补偿的方法需要遍历或局部遍历大量的图像块，所以，计算量特别大，不利于实时实现，尤其是运动估计部分运算复杂；且降噪效果受到运动估计精度的影响。Ambarella公司的A5s平台将编码模块估计的运动信息用于运动补偿的时域降噪中，带来了一定的效果；然而，仍然无法克服编码块效应带来的运动估计精度下降问题。

基于运动判决的时域降噪增强方法是一种折中的替代方案。该方案只会将当前帧图像块和上一帧相同位置的图像块做相似度计算，从而可以大大减少运算量。不过，当图像块中的物体运动时，基于运动判决的时域降噪方法就无法找到最相似的图像块，降噪效果就会大打折扣；另外，如果上一帧图像块赋予的权重过大，还会导致拖尾的瑕疵。在实际使用中，需要根据sensor的噪声特性以及应用场合合理调配时域降噪增强的相关参数，以达到闪烁噪声抑制和最少降噪瑕疵的权衡。

空域降噪增强以是否存在纹理为区分，纹理区域和平坦区域分别采用不同策略的噪声抑制方法；而时域降噪增强则以是否运动为区分，运动区域噪声抑制少些，静止区域噪声抑制多些。前者侧重于图像帧内降噪增强，而后者侧重于视频流帧间降噪增强。为了得到最好的视频图像降噪增强效果，一般会将空域降噪和时域降噪混合使用，称为时空域降噪增强。

虽然时空域降噪增强技术是由空域降噪和时域降噪结合而来，但是他们组合或融合的方案有很多，不同的结合方案都有不同的噪声抑制效果。比如，独立的时域降噪后面接独立的空域降噪，可以有效处理运动区域噪声抑制问题，独立的空域降噪后面接独立的时域降噪，可以使得运动和静止区域判决的更准确等等。

无论是空域降噪增强还是时域降噪增强，都假设了噪声水平已知，然而这在实际使用中是无法知道的。海康威视公司鉴于不同的时域降噪和空域降噪结合方式可以带来不同的视频图像降噪增强效果，设计了一种级联滤波器以及噪声强度传递的计算方法。通过对前一级滤波器降噪能力的估计，计算出后一级滤波器的降噪强度，从而可以针对不同的输入图像实现后一级滤波器降噪强度的自适应调整，从而均衡级联的各级滤波器的降噪强度以获得更好的整体降噪效果。如图3所示。降噪增强前后对图像细节处理突出如图4所示。

图3：时域降噪效果示意图

图4：海康威视时空域降噪效果示意图

视频监控领域视频图像降噪增强的挑战

噪声是导致图像质量下降的重要原因。对于面向全天候使用的视频监控产品而言，抑制噪声的同时保持图像细节，降低编码码率，减小呼吸效应，改善图像质量，是其可以带来的好处，也是一个关键的挑战。

安防视频监控领域中，要设计出优秀的视频图像降噪增强技术方案，必须充分综合分析图像传感器的物理特点和自然场景图像的内在特性，在改善硬件电路设计性能的同时，依据人眼视觉观察特征设计数字图像处理算法，在有效抑制视频图像噪声的同时，尽量保持图像的细节纹理特征，使得视频图像效果更加清晰通透，给用户带来焕然一新的体验；并且为后续编码压缩、网络传输、数据存储、显示视频处理以及智能分析等提供有力支持。