视频图像处理技术的原理及智能化发展

文/王松

图像是人类获取信息、表达信息和传递信息的重要手段，自从数字图像诞生以后，图像就逐步成为了人类获取信息的主要形式之一。如今，观看在线视频、视频会议、视频通话、手机拍照、扫描仪扫描文件已经成为我们日常工作生活的一部分，这些都涉及到与视频图像打交道。随着大数据时代的来临，视频图像数据也在海量产生，视频图像处理技术的研究和应用也开始向智能化的方向发展。

图像处理在安防监控中的应用

视频图像在采集、处理、压缩、传输等过程受多种因素的影响，最终图像可能存在噪声、清晰度不够、图像过曝或者过暗等问题。图像处理技术主要是目的就是为了最终给客户呈现出一个高质量、视觉友好的视频图像。目前衡量图像质量的几个重要的指标分别是亮度、颜色、清晰度、对比度和噪声等几个方面。图像处理包括图像增强、图像复原、图像校正、图像拼接等方面，本文主要讲述了图像增强技术在图像质量方面的应用，包括宽动态、图像插帧、图像透雾、图像防抖、图像降噪、坏点校正、对比度提升、边缘增强。

宽动态。宽动态主要应用在同时存在极亮和极暗的区域的场景。它可以同时保留高亮和暗部信息，即看清亮处又看清暗处。常用的宽动态技术目前有两种，多帧合成和单帧色调映射。多帧合成利用传感器多次曝光进行数据融合，同时保留长曝光低照信息和短曝光高亮信息，可达到比传统传感器宽50db以上的动态范围。单帧色调映射通过对图像的不同区域亮度信息局部进行调整，使暗区提亮、亮区抑制，提升整幅图像的可见度。两者各有优劣。多帧合成优点是可达到更大的动态范围，缺点是容易造成运动拖尾色边，同时画面可能变蒙。单帧色调映射则不会造成运动拖尾色边，但是它的动态范围不变，只是把本来不清晰可见的一些信息进行了增强，当场景存在的亮处和暗处差距大时，只有选择多帧合成的方法。下图是两种方法的效果：

图1 多帧合成宽动态效果对比

图2 单帧色调映射

图像插帧。由于网络条件带宽限制和其他因素的影响，监控视频画面会出现停滞感和跳跃感，甚至出现拖影的现象。图像插帧技术可使最后呈现的运动画面平滑、不跳跃，提供更好的视觉体验。插帧技术采用帧速率上转换（FRUC，也称帧率提升），即在两帧画面之间插入新帧是主流方法，通过实时计算场景物体的移动速度和方向，得到运动矢量的估计，据此生成新的插帧图像。它能够提供更好的视觉质量，特别是在低码率视频应用中，提高帧率可以恢复由于带宽受限而在编码端被跳过的视频帧，从而使观看者可以观赏自然平滑的运动场景。

图像透雾。当前的视频监控系统对天气条件非常敏感，当遇到雨雾、阴霾等能见度较低的情况时，景物图像严重退化，这极大地限值和影响了户外视频监控系统效用的发挥。目前全球气候越来越恶劣，雾霾天气时常出现，透雾技术可突出源图像中重点观测内容，极大程度还原图像的细节，解决“看的清”问题，实现监控系统全天候工作。图像透雾效果如下：

图3 图像透雾前后效果对比

图像透雾主流的方法是根据成像原理建立透雾模型，估计出相关参数，然后反推出透雾后的图像。图像透雾在雾的浓度还不是很大的时候可以取得较好的效果。如果雾很浓导致图像基本没有什么信息，那就可能需要光学透雾，光学透雾是通过特制的光学镜头来感知特殊波段的光线实现透雾。

图像防抖。摄像机通常被置于载体上时，由于载体的运动或载体机座的振动导致摄像机的晃动，拍摄的图像序列出现了抖动现象，由于图像的抖动很容易引起眼睛的疲劳，影响观测者对图像序列的观看和分析，也影响了图像的后续处理。防抖技术就是为了减轻或消除这种抖动。图像防抖有硬件防抖和电子防抖。其中硬件防抖是依靠专门的光学镜头或者其他硬件实现。电子防抖是通过图像处理技术进行去除抖动，该技术首先通过估计当前帧的运动矢量，然后根据估计的运动矢量对当前帧进行运动补偿，从而达到稳定图像序列的目的。

图像降噪。传感器在将光信号量化成数字信号时会引入噪声，尤其是当光线比较弱和传感器增益比较大时噪声更明显。随后在各个ISP处理环节对图像数字信号进行处理时都有可能会引入噪声。图像降噪力求移除图像噪声的同时尽量保持其细节和结构。输出图像的信噪比会得到增强，给客户更好的视觉感受，同时可以压低码流利于编码存储。降噪目前主要分为2D降噪和3D降噪。

2D降噪是空域滤波，通过低通滤波将图像中的高频成分过滤掉，但是在光线比较暗或者增益比较大时，降噪滤波对于噪点和细节之间无法做到完全区分，因此在滤除噪点的同时也会将部分细节抹平从而降低图像清晰度，如下图6所示：

图4 2D降噪模块效果对比

3D降噪是不仅在空域还增加时域上的降噪。视频的前后帧图像在时间上是相关的，但是噪声在时间上是不相关的。时域降噪就是利用该原理进行前后帧的叠加处理进行降噪。时域降噪算法的优点非常明显，能够较好的保持图像的边缘和细节信息。它的缺点是如果时域降噪做的过强容易导致运动物体出现拖尾现象。

图5 3D降噪模块效果

坏点校正。传感器由于生产工艺的限制，在出厂前可能会有一些坏的像素点，在成像时会留下离散的、比较突兀(过暗或者过亮)的像素点。在ISP模块里对其进行校正时在消除坏点的同时，也会把画面中的某些细节当做坏点进行处理，这样就会降低清晰度，如下图8所示：

图6 坏点校正对清晰度影响示意图

对比度模块。由于人眼对亮度信号特别敏感，一张图像中暗处和亮度细节都比较突显的时候，人眼就感觉画面通透，清晰度比较高。对比度增强模块就是将画面中暗处和亮处的灰度值反差拉开，在保留暗处和亮处细节的同时，将图像的边缘部分起到增强清晰度的效果，如图9所示：

图7 对比度增强模块对清晰度的影响

边缘增强模块。该模块增强图像边缘部分细节，它主要是一种补偿轮廓、突出边缘信息以使图像更为清晰的处理方法。锐化的目标实质上是要增强图像中的高频成分。它与降噪滤波是一个相对的处理过程。若图像未做边缘增强时，人眼看上去像边缘部分不够锐利，但是同时该模块如果做的太强会对整体图像引入新的噪声，如图10所示：

图8 边缘增强对图像效果的影响

安防领域图像处理向智能化发展

安防领域的芯片不像手机芯片那样性能每年都在大幅提升。图像处理算法，尤其是高级的一些算法往往伴随着大量的运算量，由于芯片处理能力仍然有限，许多算法在芯片上无法实现。安防领域的发展必须伴随着摄像机芯片性能的提升，这样才能实现更多的视频图像处理应用，提供更好的图像体验。

随着手机4G、5G发展、国家的宽带战略，网络传输端的能力会得到提升，随着编解码技术发展，保证画质情况下，码流也可降低。一些用来补救因为传输导致的清晰度下降、帧率不足、马赛克等问题的需求可能会下降，但是相应的其他的图像效果需求又会冒出，一些新的图像处理技术会被引入。

目前图像的处理还主要是图像处理、图像分析的初级阶段。还没有结合更高层次的图像理解或者深度学习等方法。如何在不断改进图像处理分析能力的同时，借助图像理解、深度学习，对于图像形成语义层次的认识，即把对图像场景描述与理解、场景中目标识别、目标之间关系等结合到图像的处理分析上，是算法人员的一大挑战。目前算法存在的一些难以解决的问题，可能在更高维度上可能可以更好的进行处理。

结束语

目前在安防领域，图像处理技术主要是为了增强图像质量，如上所述一些算法存在的一些问题，还需要算法的不断提升改进。图像质量没有最好，只有更好。算法改进之路也是永无止境。当然，另一方面，我们也需要认识到算法是一种工具可以改善效果，但是前端的硬件决定了输入源的效果，良好的硬件无疑将极大的提升图像的质量，因此硬件的成像效果改善也需要不断提升。