让视频图像更高清

文/郭维

随着用户需求的逐步提高，“高清”成为视频监控领域最迫切而刚性的需求。视频图像技术的不断提升，也促使监控市场的高清化发展方向愈发清晰，高清采集、高清传输、高清解码和显示设备层出不穷，极大地满足了人们对高清画质的需求。高清设备带来的高分辨率提升了视频清晰度，但仍不能保证在所有情况下都能看的清楚，看的明白，比如雨天、雾霾等恶劣天气或者夜间低照度环境下，虽百万像素也只能望图兴叹，无可奈何了；又如为了节省带宽而采用高压缩比编码带来的分块效应，造成图像质量下降。如何解决这些极端环境造成的画质大幅下降，在这些恶劣环境下看得更清楚，这是视频图像技术亟待解决的问题。

这就不得不提出“图像增强”的概念，图像增强是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像识别效果，满足某些特殊分析的需要。在图像增强技术的发展中，抑制或消除图像噪声点占据了很重要的位置，也发展出很多专门“去噪”的算法。

图像增强的技术特点

图像增强隶属于智能分析技术范畴，只是智能分析意义比较广泛也被人们所熟知。而图像增强虽然从技术上来看发展更早，现在市场上的应用也越来越多，却并没有在视频监控领域占据显要位置，这种情况的出现与图像增强自身特点密不可分。

首先智能分析的其他技术都是基于对视频图像的操作和分析，而视频图像增强则直接对视频帧图像的原始数据进行操作，只有经过了包括增强处理在内的一系列处理的原始数据才变成最终视频图像，显示到设备上或进行后续其他处理。更多情况是，图像增强是作为设备或者其他技术的子模块附带出现，并没有直接呈现给客户。

行为分析、车牌识别、人脸抓拍及客流统计等应用，一般都有标准的适用环境，有一套标准规范来统计准确率，也就可以做到统一有效地客观评价，效果优劣非常直观。统一的客观评价对这些技术的发展起到了很好地推动，也容易得到客户的认可。反观图像增强则没有一个直观而客观的评价标准，往往要通过人的主观评价及处理前后的图像对比来判断。缺乏有效地评价指标限制了视频图像增强技术的应用和发展，同时其效果也很难得到客户的一致认可。

在图像增强技术的发展过程中，出现了各种各样的方法，应该说这些方法目的是一致的，那就是提升图像视觉效果，但针对不同的问题或者不同的环境，其所采用的方法却大相径庭。图像增强没有统一的理论，它往往是面对问题，针对特定的问题采用特定的方法，如图像模糊则要用锐化的方法来增强，而图像噪点多的情况则要做平滑处理。如何根据场景的变化选用最佳增强算法，很多时候甚至需要人工来干预，这给视频图像增强技术在监控领域的使用带来很多不便。

图像增强的技术方法

随着技术发展，不断有新的方法出现，图像增强方法可分为空间域方法和频域方法。空间域是单帧图像自身，通常以直接处理像素为基础。而频域则是修改图像的在频域里的变换为基础，常用的有傅里叶变换、小波变换等。

空间域图像增强方法

空间域增强是指增强构成视频图像的像素，直接对这些像素操作的过程。主要有以下方法：

基本灰度变换：将图像像素值由一个范围映射到另一个范围，包括线性变换、对数变换和幂次变换等，比如大家熟知的伽玛校正就是一种幂次变换。通过灰度变换，可以提高不同像素点间灰度差，提高对比度，更有利于人眼认清细节。同时该方法也是其他一些高级方法的基础。

直方图处理：将原图像通过某种变换，得到一副灰度直方图为均匀分布或者规定分布的新图像的方法，是图像增强算法中最常用、最重要的算法之一。它以概率理论做基础，运用灰度点运算来实现直方图的变换，从而达到图像增强的目的。通过直方图均匀化可以有效改进图像的动态范围，提高对比度，更有利于人眼对细节的辨认。

平滑空间滤波：平滑空间滤波主要是进行过滤图像噪点，平滑图像。平滑滤波方法很多，比如线性平滑滤波，包括均值滤波等，非线性平滑滤波，如中值滤波。线性滤波有很好的平滑效果，可以过滤噪点，但也会导致边缘细节的模糊。非线性滤波是对线性滤波的一个改进，会对根据像素点的状态采取不同的策略，可消除一些孤立的噪点，对图像细节影响不大，但会对图像的边缘带来一定的失真。为了克服以上两种算法的缺点，人们又提出很多改进方案，引入自适应的平滑算法，通过各种方法兼顾噪点的滤除和图像细节的保持。

锐化空间滤波：同平滑空间滤波相反，锐化空间滤波是为了突出图像中的细节或者增强被模糊了细节。锐化空间滤波主要通过一阶和二阶的锐化滤波器来实现，如梯度法，拉普拉斯算子滤波等。锐化空间滤波会提升图像细节，但也会使噪声点得到放大。

综合方法：为了达到图像细节和噪点过滤及对比度等，人们发展了很多综合性方法，如Retinex算法，以人类视觉原理和色感一致性（颜色恒常性）为基础，可以在动态范围压缩、边缘增强和颜色恒常三方面达到平衡，因此可以对各种不同类型的图像进行自适应性地增强。

频率域图像增强方法

频率域图像增强是将图像视为2维信号，变换到频率域进行过滤增强操作。图像从空间域转换到变换域的变换方法很多，如傅立叶变换、沃尔什-哈达玛变换、余弦变换、K-L变换以及小波变换等。而傅立叶变换和小波变换则是常见的用于图像去噪的变换方法。

低通过滤：类似空间平滑滤波，将高频部分过滤到，达到去噪的目的。常用到的有巴特沃斯低通滤波器，高斯低通滤波器等，

高通滤波：类似锐化空间滤波，保留更多高频部分，达到提升图像细节的目的，但也会带来噪点的放大。

频率域图像增强由于要进行频率变换，计算复杂度比较高，在监控视频领域的应用受到一定限制。

其他方法

前面提到的都是数字图像处理的传统方法，运算简单，缺点也很明显，针对性比较强，效果单一，很难在噪声过滤和边缘细节保持上同时兼顾。近些年来，为了在噪声过滤的同时兼顾到细节保持发展出了很多新的方法。比如PDE方法，3D降噪等。

PDE方法：将偏微分方程方法用在图像去噪中，可以利用偏微分方程具有各向异性的特点，在去除噪声的同时，很好的保持边缘。该方法通过建立噪声图像为某非线性偏微分方程（PDE）的初始条件，然后求解这个PDE，得到在不同时刻的解，即为滤波结果。该方法的各向异性去噪模型可以根据图像的梯度值决定扩散的速度，使之能兼顾噪声消除和边缘保持两方面的要求。

3D降噪：3D降噪利用了视频帧前后帧图像内容相关的特性，通过对前后帧图像的信息融合，找出噪点的像素进行过滤，是视频图像过滤噪点特有的方法。同时，可以根据帧间运动信息对不同的视频区域采用不同的降噪策略，在降噪的同时兼顾保留运动细节，有效地提升了视频质量。

还有很多图像增强和去噪方法在噪声点去除、边缘细节处理和对比度提升上都有很好的表现，但由于其运算复杂度高或者针对性比较强，并不适合在视频监控领域内使用，而更多面向专门图像处理系统，如医疗图像、遥感等领域。但随着硬件设备和图像技术的不断发展和进步，必将有更多新的视频增强技术应用到视频监控中来。

图像增强的技术应用

接下来介绍这些技术在产品中的应用。作为产品的基础模块或基础技术的应用，在智能分析的一些应用中，图像增强往往是作为基础技术来使用，比如车牌识别、行为分析等技术在处理一些特别场景下图片或视频时，都会有图像增强技术来改善图像质量，方便后续处理。再如在相机ISP处理中的应用，相机宽动态、逆光效果、低照度效果等，都是图像增强技术的应用体现。

在大雾、大雨、沙尘等特殊恶劣天气时，会造成视频图像对比度和颜色被改变或退化，图像中的很多细节特征都被覆盖或模糊。这种情况采用针对性的视频图像增强方法可以有效地提高视频图像对比度和图像细节，提升图像质量，如去雾算法就可以在改善雾天视频质量上达到很好的效果。

另外，在一些大场景下，一些运动目标因其速度较快，其在视频中的成像会有拖影、边缘不清晰等情况，针对该情况利用视频图像增强技术进行边缘修复处理，会很好地提升图像质量。

图像增强的技术发展趋势

视频图像增强技术应用更多的是通过与其他智能分析技术和高清设备相结合的方式，为其他技术的应用。独立的视频图像增强设备相对还比较少，应用也比较单一，往往只面对特定的场景，如去雾应用、去噪设备等。可以预见，随着视频监控市场的不断发展，产品形态不断丰富，视频图像增强技术的应用也将出现多样的趋势，呈现出越来越底层，越来越专业的特点。

随着高清采集和显示设备的快速发展，视频图像技术逐渐向设备底层发展，与硬件设备紧密结合，为提升设备画质水平保驾护航，类似摄像机宽动态、逆光、清晰度设置等特色的功能将越来越多。还有就是硬件化的趋势，将图像增强或降噪模块集成到芯片里，给设备开发利用相关技术带来很大便利。

专用的视频图像增强设备将快速发展，它为特定的应用场景量身打造，在使用效果上也将更加专业，如去雾、去拖影等专用设备。但随着产品集成化越来越高，专用的视频图像增强设备是否能像人脸抓拍、行为分析设备一样，得到客户的认可，还有待市场的检验。

总之，视频图像增强技术将与现有的智能分析技术不断的融合，并渗透到各种产品形态中，进而演化出更多的智能化产品类型。通过丰富的业务应用、灵活的系统结构，使智能视频技术更深入的与行业用户的业务需求相结合，让安防视频监控看的更清更远。