视频图像综合处理系统的设计与实现

姜树明，蔡秀霞，张元元，万会松，刘向阳，刘晓辉

(山东省科学院情报研究所，山东 济南 250014)

近年来，视频监控系统在公共安全防范和交通监控等方面发挥着更大的作用，各种视频图像的采集与记录也在越来越多的领域加以应用。但是，由于气候、光线变化以及其它原因，使获取的视频图像无法清晰地显示所监视的目标，严重时甚至看不到任何有用信息。因此，急需设计一种能对模糊图像进行清晰化处理的系统，提高视频监控系统的鲁棒性。实时视频图像处理系统要求具有处理大数据量的能力，以保证系统的实时性;同时对系统的体积、功耗、稳定性等也有较严格的要求。近年来，国内外视频数字图像处理系统在目标实时检测方面出现了高度并行的视频图像处理方法［1-3］。如美国INMOS 公司1985年首次推出32 位具有独特网络性能的transputer 芯片，揭开了研究高速并行数字图像处理系统的序幕［4］。此后，陆续出现了更高性能的微处理器，所用的数字信号处理器从TMS32010、TMS320C25、TMS320F206、TMS320C80 到目前的TMS320C6000 系列［5］，不断地进行升级换代。为了改善恶劣环境下视频监控系统所采集图像的质量和清晰度，本文对具备视频图像综合处理功能的系统硬件和软件进行了探讨，开发了一种实用的视频图像综合处理系统，能实现视频图像去雾、去噪和清晰化处理，可广泛应用于智能监控、交通、治安管理以及公安刑侦等领域。

1 方案设计

1.1 总体设计

系统分为硬件处理设备和软件处理系统两部分。对于实时采集的模拟信号先经过硬件设备进行处理，再进行模数转换，然后经过软件处理数字信号，最后完成两部分的系统集成工作。其中，硬件处理设备的工作包括视频图像信息采集、模数转换、监视器显示以及硬件设备预处理，最终完成初步采集信息清晰化预处理和调试，并为后续软件处理提供较好的初始信号。软件系统的研发工作，主要集中于完成各软件模块的研发，以及软件模块的集成工作，具体包括去雾处理、模糊车牌处理、数字清晰化处理等算法的实现，最终完成硬件设备与软件系统的整合和调试。

图1 处理模拟视频图像的系统框图Fig.1 The system block diagram processing an analog video image

目前市面上流通的监控摄像机既有模拟摄像机也有数字摄像机。由于本系统采用的是数字视频图像处理技术，因此对于采用模拟摄像机的监控系统，需首先将模拟视频进行数字化处理［6］，即将需要处理的实时视频图像或已录回放的视频图像，先经过该系统的硬件设备后，再送入计算机进行软件处理。这种情况下，系统首先通过硬件设备处理将模拟信号转化为数字信号，即先通过DSP 软硬件模块对模拟视频图像进行信号增强和噪声过滤，再通过专用电路对模拟信号进行整流、直流分量平衡等处理;然后进入软件处理模块，通过量化和编码手段完成视频信号的模/数转换，经去噪、滤波等处理后，提取相应的数字特征，进入视频图像处理、文字处理、车牌识别等功能模块，达到对视频图像质量进行改善和处理的效果，最后将处理好的视频图像进行展示。处理模拟视频图像的逻辑框图如图1 所示。

对于采用数字摄像机进行拍摄的监控系统，由于采集的已经是数字视频，因此无需进行数字化及编码处理，其情形相对简单，可直接进入软件处理模块。软件处理过程与模拟视频图像的处理方式相同。

本软件采用传统的软件开发生命周期，采用自顶向下、逐步求精的结构化的软件设计方法［7-8］。根据软件功能需求，将视频图像综合处理系统细分为以下3 个子系统:视频图像处理子系统、文字处理子系统和车牌处理与识别子系统。软件总体框架如图2 所示。

1.2 开发环境及工具

以Windows 为操作平台，开发工具采用Visual Studio 2005 中文版。选取Visual Studio 2005 作为开发工具的原因:

(1)语言和IDE:各有特色和创新的4 种语言(Visual Basic，Visual C++，Visual C#和Visual J#)将丰富编程体验。对IDE 进行改进并提供个性化服务是提高生产力的保证。

(2).NET Framework 2.0:提供一个可靠的应用平台，为构建安全、高性能、关键业务的解决方案提供了坚实基础。

图2 视频图像综合处理软件结构Fig.2 Software architecture of a video image processing system

1.3 接口设计

(1)用户接口:本系统采用图形用户交互接口，以鼠标和键盘为用户输入接口，方便用户对需要处理的图片进行操作。

(2)外部接口:打印功能接口，采用系统自带界面，理论上在所有Windows XP 系统中相同，且通用。

(2)内部接口:对于图片基本参数(对比度、亮度、色彩饱和度)的调整，可与去雾处理或清晰化处理的效果叠加，而去雾处理与清晰化处理两者相对独立。

1.4 系统特色

(1)具有视频图像的去雾、去噪等模糊视频图像清晰化处理的功能，而且能够通过对有用信息进行增强和特征提取来实现视频图像、文字和车牌识别的处理。

(2)有用视频图像信息(指处理前的视频图像内容中，有需要处理的视频图像信息，且其像素数应大于全屏画面像素数的1/20)处理后的识别率达到85%以上。

(3)既能处理实时视频图像，又能处理单帧静止视频图像或照片;既能处理模拟视频图像，又能处理数字视频图像。

(4)既有标准的模拟输入/输出接口，又有标准的数字输入/输出接口。

图3 视频图像处理子系统功能细分Fig.3 Functionality subdivision of the video image processing sub-system

2 系统功能实现

2.1 模块设计实现

视频图像综合处理系统共包含了3 个子系统，各子系统既相互区别又相互联系。3 个子系统中，图像处理子系统是各个子系统实现其功能的基础和前提，其它子系统可看作是图像处理子系统的具体应用。因此，图像处理子系统是整个系统的核心，该系统实现的功能主要包含视频图像基本参数调整、视频图像去雾处理和视频图像清晰化处理，见图3。

(1)视频图像基本参数调整:实现对输入视频图像的一般性处理，如亮度调整、对比度调整、色彩饱和度调整等，主要为后续其他视频图像处理算法提供预处理。

(2)视频图像去雾处理:对雾天中拍摄的视频图像进行处理，整体增强视频图像的清晰度，降低大雾对景物识别分辨的影响。

(3)视频图像清晰化处理:对恶劣环境中拍摄的非清晰视频图像进行增强处理，让原本模糊的视频图像变得清晰。

2.2 视频图像基本参数调整模块

本模块的功能是调整视频图像的各种基本参数，主要包括对比度调整、亮度调整、色彩饱和度调整等基本操作。

(1)亮度/对比度调整

人眼对视频图像敏感的两个重要性能参数是视频图像的亮度和对比度［9］。因此，在对照片、视频等进行处理时，常常需要进行亮度和对比度的处理。亮度和对比度也是一种重要的颜色调整方法。本系统对视频图像的处理基于RGB 颜色模型，因此需要对RGB 各颜色分量进行特定的处理。

(2)色彩饱和度调整

本系统对于视频图像的饱和度的调整是通过调整RGB 分量，主要是G、B 分量的比值来实现。

2.3 视频图像去雾处理模块

视频图像去雾模块与视频图像基本参数调整模块对视频图像所做的处理效果是可以叠加的。其基本原理是把雾天拍摄的照片或视频，进行视频图像增强处理，使得雾中朦胧看不清的场景能看清。

其算法是:利用雾天大气散射物理模型推导传递函数，对雾天拍摄的视频图像进行反向处理，得到基本无雾的视频图像。雾天成像的物理模型为:

式中，I(x)表示观察到的视频图像，J(x)表示假设没有大气颗粒散射时候的真实视频图像，t(x)为大气散射传递函数，A 为大气光。公式(1)中等式右侧第一项J(x)t(x)代表直接衰减项，即大气散射的衰减模型，第二项A(1 -t(x))被称为散射大气光，即大气散射的大气光模型。

大气散射传递系数表示透射率，反映了光线穿透雾的能力，值越大，表示场景点光线穿透雾到达观测点的量越多［10］。大气散射传递函数t(x)可表示成:

式中，β 为大气颗粒散射系数，研究中由于雾在地表附近可以看作均匀的同质物质，因此可以假设β 是一个常量。d(x)为场景深度，是物体到成像设备的距离，物体表面反射的光线在到达成像设备时呈指数减少。A表示无穷远处的大气光，在同一天气条件下可以看作一个恒定值。

根据已知的雾天视频图像模型(公式(1))，本研究中认为β 是一个常量，则大气传递系数t(x)只受视频图像深度d(x)的影响。如果在同一雾天条件，且拍摄的视频图像深度基本一致的情况下，那么大气光A 和t(x)就可以看作是不变的常量。因此我们可以利用多幅视频图像的多个约束方程，用解方程组的方法得出未知的参数。复原有雾视频图像关键是解出方程中的大气传递系数t(x)和大气光A，利用最小二乘法解超定方程组求出A 和t 的值。这样不但充分利用了每个像素点的值，在很大程度上减小了误差，而且去除了噪声。在求解出参数t(x)和A 之后，有雾视频图像I(x)通过观测点的成像设备得到，这样就可得到复原后的清晰视频图像J(x)。把参考场景算出的参数A 和t(x)代入公式(1)便可得到复原后的清晰视频图像J(x)为:

根据视频监控图像场景固定的特点，可以选择可靠的参考物体，方便获得与雾天相对应的清晰视频图像。本文的算法可以应用于大量视频监控场景视频图像的预处理中，如视频监控、车牌识别和人脸识别等领域。该算法的实现流程如图4 所示。

图4 去雾算法流程图Fig.4 Flowchart of the defogging algorithm

2.4 视频图像清晰化处理模块

视频图像清晰化与视频图像基本参数调整两个模块对视频图像所做的处理效果是可以叠加的，与视频图像去雾模块无关联。

图5 视频图像清晰化处理流程Fig.5 Flowchart of a video image clarity processing system

视频图像清晰化处理的意义是指在视频图像采集/复制/传递过程中，由于环境、设备等多种原因，会导致视频图像的清晰度下降，为了保证视频图像的清晰显现，有必要对其清晰度进行增强。视频图像清晰度(Sharpness)的概念是指视频图像细节边界变化的敏锐程度，也称为“锐度”，清晰化处理也被称为“锐化”。清晰度与分辨率的关系为视频图像的分辨率越高，通常会采集到更丰富的细节，使视频图像显得更细腻。因此，在分辨率高的情况下，往往视频图像清晰度也较高。所以对于需要处理的图片，分辨率越高，清晰化处理的效果也越好。

本系统采用视频图像清晰度增强处理技术——虚光蒙版(UnsharpMask，USM)。其算法过程是:

(1)对每个像素(当前像素)，求其同一帧内周围多个邻近像素灰度值的平均值;

(2)用当前像素的灰度值减去同一帧内空间上邻近像素平均值，得到USM 值;

(3)取一部分或全部USM 值与当前像素的灰度值叠加。

处理后，视频图像细节边缘的灰度反差加大，且会出现一定宽度的亮暗轮廓(“边饰”)。取邻近像素范围宽，则“边饰”也较宽。

视频图像清晰化算法流程见图5。

3 系统功能演示

运行本系统后的界面如图6 所示。操作顺序如下:

(1)工具栏中，不同方向的笑脸的图标，代表将图进行翻转或旋转的方式;

(2)进行图像基本参数调整时，设置参数大小的区域;

(3)选择图像处理方式，以及设置参数的区域;

(4)状态栏的左边会显示当前正在进行的操作，在没有任何操作的时候，会随机显示使用技巧提示，右边则显示图片的分辨率和缩放比例。

图7、图8 为图像处理前后对比图。

图6 系统操作界面Fig.6 Operation interface of the system

4 结语

本文设计了具有模糊图像的实时去雾、去噪、清晰化等功能的视频图像综合处理系统，系统设计采用了软硬件结合的架构，具有标准的输入输出接口。目前该系统已经能够较好地对整幅视频图像进行全局处理，但是随着实际应用需求的增加，对某些局部特定目标，比如车牌、人物等等，需要更细致的分析和处理。基于此，在以后系统的升级过程中，我们将考虑增加系统局部特征处理的功能，使该系统具备更高的智能性以更好地应用于安防监控系统中。

［1］杨明林，张晓飞.FPGA 控制实现图像系统视频图像采集［J］.计算机测量与控制，2003，11(6):451 -454.

［2］GILBERT A L，GILES M K，FLACHS G M，et al.A real-time video tracking system［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1980，2(1):47 -55.

［3］DENG K，WILSON J N.An approximation-based video tracking system［C］.Image Algebra and Morphological Image Processing San Diego，CA，1991，1568:304 -312.

［4］薛大雷，过润秋.一种基于DSP 和FPGA 的视频图像处理系统的设计方案［J］.电子设计应用，2003，(10):79 -81.

［5］Texas Instruments.TMS320C62xx peripherals reference guide［ED/OL］.［2013 -01 -02］.http://noel.feld.cvut.(z/vyu/scs/ti/TMS320C62xx-peripherals.pdf.

［6］朱明，鲁剑锋.基于DSP+FPGA 结构图像处理系统设计与实现［J］.计算机测量与控制，2004，12(9):866 -869.

［7］雷玉堂.现代摄像机DSP 图像处理系统的设计［J］.中国公共安全，2009，(10):140 -151.

［8］陈彬.基于FPGA 的视频图像处理系统设计［D］.重庆:重庆大学.2006.

［9］李武森，迟泽英.嵌入式高速DSP 视频图像处理系统中数据存储器的接口设计［J］.红外技术，2003，25(1):51 -54.

［10］MANUEL T.As the world turns parallel，transputer applications explode［J］.Electronics，1998(12):110 -112.