基于CLAHE的DSP实时去雾系统

许志远, 王庸凯, 孙 康, 张大恒, 丁纪铭, 王 岩

(大连海洋大学 航海与船舶工程学院, 辽宁 大连 116023)

目前,雾天视频图像清晰化技术的研究已取得了一些成果.M Wilscy[1]等以小波融合算法为核心,分别对前景和背景像素进行增强处理.S.G.Narasimhan[2]等根据大气物理模型计算场景深度来恢复降质视频图像的对比度.上述方法都是基于物理模型进行视频去雾,虽然能够获得较好的效果,但是算法复杂,满足实时性需要更高的成本.针对这一问题,基于图像处理的去雾算法被提出,祝培[3]等提出基于移动模板的去雾算法,处理速度明显提高,但是可能会出现块效应.目前,去雾算法的研究主要是基于单幅图片进行处理,实时去雾系统的研究尚处于初步阶段.本文以TI公司的TMS320DM642 DSP芯片为核心,以限定对比度直方图均衡化(CLAHE)为去雾算法,以CCS为集成开发环境,设计出了一种有效的视频实时去雾系统.

1 系统的构成与工作原理

1.1 系统的构成

视频实时去雾系统分为3个部分,分别是视频采集、DSP去雾处理和视频输出,具体结构见图1.其中,视频采集部分由CCD摄像头和TI公司的视频A/D解码器TVP5150组成;DSP部分主要包括以TI公司的TMS320DM642处理器,扩展4M*64bit同步动态存储器(SDRAM),32M位Flash及一颗ALTERA公司EP2C5Q208C8的FPGA芯片;视频输出部分主要由飞利浦SAA7105视频编码器和显示器组成[4].

图1 视频实时去雾系统构成图Fig.1 Composition diagram of real-time DSP defogging system

1.2 工作原理

系统的工作原理是:CCD摄像头获取雾天降质模拟视频信号,信号通过视频解码器TVP5150转换为数字视频信号,接着数字视频信号进入DM642的视频接口,通过EDMA传输到SDRAM中存储,DM642的CPU使用在CCS中调试好的程序对SDRAM的图像进行去雾处理,处理结束后,将视频信号经过SAA7105视频编码器输出,这时去雾后的视频就可显示到主机屏幕.

2 限定对比度自适应直方图均衡化去雾算法

自适应直方图均衡化(AHE)能够有效地增强每个区域的对比度,但是,相关区域可能会出现噪声增强和处理速度过慢等现象[5-6].针对这一问题,本设计提出限定对比度自适应直方图均衡化算法(CLAHE).CLAHE对连续区域进行直方图均衡化,每个区域的中心是原始图像的一个像素,根据设定的亮度最大值对直方图进行截取,截取下来的像素重新分配到每个灰度级.新生成的直方图由于被限定了最大值,与原直方图相比,能够更加有效地限制噪声增强现象[7].

2.1 CLAHE算法理论

本文结合雾天降质图像特性,提出基于CLAHE的去雾算法可由下面几步来实现:

(1) 图像分割. 将原始图像分割成若干个大小同为M×N的子区域,每个子区域相互连续并且互不重叠.

(2) 截取直方图. 计算每个子区域的灰度直方图,并将每个子区域中的像素均匀分配到每个灰度级,于是,每个灰度级的平均像素数Naver可由公式(1)计算得出:

(1)

式中,Ngray是子区域中灰度级的数量;NCR-Xp是子区域x轴方向的像素数;NCR-Yp是子区域y轴方向的像素数;

基于公式(1),理论截取限制值NCL可由公式(2)得出:

NCL=NclipNaver.

(2)

式中,Nclip是截取限制系数,其含义是限制子区域每个灰度级所包含的像素数不允许超过平均像素数的Nclip倍.

原始直方图和被截取后的直方图如图2所示.图2a中,如果某个灰度级像素数大于NCL,就会有部分像素被截取.如果定义截取下来像素的总数为NΣclip,那么均匀分配到每个灰度级的像素数Nacp就可由公式(3)给出:

(3)

图2 直方图截取示意图Fig.2 The diagram of intercepted histogram(a)—原始直方图; (b)—截取后直方图.

如果HC R(i)为原子区域中第i个灰度级的像素数,那么,基于上述公式,可以计算出子区域的限定对比度直方图,计算规则如下:

(4)

经过上述分配后,如果剩余像素数为NL P,那么,被分配像素的步进值则可由公式(5)计算得出:

(5)

程序按照上述步进值从灰度级最小值到最大值进行搜索,如果某个灰度级的像素数小于NC L,程序将会分配1个像素给这个灰度级.当搜索结束时,如果像素没有全部被分配,程序将会按照公式(5)计算出新步进值,并且继续开始新搜索,直到像素全部被分配.那时,我们就会得到类似图2(b)的新直方图.

(3) 直方图均衡化. 对每个子区域的新直方图进行直方图均衡化.

(4) 插值映射. 将子区域的中心点定义为样本点,在任何评价点像素上的映射结果是其周围4个样本点像素插值得来的.样本点和评价点的位置关系如图3所示.

图3 样本点和评价点位置关系Fig.3 The positional relation between sample points and evaluation points

如果像素映射到(x,y),亮度是i,m+-,m++,m-+和m--分别是(x,y)的右上、右下,左下和左上的四个样本点.AHE的插值结果可由下面公式给出:

对于位于样本点外,图像边缘的像素来说,可以使用相邻两点的线性插值;对于位于角落的样本点,因为只有一个相近的样本点,仅应用一个映射值.

2.2 CLAHE图像去雾

为了验证CLAHE图像去雾效果,首先在Matlab上对其进行仿真,仿真选取雾天降质灰度图像为处理对象.图4a为原始降质图像,4d为其直方图;图4b为HE去雾图像,图4e为其直方图;图4c为CLAHE去雾图像,图4f为其直方图.从视觉上来观察,无论整体轮廓或细节信息,去雾后图4c相比图4a和图4b在清晰度上都有明显增强.但是,单纯依靠视觉上的观察并不足以说明去雾算法的有效性,这里选取Sobel算子,THRESHOLD=0.03,对图像进行边缘检测,图4g、图4h和图4i分别为原始、HE和去雾图像的边缘检测结果,相比之下不难看出,去雾后图像所包含边缘信息明显多于原始降质图像.图4中各效果图的对比结果足以证明本文去雾算法的有效性,与此同时,也是其DSP实现的理论依据.

图4 CLAHE去雾实验效果图比较Fig.4 CLAHE experimental results by image defogging(a)—原始图像; (b)—HE去雾图像; (c)—CLAHE去雾图像; (d)—原始直方图; (e)—HE直方图;(f)—CLAHE直方图; (g)—原始边缘检测; (h)—HE边缘检测; (i)—CLAHE边缘检测.

3 实验结果

实验选取真实雾天视频进行处理,实验结果为其中一帧图像,见图5.图5a为原始图像,由于大雾的影响,图像整体亮度偏低,并且中间的楼宇轮廓十分模糊;图5b为经过直方图均衡化处理后的图像,对比原始图像,中间楼宇稍微清晰一些,不过图像上部出现了明显的过度增强现象,同时图像底部亮度又变得非常阴暗;图5c为经过CLAHE去雾处理后的图像,与原始图像相比,图像从整体亮度和中间楼宇的细节信息都有明显改善,处理效果明显优于HE去雾图像.

图5 DSP去雾实验结果Fig.5 DSP experimental results by image defogging(a)—原始图像; (b)—HE去雾; (c)—CLAHE去雾.

图5为基于视觉上的比较,为了更加充分地证明本文去雾算法的有效性,通过计算处理图像与原始图像之间的均方差(MSE)、信噪比(SNR)和峰值信噪比(PSNR)来进行有效性比较,比较结果见表1.不难看出,本文采用的去雾算法比HE去雾算法更加有效.

表1 MSE、SNR和PSNRTable 1 MSE, SNR and PSNR

图像清晰度也是衡量图像去雾效果的重要指标.关于图像清晰度的评价函数有很多,其中较为典型的有TenenGrad函数、Brenner函数、方差函数、平方梯度函数、Vollath函数、加窗函数和熵函数.其中,并没有哪个函数能够全面、准确地评价图像清晰度.为此,本文建立一种综合评价方法.体系选取这些典型函数,并分别赋予权重,通过每个函数的评价值和相应的权重值,可以计算出图像清晰度的综合评价结果.结束得分越高,说明图像清晰度越高,评价结果见表2.从综合结果来看,CLAHE去雾图像算法评价得分明显高于原始图像和HE去雾图像,充分证明了本文算法的有效性.

表2 图像清晰度评价结果Table 2 Evaluation results of image definition

4 结 论

本文以DSP TMS320DM642为处理核心,以CCS为集成开发环境,设计了基于限定对比度自适应直方图均衡化的实时去雾系统.实验选取真实雾天降质视频作为处理对象,并通过计算MSE、SNR、PSNR和图像清晰度综合评价函数来对实验结果进行评价.实验结果表明,该算法能够有效地增强雾天降质视频的清晰度,并能满足实时处理的需要.

参考文献:

[1]John J, Wilscy M. Enhancement of Weather Degraded Video Sequences Using Wavelet Fusion[C]∥7th IEEE International Conference on Cybernetic Intelligent Systems, 2008:1-6.

[2]Narasimhan S G, Nayar S K. Contrast Restoration of Weather Degraded Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(6):713-724.

[3]祝培,朱虹,钱学明,等. 一种有雾天气图像景物影像的清晰化方法[J]. 中国图像图形学报: A辑, 2004,9(1):124-128.

(Zhu Pei, Zhu Hong, Qian Xueming, et al. An Image Clearness Method for Fog[J]. Journal of Image and Graphics, 2004,9(1):124-128.)

[4]黄操,孙振国,陈强,等. 移动式修焊机器人双DSP嵌入式视觉反馈控制系统[J]. 清华大学学报: 自然科学版, 2009,49(2):198-201.

(Huang Cao, Sun Zhenguo, Chen Qiang, et al. Dual DSP-Based Embedded Visual Feedback Control System for Mobile Welding Robots[J]. Journal of Tsinghua University: Science and Technology, 2009,49(2):198-201.)

[5]张懿,刘旭,李海峰. 自适应图像直方图均衡算法[J]. 浙江大学学报: 工学版, 2007,41(4):630-633.

(Zhang Yi, Liu Xu, Li Haifeng. Self-Adaptive Image Histogram Equalization Algorithm[J]. Journal of Zhejiang University: Engineering Science, 2007,41(4):630-633.)

[6]范立南,黄鹤,田丹,等. 基于自适应参数的全变分综合图像去噪模型[J]. 沈阳大学学报: 自然科学版, 2013,25(5):383-388.

(Fan Linan, Huang He, Tian Dan, et al. Comprehensive Total Variation Denoising Model Based on Adaptive Parameters[J]. Journal of Shenyang University: Natural Science, 2013,25(5):383-388.)

[7]Pizer S M, Amburn E P, Austin J D, et al. Adaptive Histogram Equalization and Its Variations[J]. Computer Vision, Graphics, and Image Processing, 1987,39(3):355-368.