基于光照和对比度均衡的遥感图像增强

2015-02-27李国辉张龙龙吴成茂

西安邮电大学学报 2015年6期

关键词：子块图像增强标准差

李国辉, 张龙龙, 吴成茂

(西安邮电大学电子工程学院, 陕西西安710121)

基于光照和对比度均衡的遥感图像增强

李国辉, 张龙龙, 吴成茂

(西安邮电大学电子工程学院, 陕西西安710121)

针对遥感图像,提出一种基于光照和对比度均衡的遥感图像增强改进方法。在频域中消除不均匀光照,通过两个均衡因子和线性变换调节像素邻域的均值和标准差,再利用辐射校正和一个颜色保持因子得到增强后的图像。实验结果表明,改进的方法不仅能够消除不均匀的光照和对比度,又能保持图像的彩色和细节信息。

遥感图像增强；光照均衡；对比度均衡；辐射校正

遥感图像在生成、获取、传输的过程中,受周围大气环境、光学传感器性能的影响,往往在某些局部区域呈现出光照和对比度不均衡[1],直接影响到图像的后续处理,使得图像增强技术在遥感图像处理中占据重要的地位。为实现图像光照和对比度的均衡,许多图像增强方法已经被提出[2-4]。

目前，常用的图像增强方法有基于直方图均衡化的方法[5-8]、同态滤波增强方法[9-10]、基于Retinex理论的方法[11-15]等。递归均值分割直方图均衡化(Recursive Mean Separate Histogram Equalization, RMSHE)的基本思想是使图像亮度值的分布尽可能均匀,从而扩展图像动态范围和增强图像对比度[16]。RMSHE实现比较简单,但得到的图像的灰度级会减少,导致图像中的某些细节信息丢失。同态滤波(Homomorphic Filtering, HF)增强方法[17]能有效减少光照引起的变化并增加图像的边缘和细节信息,被广泛用来消除图像不均匀的光照和对比度,压缩图像的动态范围。但是，同态滤波器的截止频率需经过大量的反复试验确定,没有充分考虑图像的空域局部特性,在局部对比度增强效果上不能令人满意。带色彩恢复的多尺度Retinex算法(MSR with Color Restoration, MSRCR)[18]能有效消除图像不均匀的光照,增强图像的细节信息,但不能消除不均匀的对比度,在增强明暗对比强烈的图像时易产生光晕现象。前述三类图像增强方法可以有效消除图像不均匀的光照,但在处理光照和对比度都不均匀的图像时效果并不理想。由于遥感图像各部分的均值和标准差较接近,本文提出用两个均衡因子和线性变换调节图像每一像素邻域的均值和标准差,以消除图像不均匀的光照和对比度。

1 关键理论概述

1.1 对不均匀光照的处理

图像的光照变化包含在入射分量中,变化缓慢,对应于频域中的低频成分。图像的入射分量可以通过在频域中进行低通滤波得到FFT(fi)[19]，其中i=1,2,3,fi是输入图像f的第i个颜色分量。FFT(fi)是fi的傅里叶变换。在频域中对图像进行低通滤波,然后进行傅里叶逆变换得到入射分量[19]

Ii=IFFT(H×FFT(fi))。

(2)

其中H是频域中的低通滤波器,IFFT()表示傅里叶逆变换(Inverse FFT),Ii是fi的入射分量。然后从输入图像中减去入射分量得到光照大致均匀的图像[19]

(3)

1.2 对比度均衡

经过光照处理后的图像R虽然拥有均匀的光照,但它的对比度并不均匀。因此,需要进一步均匀图像的对比度。

先将图像均匀地分为大小相等、互不重叠的一系列图像子块,以Rb表示其中的一个子块,然后建立一个表征图像对比度的定义(Definition)。这个定义表示为

(4)

其中

Δx=Rb(x+1,y)-Rb(x,y),

Δy=Rb(x,y+1)-Rb(x,y),

M和N分别为子块Rb的行数和列数,x和y分别是子块像素的行坐标和列坐标。从式(4)看出,定义d的值与子块的对比度成正比。选取具有最大定义值的子块作为参考图像。

考虑到遥感图像覆盖的区域较大,图像各部分的均值和标准差较接近,利用自适应线性变换调整图像每一像素邻域的均值和标准差[20]

Fi(x,y)=αRi(x,y)+β。

(5)

其中α和β是两个均衡因子,分别表示为

β=wmuref+(1-wm-α)unbr。

其中uref和σref分别是参考图像块的均值和标准差,unbr和σnbr分别是像素Ri(x,y)邻域图像块的均值和标准差,ws和wm表示为

1.3 辐射校正

原图像f中的某些暗目标在图像F中拥有较高的灰度值,因此,经过对比度均衡的图像F的动态范围比较狭窄,整体呈现出变亮的趋势。利用最大值-均值-最小值辐射校正(Max-Mean-Min Radiation Correction)解决这个问题。

最大值-均值-最小值辐射校正利用图像F中的一些暗目标和亮目标的灰度值来调整其他目标的灰度值,在扩展动态范围的同时保持均值不变。用M和N分别表示图像Fi的行数和列数,使用一个尺度因子t来构造一个阈值

T=t·M·N。

(6)

图像Fi的直方图用h(n)来表示,其中n=1,2,3,…,256。选择满足如下条件的灰度值maxv和minv分别作为亮目标和暗目标的灰度值。

(7)

然后利用灰度变换公式[21]对图像Fi进行处理。图像Fi的平均值用uv表示。

当Fi(x,y)

pi(x,y)=0；

当minv≤Fi(x,y)

当uv≤Fi(x,y)

当Fi(x,y)≥maxv时，

pi(x,y)=255。

最终得到的输出图像为

(9)

其中:

(10)

φ是颜色保持因子;gv是图像Fi的直方图h(n)中最大频数所对应的灰度值。

2 改进方法实现步骤

改进方法分为光照均衡,对比度均衡,辐射校正3个步骤。

步骤1根据式(1)、式 (2)和式 (3)对输入图像的不均匀光照进行处理。图1为处理结果。

(a) 原始图像f

(b) f的入射分量

(d) R的入射分量

从图1(a)可见，原始图像的光照不均匀,中心部分比四周亮。从图1(c)可见，经光照处理后的图像有均匀的光照。图像的入射分量反映了图像的整体光照。比较图1(b)和图1(d),处理后图像的入射分量比原始图像的入射分量均匀,这进一步说明了光照处理的有效性。

步骤2通过式(5)对光照处理后的图像进行对比度均衡。用s表示像素Ri(x,y)邻域图像块的边长。图2反映了不同的s对图像均衡结果的影响。与图1(c)相比,图2 (a)～图2(c)的对比度变得很均匀。

(a) s=9

(b) s=21

从图2可以看出,s越大,对应的结果图像越光滑。这一点可以从表1中关于图2(a)、图2(b)、图2(c)的d值中得到证明。d用式(4)表示,d的值越大,对应图像的对比度越大。

表1 彩色图像各分量的平均梯度值

步骤3使用式(8)和式(9)对对比度均衡后的图像进行辐射校正。图3(a)～图3(c)显示了当颜色保持因子φ的值为0.05时,不同尺度因子t对应的结果图像,图3(d)显示了图3(a)～图3(c)的d值。

(a) t=0.002

(b) t=0.02

(d) 图3(a)～(c)的d值

从图3(a)～图3(c)中可以看出,尺度因子t的值越大,其对应图像的对比度越大,这一点可从图3(d)中得到证明。因为t越大,由式(6)可知T越大,进而满足式(7)的minv和maxv的值就越靠近,由式(8)可知将会有更多的像素值被设置为0或255,这样图像的梯度值就会增加,最终会增加图像的对比度。试验表明,介于0.002和0.15的t值能够得到令人满意的结果。

图4显示了当尺度因子t的值为0.02时,不同颜色保持因子φ对应的结果图像。

(a) φ=0.05

(b) φ=0.9

从图4可以看出,颜色保持因子φ的值越大,其对应的图像越亮。这是因为φ的值越大,由式(10)得到的η值越小,将其代入式(9)会得到更多的像素值接近255,从而使结果图像呈现出变亮的趋势。

与图1(a)相比,结果图4(a)有效地消除了图1(a)中不均匀的光照和对比度。从图5可知,结果图像的d值明显高于原始图像的d值,表明结果图像与原始图像相比,不仅拥有均匀的光照和对比度,而且图像的对比度明显增强。

图5 原始图像和结果图像的d值

3 实验结果与分析

在PIV2.3 GHz,4G RAM微机上,利用Matlab编程进行遥感图像增强实验。分别采用改进方法、HF、RMSHE和MSRCR对遥感图像进行仿真。图6显示了实验结果。原始图像的大小为1 280×960。改进方法的参数选取为

e=30,s=21,t=0.02,φ=0.05。

(a) 原始图像

(b) HF

(d) MSRCR

(e) 改进方法

图6(a)中心部分的亮度明显高于图像其他区域,图像左上角的对比度低于其他区域。RMSHE、MSRCR都能有效增强图像的对比度,但不能消除图像不均匀的光照和对比度。HF与RMSHE、MSRCR相比,消除了原始图像不均匀的光照,但得到的图像整体较暗。改进方法在增强图像对比度的同时,有效地消除了图像不均匀的光照和对比度。

均值比(Mean Ratio, MR)和标准差比(Standard Deviation Ratio, SDR)用来客观评价图像的增强效果。在图6(a)中,用方框选择了9个大小为160×160的子块。对于拥有均匀光照和对比度的图像,各子块的均值与图像的均值之比应该接近1,标准差之比也应该接近1。图像均值比和标准差比的走向越平坦,图像的光照和对比度越均匀。图7显示了图6中各子图的均值比和标准差比的走向。

从图7可以看出,由RMSHE得到的结果图像的均值比变化最明显,HF次之,改进方法得到的结果图像的均值比走向最平坦且最接近1。由HF得到的结果图像的标准差比变化最明显,MSRCR次之,改进方法得到的结果图像的标准差比变化幅度最小且最接近1。因此得出,改进方法与HF、RMSHE、MSRCR相比,对原始图像的增强效果最好。

(a) R分量均值比

(b) R分量标准差比

(d) G分量标准差比

(e) B分量均值比

(f) B分量标准差比

图8为另一幅遥感图像的仿真实验结果。原始图像的大小为544×534。改进方法的参数选取为e=30,s=21,t=0.02,φ=0.05。

图8(a)中心区域的亮度高于其他区域,图像右下角的对比度高于其他区域。所有方法都能有效增强原始图像的对比度,但RMSHE不能消除原始图像不均匀的光照和对比度,MSRCR得到的图像整体偏亮,HF得到的图像整体偏暗。改进方法不仅能够有效增强图像的对比度,而且有效消除了原始图像光照和对比度的不均匀性。

为客观评价增强效果,在图8(a)中用方框选择了5个大小为136×136的子块,在图9中以柱状图的形式显示了图8中各个子图的均值比和标准差比。

(a) 原始图像

(b) HF

(d) MSRCR

(e) 改进方法

(a) R分量均值比

(b) R分量标准差比

(d) G分量标准差比

(e) B分量均值比

(f) B分量标准差比

对于拥有均匀光照和对比度的图像,图像各子块的均值和标准差应该是相似的。从图9可以看出,由RMSHE和HF得到的结果图像的均值比变化很明显,由MSRCR得到的结果图像的均值比虽然和改进方法很接近,但其标准差比的变化幅度明显高于改进方法。改进方法的标准差比变化最缓慢且最接近1。因此,改进方法与HF、RMSHE、MSRCR相比,对图像的增强效果最好。

4 结束语

从原图像中减去入射分量得到光照均匀的图像,利用自适应线性变换调节像素邻域的均值和标准差得到对比度均匀的图像,再通过辐射校正得到视觉效果良好且拥有均匀光照和对比度的图像。实验结果表明,改进方法得到的图像同时拥有均匀的光照和对比度,并且更多地保留了彩色和细节信息,改善了图像动态范围狭窄问题,增强效果明显优于HF、RMSHE、MSRCR。

[1] Zhu S L, Zhang Z, Zhu B S, et al. Experimental comparison among five algorithms of brightness and contrast homogenization[J]. Journal of Remote Sensing, 2011, 15(1): 111-122.

[2] Premkumar S, Parthasarathi K A. An efficient approach for colour image enhancement using Discrete Shearlet Transform[C]// 2014 2nd International Conference on Current Trends in Engineering and Technology (ICCTET). Coimbatore: IEEE, 2014: 363-366.

[3] 田小平, 李晓敏. 基于小波变换的遥感图像增强方法[J]. 西安邮电大学学报, 2014, 19(2): 38-42.

[4] Narasimha C, Rao A N. A comparative study: Spatial domain filter for medical image enhancement[C]// 2015 International Conference on Signal Processing And Communication Engineering Systems (SPACES). Guntur: IEEE, 2015: 291-295.

[5] Aedla R, Dwarakish G S, Reddy D V. Satellite image contrast enhancement algorithm based on plateau histogram equalization[C]// 2014 IEEE Region 10 Symposium. Kuala Lumpur, Malaysia: IEEE, 2014: 213-218.

[6] 田小平,乔东,吴成茂. 基于双直方图均衡化的彩色图像增强[J]. 西安邮电大学学报,2015,20(2): 58-63.

[7] Kim M, Chung M. Recursively separated and weighted histogram equalization for brightness preservation and contrast enhancement[J]. IEEE Transactions on Consumer Electronics, 2008, 54(3): 1389-1397.

[8] Khan M F, Khan E, Abbasi Z A. Weighted average multi segment histogram equalization for brightness preserving contrast enhancement[C]//IEEE International Conference on Signal Processing, Computing and Control. Waknaghat Solan：IEEE, 2012: 1-6.

[9] Agarwal T K, Tiwari M, Lamba S S. Modified histogram based contrast enhancement using homomorphic filtering for medical images[C]// IEEE International Advance Computing Conference. Gurgaon: IEEE, 2014: 964-968.

[10]Vishwakarma A K, Mishra A, Gaurav K, et al. Illumination reduction for low contrast color image enhancement with homomorphic filtering technique[C]// International Conference on Communication Systems and Network Technologies. Rajkot: IEEE, 2012: 171-173.

[11]Jang J H, Bae Y, Ra J B. Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3479-3490.

[12]王殿伟, 范九伦, 刘颖. 一种雾天监控视频图像增强处理算法[J]. 西安邮电学院学报, 2012, 17(5): 20-24.

[13]Jang J H, Kim S D, Ra J B. Enhancement of optical remote sensing images by subband-decomposed multiscale retinex with hybrid intensity transfer function[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(5): 983-987.

[14]Provenzi E, De Carli L, Rizzi A, et al. Mathematical definition and analysis of the retinex algorithm[J]. Journal of the Optical Society of America A, 2005, 22(12): 2613-2621.

[15]Rahman Z, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging, 2004, 13(1): 100-110.

[16]Chen S D, Ramli A R. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation[J]. IEEE Transactions on Consumer Electronics, 2003, 49(4):1301-1309.

[17]Ramaraj M, Raghavan S, Khan W A. Homomorphic filtering techniques for WCE image enhancement[C]//IEEE International Conference on Computational Intelligence and Computing Research. Enathi: IEEE, 2013: 1-5.

[18]Liu J, Shao Z F, Cheng Q M. Color constancy enhancement under poor illumination[J]. Optics Letters, 2011, 36(24): 4821-4823.

[19]Jie X, Han L N, Geng G H, et al. Real color image enhanced by Illumination-Reflectance model and wavelet transformation[C]//International Conference on Information Technology and Computer Science. Kiev：IEEE, 2009:351-356.

[20]Cvetkovic S, Schirris J, Dewith P H N. Non-linear locally-adaptive video contrast enhancement algorithm without artifacts[J]. IEEE Transactions on Consumer Electronics, 2008, 54(1):1-9.

[21]Ye Y S, Sun Q, Shi L, et al. A adaptive dual-platform deep space infrared image enhancement algorithm based on linear gray scale transformation[C]// 2014 33rd Chinese Control Conference (CCC). Nanjing: IEEE, 2014:7434-7438.

[责任编辑：祝剑]

Remote sensing image enhancement based on illumination and contrast balancing

LI Guohui, ZHANG Longlong, WU Chengmao

(School of Electronic Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121,China)

An improved remote sensing image enhancement method based on illumination and contrast balancing is proposed for the problem that the illumination and contrast of remote sensing image are uneven. An uneven illumination is eliminated in the frequency domain, and the mean and standard deviation of a neighborhood at each pixel are adjusted through two balancing factors and linear transformation. Then, the enhanced image is obtained by a color preserving factor and radiation correction. Experimental results indicate that the improved method can not only eliminate uneven illumination and contrast, but also retain the color and detail information of the image.

remote sensing image enhancement, illumination balancing, contrast balancing, radiationcorrection

2015-03-12

国家自然科学基金重点资助项目(61136002);陕西省自然科学基金资助项目(2014JM8331,2014JQ5138)

李国辉(1978-),男,副教授,从事混沌信号处理、粒子滤波及其应用、信息处理研究。E-mail:lghcd@163.com 张龙龙(1988-),男,硕士研究生,研究方向为电路与系统。E-mail:zhll100739@126.com

10.13682/j.issn.2095-6533.2015.06.019

TP391.41

2095-6533(2015)06-0086-07