改进多尺度Retinex色彩灰度的水下彩色图像研究

雷 飞,朱 林,王雪丽

(北京工业大学 信息学部,北京 100124)

1 引 言

随着经济和科技的发展,由于海洋中蕴藏着大量的生物和能源资源,对海洋的研究成为世界科技发展的重要领域.水下图像的处理也成为海洋研究中的热点.但是,在水下摄影的过程中,水作为介质会吸收光的能量,因此光在水中传输会有很强的衰减作用.同时,水对光的吸收也有很强的选择特性.水对不同波长的光吸收特性也是不同的.水对光谱中的紫外和红外部分表现出强烈的吸收,在可见光谱区段,吸收最大的分别是红和淡绿光谱区域,对蓝和深绿光谱区域吸收最少[1].由于水对光的衰减作用,因此在一定深度的水下所拍摄的水下图像存在严重的颜色失真问题.由于水中含有溶解物和颗粒物,光在水中传输过程中也会发生较为严重散射效应.光在水中的散射主要分为前向散射和后向散射.光在传输方向上的散射称为前向散射,而在相反方向的散射称为后向散射.一般来说,前向散射会使光线在由目标到接收器的传输途中发生小角度的散射而使接收光线扩散并导致图像模糊,而后向散射造成光场外的光线被传感器接收到而形成模糊的背景.由于后向散射光叠加在目标信号上被传感器接收,引起水下图像的“雾化”效果[2],从而使水下图像对比度和清晰度降低.

由于水下环境较为复杂,因此造成水下图像光照不均匀,噪声大,颜色特征衰减和细节不清晰等问题[3].因此,在水下图像处理中多采用灰度图像进行处理.但灰度图像相比于彩色图像,会丧失大量图像细节,而彩色图像与人眼视觉一致,因此提升水下彩色图像清晰度和对比度非常有意义.

对水下图像增强的方法主要有集成色彩模型增强算法[4]、双通道图像颜色拉伸法[5]、点扩散函数PSF处理算法[6]和亮度通道多尺度Retinex增强[7]等.但这些算法对还原水下图像的色彩效果均不太理想.

本文通过提取原水下图像中RGB色彩灰度比例,之后利用多尺度Retinex增强算法对RGB各通道灰度进行增强,利用增强后的色彩灰度符合正态统计的特性对RGB各个通道进行拉伸截取,使增强后的图像能够符合图像的输出特性,最后根据原图像的色彩灰度比例对色彩比例进行还原.该算法不仅可以改善水下图像的颜色失真问题还可以提升水下图像清晰度.

2 多尺度Rentinex图像增强

2.1 单尺度Rentinex图像增强

Land等人基于人眼的颜色恒常性理论建立了Retinex模型[8],认为人眼对物体亮度和色彩的感知取决于环境的照明和物体表面对照射光的反射,即感知图像由光照信息部分与反射信息部分组成.即人眼所观察到的图像是由光照信息与反射信息的乘积表示:

I(x,y)=L(x,y)·R(x,y)

(1)

式(1)中,I(x,y)表示人眼所观察到的图像;L(x,y)表示图像的照射光分量,它决定了一幅图像的动态范围;R(x,y)表示了图像的反射光分量,它携带了图像的细节信息.

由公式(1)可知,Retinex算法的关键是图像在成像时区分出图像的照射光分量L(x,y)和图像的反射光分量R(x,y).但在实际使用中,很难区分出图像的照射光分量和图像的反射光分量.

单尺度Retinex图像增强函数(SSR,Single Scale Retinex)是在数学上通常采用基于中心环绕的方法来近似估计出图像中的照射光分量L(x,y)[9].即对每个中心像素的照射光分量L(x,y)通过其周围的环绕像素的值进行估计,目前多采用I(x,y)的高斯低通滤波卷积的形式:

(2)

(3)

式中,k为归一化分子,满足∬F(x,y)dxdy=1;σ是高斯滤波器的尺度参数,也就是中心环绕法的尺度参数,尺度σ的大小决定了卷积核的作用范围,尺度σ越小,动态范围压缩越大,图像的局部细节较突出,尺度σ越大,图像的整体效果越好,图像颜色越自然,但局部细节不清晰[10].

图像的反射光分量可表示为:

R(x,y)=logI(x,y)-log[F(x,y)*I(x,y)]

(4)

2.2 多尺度Rentinex图像增强

多尺度Retinex算法(MSR,Multi-Scale Retinex)是对不同尺度δ下单尺度Retinex算法的加权组合[11].其数学表达式为:

(5)

在大多数多尺度Retinex算法应用中,通常对尺度函数σi选取大中小三个不同的值,即可既可兼顾图像全局背景的协调,又能较好的突出图像的细节,实现两者的平衡[12].

3 改进色彩灰度的多尺度Retinex算法

图1给出改进色彩灰度的多尺度Retinex算法的流程.

改进色彩灰度的多尺度Retinex算法主要由以下几个步骤组成:

1)首先对水下彩色原图像提取RGB三个通道的灰度值Ir、Ig和Ib.并根据RGB三通道的灰度的均值,确定原图像的色彩亮度Imed:

Imed(x,y)=[Ir(x,y)+Ig(x,y)+Ib(x,y)]/3

(6)

图1 改进色彩灰度的多尺度Retinex算法的处理流程Fig.1 Flow of improved multi scale retinex enhancement algorithm

由于在水下彩色原图像在经过MSR增强后,RGB三个通道的色彩灰度相对于图像的色彩亮度比例会发生变化.当变化过大时,这使得增强后的图像有时颜色会失真,为保证增强后的图像与原图像的RGB色彩比例保持一致,分别求取RGB三通道色彩灰度与原图像色彩亮度的比例系数mr,mg,mb:

(7)

2)选取大中小三个不同的尺度参数σi的高通滤波函数Fi(x,y)(i=1,2,3)对原图像RGB三个通道的灰度值Ir、Ig和Ib进行MSR运算.以原图像的R通道灰度值Ir为例.如式(8)所示:

Ri(x,y)=logIr(x,y)-log[Fi(x,y)*Ir(x,y)](i=1,2,3)

(8)

再进行加权运算得到各通道的MSR增强后的灰度值:

(9)

3)经过MSR处理后的图像灰度值有时会变成负值,当输出图像时,这些负值的灰度使得图像部分区域变得灰暗,影响视觉效果.因此需要对所有色彩灰度进行拉伸截断处理,使所有色彩的灰度值能显示在图像的输出范围内.以8位图像为例,将所有经过拉伸截断处理后的灰度在0～255范围内.拉伸截断处理的表达式为:

(10)

(11)

式(11)中,μ为图像灰度的均值;σ为图像的标准差;n为截取拉伸倍数,当n=3时,图像灰度值落在[μ-3σ,μ+3σ]的概率为99.73%,因此在试验中选取3作为截取拉伸倍数.

4)根据RGB三通道的灰度的中值,确定处理后的图像的色彩亮度Rmed:

(12)

为了使经过MSR处理后的图像与原图像保持相同的色彩比例,因此利用原图像的色彩比例对输出图像灰度进行调整:

Ram=maRmed(a=r,g,b)

(13)

得到RGB通道最终的灰度值.

4 实验结果与分析

为了检测算法的普适性,因此选取了三种光照散射情况不同的水下图像进行测试.图2(a)是在深海中采用辅助照明器具拍摄的,由于深海中含有较少的颗粒物和悬浮物,所以图像较为清晰,图像整体有些轻微发蓝,光照所产生的后向散射效果较轻.图3(a)的拍摄地是较为清澈的浅海,光照较为充足,海水中含有一定量的颗粒物和悬浮物,图像有些模糊,光照所产生的后向散射效果适中.图4(a)烦人拍摄地是浅海地区,光照不太充足,同时水中含有大量的颗粒物和悬浮物,图像颜色有些失真,整体偏绿,光照所产生的后向散射效果较为严重.

图2(b)、图3(b)和图4(b)采用文献[7]中的方法对水下图像进行增强、图2(c)、图3(c)和图4(c)采用文献[13]Zahid Mahmood等人[13]在提出的改进MSR算法对水下图像进行增强与图2(d)、图3(d)和图4(d)采用本文的方法进行对比.

图2 第一组水下增强效果图Fig.2 Image enhancement in different algorithms

由图2、图3和图4可看出.文献[7]中的算法也对图像的增强取得了一定的效果.但图2(b)增强效果不太明显,直观上感受到几乎没有提升图像的对比度,同时在图像的右上部分还产生了较为严重的色彩失真.图2(c)和(d)增强后较为相似.图3和图4(b)、图4(c)和图4(d)的对比度有一定的提升,但是图3和图4(b)和图4(c)色彩不够鲜艳.从图2、图3和图4(d)可以看出本文的方法不仅使图像更加清晰,增强处理后的水下图像色彩更加鲜艳,符合人眼的视觉特性.

选取信息熵、对比度和清晰度作为图像增强效果的客观评价标准.

图3 第二组水下增强效果图Fig.3 Image enhancement in different algorithms

信息熵用于度量图像信息的丰富程度,信息熵越大表明信息越丰富,其公式为:

(14)

式(14)中,P(i)是像素值i在图像中出现的概率;k是图像的灰度值范围.

对比度是图像黑与白的比值,也就是黑到白的渐变层次.渐变层次越多,对比度越大,色彩信息越丰富.其公式为:

(15)

式(15)中,δ(i,j)=|i-j|即相邻像素间的灰度差;Pδ(i,j)为相邻像素间灰度差为δ的像素分布概率.

图4 第三组水下增强效果图Fig.4 Image enhancement in different algorithms

清晰度是衡量图像清晰程度的标准,清晰度越高,图像越清晰.其公式:

(16)

式(16)中,m和n为图像尺寸,df为灰度值的差值.

通过客观标准对比可以看出,文献[7]、文献[13]的方法和本文提出的改进色彩灰度的多尺度Retinex算法对水下图像增强都有效果.但相比于文献[7]和文献[13]中的方法,本文方法可以大幅提升水下图像的对比度和清晰度,图像增强效果更好,细节更加丰富,色彩更加鲜艳.

5 结束语

水下图像由于水对光的吸收和水中杂质的散射效应,图像的色彩清晰度和对比度会大幅下降.本文提出的改进多尺度Retinex色彩灰度的算法提取原图像色彩灰度比例,在经过MSR算法对色彩进行增强后进行截取拉伸,保证了输出图像的能有效的显示.最后根据原图像的色彩灰度比例对增强后的图像色彩比例进行还原.实验结果(见表1)表明此方法可以有效地去除光的后向散射所引起的模糊,同时能有效地恢复水下图像色彩灰度比例,使水下图像的色彩信息更加丰富,颜色更逼真更符合人眼的视觉效果.本文的算法通过客观评价标准信息熵、对比度清晰度这三个方面进行评价,本文所提出的算法在水下彩色图像的整体增强和保持色彩比例有良好的效果,使图像中细节更加丰富.而且对于颜色严重失真的水下图像也有良好的增强效果,可以广泛地应用于对水下彩色图像的增强.

表1 增强图像的各项客观评价标准
Table 1 Comparison of criteria among enhancement images

图像编号信息熵对比度清晰度Fig．2(a)7．006225．86083．7996Fig．2(b)6．999525．31444．8419Fig．2(c)7．181729．98116．2444Fig．2(d)7．268131．46398．2698Fig．3(a)6．793723．06118．3765Fig．3(b)7．244531．47711．6348Fig．3(c)7．439355．79918．3432Fig．3(d)7．624667．751722．5357Fig．4(a)6．5321．11444．9864Fig．4(b)7．407438．43728．8398Fig．4(c)7．401838．467215．4707Fig．4(d)7．447440．9918．6345

[1] Sun Chuan-dong,Chen Liang-yi,Gao Li-min,et al.Water optical properties and their effect on underwater imaging [J].Journal of Applied Optics,2000,21(4):39-46.

[2] Ma Yuan.Underwater image enhancement method based on light scattering model [J].Modern Electronics Technique,2011,34(16):166-168.

[3] Cao Mei,Sheng Hui-xing,et al.Underwater color image enhancement algorithm based on prior dark-channel model [J].Chinese Journal of Quantum Electronics,2016,33(2):140-147.

[4] Kashif I,Rosalina A S,Azam O,et al.Underwater image enhancement using an integrated color model [J].Iaeng International Journal of Computer Science,2007,32(2):239- 244.

[5] Ghani A S A,Isa N A M.Underwater image quality enhancement through composition of dual-intensity images and Rayleigh-stretching[J].SpringerPlus,2014,3(1):1-14.

[6] Hou W,Gray D J,et al.Comparison and validation of point spread models for imaging in natural waters [J].Optics Express,2008,16(13):9958-9965.

[7] Zhang Kai,Jin Wei-qi.Multi-scale retinex enhancement algorithm on luminance channel of color underwater image [J].Infrared Technology,2011,33(11):630-634.

[8] Land E H.Recent advances in retinex theory and some implications for cortical computations:color vision and the natural image [J].Proceedings of the National Academy of Sciences of the United States of America,1983,80(16):5163-5169.

[9] Qin Xu-jia,Cheng Yan-fei,Fan Ying-lin,et al.Image enhancement algorithm based on retinex of trilateral filter in HSV color space [J].Journal of Chinese Computer Systems,2016,37(1):168-172.

[10] Zhao Xiao-xia,Wang Ru-lin.Improved multi-scale retinex algorithm and its application [J].Computer Engineering,2011,3(6):209-211.

[11] Gianini G,Rizzi A,Damiani E.A retinex model based on absorbing Markov chains [J].Information Sciences,2016,327:149-174.

[12] Wen-Hung Chao,Chien-Wen Cho,et al.Correction of inhomogeneous MR images using multiscale retinex [J].International Journal of Image Processing,2007,5(1):1-16.

[13] Zahid Mahmood,Tauseef Ali,et al.A color image enhancement technique using multiscale retinex [C].Proceedings of the 2013 11th International Conference on Frontiers of Information Technology,2013:119-124.

附中文参考文献：

[1] 孙传东,陈良益,高立民，等.水的光学特性及其对水下成像的影响[J].应用光学,2000,21(4):39-46.

[2] 马 原.一种基于光线散射模型的水下图像增强方法[J].现代电子技术,2011,34(16):166-168.

[3] 曹 美,盛惠兴,等.基于暗原色先验模型的水下彩色图像増强算法[J].量子电子学报,2016,33(2):140-147.

[7] 张 凯,金伟其.水下彩色图像的亮度通道多尺度Retinex 增强算法[J].红外技术,2011,33(11):630-634.

[9] 秦绪佳,程燕飞,范颖琳，等.基于三边滤波的HSV色彩空间Retinex图像增强算法[J].小型微型计算机系统,2016,37(1):168-172.

[10] 赵晓霞,王汝琳.改进的多尺度Retinex 算法及其应用 [J].计算机工程,2011,3(6):209-211.