APP下载

布谷鸟搜索的非均匀弱光图像自适应增强算法*

2022-10-28李梦晗杨利红薛泽臣李敏敏武银子

西安工业大学学报 2022年5期
关键词:光晕弱光图像增强

李梦晗,杨利红,薛泽臣,李敏敏,武银子

(西安工业大学,光电工程学院,西安 710021)

目前图像处理技术的应用已经渗透到城市交通[1]、视频监控[2]、航空航天[3]、军事侦察[4]、指纹识别[5]等众多领域,在国民经济中发挥着越来越大的作用。然而在傍晚、夜间或室内不良照明等环境下,成像设备所获取的图像通常存在亮度和对比度过低、图像细节严重丢失、无法提取有效视觉信息等问题,极大地影响了成像光学系统在目标检测、目标跟踪、户外监控、智能交通等方面的应用价值。

在不良照明环境下,相较于光照均匀时成像设备所获取的全弱光图像,更多获取到的是非均匀弱光图像,其在视觉上具有明显的明暗区分,如何在恢复暗区域的湮没信息的同时保持亮区域的信息完整是亟需解决的问题。因此,研究一种针对非均匀弱光图像的处理方法来改善图像的整体质量,突出图像细节特征就显得具有非常重要的现实意义和实用价值。

为了解决弱光图像增强的问题,很多研究者都对此进行了探索。主要代表的有基于直方图[6]的方法,基于线性变换[7]的方法,基于Retinex[8-9]模型的方法、基于融合[10-11]的方法以及基于卷积神经网络(Convolutional Neural Network,CNN)[12-14]的方法。针对非均匀弱光条件下的图像增强,文献[15]对输入的低照度图像先进行反转,然后对反转的图像应用优化的Retinex算法,该算法可以有效的增强非均匀弱光图像但过度强调图像细节以至于产生失真。文献[16]提出了一种简单有效的基于融合的方法来增强弱光照图像,采用Sigmoid函数和自适应直方图均衡化来分别增强图像的照度和反射分量,利用适当的加权融合策略融合得到增强后的图像,该算法虽然可以对整体亮度进行有效的增强,但并不能很好的抑制非均匀弱光图像的高亮区域,容易产生光晕伪影。文献[17]根据Retinex模型合成训练样本,利用深度卷积神经网络(Deep Convolutional Neural Network,DCNN)对亮度分量进行增强,得到最终的增强图像。该算法可以很好地保持色彩并改善过增强,但对黑暗区域亮度提升程度较低且基于神经网络的算法复杂度高,对设备性能要求较高。文献[18]采用非下采样剪切波变换( Non-Subsanmpled Shearlet Transform,NSST)将低照度图像分解为一个低通和若干高通,低频通道采用改进后的Retinex算法对其进行对比度增强,然后与去噪后的高频通道进行NSST逆变换得到融合后的低照度的增强图像。虽然该算法在一定程度上能改善低照度图像的质量,但对于暗亮度区域的增强效果不佳。

鉴于以上分析,现有的算法虽然解决了低照度下图像的亮度增强问题,但仍存在细节丢失及光晕伪影等现象,针对该问题文中提出了一种有效的非均匀弱光图像增强算法,该方法将原始弱光图像由RGB转到YCbCr颜色空间,利用引导滤波对亮度分量进行细节增强,用改进的伽马函数进行亮度的自适应拉伸,将增强后的亮度分量线性恢复到RGB色彩空间。实验结果表明,所提算法相比于其他主流算法,不仅能够很好地增强细节,还能够有效抑制光晕伪影,在视觉感知和客观评价指标上均得到了进一步提高。

1 改进的Sigmoid图像增强算法

图1为文中所提出算法的流程图,首先将彩色图像空间转换到YCbCr空间得到输入图像的亮度Y分量,对亮度Y分量进行引导滤波来增强图像细节,利用布谷鸟搜索算法迭代得到改进的Sigmoid函数的最佳参数,然后使用改进后的Sigmoid函数对图像进行线性增强,最后根据增强后的亮度Y分量与原始的亮度Y分量的比值构建色彩比例因子,通过色彩比例因子以及原始图像的R、G、B分量得到增强后的可见光图像。

图1 算法流程示意图Fig.1 Flow diagram of the algorithm

1.1 Sigmoid函数

伽马函数为线性变换实现图像增强最常用的函数,曲线表达如图2所示,其中x轴为图像灰度值,在[0,1]之间,y轴为图像灰度随函数线性增强的数值,也在[0,1]之间。伽马函数在系数大于0与小于0时分别对图像亮度分别起着抑制与增强作用,在图像增强算法中一般有两种使用方式:第一种是使用伽马函数对低照度图像进行两次处理得到过曝光与欠曝光两种图像,然后在对其进行融合得到增强图像;第二种是采用变换的伽马函数实现双侧变换得到增强图像,但此方法受伽马函数本身性质的影响,暗区域部分的增强效果有限。与伽马函数一样,文中提出的改进的Sigmoid函数同样将变量映射到[0,1]之间,表达式为

(1)

如图2所示,改进后的函数能在较好的增强暗区的同时抑制亮区域的亮度,能够弥补传统伽马函数不能同时兼顾暗区域的增强和亮区域的抑制。

图2 Sigmoid函数与伽马函数

在本算法中,改进函数α、β值的确定被转化为一个最优化问题,即选取对比度最优时的α、β值来自适应的构造Sigmoid函数实现图像增强。具体流程如图1所示。

1.2 布谷鸟搜索算法

布谷鸟搜索(Cuckoo Search,CS)算法是基于自然界中布谷鸟繁衍时寄生育雏行为的仿生算法,布谷鸟不筑巢,因此它会在繁衍时期将自己的蛋下到别的鸟巢中让别的鸟来替自己孵化幼崽。布谷鸟搜索算法满足下列3项理想化的条件为

① 布谷鸟每次随机性的选择合适的鸟巢产下一枚卵;

② 在随机选择的一组鸟巢中,最好的鸟巢将会被保留到下一代;

③ 能使用的鸟巢数目N是固定的,鸟巢的主人能发现外来鸟蛋的概率,也称为Pa∈[0,1];

在布谷鸟算法中,每一个巢中的蛋就代表一个解,布谷鸟中的解的表达为

(2)

在文中,每一个巢中的蛋即为所寻求的Sigmoid函数α、β的最优值,具体步骤为

① 随机生成N个鸟巢,即多组α、β值,在其中选择一个最优的鸟巢位置,并将其保留到下一次迭代中;

② 通过Levy飞行对鸟巢进行更新,获得了新的N个鸟巢,对比上一代鸟巢,选取两者中使得适应度函数最大的α、β值替换当前的α、β值;

③ 将外来鸟蛋的概率Pa与随机数r∈[0,1]对比,当r>Pa,则可以改变该鸟窝的位置,否则,仍然保持原来的位置;

④ 当迭代中鸟巢达到了精度要求或者迭代次数达到最大值,则设定该α、β值为全局最优解,否则继续转②执行。

1.3 适应度函数

适应度函数用于评价Sigmoid函数线性增强后的图像质量。根据低照度彩色图像的特点,利用图像对比度构造CS算法的适应度函数,自适应地优化改进Sigmoid函数的参数α和β,可以有效地增强整体光强,防止对降质彩色图像的过度增强。计算的适应值越大,图像增强的效果越好。适应度函数的计算式为

fitness=Ca=max∑δ(x,y)2Pδ(x,y),

(3)

式中:δ(x,y)=|x-y|为相邻像素间灰度差;Pδ(x,y)为相邻像素间的灰度差为δ的像素分布概率。

用改进后Sigmoid函数处理图像时,图像增强的效果取决于参数α和β,此时适应度函数值越大,认为图像增强的效果越好。文中采用CS算法对改进后Sigmoid函数的参数进行优化,当适应度为最大值时,认为图像增强最好。

1.4 线性色彩恢复

得到增强后的Y分量图像,此时图像本身的亮度和对比度得到了相应的提高,但图像还在YCbCr色彩空间中,色彩信息没有得到较好的表达,需将其转回RGB色彩空间。若直接将图像由YCbCr彩空间转换回RGB色彩空间,这种转换方式会使得算法的时间复杂度偏高且具有一定的色差,因而文中采用一种更有效率的色彩恢复方法。在RGB空间中,如果存在两个成比例的像素点,则这两点色彩相同,只是亮度信息不同,通过这两点的比例,可以求得一个比例因子,通过该比例因子对所有像素进行处理,就可以有效的避免色彩失真的问题。因此,可以基于输入图像中包含的色彩信息通过线性的方式恢复输出图像的色彩信息,比例因子的求解式为

(4)

式中:I(x,y)为分离出来的Y通道图像;I1(x,y)为融合处理后的Y通道图像。

令[R0,G0,B0]表示为原图像的三个通道,[R1,G1,B1]表示增强后图像的三个通道。则增强后图像与原始图像存在关系为

(5)

2 实验对比与分析

2.1 实验结果

文中所提算法的改进主要体现在非均匀弱光条件下增强图像光晕伪影的抑制及更加丰富的纹理细节,对比分析直方图均衡化(Histogram Equalization,HE)算法、带色彩恢复的多尺度视网膜增强(Multi-Scale Retinex with Color Restore,MSRCR)[19]算法、一种快速高效的低照度视频增强(Dong)[15]算法、同时估算反射率和照度(Simultaneous Reflectanceand Illumination Estimation,SRIE)[16]算法、多重曝光融合框架(Bio-Inspired Multi-Exposure Fusion,BIMEF)[20]算法和分数阶融合模型(Fractional-Order Fusion Model,FFM)[21]来验证算法改进的有效性,文中选取的图片为LIME算法[22]的网络公开数据集及采集的真实场景的图片。

图3为HE算法、MSRCR算法、Dong算法、SRIE算法、BIMEF算法、FFM算法以及文中所提算法对不同图像处理后的结果,从image 1路灯部分可以看出,相较传统的HE算法、MSRCR算法,文中算法具有优秀的光晕伪影抑制效果。但与针对非均匀弱光图像的改进算法Dong算法、SRIE算法、FFM算法、BIMEF算法相比,文中所提算法与BIMEF算法相比对路灯光晕的抑制效果不相上下,相较于SRIE算法、FFM算法稍逊一筹,但可以明显的看出SRIE算法、FFM算法的光晕抑制效果是以牺牲图像的增强效果为代价的,Dong算法虽然也能很好的抑制光晕伪影,但在Image 1图像路灯的栏杆部分能够明显的看出,该算法过于强调边缘轮廓。因而可以证明本算法可以在保证图像增强效果的同时抑制光晕伪影。Image 2图像中的云层区域可以明显的看出:相较于其他算法,文中所提算法的云层增强效果更好且塔尖处的红色点更清晰,证明文中算法具有更好的层次效果和细节表达能力。Image 3是黄昏时的校园照片,可以很明显的看出HE与MSRCR的增强效果不佳,颜色失真较为严重;从斑马线部分可以看出文中所提算法相较于Dong算法、SRIE算法、BIMEF算法、FFM算法具有更好的细节保持和增强能力。

整体来看,非均匀弱光图像的增强中,HE只是简单的使图像的灰度分布均匀,但并没有考虑到弱光图像的原始特征,比如在Iimage 4中天空的背景被改变,原本的夕阳被优化成为了晚霞,在Iimage 5中原始图像的色彩丢失严重。MSRCR会丢失掉原始图像的色彩信息,在处理的五幅图片中,所有的图片都产生了颜色偏灰的现象。Dong的算法太过强调边缘轮廓,在Iimage 4中的电线部分、Iimage 5台灯部分出现了明显的边缘线。SRIE算法、BIMEF算法对非均匀弱光图像的增强效果良好,但都存在暗区域的增强效果不佳的问题。FFM算法能够兼顾非均匀弱光图像明暗区域的增强效果,但整体亮度增强效果不佳。

可以得出结论:相较于传统的HE与MSRCR算法,文中所提算法具有更好的颜色保持能力。相较于针对非均匀弱光条件下的Dong算法、SRIE算法、BIMEF算法、FFM算法,文中所提算法能够在更好的提升暗区域亮度的条件下抑制光晕伪影的产生,具有更好的层次效果和细节表达能力。

2.2 结果分析与评价

文中选取峰值信噪比(PSNR)、结构相似度(SSIM)[23]、对比度质量指数(PCQI)[24]及绝对平均亮度误差(AMBE)[25]作为评价指标来对比分析文中所提算法与HE算法、MSRCR算法、Dong算法、SRIE算法、BIMEF算法与FFM算法的效果。

PSNR是原图像与被处理图像之间的均方误差相对于最大值的对数值,单位为dB,它是基于对应像素点间的误差,即基于误差敏感的图像质量评价,所以PSNR的值越大,就代表噪声所占的比重越小,就代表失真越小,越接近于参考图。SSIM是一种衡量两幅图像相似度的指标,在[0,1]之间,SSIM值越大,表示增强图像的结构与参考图像相似,增强图像的质量越好。PCQI是用来比较两个图片之间的对比度的差异,方差差别大的,说明对比度强,说明图片越清晰,取值范围为[0,1]。AMBE值越低,表明增强图像与参考图像之间亮度保持越好,说明增强效果越好,取值在[0,255]之间。表1为图3各个图像对应的客观评价结果。

分析表1可得:相较于HE算法、MSRCR算法、Dong算法、SRIE算法、BIMEF算法与FFM算法,文中所提算法在Iimage 1与Iimage 2时PSNR、SSIM、PCQI、AMBE这四个指标中都是最优;在Iimage 3时SSIM、AMBE指标最优,PSNR、PCQI为第二优。图4为表1所对应的不同算法对不同图像的客观评价结果的堆积折线图。其中横坐标为原始图像、HE算法、MSRCR算法、Dong算法、SRIE算法、BIMEF算法、FFM算法与文中算法,纵坐标分别为PSNR、SSIM、PCQI、AMBE这四个指标的数值。由图4折线堆积图可以得出结论:总体来说,文中所提方法优于经典的HE和MSRCR算法及针对非均匀弱光图像的Dong算法、SRIE、BIMEF等流行算法,在PSNR、SSIM、PCQI及AMBE四个评价指标中各指标平均提高约41.6%、26.0%、61.3%、63.3%。

图4 不同算法对不同图像的客观评价结果

3 结 论

针对非均匀弱光条件下的图像增强问题,文中提出了一种基于布谷鸟搜索的自适应增强算法,采用CS算法得到改进的Sigmoid函数的最佳参数来指导低照度图像的增强,改进的Sigmoid函数可以在增强暗区域的同时有效的抑制亮区域,从而改善图像增强时的光晕伪影现象。实验结果表明,文中所提算法从主观评价和客观评价方面都优于现有的流行算法,可有效地改善非均匀弱光图像在增强过程中所存在的增强不足以及光晕伪影现象。

猜你喜欢

光晕弱光图像增强
图像增强技术在超跨声叶栅纹影试验中的应用
水下视觉SLAM图像增强研究
虚拟内窥镜图像增强膝关节镜手术导航系统
浅谈ONU弱光问题的定位及解决
拔节期弱光和渍水胁迫对春玉米光合作用、根系生长及产量的影响
太阳能联栋温室耐弱光蔬菜养心菜栽培初探
基于图像增强的无人机侦察图像去雾方法
圣诞节的灯光
凝固的光
15N示踪法研究弱光对不同穗型冬小麦氮素积累和转运的影响