APP下载

基于多元重映射的γ 辐射场景图像增强方法

2023-11-18方琳琳赵俊琴

计算机工程 2023年11期
关键词:偏色图像增强直方图

方琳琳,邓 豪,张 华,赵俊琴

(1.西南科技大学 信息工程学院 特殊环境机器人技术四川省重点实验室,四川 绵阳 621010;2.中国空气动力研究与发展中心 空天技术研究所,四川 绵阳 621000)

0 概述

核能开发、核技术利用、核安全与核废物处理处置等工程应用常须对强辐射环境进行监测[1-3]。视觉监测最直观有效,但是核辐射中的γ 射线会对图像成像过程产生严重干扰,使成像图像存在对比度不足、偏色等视觉退化问题。因此,提高视觉质量是核辐射环境监测的关键。

针对场景图像对比度不足的问题,研究人员从基于直方图均衡(Histogram Equalization,HE)[4-6]、Retinex[7-9]及深度学习[10-12]等方法入手,探索不同算法在对比度提升中的作用。HE[4]是图像对比度增强的典型算法,其在图像全局进行直方图调整,可能导致图像局部欠调或过调。自适应直方图均衡(Adaptive Histogram Equalization,AHE)[5]对图像局部亮度进行适应性调整,能够有效解决HE 中整体图像的欠调或过调,但是局部对比度过高会引起图像失真,同时放大图像中的噪声信息。限制对比度自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)[6]能有效解决AHE 算法的图像局部对比度过高、噪声像素干扰问题,双线性插值会导致图像细节丢失。Retinex[7]理论认为颜色具有恒常性,通过对图像进行高斯滤波估计光照分量,对分离出的光照分量或反射分量进行增强。基于Retinex 的快速算法(Retinex-Based Fast Algorithm,RBFA)[8]采用Retinex 模型增强图像亮度,在Retinex模型的基础上进一步加快算法速度。多尺度Retinex[9]在多个高斯滤波尺度下提取图像光照分量,对不同光照分量进行增强和融合,以实现低照度图像增强。基于Retinex 模型的方法主要通过提升图像亮度实现图像增强,被广泛应用于低照度图像增强中,在图像对比度提升中性能较差。在深度学习图像增强中,生成对抗网络(Generative Adversarial Network,GAN)[10]被用于学习待增强图像与目标图像之间的映射关系,采用训练的模型对图像进行增强。文献[11]采用U-Net 网络对特征金字塔的多个特征分量图像进行编解码,同时将卷积与残差块相融合以提升网络对图像特征的提取和表达能力,融合提取到的多个尺度特征即可获得增强后图像。文献[12]设计深度曲线估计网络(DCE-Net)训练并预测图像像素和亮度的非线性映射曲线,通过该曲线对图像亮度进行重映射实现图像增强。此类方法能够在具有较大数据集的基础上对低照度图像进行增强,应用场景广泛但不具有针对性,在γ 辐射场景中图像数据受γ 射线影响,成像质量较差且数据有限,无法为深度学习方法提供足够的数据集,因此,此类方法在γ 辐射场景中应用受限。

针对场景图像中的偏色问题,研究人员将自动白平衡(Automatic White Balance,AWB)[13-15]方法作为研究起点,积极探索图像偏色校正的有效途径。灰度世界先验[13]认为颜色具有恒常性,基于各颜色通道均值相同这一假设,结合图像光照估计可实现图像恢复。传统AWB 假设成像环境中仅存在1 个照明光源,在复杂光照环境下并不适用,改进AWB[14]对多光源场景下的图像颜色校正进行探索。与单光源不同,改进AWB 需要估计多个光源白点,并将其作为参考白点校正图像中的颜色失真。改进AWB 实质上还是基于光源估计对图像进行颜色校正,而文献[15]也对混合光场景下的图像颜色校正进行探索,该方法采用预定义白平衡设置取代传统AWB 中的光源估计,根据白平衡设置对图像进行颜色渲染,使图像颜色分布均匀。AWB 算法的偏色校正效果依赖于参考白点的选取,算法稳定性较差。除AWB 算法以外,研究人员尝试从不同角度解决成像图像偏色问题,近年来,光谱衰减分析备受关注[16-18]。文献[16]基于光在特殊环境中的传播、反射、折射原理,在偏色图像中根据各颜色通道与颜色有损失的通道之间差异计算颜色补偿分数,通过对各颜色通道进行增强改善整体颜色分布。文献[17]同样根据光照传播模型和光散射原理,将彩色图像分为投射和非投射图像,将自适应模拟光照影响加入彩色投射图像颜色重建中,同时结合颜色通道的非线性重映射,实现图像颜色的恢复。文献[18]根据颜色恒常性将图像中的非均匀光照信息转换为均匀光照信息,根据光在特定场景下的传播方式分析图像偏色特性,参考图像中颜色分布较均匀的通道对其他通道颜色信息进行恢复,使整体颜色自然。

本文提出基于多元重映射的γ 辐射场景图像增强方法。针对γ 辐射场景图像中对比度不足、偏色及局部过响应等问题,采用限制对比度直方图均衡、颜色分量重映射、分段非线性重映射的多元非线性重映射策略增强图像质量。

1 实现方法

针对γ 辐射场景图像中对比度不足、颜色失真等视觉退化问题,本文提出一种基于多元重映射的γ辐射场景图像增强方法,整体流程如图1 所示。

图1 γ 辐射场景图像增强流程Fig.1 Image enhancement procedure of γ radiation scene

该方法主要包括对比度提升、偏色校正、分段非线性重映射3 个部分。

1)在γ 辐射环境中因CMOS 图像传感器满阱容量持续降低,导致图像对比度不足,将γ 辐射场景图像从RGB 色彩空间转换到YUV 色彩空间,在Y通道利用限制对比度直方图均衡方法提升图像对比度,并将对比度增强后的YUV 图像转换到RGB 色彩空间。

2)针对γ 辐射环境中由各颜色分量动态范围不一致引起图像偏色的问题,采用颜色分量重映射方法调整R、G、B 3 个通道的色度分布,消除γ 辐射场景图像中的偏色现象。

3)因图像对比度提升及偏色校正过程中过调导致图像局部过暗、过亮,采用分段非线性重映射方法对γ 辐射场景图像Y通道中的亮暗区域亮度进行校正,同时压缩亮区域。

1.1 对比度提升

CMOS 图像传感器受辐照后满阱容量持续降低的影响,导致成像图像对比度不足。传统直方图均衡导致图像对比度过调,CLAHE 中分块对比度增强又容易导致图像细节损失。因此,本文在全局上采用限制对比度直方图均衡方法提升γ 辐射场景图像对比度。图像对比度不足的主要原因是亮度直方图分布不均衡,因此,本文仅对亮度图像进行直方图重映射,在提升图像对比度的基础上最大限度地保留图像颜色和细节。

将输入图像I从RGB 颜色空间转换到YUV 颜色空间,并取出亮度Y进行调节。对于采样位数为8的数字图像,其亮度级k(k∊[0,255])的概率密度函数f(k)如式(1)所示:

其中:nk、n分别表示亮度级k的像素数量、像素总数量。限制对比度直方图均衡方法主要通过对亮度直方图进行裁剪和重分布实现,如式(2)所示:

其中:fnew为对比度限制后的概率密度分布函数;m为直方图剪枝后重平均部分;t=0.5·fmax为直方图限制阈值,fmax表示最大概率密度函数。亮度直方图经裁剪及重分布后,亮度级l对应的累积分布函数f1(l)及重映射值计算式如下:

1.2 偏色校正

利用限制对比度直方图均衡方法能显著提升γ辐射场景图像对比度,但是该方法无法有效解决γ辐射场景图像中由颜色分量动态响应不均衡存在的偏色问题,还须对图像进行偏色校正。颜色分量动态响应不均衡的常规解决思路是采用重映射方法校正颜色分量,一般将线性函数作为重映射描述式,但校正后的图像中存在整体偏暗或偏亮的问题,与人眼视觉严重不符。因此,本文提出基于颜色分量非线性重映射的偏色校正方法。

颜色分量重映射方法通过对输入图像各颜色通道进行非线性重映射,以实现图像偏色校正,其数学描述如式(4)所示:

其中:f(k)为色阶k的概率密度函数。传统偏色校正方法采用线性函数对图像颜色进行一致性重映射,突出校正后图像中无意义的颜色细节,而感兴趣信息增强不明显。针对该问题,同时使校正后各颜色色阶分布更均匀,在校正过程中采用平方根映射方法,数学描述如式(6)所示:

其中:nk为色阶k的像素数量;ssum为图像中像素总数的替换值。ssum数学描述如式(7)所示:

其中:n0、n1、n255分别表示颜色级为0、1、255 的像素数量。该方法能够有效改善图像中各颜色分量动态响应的不均衡,使颜色分布更加均匀。

1.3 分段非线性重映射

限制对比度直方图均衡和颜色分量重映射解决γ 辐射场景图像中对比度不足、偏色的问题。但是在上述对比度提升、偏色校正过程中,由于对图像中亮、暗区域进行相同程度的映射,因此根据韦伯定律[19],人眼对于视觉信息的最佳感知在各个区域上并不一致,在偏色校正后的图像存在过响应的问题,严重影响图像视觉质量。为使重映射后图像质量更佳,本文通过设计符合人眼视觉特性的重映射函数校正图像局部亮度。图2 所示为人眼视觉特性曲线和本文提出的分段非线性重映射曲线。

图2 亮度分布曲线Fig.2 Brightness distribution curve

本文采用分段非线性重映射方法分别对图像暗区域和亮区域进行不同程度的亮度拉伸,使图像细节更丰富,其数学表达式如下:

其中:I(l)为亮度级l的非线性重映射结果;Pm为图像亮度均值;Pd、Pb分别为暗像素、亮像素重映射的数学表达式。Pd和Pb的计算式如式(9)和式(10)所示。本文使用该分段非线性重映射函数对图像中暗、亮区域进行不同程度的重映射,使增强后的图像更符合人眼视觉特性,且增强后图像亮度分布更均匀。

其中:lˉ为图像亮度的对数均值;Pmax、Pmin为图像亮度的最大值和最小值;设置常数C=0.000 1 可有效避免对数函数幂为0 的情况;λ为校正系数;(α,β)为λ系数归一化范围。为实现亮区域亮度校正,λ取值范围应为(0,1)。本文通过控制变量实验确定最佳归一化范围为λ∊(0.2,0.3),即取α=0.2、β=0.3。

2 实验与结果分析

为验证基于多元重映射的γ 辐射场景图像增强方法的增强效果,本文在真实γ 辐射场景图像上进行多组对比实验,同时通过消融实验确定算法的最佳参数取值。实验数据均来自Co60 实验室所获取的场景图像,各图像均由Stereo Labs 公司的ZED 2双目相机的右侧CMOS 图像传感器获取,当采集各图像时ZED 2 受到的辐射剂量分别为20 Gy/h、20 Gy/h、100 Gy/h、50 Gy/h。

针对γ 辐射环境图像对比度不足、偏色的问题,本文选取近年来图像增强领域的代表算法,采用文献[20-23]及本文所提的图像增强方法对γ 辐射场景图像进行增强处理,通过实验对比分析验证本文方法的有效性。各方法参数配置均按照其典型实验予以设置,且均在参数为Intel®CoreTMi5-6200U CPU@2.30 GHz、4 GB 内存的实验平台上进行,程序开发平台Visual Studio 2015@OpenCV 4.2。

仅依靠视觉对比难以准确评估实验中各算法在γ 辐射场景图像上的增强效果,因此,本文实验采用等效圆偏色检测[24]、改进AME 对比度检测[25]以及离散熵(Discrete Entropy,DE)图像细节检测[26]3 种图像增强质量评价指标,并将这3 个指标平均数作为衡量γ 辐射场景图像增强效果的参考值。

等效圆偏色检测将图像平均色度与色度中心距之比作为衡量图像偏色程度的偏色因子,其值越大则偏色程度越严重,数学描述如式(11)所示:

其中:C为图像偏色检测因子;R表示a-b色度平面上中心点为(da,db)的等效圆半径,表征图像色度中心距;D为等效圆中心点到色度平面原点(即a=0,b=0)的距离,表征图像平均色度;M·N表示图像大小。

改进AME 对比度衡量指标根据人眼视觉特性及图像增强机制对图像中的k1·k2个块分别计算对比度,将块对比度平均值作为衡量图像质量的标准,其值越大表明图像对比度越强,如式(12)所示:

其中:AAMEc为图像对比度指标;Imax,i,j、Imin,i,j分别表示中心点为(i,j)的图像块中像素最大值和最小值。

DE 根据图像灰度分布计算,其值越大表明图像细节信息越多,如式(13)所示:

其中:DDE为图像细节保留指标;p(i)为图像的全局归一化直方图。将上述3 个指标的平均值作为评价γ辐射场景图像增强质量的综合量化指标,如式(14)所示:

其中:Iq为图像增强的综合评价指标,其值越大则图像增强效果越好。

2.1 视觉对比

为清晰对比各算法在γ 辐射场景图像上的增强效果,本文在真实γ 辐射场景图像上进行多组对比实验。各算法在典型数据上的增强效果如图3~图6所示(彩色效果见《计算机工程》官网HTML 版)。从图3~图6 可以看出,本文方法在典型γ 辐射场景图像增强中表现最佳,主要从图像对比度提升和颜色校正2 个方面增强图像信息。文献[20]提出的图像增强方法分别采用CLAHE 和非锐化掩膜增强图像对比度和细节信息,从图像增强视觉效果图3(b)、图4(b)、图5(b)和图6(b)可以看出,文献[20]方法能够显著提升γ 辐射场景图像对比度,在一定程度上增强图像细节信息,但是无法解决γ 辐射场景图像中因颜色分量动态响应不均衡导致偏色。文献[21]提出基于颜色具有恒常性的自动白平衡策略,在图像不同颜色通道中采用同一系数确定各颜色权重,受γ 辐射场景中颜色分量动态响应不均衡性的影响,导致单一颜色通道像素异常值增加,采用同一校正系数改善图像偏色的方法具有一定局限性,且文献[21]方法对图像对比度提升无明显效果。文献[22]基于Retinex 模型和自引导滤波实现低照度图像增强,通过Retinex 模型估计光照分量,同时采用迭代自引导滤波细化图像细节信息,从图3(d)、图4(d)、图5(d)和图6(d)可以看出,文献[22]方法在γ 辐射场景图像增强中表现较差,使用迭代自引导滤波使得图像变得模糊。文献[23]方法利用高斯滤波进行图像亮度分量提取,采用改进对数变换进行图像亮度分量重映射,从图3(e)、图4(e)、图5(e)和图6(e)可以看出,使用文献[23]方法增强后的图像细节模糊且无法消除图像偏色。本文方法从图像对比度提升、偏色校正2 个方面改善图像质量,采用分段非线性重映射抑制图像亮、暗像素校正过程中的过响应,进一步增强图像细节信息。

图3 γ 辐射场景图像增强效果对比1Fig.3 Comparison 1 of γ radiation scene image enhancement effects

图5 γ 辐射场景图像增强效果对比3Fig.5 Comparison 3 of γ radiation scene image enhancement effects

图6 γ 辐射场景图像增强效果对比4Fig.6 Comparison 4 of γ radiation scene image enhancement effects

2.2 量化指标分析

为准确评估各算法在γ 辐射场景图像增强中的性能,本文在视觉对比基础上对各算法性能进行量化指标分析,分别采用偏色因子的倒数C-1、对比度指标AMEc、图像细节保留指标DE 及图像质量综合评价指标Iq衡量算法的增强性能。表1 所示为各方法增强图像的质量评价指标,加粗表示最优数据。

表1 不同方法增强图像的质量评价指标Table 1 Quality evaluation indicators for image enhancement using different methods

从表1 可以看出,本文方法在典型γ 辐射场景图像的增强中表现最佳,图3~图5 的图像质量综合评价指标Iq分别领先第2 名0.748 41、0.405 82、1.118 91,图6 的质量评价指标Iq领先第2 名0.921 89。文献[20]方法采用CLAHE 算法提升图像对比度,同时采用非锐化掩膜增强图像细节信息,文献[20]所提的方法在多个对比算法中对比度提升和细节保留效果最好,其对比度指标和细节保留指标与原图相比均有提升,但增强效果有限且对图像偏色不敏感,无法有效解决γ 辐射场景图像中的偏色问题。文献[21]方法采用偏色校正方法对图像进行颜色补偿时在各颜色通道中采用同一补偿系数,γ 辐射场景图像中单一颜色通道异常像素值比例较高,因此经过颜色校正后的图像中仍然存在偏色现象,同时该方法无法解决γ 辐射场景图像对比度不足的问题,因此各项评价指标与原图相比无明显优势。文献[22]方法将Retinex 理论与迭代自引导滤波模型相结合完成低光照图像的亮度增强,基于光照估计的增强算法在γ 辐射场景图像增强中无明显效果,且自引导滤波使图像变得模糊,因此其对比度、颜色及图像细节保留指标均低于原图。文献[23]方法通过对亮度图像对数变换减少非均匀光照对图像的影响,该方法无法有效改善图像质量,故其量化评价指标与原图相比无明显提升。

2.3 消融实验

针对图像中亮、暗区域同等映射存在局部亮度过调问题,本文通过对图像中亮、暗像素进行分段式重映射,实现局部亮度校正。本文通过对比实验确定亮区域校正系数取值范围(α,β),分别取不同α和β值,根据图像增强视觉效果和量化指标评价确定参数,视觉效果如图7 和图8 所示(彩色效果见《计算机工程》官网HTML 版),参数变化对图像增强量化指标的影响如表2 所示。

表2 参数变化对图像增强量化指标的影响Table 2 The impact of parameter changes on image enhancement quantification metrics

图7 当参数变化时场景1 的图像增强效果Fig.7 Image enhancement effects of scene 1 when parameters change

图8 当参数变化时场景2 的图像增强效果Fig.8 Image enhancement effects of scene 2 when parameters change

从图7 和图8 可以看出,仅当α=0.1、β=0.3 和α=0.2、β=0.3 时增强后的图像不存在失真问题。参数变化对图像增强量化指标的影响如表2 所示。从表2 可以看出,上述2 组参数的图像质量综合评价指标Iq均优于其他参数,但是当α=0.1、β=0.3 时,图像呈现的整体效果较亮。当α=0.1、β=0.3 时图像的对比度指标比α=0.2、β=0.3 略低,后者视觉效果和图像质量综合评价指标最佳,γ 辐射场景图像增强效果最佳。当α=0.1、β=0.2 时,λ系数过小导致图像亮度校正不充分,图像整体偏白且存在细节损失问题,该参数下图像颜色指标较优,但是图像对比度和图像细节保留指标均较差。当α=0.1、β=0.4 时,图像整体偏白的问题得到改善,但由于图像亮度过校正,因此图像中亮区域细节信息丢失,亮度过校正使图像对比度指标提升,但是该参数下图像颜色指标、细节保留指标及综合质量评价指标较低。当α=0.2、β=0.4 时进一步加剧了图像锐化程度,故图像对比度指标增大,但图像存在细节损失,其他指标较低。当α=0.2、β=0.5 时,图像锐化程度最严重,图像中亮区域的过度增强使重映射后图像暗区域更暗,图像细节严重丢失,表2 数据表明其图像对比度指标最高,但其他指标与其他参数指标相比最低。因此本文选取α=0.2、β=0.3 作为λ系数的范围。

3 结束语

针对γ 辐射场境下视觉监测图像对比度不足、图像偏色的问题,本文提出一种基于多元重映射的γ辐射场景图像增强方法,该方法包括图像亮度重映射、图像色度重映射及分段非线性重映射,从对比度提升、偏色校正和过响应抑制3 个方面完成图像增强。对多组真实γ 辐射场景图像增强进行实验,结果表明,该方法在对比度提升、偏色校正、细节保留各单项指标中均表现最佳,有效解决γ 辐射场景图像对比度不足、偏色、局部过调等问题。下一步将对γ 辐射场景图像中的亮斑抑制进行研究,以达到改善图像视觉质量和丰富图像细节信息的效果。

猜你喜欢

偏色图像增强直方图
符合差分隐私的流数据统计直方图发布
图像增强技术在超跨声叶栅纹影试验中的应用
水下视觉SLAM图像增强研究
虚拟内窥镜图像增强膝关节镜手术导航系统
用直方图控制画面影调
改进的完美反射法及其在视频偏色校正中的应用
一招解决手机拍照偏色问题
基于图像增强的无人机侦察图像去雾方法
基于方差因子的图像 偏色检测研究
基于空间变换和直方图均衡的彩色图像增强方法