基于顶帽底帽变换的仿生图像增强算法

于天河，李昱祚，兰朝凤

（哈尔滨理工大学电气与电子工程学院，哈尔滨150080）

（∗通信作者电子邮箱2045227040@qq.com）

0 引言

图像增强技术在图像研究领域一直占据了举足轻重的作用，近年来，人们提出了许多有效的图像增强方法，如小波变换法［1］等取得了显著的增强效果［2-5］，但是这些增强方法因为单纯地引入数学方法到图像增强领域中，没有考虑到人类的视觉感官特性，存在很严重的增强后表现结果失真、图像轮廓模糊、色彩饱和度低的问题。对于低照度图像的增强处理往往分为两个方面：物理模型法和非物理模型法。物理模型法中，一般是使用直方图均衡化、色调映射以及Retinex等方法。直方图均衡化可以明显增加低照度图像的对比度，但是增强结果总是存在着细节模糊、色彩失真等问题。而Retinex方法是基于人眼视觉系统角度而提出的，该方法阐述了物体本身的色彩是表征物体本身的固有属性，不会因为光照的不同而发生突变。Retinex算法把物体假设为由光照图像与反射图像相乘得到，但是Retinex算法应用于低照度图像增强的操作往往需要对图像RGB（Red，Green，Blue）色彩空间的三个分量进行处理，容易在图像增强过程中出现色彩失真以及过度增强的问题。本文研究仿生彩色图像增强方法［6］，该图像增强方法具有较好的视觉效果，图像的色彩得到了较好的保持，但是图像中的边界范围存在着一定的模糊，导致图像显得轮廓模糊，同时图像的色彩饱和度低。通过研究顶帽变换和底帽变换，发现了它们对于细节和背景的明暗提取功能效果十分明显，于是在此基础上，提出了一种顶帽和底帽变换相结合的仿生图像增强算法。

1 三高斯和顶底帽算法基本原理

1.1 神经元感受野三高斯模型

Rodieck曾提出过一种双高斯差（Difference Of Gaussian，DOG）模型［7-8］，该模型准确地描述了视网膜神经节细胞感受野的输入-输出功能特性。以大小各异、同心重叠的圆形区来表现出神经节细胞中的传统感受野的中心区域和外周区域的分布情况。然而该模型忽略了传统感受野的外部区域中还存在着大范围的去抑制区域，研究学者L i在双高斯模型的基础上分析了其中的原因，并以此基础上提出了三高斯模型［3-4］。在DOG模型的基础上，通过添加第3个高斯核代表去抑制区。三高斯模型为：

其中：A1、A2、A3分别表示出中央、四周和边缘三个范围内的兴奋强度；σ1、σ2、σ3三个参数分别表示中央、四周和边缘三个范围内的区域半径。使用这一模型来处理图像，不仅能很好地增强图像的边缘，同时还能高效提升暗光图像中低空间频率的成分，最终满足传递亮度梯度缓慢变化信息的需要。三高斯模型在空间域上用Matlab仿真结果如图1所示。三维图体现了中央部分刺激兴奋突出、四周部分抑制和边缘部分兴奋的特性。该模型用于暗光图像的增强边缘对比度方面有着显著的效果。

图1 三高斯模型的空间结构Fig.1 Spatial structureof tri-Gaussian model

1.2 顶帽变换和底帽变换

顶帽变换是图像分析处理中形态学变换的一种重要方法，能够完成对大面积范围内单一较暗背景的提取，从而进一步实现从背景中提取局部较亮区域的功能。而底帽变换的作用则恰恰相反［9-10］。顶帽变换和底帽变换分别定义为：

其中：I为原始图像；I'为顶帽变换后图像，I"为底帽变换后的图像；B为结构元素；I∘B表示原始暗光图像与结构元素B进行开运算最后得到的结果，即可以精细地得到背景图像；I•B表示原始暗光图像与结构元素B进行闭运算得到的结果。开运算和闭运算的过程如图2所示。

B的选取对图像增强工作产生很重要的作用。顶帽变换具有类似高通滤波的作用，可以突显出图像细节部分；而底帽变换则具备低通滤波的特色，突出图像相连接目标部位间的边界。将顶底帽变换之间这种特性进行相结合用于暗光图像增强研究中，可以将暗光图像的目标与背景得到一定的拉伸，突显出目标与细节部位的信息。

结构元素B有不同的形状，有圆盘形、六边形等，构造不同的结构元素，得到的暗光增强图像的效果也不同。结构元素形状b与膨胀运算bn如式（4）所示：

图2 开运算与闭运算Fig.2 Open operation and closeoperation

对于圆盘形结构元素，其具有各向对称性，尤其3×3结构元素的结构形状，运算速度快，检测结果精细，本文选择以该结构为实验选择对象。对于B的尺寸的选择在图像增强结果起到更重要作用：大尺寸的结构元素图像去噪能力强，缺点是图像边缘显得较粗；而小尺寸的结构元素能较好地检测图像的边缘细节，缺点是去噪能力弱。

2 顶底帽的仿生图像增强算法

2.1 暗光条件下的彩色图像增强算法

本文改进的仿生图像增强算法，主要包括神经元感受野三高斯模型和顶底帽变换对低照度图像细节和背景较亮部分的提取。由于彩色图像RGB（Red，Green，Blue）颜色空间具有很高的色彩相关性，没有将RGB三个色彩通道进行各通道的单一处理，而是将RGB色彩空间转化为HSV（Hue，Saturation，Value）空间［11］，得到三个分量，分别是亮度分量V、色调分量H和饱和度分量S，然后对后两个分量保持不变，对所要研究的V分量进行处理，利用式（5）～（7）完成色彩空间之间的转化：

式中：R、G、B分别代表原始暗光彩色图像的空间的像素值，max｛R，G，B｝表示R、G、B中最大的值，min｛R，G，B｝表示R、G、B中最小的值。

2.2 人眼视觉对光照强度的限制

生物学研究表明，人眼视觉对亮度的反应具有对数非线性这一特殊性［12］。人眼的视觉掩盖效应是一种局部效应，受背景照度、纹理复杂性和信号频率的影响，具有不同局部特性的区域，在保证不被人眼察觉的前提下，允许改变的信号强度不同。人眼的视觉特性是一个多信道（Multichannel）模型。或者说，它具有多频信道分解特性。例如，对人眼给定一个较长时间的光刺激后，其刺激灵敏度对同样的刺激就降低，但对其他不同频率段的刺激灵敏度却不受影响。人眼会根据周围环境中光照强度的变化做出调整，不能同时在一个范围内工作的，当人眼在当前的平均亮度下适应后，视觉的感受范围会有限制。比如在一个黑暗的屋子里中点亮一盏灯，在该环境下比再点亮十盏灯对人眼的刺激还大，所以在图像中，平均亮度大的区域范围内的灰度误差，人眼的视觉感受并不敏感。人眼会在当前的这一光照强度上适应该强度的主观亮度的范围。但是在这种光照强度下，人眼对该范围具有限制作用，使其在一定的亮度范围以下，导致对所有的刺激亮度都用不可辨别的黑色来理解［7-8］。

2.3 全局亮度对数变换

暗光彩色图像整体的暗度较低，图像中的物体大部分被阴暗遮蔽，人眼主观无法看出物体的轮廓。对亮度分量V进行对数变换，可以满足人眼视觉对光照强度的主观感受，同时完成对图像明暗的调整、动态范围的压缩。其公式如下：

其中：I(x，y)为亮度分量V的值，M为图像动态范围最大值256，Ig(x，y)是对该亮度分量进行归一化处理。

2.4 局部边缘的对比度增强

全局处理图像的亮度后，图像的对比度仍然很差，图像边缘轮廓不清。再由当前的像素亮度值与其邻域范围的平均亮度的关系，进行图像的局部的对比度增强。公式如下：

其中：Ig(x，y)为图像全局对数变换；Ib(x，y)为当前像素点的邻域平均亮度，由三高斯模型双边滤波获得；K为比例系数。

双边滤波具有很强的对图像边缘保持的性能，同时还有去噪的能力，该方法是空间权值和相似权值都考虑的一种非线性滤波方法。由于考虑了像素点的数值及其位置上两方面的原因：像素间的欧氏距离和相似程度，选择三高斯模型下的双边滤波，可以充分体现出物体边缘部位的信息情况。该方法下获得图像的平均亮度公式如下：

式中：GR与GV为空间和数值两方面相似的高斯核函数。

2.5 色彩恢复

暗光彩色图像RGB转化HSV色彩空间后对V亮度分量处理后，经过全局亮度增强和局部亮度增强后，图像的颜色没有复原。颜色复元的方法如式（14）所示：

其中：Ij（x，y）分别对应原始暗光图像中的r、g、b三原色分量；Sj（x，y）是增强后彩色图像对应的r、g、b三原色分量。

本文的研究算法整个步骤过程分为以下3个部分：

步骤1 提取暗光图像中HSV空间中的亮度分量V，进行全局亮度的对数变换，来满足视觉特性的主观感受，将暗光图像中低照度区域进行亮度提升。

步骤2 利用视网膜神经元的感受野三高斯模型的双边滤波处理，获取暗光图像中各个像素点的邻域平均亮度。再由当前图像中每个像素值与其邻域的平均亮度之间的线性关系，来实现步骤1中对整体亮度增强图像的局部对比度增强。

步骤3 前两部分的处理使暗光图像得到了较好的增强效果，但是图像的背景明暗度较差，色彩饱和度低。利用顶帽底帽变换进一步实现从前图像背景中提取局部较亮部分的功能，使用该方法再对图像进行明暗提取和降噪，最后得到本文算法最终的暗光增强图像。

本文的整个算法流程如图3。

图3 本文算法流程Fig.3 Flowchart of theproposed algorithm

3 实验结果与分析

经过大量的仿真实验，选取了4组实验图片作对比，选取的照片是暗光条件下拍摄的。对比的实验方法分别是直方图均 衡［13］和 Retinex 算 法 中 的 SSR（Single-Scale Retinx）和MSRCR（Multi-Scale Retinex with Color Restoration）［14-16］三种方法。4组实验中所采用的原图像为700×500、950×700、400×700、600×900彩色的jpg格式。图4为实验原图像。图5～8为实验结果对比。

3.1 主观分析

从图4～8原图像和各种增强方法增强效果可以看出，图4中原图像整体偏暗，图中物体轮廓不清，局部细节无法观察到，图像色彩饱和度低，视觉效果较差。直方图均衡提高了图像的整体对比度，但是图像的细节部分没有表现出来，图像存在较大噪声、颜色失真、图像饱和度差。SSR算法提高了图像亮度，但是图像整体偏白，存在过度增强的现象，主观视觉效果差，细节层次不分明，图像色彩失真。MSRCR算法对增强图像的色彩有了较好的保持，图像视觉效果较好，但图片饱和度低，导致图像景深变差，光源方向感消失，图像看起来不自然，感知效果比较差。本文算法增强的低照度图像，图像对比度较高，树叶、猫、椅子等景物的细节清楚，轮廓分明，色彩丰富，图像更生动，清晰度更高。本文算法得到的低照度增强图像与人眼所能感受到的实景更接近，实物的细节更突出，图片更清楚，图像生动色彩丰富，图片的质量更好。

由灰度直方图可以清晰地看出，直方图均衡算法对图像灰度拉伸比较明显，灰度分布覆盖0～255范围，可以使图像灰度级的概率密度分布近似于均匀分布，从而提高图像整体对比度并增强细节。SSR、MSRCR算法将灰度值较低的像素增强，增强之后灰度值变大，使得图像低灰度的像素数量变少。从本文算法的直方图可以看出，对灰度拉伸比较明显，原直方图中的三个峰保留明显，对一些灰度的信息保留较好。

图4 原图像及其直方图Fig.4 Original imagesand their histograms

图5 植物的实验效果对比Fig.5 Comparison of experimental results of plant

图6 猫的实验效果对比Fig.6 Comparison of experimental results of cat

3.2 客观评价

为了更好地客观评价本文低照度图像增强算法的有效性，选用亮度均值、对比度提升指数、峰值信噪比（Peak Signalto-Noise Ratio，PSNR）3个指标［17］来作为本次的评价标准。本文的亮度均值指标定义为将RGB图像变换到HIS色彩空间，对其中的亮度分量I进行取均值的操作。

1）对比度提升指数的定义。

将图像分为3×3的图像块，C表示为全部的3×3图像块对比度的均值，图像块对比度定义为：

式中：max为图像块灰度值的最大值；min为图像块灰度值的最小值。式（15）中original和proposed符号分别表示原始低照度图像与其增强后的图像。

2）基于像素差异的评价标准。

MSE（Mean Squared Error）表示增强的低照度图像X与输入的原始低照度图像Y的均方误差，MSE的计算见式（17），其中H和W分别表示为图像中的高和宽。峰值信噪比（PSNR）是由MSE计算而来，用来一个衡量图像失真或是噪声水平，PSNR越大，表示图像失真和噪声越小。PSNR的计算见式（18）。PSNR指标是最普遍使用的评鉴画质的一种客观量测方法。

表1是原始图像和4种方法增强处理后图像性能的客观评价标准。

图7 河水的实验效果对比Fig.7 Comparison of experimental resultsof river

图8 游乐场的实验效果对比Fig.8 Comparison of experimental results of playground

表1 实验数据比较Tab.1 Experimental data comparison

从亮度均值角度来看，4种方法对原始低照度图像都有显著的增强效果，提升了图像的亮度，本文算法亮度均值数值上低于其他增强算法。

从对比度提升指数方面来看，直方图均衡化和本文算法的对比度提升指数最大，但是直方图均衡直观反映的图像效果并不好，不适合暗光的增强效果，因为该算法并没有从物体成像的机制和人眼的视觉特性去考虑，而本文算法的对比度提升指数比起SSR和MSRCR算法，其数值较高，有良好的对比度增强效果。

从峰值信噪比PSNR指标来看，本文的数值较大，图像的失真和噪声相比其他3种算法来说较小。综上对暗光增强的主观评价和对4组实验中的数据客观对比来说，本文算法优于其他几类热门的图像增强方法。

4 结语

低照度图像存在对比度低，图像细节模糊，色彩饱和度低的问题，本文提出了顶底帽变换的仿生图像增强算法有效地改良了这些问题。前人使用神经元感受野三高斯模型有效提升了低照度图像的局部对比度，但是实验发现增强的图像存在着过增强现象以及图像色彩饱和度低的问题。而本文引入了顶底帽变换相结合的方法改进图像的视觉效果。该方法提取图像的光照背景并且解决了图像景深的问题，使改进后的仿生图像方法增强的图像对比度高，细节清楚，色彩饱和度高。

本文算法通过与直方图均衡、SSR、MSRCR算法进行实验对比，从客观评价指标亮度均值、对比度提升指数、峰值信噪比以及主观视觉感受来评价实验结果。实验结果证明，本文的低照度图像增强方法对图像的对比度提升有更好的效果，图像灰度范围被拉伸，图像轮廓更清楚，色彩更丰富，在实际应用中有很强的研究价值。