基于脉冲耦合神经网络分解模型的夜间图像增强研究

李春林　张兵　祖立卓　刘少杰

摘  要：脉冲耦合神经网络分解模型对于夜间光线复杂情况下的图像增强，容易出现严重的振铃现象。针对这一问题，文章对夜间图像增强进行了研究，通过指数变换对夜间图像进行预处理，结合脉冲耦合神经网络分解模型进行图像增强。实验结果表明，该方法可以实现对夜间图像的增强，增强后的图像细节清晰，整体光线较为柔和，图像对比度适中，降低了振铃现象造成的影响。

关键词：脉冲耦合神经网络;分解模型;图像增强

中图分类号：TP18                  文献标识码：A文章编号：2096-4706（2021）20-0062-05

Research on Night Image Enhancement Based on Pulse Coupled Neural Network Decomposition Model

LI Chunlin， ZHANG Bing， ZU Lizhuo， LIU Shaojie

（Xuanhua Vocational College of Science & Technology， Zhangjiakou  075100， China）

Abstract： Pulse coupled neural network decomposition model is prone to serious ringing phenomenon for image enhancement under complex light at night. To solve this problem， this paper studies the night image enhancement， preprocesses the night image through exponential transformation， and enhances the image combined with pulse coupled neural network decomposition model. The experimental results show that the method can realize night image enhancement， the enhanced images details are clear， the overall light is soft， image contrast is moderate， which reduces the impact caused by ringing phenomenon.

Keywords： pulse coupled neural network; decomposition model; image enhancement

0  前  言

在視频监控领域中，经常会遇到夜视的情况。夜间自然光线少，各种光线复杂，且光线强度不一，造成图像整体亮度偏低，出现亮度集中在较低或较高的范围内，图像对比度低，降低了图像的质量。这种情况下采集到的图像给很多工作带来不便，因此研究夜间图像的增强算法非常重要。

传统的图像增强主要包括两大类方法，一类是基于空间域的图像增强，如直方图变换、中值滤波、梯度等，另一类是基于频率域的图像增强，如低通滤波、同态滤波等[1]。

在图像对比度增强中，直方图均衡化方法应用较为广泛，可以使图像的灰度分布均匀，从而增强图像的对比度，但是缺乏对于图像的边缘信息的考虑，而且容易出现过增强的状况[2]。与之相比，自适应直方图均衡化虽然可以增强图像的边缘信息，增大局部的灰度动态范围，但是随之出现的边缘噪声成为新的问题[3]。在频率域中，Retinex方法计算效率较高。Retinex方法的优点是通过对灰度分量的估计可以保持亮区域的信息，较好地增强较暗区域的信息，缺点是对于每幅图像而言都需要不断调整参数，普适性较低，同时容易出现光晕现象[4]。

传统的图像增强方法较多地考虑了图像像素的统计特性，忽略了人眼的视觉特性。随着图像处理技术的发展，基于视觉的图像处理方法越来越受到人们的关注，其中，脉冲耦合神经网络（Pulse Coupled Neural Network， PCNN）模拟了哺乳动物的视觉脑皮层神经元处理信号的过程，以其独特的生物特性在图像处理中占有一席之地[5-8]。大量的相关研究表明，使用PCNN对图像处理可以克服传统的处理方法获取的图像不利于人眼观察的缺陷[9]。基于PCNN分解模型对原图像进行层次分解，利用第一层分解图像对原图像进行增强，使得原图像中对比度较低的像素点区域得到了增强的同时，保持了原图像中具有适中对比度像素点区域的灰度值，处理后的图像便于人眼观察[10]。

但是，PCNN分解模型对于夜间光线复杂情况下的图像增强，容易出现严重的振铃现象，针对这一问题，本文对图像进行指数变换，降低夜间不同光照带来的亮度突变，使得PCNN中脉冲波的传播更加平滑，降低振铃现象带来的影响。

1  PCNN原理及其演化模型原理

20世纪90年代，Eckhorn等人对猫的视皮层神经元脉冲同步振荡现象进行了研究，并根据视神经元脉冲发放现象提出了PCNN模型[11]。在PCNN发展过程中，众多学者对该模型进行了改进，其中，最为理想的是Johnson提出的改进模型，其公式如（1）～（5）所示：

为了清晰呈现PCNN点火过程，本文选取一幅中心区域像素点亮度值为1，周围区域像素点亮度为0的图像，进行PCNN迭代，图1是部分迭代图像。

通过对图像进行PCNN的迭代，可以看到图像自动波的传播变化过程，中心的高亮像素点逐次影响周围的黑色像素点点火，形成了以初次点火为中心向外扩散的传播过程。通过PCNN迭代，可以看到高亮像素点对周围黑色像素点的影响过程。如果像素差异较大，需要较多的迭代次数，自动波的传播越慢，由此带来的振铃现象就越明显。

为了使PCNN更好地用于解决图像处理中的不同的问题，在实际应用中出现了许多PCNN的演化模型。这些PCNN演化模型在保留了原始PCNN的基本数学原理的同时，又各自体现出了与其他模型不同之处。这些模型包括单轮次模型（Single-Pass）、快速连接模型（Fast-Linking）、线性衰减模型（Linear Decay）、反曲连接模型（Sigmoidal-Linking）等[12]。

单轮次模型，与原始PCNN最大的不同之处在于，原始PCNN输出的是一系列的二值脉冲图像，而单轮次模型则使用该像素点点火时对应的迭代次数的倒数来代替原始的灰度信息，最后输出的是一幅由多个灰度级组成的灰度图像。在Johnson提出的PCNN模型的基础上，该模型将式（4）替换为式（6）。

PCNN分解模型包含了上述PCNN演化模型：单轮次模型、快速连接模型、线性衰減模型、反曲连接模型。PCNN分解模型在结构上对这些模型进行了的汇总，在功能上对这些模型进行了融合，其简化原理如图2所示。

在图2中可以看出，PCNN分解模型包括了两层PCNN。第一层PCNN采用反曲线连接模型。第二层PCNN的阈值部分采用线性衰减模型中的系数衰减式（10），连接部分则采用了反曲连接模型中的连接单元如式（11），循环部分采用快速连接模型的连接单元如式（7）～（9），脉冲产生部分使用的是单轮次模型中的脉冲产生单元如式（6）。图2中的Y1（n）是第n次循环时第一层PCNN处理后的输出图像，该图像作为第二层PCNN第一次循环的输入图像，第二层PCNN的循环嵌套在第一层PCNN的循环中。当第二层PCNN完成第n次循环后，输出Y2（n），并将Y2（n）作为第一层PCNN下一次循环的输入图像。β（n）随着第一层PCNN的循环而递减，β（n）的计算如式（12）所示：

其中，k值取[0，1]之间的数。从图2中可以看出，一个PCNN分解模型除了包括两层PCNN外，还包括第三层，即归一化层，该层为第二层PCNN中的快速连接模型提供输入图像，该层实现了像素点到像素点的归一化处理。第三层通过使用输入图像的像素点的灰度值和对应的点火阈值做比值进行归一化，实现对图像的乘性分解，从而达到对图像分层的目的。

从PCNN分解模型的原理来看，各层分解图像中的灰度值是PCNN迭代过程中变化的阈值。第一层分解图像包括了图像中大部分区域的灰度信息，第二层图像以后的图像中信息量越来越少，价值也越来越低。第一层图像与原图像相比，在亮度上有了提升，原图像中亮度较大的区域在分层后的图像中依然保持了较大的相似性，而原图像中较暗的区域在分层后的图像则有了较大的提升。此时，为了保持原图像的信息，使用原图像的亮度值除以第一层的图像对应像素点的亮度值，这样原图像的亮度得到了提升，亮度大的像素点提升较小，而亮度较小的像素点提升的空间较大。计算公式为：

本文利用指数变换对原图像进行预处理，增强图像的亮度，低亮度区域像素值提升水平较大，高亮度区域像素值提升水平相对较小，通过像素亮度水平的变换，降低了像素间的差异性。对于夜间图像而言，不同光线造成的图像像素亮度值的差异降低。有利于PCNN分解模型在处理图像过程中，自动波的传播，降低振铃现象的影响。

本文将图像亮度转换到[0，1]之间，采用的g参数为0.8的指数变换进行图像预处理。

3  评价参数

3.1  均值

均值是反映一幅图像的平均灰度的测度，均值越大，图像的整体灰度就越高，反之亦然。

对于图像增强来讲，一般灰度的均值在中心位置附近为佳，比如，在0～255的灰度范围内，均值越接近128，图像的各个灰度级均匀分布。均值的计算公式如式14所示：

3.2  方差

方差是图像平均对比度的度量，方差越大，对比度越高，图像的灰度范围越大，图像对比度越好，增强效果越好。反之，方差越小，增强效果越差。其计算公式如式15所示：

其中，x（i，j）表示图像的第i行第j列的像素点的灰度值，m表示图像的整体灰度的平均值，M表示图像总的行数，N表示图像总的列数，v表示方差。

3.3  熵值

熵值用于表示图像的信息量，熵值越大，图像的信息量就越大，包含图像的细节信息越多，增强效果越好。反之，熵值越小，增强效果越差。其计算公式为：

其中，L表示图像的灰度级个数，P（z_i）表示各个灰度级上的概率，e表示图像的熵值。

这些评价参数为图像增强提供了客观的评价因子，而在主观上，需要从人类视觉角度去分析图像的质量，所以，本文将采用客观和主观两个方面，对图像增强后的效果进行评价。

4  实验结果及分析

为了使实验结果具有可比性，本文采用的指数变换和PCNN分解模型对图像的增强结果，对比了图像处理中常用的直方图均衡化、自适应直方图均衡化、Retinex、PCNN分解模型方法。图4为选取的实验图像和几种算法处理后的对比图像。

从图4中可以看出，原图像中的整体灰度较低，直方图均衡化后的图像亮度得到了提升，但是图像的颜色有一定失真，色彩较为灰暗;自适应直方图均衡化，在图像色彩方面较直方图均衡化效果要好一些;对于Retinex算法，增强后的图像色彩也存在一定的失真，在过渡的区域出现了光晕现象;PCNN分解模型增强后的图像，对比度适中，适合于人眼的观察，色彩保持较好，对比度增强后的效果要明显好一些，但是，由于光照的影响，出现了明显的振铃现象;本文采用的方法，既保持了PCNN分解模型的色彩增强效果，又去除了振铃现象，具有较好的可视化呈现效果。从主观上看，本文采用的方法增强效果较为理想。

表1是图4中各种增强算法处理后的图像的一些信息统计，包括均值、方差和信息熵。从表1可以看出，原图像、自适应直方图均衡化、Retinex对应的均值小于0.5，亮度较低，直方图均衡化、PCNN分解模型和本文的方法的均值都大于等于0.5，亮度较高，适合人眼观察。从方差来看，原图像、自适应直方图均衡化、Retinex的方差较小，图像的对比度也较低，直方图均衡化，PCNN分解模型和本文的方法方差较大，图像对比度较高。从熵值来看，直方图均衡化和Retinex的熵值较小，丢失了较多的图像细节，自适应直方图均衡化、PCNN分解模型和本文的方法的熵值接近于原图像，保持了较多的图像细节，效果较好。从客观角度看，本文的方法在亮度、图像对比度、信息量上，都具有较好的效果。

图5是采用另外一幅图像和几种算法增强效果的对比图像。从人眼视觉的角度来看，直方图均衡化、PCNN分解模型、本文的方法取得的效果较好。而自适应直方图均衡化和Retinex的方法增强后的图像整体偏暗，对比度过低。本文的方法相对PCNN分解模型的方法，有效降低了振铃现象的影响。

表2是对图5中的不同算法获取的增强后的图像的信息的统计。从表2的均值来看，对于图5中图像（a），使用直方图均衡化、PCNN分解模型和本文的方法，图像整体亮度得到了较大的提高，增强后的效果较好。从方差来看，直方图均衡化对应的图像对比度最高。从信息熵上来看，自适应直方图均衡化、PCNN分解模型和本文的方法保留了较多的图像细节信息。通过客观的参数可以看出，本文的方法用于图像增强获取的图像具有较好的效果。

总之，从视觉角度来看，图像经过本文方法的处理，动态范围适中，细节信息丰富，图像生动清晰。从各种参数来看，图像经过本文方法的处理后，熵值较大，包含的信息量也较多。通过使用该算法对一些整体对比度较低的灰度图像和彩色图像进行处理后，获取的增强后的图像都具有较高的对比度，适合于人眼的观察，也说明该算法具有一定的普适性，并且鲁棒性强。

5  结  论

通过使用指数变换对图像进行预处理，结合PCNN分解模型进行夜间图像增强，能够有效的增强夜间图像，使得图像细节处理、整体光线、对比度都具有明显效果，有效克服了振铃现象造成的影响，对于夜间图像具有一定的普适性。

参考文献：

[1] 马义德，李廉，绽琨，等.脉冲耦合神经网络与数字图像处理技术 [M].北京：科学出版社，2008：10-26.

[2] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization [J].IEEE Transactions on Consumer Electronics，1997，43（1）：1-8.

[3] KIM T K，PAIK J K，Kang B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering [J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[4] RAHMAN Z，JOBSON D J，WOODELL G A. Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging，2004，13（1）：100-110.

[5] XU G Z，ZHANG Z F，MA Y D. An image segmentation based method for iris feature extraction [J].Journal of China Universities of Posts and Telecommunications，2008，15（1）：96-101+117.

[6] Padgett M L，Johnson J L. Pulse-Coupled Neural Networks（PCNN）andwavelets：Biosensor applications [C]. Proceeding of International Conference on Neural Networks（ICNN97）.Houston：IEEE，1997：2507–2512.

[7] Johnson J L，Padgett M L.PCNN models and applications [J].IEEE Transactions on Neural Networks，1999，10（3）：480-498.

[8] Johnson J L.Pulse-coupled neural nets：translation， rotation，scale，distortion，and intensity signal invariance for images [J].Applied Optics，1994， 33（26）：6239-6253.

[9] Lindblad T，Kinser J M. Image Processing Using Pulse Coupled Neural Networks（2nd） [M].Berlin：Springer，2005：1-9.

[10] 李春林.基于脈冲神经网络的图像特征提取与应用研究 [D].宜昌：三峡大学，2013.

[11] Eckhorn R，Reitboeck H J，Arndt M，et al. Feature Linking via Synchronization among Distributed Assemblies：Simulations of Results from Cat Visual Cortex [J].Neural Computation，1990，2（3）：293-307.

[12] Johnson J L，Padgett M L，Friday W A. Multiscale image factorization [C]//Proceedings of International Conference on Neural Networks （ICNN97）.1997，3：1465-1468.

作者简介：李春林（1985.03—），女，汉族，河北张家口人，中级，硕士研究生，研究方向：数字图像处理，人工智能