多子直方图均衡微光图像增强及FPGA实现

陈 莹，朱 明

(1.中国科学院长春光学精密机械与物理研究所航空光学成像与测量中国科学院重点实验室，吉林长春130033;2.中国科学院大学北京100049)

1 引言

微光夜视系统在军事和民用方面都有很重要的用途，微光图像的对比度低，并且灰度级范围集中，图像的质量严重影响对目标的识别，图像增强技术在其中起着至关重要的作用。图像增强方法基本上可分成两大类:频率域法和空间域法。直方图均衡［1］(空间域法)处理技术是最简单、最有效的处理手段之一，但是，传统的直方图均衡会产生过度增强和放大噪声的现象。因此，学者们陆续提出了很多基于直方图均衡的改进算法，例如:动态直方图均衡［2］，其思想是动态寻找阈值(极小值或极大值)，分割直方图后再分别均衡化，此算法自适应性强，能有效拉伸过于集中的灰度级。但是，该算法复杂，极小值检测容易出错。此外，学者们还陆续提出了多峰值图像直方图均衡算法［3］、基于高斯混合模型的直方图均衡算法［4］等。许多学者也开始研究局部增强算法，提出了许多新的技术，如暗背景下局部直方图增强、区间可变的直方图均衡化算法、基于直方图互确认的图像阈值化分割算法、子图均衡算法、亮度保持直方图均衡处理等［5-9］。局部增强算法由于重叠度高，算法都比较复杂，处理时延长。

图像增强技术在实际应用中需要保持实时性，所以，图像增强系统要优先考虑时延。现场可编程门阵列(FPGA)灵活性好，集成度高，同时开发周期短，扩展能力强，处理数据速度快，适合实时的信号处理。

本文提出了一种多子直方图均衡算法，首先将直方图按面积平均分割成4个子直方图，利用平均像素数量作为阈值切割直方图降低过度增强的现象，然后加入尺度因子对动态范围进行调整，最后分别对子直方图均衡得到增强效果。图像经处理后，灰度级动态范围分区更加合理，改进算法在硬件上实现，并由主客观评价表明，它对微光图像的增强效果很好，满足实时性要求。

2 直方图均衡算法

2.1 传统直方图均衡(Histogram Equalization，HE)

数字图像直方图灰度范围是［0，L－1］。它是一个频率分布函数，首先，计算出每个灰度级的像素数量。

式中，k=0，1，2，……，L－1;Xk表示输入第k个灰度级;nk是图像中第k灰度级对应的像素数量。

其次，计算出图像每个灰度级的概率密度函数P(Xk):

由式(3)可推导出CDF(XL－1)=1，由此可以看出，直方图均衡就是将图像的灰度值平均分配到整个动态范围内。用传递函数来表示输入像素的传递函数:

式中，Xk是输入的第k灰度级;XL－1代表最大灰度值。

2.2 动态直方图均衡(Dynamic Histogram E-qualization，DHE)

DHE首先要用一个1×3的平滑滤波器去掉直方图中不重要的极小值，然后对平滑后的直方图取极小值作为分区点，把原直方图分成几个子直方图。其次，在每个子直方图中计算均值u，标准差σ。如果子直方图在(μ－σ)～(μ+σ)范围内的灰度级占据子直方图整体灰度级的68.3%以上，那么就认为它是一个正态分布，不受其它灰

式中，n表示图像的总像素数;k=0，1，2，……，L－1。

然后，由式(2)的统计结果计算图像灰度级的累积概率密度函(Cumulate Density Function，CDF):度级影响;否则，就不是正态分布，需要重新划分区域，在子直方图中以(μ－σ)和(μ+σ)为分割点，分为3个更小的子直方图，再进行检验，直到所有子直方图都符合正态分布为止。

再次是分区，分区后第i个子直方图的动态范围由下式决定:

每个子直方图要根据所占据整体动态范围的比例来确定输出的灰度级范围，表达式如下:

式中，L表示最大灰度级。

最后，对每个子直方图应用HE，其映射灰度值只能在指定分配的灰度级范围内。

2.3 改进的直方图均衡算法

经HE处理后，图像的对比度得到明显提高，但处理后的图像有过亮或过暗的地方，增强结果不易控制，不能把较小的细节部分很好的增强。DHE算法较传统HE算法效果好一些，但是，检测极小值算法复杂且容易出错，因此，在保证效果和复杂度的前提下提出了改进的直方图均衡算法。

改进的算法包括5个过程:(1)直方图分区;(2)剪切;(3)灰度级范围分配;(4)动态范围调整;(5)直方图均衡化。

(1)直方图分区

微光图像的灰度级比较集中，包含的灰度级数量少，采用每个子直方图有相同数目的像素数量的分割方法，能有效地将灰度级分隔开，避免了传统峰值分割时出现的分割不理想或者无分割现象。

利用输入图像的直方图的强度中值来分区，将其按照像素数量等分为4个子直方图，最低和最高的灰度级设置为分区端点。

使用式(7)计算出每个分离点:

式中，m1、m2和m3分别是输入图像直方图中总像素数量的0.25、0.50和0.75的灰度级。Iwidth和Iheight分别是输入图像的宽度和高度。

(2)裁剪

图1 多子直方图均衡算法处理过程Fig.1 Processes of multiple sub-histogram equalization algorithm

增加裁剪过程可以控制均衡化的增强度。学者们也提出了一些裁剪过程的方法，例如，自动裁剪过程——自适应阈值直方图均衡化(SAPHE)［10］由王等人提出，然而，此方法中局部峰值检测容易判断错误而产生误峰值，导致图像不自然柔和。继而由赵等人提出自适应阈值用加权来优化直方图［11］——SAPHE 的改进技术，以直方图非空处的值作为裁剪阈值，计算过程复杂。本文中，为了优化算法，选择所有灰度级像素数量的平均值作为阈值Tc［12］，Tc=总像素数量n/灰度级数L。裁剪过程如图1(b)和图1(c)所示，对于大于阈值的值由阈值本身所取代，如图1(c)所示，图1(d)为子直方图均衡过程。

(3)灰度级范围分配

为了平衡每个子直方图的提升空间，优化算法根据灰度级范围所占的比例为子直方图分配灰度级动态范围，这个过程描述如下:

式(8)中，spani是输入直方图的第i个子直方图的灰度级范围;mi是第i个分区点;rangei是输出直方图中每个子直方图的动态范围。用式(9)来分配灰度级的动态范围。

(4)动态范围调整

微光图像的灰度级比较集中，目标与背景难区分。因此，保留图像细节尤为重要。子直方图均衡后，像素数量少的灰度级会产生合并，从而导致细节减少。为了克服这种缺点，引进了尺度因子r，适当调整拉伸范围，防止动态范围的过度压缩或过度拉伸，它可用来扩大可扩展的动态范围。合理调整子直方图的动态范围，才能达到更好的效果。r定义如下:

式中，L是最大灰度级;k是分区的份数(k=4)。子直方图调整灰度范围aspan的定义:

式中，α是在0和1之间的尺度因子。

图2是当算法有4个分离级别和尺度因子α=0.5时，4个子直方图span的调整结果。

图2 k=4，α=0.5时，改进算法动态范围调整后aspan示意图Fig.2 When k=4，α =0.5，schematic diagram of aspan after adjustment

第i个子直方图的新的动态范围被分配到［istart，iend］内，定义为式(11)和式(12):

第一个istart值和最后一个iend值分别是分配后动态范围中最小和最大的灰度值，图1(d)中显示出直方图新分配的动态范围。

(5)直方图均衡化

在所有子直方图的新动态范围确定后，算法的最后一步是独立的对每个子直方图均衡化。如果第i个子直方图的分配范围是［istart，iend］，那么，均衡化后子直方图要完全分配在这个分区内，这部分的y(x)可使用式(14)传递映射函数确定。

3 基于FPGA的硬件实现

3.1 系统硬件结构

采用 Altera公司的 DE2-70 FPGA开发板，FPGA芯片是Cyclone II系列的EP2C70F896C6N。

此开发板有以下主要资源［13］:68416LEs(逻辑单元)，16×2 LCD模块，150嵌入式乘法器，1个2 Mbyte SSRAM，1个8 Mbyte Flash内存，2个32 Mbyte SDRAM，1个 50 MHz振荡器，1个28.63 MHz振荡器，3个10 bit高速数字模拟转换(DAC)，采用ADV7123 140-MHz作为3个10 bit高速视频数/模转换器，支持100 Hz刷新率时的高达1 600×1 200的分辨率，采用ADV7180多格式SDTV视频解码器，支持世界范围内的NTFC/PAL/SECAM制式，开发板正常工作电压为12 V。本文应用Verilog HDL硬件描述语言，在DE2-70开发板上实现改进的直方图均衡增强算法，采用以下硬件结构:

图3 DE2-70 FPGA开发板Fig.3 DE2-70 FPGA board

图4 改进的直方图均衡算法硬件结构Fig.4 Hardware structure of optimized algorithm

3.2 系统工作原理

在开发板上连接两个SRAM，采用“乒乓工作模式”，在读入一帧图像时，时钟上升沿SRAM1进行直方图统计及找分区点工作;在时钟下降沿，利用SRAM2进行直方图均衡处理运算［14］。乒乓操作的最大特点是通过“输入数据流选择单元”和“输出数据流选择单元”的互相配合，可将经过缓存的数据流没有时间停顿地送到下一级处理单元中［15］利用资源，处理速度快。将增强算法模块加载到这个系统之中就可实现算法。在实时处理视频时，用前一帧的计算结果处理后一帧图像，这样省去了等待时间。

在算法复杂度上，传统直方图均衡算法分为直方图统计和传递函数两部分，在硬件上将时钟4倍频，每个时钟读入一个像素，即可处理完成。优化算法中，在阈值计算部分，只需要一步除法即可求出，在处理视频图像时，由于图像大小是固定的，只需要对第一帧图像求阈值，之后可直接应用，免去了重新计算过程。在分配动态范围时加入的尺度因子也是固定值，即灰度级范围的1/4。根据尺度因子公式，每一帧图像增加的只有8次加法，4次乘法。阈值和尺度因子都可以存储到SRAM中，应用时可直接读取，从而降低算法的复杂度。

4 结果及分析

在开发板上实现改进的直方图均衡算法，图5(a)为夜晚黑暗条件下拍摄的饮料盒图片，实验结果如图5(b)所示，图像处理时间为一帧图像大小加上一个像素处理时间再除以时钟频率［16-21］，实验所用的时钟频率为 50 MHz，假设图像大小为128×128，通过公式计算时延约为

从图5中可以看到，原始图像中目标被淹没，肉眼难以发现，整体对比度很低，经过增强后的图像，噪声和过度增强现象得到抑制，目标变得清晰。在FPGA上可以满足实时处理要求。

为了说明本文算法的优越性，分别用传统直方图均衡技术(HE)、动态直方图均衡(DHE)及改进的直方图均衡算法基于Matlab对微光图像做了大量实验，并比较上述各种算法的增强结果。对于图像增强质量评价，采用图像熵结合主观评价共同评测。这里用离散熵作为定量评价。

由直方图可以得出:

式中，p(xk)是第k灰度级的概率。由熵的定义可知，熵值较高说明图像带来的信息量较多。

实验选用的是微光条件下海底拍摄的鱼的图像，如图6所示。图6(a)是原不清晰图像，整体偏暗色，鱼的身体及周边的小石子都不清晰。HE处理后的图像，即图6(b)，图像整体变得偏白，鱼的身体可以分辨出来，说明成功的提高了图像的对比度，但是，图像过于明亮，看起来有“过增强”现象。DHE处理后的图像，即图6(c)，能较好的分辨出鱼身和周边小石子，但图像还是过亮，一些区域出现强度饱和的问题，比如身下的小石子。以上方法可以明显增强对比度，但是，对突出图像的细节方面较弱，这点可以在实验的直方图中看出。第一组实验中改进的算法使图像色彩更柔和自然，提高了对比度，产生了更好、更清晰的图像，噪声也成功的被抑制了，此外，在细节方面也保留的很好。从直方图中也可以看出，直方图被拉伸的很均匀。

以下是多组图像实验的增强结果。图片分别为微光环境下房子图像、路灯光下人的图像和微光图像下坦克的图像。

图6 第一组实验结果Fig.6 Experiment results of group 1

图7 第一组实验直方图Fig.7 Experiment histograms of group 1

离散熵的计算结果列于表1。其中自适应分割直方图均衡算法产生了最高的熵，这足以说明改进的算法在突出图像细节方面做得很好。此外，由主观分析也可以看出改进的算法能产生更柔和自然的图像。总体而言，上述提到的改进直方图均衡算法在上述增强图像算法中效果是最佳的。综上所述，在上述介绍的3种算法中，在客观和主观上，都能说明改进的算法产生了更好、更清晰的图像，满足了图像增强的两种要求:增强图像的局部对比度，调节图像灰度级的动态范围。

图8 第二组实验结果Fig.8 Experiment results of group 2

图9 第三组实验结果Fig.9 Experiment results of group 3

图10 第四组实验结果Fig.10 Experiment results of group 4

表1 多种增强算法的图像熵值Tab.1 Entropy of enhanced images by different algorithm

5 结论

本文以提高微光图像的对比度为目的，针对一般直方图均衡算法过度增强、噪声放大、丢失细节的缺点，提出了多子直方图均衡增强算法，利用阈值抑制过度的增强，分区后进行动态范围调整也保证了此算法对图像细节部分的提取能力，不会产生饱和、噪声放大现象，克服了传统直方图均衡的缺点，通过定性和定量评价都得到最佳性能。在FPGA上实现此算法，一帧图像约为0.45 ms，在硬件上能够有效的实现预期的增强效果，满足实时性要求。

［1］ 蔡式东，杨芳.基于直方图修正的图像增强算法［J］.光电子技术，2012，32(3):155-159.

CAI SH D，YANG F.Image enhancement based on histogram modification［J］.Optoelectronic Technology，2012，32(3):155-159.(in Chinese)

［2］ ABDULLAH-AL-WADUD M，HASANUL KABIR M，ALI AKBER DEWAN M，et al..A dynamic histogram equalization for image contrast enhancement［J］.IEEE Transactions on Consumer Electronics，2007，53(2):593-601.

［3］ YANG F，WU J.An improved image contrast enhancement in multiple-peak images based on histogram equalization［J］.IEEE Conference Publications，2010，1:346-349.

［4］ CELIK T，TJAHJADI T.Automatic image equalization and contrast enhancement using gaussian mixture modeling［J］.IEEE Transactions on Image Processing，2012，21(1):145-156.

［5］ 范永杰，张亚萍，陈华.平台直方图均衡算法实现的存储优化方法［J］.激光与红外，2013，5:522-525.

FAN Y J，ZHANG Y P，CHEN H.Realizing，memory optimization to plateau histogram［J］.Lasers and Infrared，2013，5:522-525.(in Chinese)

［6］ 吴成茂.可调直方图均衡化的正则解释及其改进［J］.电子学报，2011，39(6):1278-1284.

WU CH M.Regularization explanation of adjustable histogram equalization and its improvement［J］.Acta Electronic Sinica，2011，39(6):1278-1284.(in Chinese)

［7］ 吴强，王新赛，贺明，等.一种结合小波分析与直方图的红外图像增强方法［J］.应用光学，2011，32(3):464-467.

WU Q，WANG X R，HE M，et al..Infrared image enhancement based on wavelet analysis and histogram［J］.J.Appl.Optics，2011，32(3):464-467.(in Chinese)

［8］ 黄梅，吴志勇，梁敏华，等.暗背景下低灰度图像的实时增强［J］.液晶与显示，2011，26(3):374-378.

HUANG M，WU ZH Y，LIANG M H，et al..Real-time enhancement method of low gray image under dark background［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):374-378.(in Chinese)

［9］ WELLING P，KIM S H，CHO S B.Brightness preserving contrast enhancement using polynomial histogram amendment［C］.IEEE Soc Design Conference，Jeju Island，Korea，4-7 November，2012.

［10］ CHEN H O，KONG N S P，IBRAHIM H.Bi-histogram equalization with a plateau limit for digital image enhancement［J］.IEEE Consumer Elevtronics，2009，55(4):2072-2087.

［11］ GAN C，YE Z.Brightness preserving histogram equalization with maximum entropy:a variational perspective［J］.IEEE Transactions on Consumer Electronics，2005，51(4):1326-1334.

［12］ 孙海江，王延杰，刘伟宁.基于自适应平台阈值和拉普拉斯变换的红外图像增强［J］.中国光学，2011，4(5):474-479.

SUN H J，WANG Y J，LIU W N.Enhancement of infrared images based on adaptive platform threshold and laplace transformation［J］.Chinese Optics，2011，4(5):474-479.(in Chinese)

［13］ 王静轩，尹传历.基于DSP和FPGA的嵌入式实时图像增强系统［J］.液晶与显示，2013，28(3):459-463.

WANG J X，YIN CH L.Embedded color image enhancement system based on DSP and FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):459-463.(in Chinese)

［14］ 吴家伟，武春风，庹文波.红外图像实时显示增强系统设计［J］.光学 精密工程，2009，17(10):2612-2619.

WU J W，WU CH F，YU W B.Design of real-time infrared image enhancement system［J］.Opt.Precision Eng.，2009，17(10):2612-2619.(in Chinese)

［15］ 李强，龚俊亮.基于FPGA的实时红外图像采集与预处理系统［J］.红外，2012，33(10):21-24.

LI Q，GONG J L.Design of real-time infrared image acquisition and pre-process system based on FPGA［J］.Infrared，2012，33(10):21-24.(in Chinese)

［16］ 姜文涛，陈卫东，钱钧，等.基于FPGA的实时图像增强设计［J］.应用光学，2010，31(6):965-968.JIANG W T，CHEN W D，QIAN J，et al..Real-time image enhancement based on FPGA［J］.J.Appl.Optics，2010，31(6):965-968.(in Chinese)

［17］ 韩希珍，赵建.结合偏微分方程增强图像纹理及对比度［J］.光学 精密工程，2012，20(6):1382-1388.

HAN X ZH，ZHAO J.Enhancement of image texture and contrast combined with partial differential equation［J］.Opt.Precision Eng.，2012，20(6):1382-1388.(in Chinese)

［18］ 张超，李洪文，贾建禄，等.高帧频多通道图像采集与显示［J］.液晶与显示，2013，28(4):593-597.

ZHANG CH，LI H W，JIA J L，et al..High frame rate and multiple channels digital image acquisition and display［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):593-597.(in Chinese)

［19］ 贺柏根，刘剑，马天玮.基于DSP+FPGA的实时图像去雾增强系统设计［J］.液晶与显示，2013，28(6):968-972.

HE B G，LIU J，MA T W.Real-time image defogging and enhanced system designed based on DSP+FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(6):968-972.(in Chinese)

［20］ 尹传历，王啸哲.机载嵌入式图像增强系统设计与实现［J］.液晶与显示，2013，28(4):604-607.

YIN CH L，WANG X ZH.Design and realization of airborne embedded image enhancement system［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):604-607.(in Chinese)

［21］ 孙玉胜，白克.基于小波变换与加权滤波的电机红外图像增强［J］.液晶与显示，2010，25(3):439-443.

SUN Y SH，BAI K.Enhancement of motor infrared image based on wavelet transform and weighted filtering［J］.Chinese J.Liquid Crystals and Displays，2010，25(3):439-443.(in Chinese)