高斯混合模型自适应微光图像增强

陈 莹，朱 明，刘 剑，李兆泽

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2. 中国科学院大学，北京 100049；3.总装备部沈阳军事代表局驻长春地区军事代表室，吉林 长春 130033)



高斯混合模型自适应微光图像增强

陈 莹1,2，朱 明，刘 剑1，李兆泽3

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2. 中国科学院大学，北京 100049；3.总装备部沈阳军事代表局驻长春地区军事代表室，吉林 长春 130033)

为了改善微光情况下可见光图像传感器输出图像的质量，提出了一种基于高斯混合模型的自适应微光图像增强算法。对图像的直方图进行混合高斯建模，应用改进的期望最大化算法对直方图拟合，从而获取高斯混合模型的最优参数，然后根据各个聚类的交点将直方图分区，最后确定输出图像所属聚类的映射关系，同时应用保持最大熵方法逼近人类视觉特性映射函数得到最终的增强图像。实验结果表明，此图像增强模型能自适应确定最佳聚类个数，提高直方图拟合的运算速度，一帧图像平均处理时间为0.37 s，在相关信息熵和纹理信息等的客观评价中，增强结果明显优于传统方法，有效地提高了微光图像的对比度，同时保持了图像的细节。

图像增强；直方图；高斯混合模型；微光图像

1 引 言

图像传感器是各种光学成像装置、计算机图像处理系统输入数据的主要来源。在实际应用的过程中，由于天气、曝光条件等因素的影响，图像传感器输出图像的对比度会降低，从而导致图像质量变差，影响了主观观测或者实际应用的效果[1]。本文对微光图像增强技术进行了研究，微光图像[2]的对比度低，灰度级范围集中，较低的图像质量严重影响了目标识别的效果，因此，提高微光图像的质量在实际应用中具有重要意义。

在各种图像增强技术中，直方图均衡[3](HE)在提高图像对比度方面得到了广泛应用，尤其当图像的对比度较低时，这种方法可以使得图像的灰度直方图分布更加均匀。但是会导致数量较少的灰度级被压缩，数量多的灰度级被过度拉伸，从而导致背景噪声的对比度增加而部分有用信号的对比度降低[4-5]。为了克服以上问题，文献[6]提出了局部直方图均衡算法(LHE)[6]，应用了图像局部信息进行增强。但是，LHE处理后的图像会产生块效应，并且处理效率不高，因此没有被广泛应用。近年来，应用直方图均衡算法研究图像增强问题取得了一定的成果，例如动态分区直方图均衡[7](DRSHE)方法，该算法将直方图分成K部分，根据面积比例和参数l扩展原始动态范围，并用尺度因子α进行调节。此算法引用参数调节动态范围成功抑制了过度增强现象，但是，如果图像灰度级特别集中，会造成分区不均匀，图像会出现部分过亮或部分过暗的现象。象限动态直方图均衡算法[8](QDHE)，根据面积将直方图分为相等的四份，利用阈值将灰度级按比例分配到动态范围上，再根据各区间的累计概率密度函数重新分配灰度级。该算法适于灰度级集中的图像，能将灰度级很好的拉伸开，但是，对于灰度级数量极少或者某个灰度级数量远远多于其他灰度级的情况，直方图将出现分区不合理或者无法分区的问题，若处理灰度级分居两侧(如有路灯的夜晚图像)的直方图则将会很大程度受噪声影响。

针对以上算法自适应性的不足，本文提出了一种基于高斯混合模型的自适应微光图像增强算法。通过对直方图建模，利用高斯混合模型中聚类的特性分配图像灰度值。其中直方图拟合过程采用无监督期望最大化(EM)算法，无需确定聚类数量，直接处理直方图数据，运行时间不再受图像大小影响，大大提高了处理速度。在最后应用保持最大熵方法对灰度信息进行趋于人类视觉特性调整。此模型从数学意义角度针对直方图特性进行增强，不受直方图形状约束。有效地保持了图像的细节，提高了微光图像的对比度，在主观视觉方面和客观评价方面都取得了很好的效果。

2 增强算法模型的建立

增强的模型建立包括：A、直方图拟合；B、分区；C、灰度级映射；D、趋于视觉特性调整直方图。假设输入图像X的大小为H×W，其动态范围为[xd,xu]，输出图像Y，其动态范围为[yd,yu]。

2.1 直方图拟合

高斯混合模型[9](Gaussian Mixture Modeling, GMM)由不同参数的高斯聚类组成，每个高斯聚类都有属于自己的均值、方差和加权系数。人眼对方差小密度大的部分区分比较困难，GMM模型可以较准确的划分出这部分并进行拉伸，因此，在保留了图像细节的同时提高了对比度。应用GMM对直方图建模，可以用M个聚类来构建，即

(1)

式中：p(x)为图像灰度级的概率密度，p(x|wn)是第n聚类的概率密度函数，P(wn)是第n聚类的加权系数。

应用期望最大化(Expectation Maximum, EM)[10]算法完成对输入图像高斯模型中聚类个数及每条曲线参量的估计。这里选取的是稳定性最好时的聚类个数，即满足迭代停止条件时，式(14)中(θ|x)的变化最小时的聚类个数。

2.2 分区

有意义的交点可以通过数学计算获得，高斯聚类wn和wm的交点可由式(2)获得，即

P(wn)p(x|wn)=P(wm)p(x|wm).

(2)

由式(2)得到的是高斯聚类的所有交点，从中找到有意义的交点，去除无意义的交点。有意义的交点要满足条件：a.在灰度级动态范围内；b.由相邻聚类构成的交点。这样可以保证在每个子区间内都只有一个聚类起支配作用，即，满足下式:

(3)

(4)

利用交点将灰度级的动态范围x分区，即

x=[x(l),x(1)]∪[x(1),x(2)]...∪...[x(M-1),x(r)],

(5)

式中:x(l)=xd，x(r)=xu，x(k)为聚类的交点，且满足x(l)

2.3 映射

首先，找出输入图像与输出图像的映射范围。图像X的累计概率密度函数CDF为

(6)

X的动态范围的每个子区间都映射到相应的Y子区间上，区间的映射关系权重系数由αk决定，其中αk∈[0,1]，可以由式(7)求得，即

(7)

利用αk，根据式(8)将输入子区间[x(k),x(k+1)]。映射到输出子区间[y(k),y(k+1)]上，

(8)

采用公式(8)可以保证映射的覆盖范围，即[yd,yu]=[yd,y(1)]∪[y(1),y(2)]...∪...[y(M-1),yu]。若为八位图像，则yd=0，yu=255。

其次，求出在输出图像中对应的高斯聚类参数。在输出图像中保留原图像中的CDF， 即

(9)

因此，由式(6)、式(9)解得输出图像中对应的高斯参数，即

(10)

式中：μk表示原图像第k聚类对应的均值，μk′表示映射后图像第k聚类对应的均值。

(11)

式中，σk表示原图像第k聚类对应的方差，σk′表示映射后图像第k聚类对应的方差。

最后，由求得的高斯参数得到映射关系。映射函数由GMM中聚类的概率密度加权和求得，即

(12)式中：x为输入图像，y为映射后的输出图像。

2.4 趋于视觉特性调整直方图

根据人眼的视觉特性[11]可知，人眼对低灰度级区别能力较强，对高灰度级区别能力较弱。通过对映射后函数进行调整，低灰度级适当压缩，高灰度级适当拉伸，使其更趋近于人类视觉特性。

应用文献[12]中保持最大熵[12]的计算，对直方图进行调整。c(y)为保留最大熵后的映射函数，u为原图像的平均亮度，微光图像的u值一般在[0.1～0.3]之间，如图1所示，当u=0.5时，c(y)函数呈线性；u=0.2时，c(y)是一个凹函数，在保留图像细节信息的同时提高了图像的可识别能力。

图1 当u=0.5和u=0.2时灰度级的映射曲线Fig.1 Mapping functions when u=0.5 and u=0.2

3 高斯混合模型的求解及分析

3.1 应用改进的EM算法求解高斯混合模型

高斯混合模型是对具有不同参数的高斯分布的线性混合，EM算法通过迭代找到高斯混合模型的最优参数，但是传统EM算法[13]的初始化要满足迭代时期望值在局部是收敛的，选取不当就会造成估计错误。Figueiredo提出了 EM的改进算法FJ[14]，改善了上述初始化问题，但它处理的数据是整幅图像，计算量与图像大小成比例。为了提高运算速度，对FJ算法进行了改进，只处理直方图数据，节省了存储空间，大大提高了处理速度，运算时间不再受图像大小的影响，并且根据迭代稳定性可以自适应确定聚类数量。

求解高斯混合模型是对式(1)求解，式(1)也可以表达如下：

(13)

(14)

直接对直方图数据进行运算，要处理的数据为h(x)={h(x1),h(x2),...,h(xL)}，其中L为图像最大灰度级。逼近直方图的具体步骤如下：

(15)

(16)

(17)

(18)

(19)

重复E、M步，直到参数迭代稳定为止，最后即可得到逼近的直方图：

(20)

图2为图12采用改进的EM算法取聚类个数为k=2～6时的高斯混合模型进行最佳拟合筛选，得到当k=3时为最佳直方图拟合效果。此时有意义的交点有3个(黑色空心圆圈)，保证在每个子区间内有一个高斯聚类起支配作用。

图2 直方图最佳拟合结果(k=3)Fig.2 The best fitting result (k=3)

图3 拟合函数(θ|x)的变化Fig.3 Evolution of the cost function(θ|x)

改进后的EM算法在运算速度上有很大程度的提高，表1为不同大小的8位图像在Matlab中应用改进前后EM算法的时间对比结果。

表1 改进的EM算法与FJ算法的运算时间比较

Tab.1 Comparison of the computation time for improved

3.2 增强模型的参数及流程

在拟合直方图过程中，高斯聚类个数越多，拟合的越精确，图像增强效果越好。但是同时会影响运算速度。为了兼顾运算收敛速度和增强效果，本文设定聚类个数为k=2～6，收敛函数(θ|x)取1e-6，一般几十次迭代即可满足条件。由前面优化过程所述，本文算法流程如图4所示。

图4 算法流程图Fig.4 Flowchart of algorithm

4 实验及分析

为了对本文所提算法的性能进行深入的分析和研究，实验中采用HE、DRSHE、QDHE以及本文的算法对文献 [13]中的几组图像进行增强，HE和QDHE不需要设置任何参数，DRSHE要根据图像特点设置分区个数K，以及扩展尺度因子α，这里取K=4，α=0.5[6]。GMM需要设置迭代停止条件和聚类个数范围，取l=e-6，k=2～6。图5～图8为4组微光图像的增强实验结果。

在增强图像的同时保持图像细节是非常重要的，然而评价图像增强能力至今还没有明确的标准，这里采用客观评价因子信息熵、对比度标准差、灰度平均梯度和拉普拉斯算子结合主观分析共同评测图像增强质量。信息熵[15]用来衡量图像的信息量，熵值越大，代表图像的细节越多。熵的定义如下：

(21)

式中，p(xi)是灰度级xi的概率密度。

图像对比度[16]是用标准差来衡量的，标准差越大，表示图像的对比度拉伸的越大，图像增强质量就越好。

(22)

式中，xi表示图像的灰度级，u表示图像的平均亮度，p(xi)表示灰度级为xi时的概率密度。

灰度平均梯度(GMG)[17]能较好地反映图像的对比度和纹理信息变化特征，其值越大表示图像越清晰，图像质量越好。

(23)

拉普拉斯算子(Laplacian)[17]是在每个3×3邻域内求得微分值，图像越清晰，轮廓越鲜明，则拉普拉斯算子的值越大。

(24)

式中，I′为I(i,j)邻域像素灰度值的和。

4.1 主观分析

图5～图8为不同图像的增强结果，图9为4组图像对应的映射关系。以图5为例，HE算法是对图像整体亮度的增强，对应于图9(a)中的映射曲线(红色实线)，灯光处的过度增强现象很明显。DRSHE更多地保留了图像的原始亮度，整体图像偏暗，对比度拉伸不够。QDHE的映射曲线(绿色实线)位于HE和DRSHE之间，效果优于HE和DRSHE，但QDHE在像素30左右时有明显的转折，灰度级拉伸不均匀，严重受直方图形状的影响。本文算法的增强图像优于其他算法，图5(e)可以明显看出叶子的边缘，同时图像较亮部分也不会出现亮度饱和现象，图10为图5中图像对应的直方图。其他组实验也可以看出，本文增强模型对低对比度图像的增强效果更佳，图像的细节得到很好的保留。

图5 增强结果.(a)原图像; (b) HE; (c)DRSHE; (d)QDHE; (e)本文算法.Fig.5 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; and (e) The proposed method.

图6 增强结果. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法.Fig.6 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; and (e)The proposed method.

图7 增强结果. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法.Fig.7 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; and (e) The proposed method.

图8 增强结果. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法.Fig.8 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; and (e)The proposed method.

用文中提到的增强算法处理彩色图像的亮度分量(l*a*b空间的l分量)，图11～12为两组实验结果。本文算法中，图11的人物亮度较柔和，图12中路面没有出现块状，图像灰度级拉伸均匀，同时图像的细节也得以保留，因此，该算法模型的增强效果最好。

图9 增强图像灰度级的映射关系. (a) 图5; (b) 图6; (c) 图7; (d) 图8.Fig.9 Grayscale mapping function of enhancement images. (a)Fig.5; (b) Fig.6; (c) Fig.7; and (d) Fig.8.

图10 图像5对应的直方图. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法.Fig.10 Histograms for Fig.5. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; and (e) The proposedmethod

图11 增强结果. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法Fig.11 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; (e) The proposed method

图12 增强结果. (a) 原图像; (b) HE; (c) DRSHE; (d) QDHE; (e)本文算法.Fig.12 Enhancement results. (a) Original image; (b) HE; (c) DRSHE; (d) QDHE; (e) The proposed method.

4.2 客观评价

由于没有原清晰图像，因此选用无参考评价因子图像信息熵、标准差、灰度平均梯度和拉普拉斯算子分别对图5～8和图11～12进行综合评价，从这几组实验数据结合主观评价可知，本文算法更好的实现了微光图像的增强。

表2 增强图像的熵值

表3 增强图像的对比度

表4 增强图像的灰度平均梯度

表5 增强图像的拉普拉斯算子值

5 结 论

为了提高微光图像的质量，本文针对传统直方图均衡算法的缺点，以自适应提高微光图像的对比度为目的，提出了一种基于高斯混合模型的自适应微光图像增强算法。构建高斯混合模型根据直方图特性增强图像，采用改进的EM算法，实现自适应确定聚类个数，算法处理时间为0.37 s，远远低于应用传统EM算法的时间，并且增强效果与人类视觉系统的一致性较好，有效地提高了图像的可识别能力。相对于目前已有的算法，增强后图像的灰度平均梯度值提高了近0.5，拉普拉斯算子值提高了近0.4，说明该模型在提高微光图像对比度的同时，有效地保留了图像的纹理细节信息，不会产生饱和、噪声放大等不良现象，特别是对有灯光的微光图像增强效果优于传统算法。

[1] 贺柏根,刘 剑,马天玮.基于 DSP + FPGA 的实时图像去雾增强系统设计 [J].液晶与显示,2013,28(6)： 968-972. He B G, Liu J, Ma T W. Real-time image defogging and enhanced system designed based on DSP+FPGA [J].ChineseJournalofLiquidCrystalsandDisplays, 2013,28(6): 968-972. (in Chinese)

[2] 史继芳,杨斌,韩占锁,等. 基于双重模型客观评价微光像增强器的分辨力 [J] . 光学精密工程,2013,19(3)：2260-2265. Shi J F, Yang B, Han Z S,etal. IR/visible image registration based on EM iteration of log-likelihood function [J].OpticsandPrecisionEngineering, 2013, 19(3): 2260-2265. (in Chinese)

[3] Gonzalez R C, Woods R E.DigitalImageProcessing[M]. Upper Saddle River, NJ: Prentice Hall, 2006.

[4] 尹传历,王啸哲.机载嵌入式图像增强系统设计与实现 [J]. 液晶与显示，2013，28(4)：604-607. Yin C L, Wang X Z. Design and realization of airborne embedded image enhancement system [J].ChineseJournalofLiquidCrystalsandDisplays,2013, 28(4): 604-607. (in Chinese)

[5] 樊博，王延杰，孙宏海，等.FPGA实现高速实时多端口图像处理系统的研究 [J] . 液晶与显示， 2013，28(4)：620-625. Fan B, Wang Y J, Sun H H,etal. High speed real-time multiport image processing system realized on FPGA [J].ChineseJournalofLiquidCrystalsandDisplays, 2013, 28(4): 620-625. (in Chinese)

[6] Kim T K, Paik J K, Kang B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering [J].IEEETransactionsonConsumerElectronics, 1998, 44(1): 82-87.

[7] Iwanami T, Goto T, Hirano S,etal. An adaptive contrast enhancement using regional dynamic histogram equalization [C].IEEEInternationalConferenceonConsumerElectronics, 2012:719-722.

[8] Ooi C H, Isa N A M. Quadrants dynamic histogram equalization for contrast enhancement [J].IEEETransactionsonConsumerElectronics, 2010, 56(4): 2552-2559.

[9] 卢清华，吴志伟，范彦斌. 基于混合高斯模型的运动车辆检测方法 [J].光电子·激光，2013，24(4)：751-757. Lu Q H, Wu Z W, Fan Y B. An improved mobile vehicle detection method based on Gaussian mixture model [J].JournalofOptoelectronics·Laser, 2013, 24(4):751-757. (in Chinese)

[10] 聂宏宾，侯晴宇，赵明，等. 基于似然函数EM迭代的红外与可见光图像配准 [J].光学精密工程,2011，21(9)：657-663. Nie H B, Hou J Y, Zhao M,etal. Objective evaluation of resolution for low-light-level image intensifier based on dual-model [J].OpticsandPrecisionEngineering, 2011, 21(9):657-663. (in Chinese)

[11] 穆为磊，高建民，陈富民，等. 符合人眼视觉特性的焊缝射线数字图像增强方法 [J].西安交通大学学报，2012，46(3)：90-93. Mu W L, GaoJ M, Chen F M,etal. Weld radiographic image enhancement conforming to human visual system [J].JournalofXi＇anJiaotongUniversity,2012, 46(3): 90-93. (in Chinese)

[12] Chen S D, Ramli A R. Minimum mean brightness error bi-histogram equalization in contrast enhancement [J].IEEETransactionsonConsumerElectronics, 2003, 49(4): 1310-1319.

[13] 宋磊，郑宝忠，张莹，等.一种基于高斯混合模型的改进EM算法研究 [J].应用光学，2013，34(6)：985-989. Song L, Zheng B Z, Zhang Y,etal. Advanced EM algorithm based on Gaussian mixture model [J].JournalofAppliedOptics, 2013, 34(6): 985-989. (in Chinese)

[14] Figueiredo M, Jain A. Unsupervised learning of finite mixture models [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 24(3): 381-396.

[15] 韩希珍，赵建.结合偏微分方程增强图像纹理及对比度 [J].光学精密工程,2012，18(6)：1382-1388. Han X Z, Zhao J. Enhancement of image texture and contrast combined with partial differential equation [J].OpticsandPrecisionEngineering, 2012, 18(6):1382-1388. (in Chinese)

[16] Menotti D, Najman L, Facon J,etal. Multi-histogram equalization methods for contrast enhancement and brightness preserving [J].IEEETransactionsonConsumerElectronics, 2007, 53(3): 1186-1194.

[17] 谢凤英，赵丹培. Visual C++数字图像处理[M].北京：电子工业出版社，2008. Xie F Y, Zhao D P.VisualC++DigitalImageProcessing[M]. Beijing: Publishing House of Electronics Industry, 2008. (in Chinese)

Automatic low light level image enhancement using Gaussian mixture modeling

CHEN Ying1,2, ZHU Ming1*, LIU Jian1, LI Zhao-ze3

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics，ChineseAcademyofSciences,Changchun130033,China;2.GraduateUniversityofChineseAcademyofSciences,Beijing100039,China；3.MilitaryRepresentativeOfficeStationedinChangchunAreabyShenyangMilitaryRepresentativeBureau,GeneralArmamentDepartment,Changchun130033,China)

In order to improve the output quality of visible light sensor in low-light environment, an adaptive image enhancement algorithm using Gaussian mixture modeling is proposed in this paper. The histogram of image is modeled with Gaussian mixture modeling and the improved EM algorithm is used to fit the histogram and get the best parameters. Then, the histogram is separated into sub-histograms based on the intersections of Gaussian components. Finally, the mapping is achieved according to the parameters of output image, and the final enhanced image is obtained by the maximum entropy preserving method which tends to the characteristics of human visual. The experimental results show that the algorithm can determine the optimal number of clusters adaptively and improve the speed of the histogram fitting which costs 0.37 s averagely. Comparing with traditional methods, the enhancement result is superior in terms of objective evaluations of related information entropy and texture information. It can improve the contrast of the low light level image and maintain the details.

image enhancement; histogram; Gaussian mixture model; low light level image

2014-04-23；

2014-06-11.

国家自然科学基金(No.61203242)

1007-2780(2015)02-0300-10

TP391.4

A

10.3788/YJYXS20153002.0300

陈莹(1989-)，女，辽宁盘锦人，硕士研究生，研究方向为数字图像处理、图像增强。E-mail:chenying_0305@163.com 朱明(1964-)，男，江西南昌人，研究员，博士生导师，主要从事图像处理，光电成像测量技术，电视跟踪和自动目标识别技术等方面的研究。E-mail:zhu_mingca@163.com 刘剑(1973-)，男，吉林长春人，高级工程师，从事图像处理研究。 李兆泽 (1980-)，男，辽宁庄河人，主要从事信号处理等方面的研究。E-mail:lzzsp@aliyun.com

*通信联系人，E-mail：zhu_mingca@163.com