基于图像分割和动态直方图均衡的电润湿显示器图像增强算法

万俊霞，林珊玲，梅婷，林志贤，3，郭太良

（1 福州大学物理与信息工程学院，福州350116）

（2 中国福建光电信息科学与技术创新实验室，福州350116）

（3 福州大学先进制造学院，福建泉州362200）

0 引言

电润湿显示器［1］是一种依赖环境光显示的新型反射式显示器，具有低功耗、无辐射、响应速度快，易于彩色化等优点，在电子纸工业中具有广阔的应用前景。然而在实际应用中，电润湿电子纸存在着油墨回流、油膜破裂、电荷捕获、接触角迟滞等问题［2-5］，电润湿电子纸显示图像时就会出现图像细节纹理不清晰、图像失真、对比度不高等问题，影响电润湿电子纸显示。而提高图像对比度常用的方法是直方图均衡，但这种方法会造成图像出现过增强和欠增强的情况。于是，诸多学者为了解决这一弊端，在直方图均衡算法（Histogram Equalization，HE）的基础上提出了很多的改进算法。如CHEN S D 等［6］提出了一种最小平均亮度误差双直方图均衡化算法（Minimum Mean Brightness Error Bi-Histogram Equalization，MMBEBHE），戴声奎等［7］提出了基于最大熵模型的双直方图均衡算法（Maximum Entropy Model Based Bi-histogram Equalization Algorithm，MEMBHE），这些算法基本思想都是将图像直方图进行分区，然后进行直方图均衡处理，从而提高图像画质。但CHEN S D 等提出的算法需要迭代多次求出分割点，算法较复杂。戴声奎等提出的算法不能很好地识别图像的纹理边缘。ABDULLAH-AL-WADUD M 等［8］提出了动态直方图均衡化方法，在保留图像的细节上增强了图像的对比度，但该算法与图像本身亮度无关，不适用于电子产品显示。对此，很多研究者提出了改进的动态直方图算法［8-11］。OOI C H 等［9］提出了象限动态直方图均衡化算法（Quadrants Dynamic Histogram Equalization for Contrast Enhancement，QDHE），该算法将输入图像的中值作为分割点将直方图分为四个子直方图，再利用输入图像的亮度均值，将四个子直方图进行裁剪，最后进行动态的直方图均衡，但该算法适用于弱光环境下的图像。在正常光环境下，图像会出现较为严重的失真。LIN Shanling等［10］提出了基于亮度保持的电润湿显示动态直方图均衡化算法（Contrast enhancement by Intensity Preservation-based Dynamic Histogram Equalization for electrowetting display，IPDHE），该算法利用灰度保持测量公式将图像直方图分割成四个子直方图，最后进行动态直方图均衡。但该算法对于亮图像的处理会出现图像失真、过饱和、欠增强等问题。

针对电润湿显示器显示特点和以上算法存在的问题，为了更有效地突出目标区图像，提高图像的对比度，结合YAN He 等［11-12］提取阈值的方法，本文提出了一种基于图像分割和动态直方图均衡的电润湿显示器图像增强算法。首先采用基于方差权重的Otsu 和最大熵阈值分割算法找出图像背景区和目标区的阈值分割点，再单独将两区域的亮度均值作为分割点，将图像直方图分成四个子直方图，然后对每个子直方图分配新的动态范围，最后对每个子直方图进行直方图均衡，该算法在保持图像目标区和背景区亮度均值的同时，提高了图像的对比度，突出图像目标区，使得图像的细节更加丰富，图像整体变得立体饱满。

1 图像分割阈值的选取

在直方图均衡算法中，为了避免高概率灰度对低概率灰度的影响，现将图像的目标区和背景区进行分割，再分别对两个区域进行增强处理，突出图像的细节边缘以及增强图像可视效果。

1.1 传统的Otsu 阈值分割算法

Otsu［13］是一种全局自动阈值技术，常用于图像分割，采用最大类间方差法来计算分割阈值，具体公式为

式中，P0(t)和P1(t)分别为两区域内像素个数占总像素个数的比例，μ0(t)和μ1(t)分别为两区域的像素均值，L表示输入图像总的灰度级数，T为取得最大值时，求得的分割阈值。

1.2 改进的Otsu 阈值分割算法

阈值T的选择是图像分割的关键所在，若阈值T过大或过小，都会将目标区和背景区进行错分，从而导致图像丢失有用信息，不利于后续对目标区和背景区的图像进行增强处理等。因此在传统的Otsu 算法的基础上，文献［11］引入了像素内聚性的概念，若两个像素值越接近，则像素之间的内聚性就越好。具体公式为

式中，P(i)表示第i级灰度像素出现的概率，μ0(t)和μ1(t)分别为两区域的像素均值。

各区域像素与对应区域的均值像素越接近，表示像素之间的内聚性越好，区域内的像素均匀性越好，对图像细节具有很好的识别能力，但由于处于纹理边缘的像素值与周围像素值相差较大，内聚性较差，故该算法在进行图像分割时，会造成图像边缘细节的丢失。

1.3 基于最大熵的阈值分割算法

图像熵用于度量图像的信息丰富度，熵越大，图像越丰富，图像的细节信息保留的越好，表示为

式中，P(i)表示第i级灰度像素出现的概率，利用最大熵［14］对图像进行图像分割能够最大程度保留图像的边缘细节，提高图像丰富度。为了快速找到分割阈值，提高运算速度，YAN He 等［12］提出了以像素均值μ为下限，确定最优阈值分割范围，表示为

式中，E0(t)和E1(t)为两个区域的熵，P0(i)和P1(i)分别为灰度级i在各自区域出现的概率。虽然该分割算法能够最大程度保留图像的纹理细节，提高图像丰富度，但是该算法不能很好地识别出图像的边缘，在进行图像分割时，会造成分割不准确。

1.4 基于方差权重的Otsu 和最大熵阈值分割算法

结合Otsu 算法和最大熵分割算法的优缺点，本文权衡两种算法分割的区域得到方差所占的比重，提出了基于方差权重的Otsu 和最大熵阈值分割算法，引入权重参数δ，自适应地调节阈值的大小，使得算法既能很好地识别图像边缘，又能最大程度地保留图像的纹理细节，提高图像的丰富度，同时增强算法的分割精度和稳定性，即

式中，Th1表示通过改进的Otsu 算法得到的阈值，Th2表示通过最大熵法得到的阈值，δ为权重参数。C0和C1表示图像经阈值Th1分割得到的两区域，和分别表示两区域的方差，D0和D1表示图像经阈值Th2分割得到的两区域，和分别表示两区域的方差。利用改进的Otsu 算法、最大熵算法以及基于方差权重的分割算法分别分割图像couple，fox 和girl，分割结果如图1所示。

图1 不同算法图像分割的效果Fig.1 Effect of image segmentation based on different algorithms

从图1（b）三幅图可以看出，改进的Otsu 算法虽然对图像边缘具有好的识别能力，但会造成图像细节的丢失，如图couple 中的窗帘以及花灯，图fox 中耳朵的轮廓和图girl 中背景墙上的花以及衣服纹理都有不同程度的丢失情况。从图（c）三幅图可以看出，利用最大熵算法进行分割时，虽然增加了图像信息的丰富度，但是对图像纹理边缘的识别不灵敏，如图couple 中的窗帘以及女人的衣服，图fox 中狐狸的眼睛耳朵以及白雪和图girl 中小女孩的脸庞以及桌上的玩具等等都存在着分割不明显的现象，对图像纹理边缘的识别效果不理想。从图（d）三幅图可知，利用基于方差权重的分割算法分割图像时，不仅提高了图像的丰富度，还能够很好地识别图像边缘，提高了图像分割精度，如图中女人的裙子、窗帘、花灯、狐狸耳朵毛发、女孩的脸庞、女孩手臂以及桌上的玩具都能清楚地看出轮廓细节，为后续的图像增强处理提供了保障。

2 分区域直方图均衡化

根据上一节算法求得阈值Th，将原始直方图分成背景区域和目标区域，再分别求出两区域的亮度均值e1和e3，将Th、e1、e3作为分割点最终将原始直方图分成四个部分。设四个子直方图的范围为[e0∶e1]，[e1∶e2]，[e2∶e3]，[e3∶e4]，其中e0和e4分别表示最小和最大的灰度值，e2=Th。然后以每个子直方图的非零区间作为参数的重点因子，分配新的动态范围，最后，独立地均衡每个子直方图，总体流程图如图2所示。

图2 总体流程图Fig.2 Overall flow chart

结合ABDULLAH-AL-WADUD M 提出的DHE 算法，重新分配灰度的动态范围。

计算第j个子直方图的范围，j∈[1，2，3，4]，表示为

式中，ej为每个子直方图的最大灰度值，ej-1为每个子直方图的最小灰度值。

计算分配后第j个子直方图的动态范围，

式中，rangej表示第j个子直方图的动态范围，factorj为重点因子，使新的动态范围更加均匀，Nj为第j个子直方图内的像素个数，Mj为第j个子直方图内的像素种类数。

利用每个子直方图的动态范围，计算每个子直方图的灰度区间。若每个子直方图的灰度区间为[startj，endj]，其中第一个子直方图的灰度区间为[0，range1]，

对每个子直方图进行直方图均衡，得到输出图像为

式中，nk为灰度级为k的个数，Dj为第j个子直方图的像素总个数。

3 结果分析

本节将从主观评价和客观评价两方面对图像的质量进行评估。主观评价是直接通过人眼来对显示的图像进行判断。客观评价是通过图像质量评价指标来判断图像显示质量，包括均方误差（Mean Square Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、信息熵E、结构相似度（Structual Similarity，SSIM）、绝对均值误差AMBE。

3.1 主观评价

利用本文算法与MMBEBHE、MEMBHE、QDHE、IPDHE 算法分别处理图像fox 和图像girl，处理结果如图3、4所示。图像fox，girl 在经过MMBEBHE 算法处理后虽然图像的对比度得到了相应的提高，但是图像出现局部的过增强，图3（b）中狐狸鼻梁处太亮导致这部分图像区域出现失真的情况，甚至出现了白块。在图4（b）中，图像整体亮度低，小女孩的鞋子以及左手臂的像素偏低，使得这部分区域的图像与地以及背景墙的相关区域混为一体，导致局部图像的轮廓以及边缘细节不清晰。经MEMBHE 算法处理后虽然增加了图像的丰富度，但图3（c）中狐狸的眼睛全变黑了，造成了细节的丢失，狐狸耳朵周围的毛发也从白色变成黑色，造成了局部区域的失真。在图4（c）中，虽然图像的对比度得到了一定的提高，但是图像整体偏暗，不能使得图像纹理很好地突显出来，影响了图像视觉效果。经QDHE 算法处理后，图3（d）中狐狸的脸和白雪以及图4（d）中小女孩的头发和背后的玩具出现了大面积的伪影，严重影响图像的质量。经IPDHE 算法处理后，图3（e）中狐狸脸庞轮廓分明，但是图像整体偏暗，狐狸的眼睛以及耳朵周围的细毛变成了黑色，细节造成丢失并且引入了少量的噪声。经本文算法处理后，图3（f）中图像对比度得到明显的提高，尤其是狐狸的脸轮廓分明以及耳朵周围的毛发纹理清晰可见，在保证图像细节不丢失的情况下，大大提高了图像的可视化效果。图4（f）中背景墙上面的条纹变得更加清楚，整体的图像也变得明亮，与图4（e）相比图像更加的立体饱和，增加了图像的丰富度。

图3 不同算法处理图像fox 效果图Fig.3 Effects of different algorithms on image fox

图4 不同算法处理图像girl 效果图Fig.4 Effects of different algorithms on image girl

同时可以通过处理后的图像直方图来说明本文算法的优越性，以图fox 的直方图为例，如图5所示，原始直方图在经过基于方差权重的分割算法将图像明显分割成两大区域，即目标区和背景区，直方图左侧表示目标区，右侧表示背景区，再根据两个区域的均值最后将直方图分成了四个部分。由于图fox 为亮图像，故在Part Ⅰ和Part Ⅱ的像素个数较少，这两部分通过直方图均衡化处理进行拉伸，使得图像的边缘细节部分变得丰富，图fox 的细毛纹理清晰可见。直方图Part Ⅲ和Part Ⅳ的图像内容为白雪以及fox 身上的白毛，在经过直方图均衡化处理后，像素的灰度级进行了拓宽，使得整体图像在保持目标区和背景区的亮度均值不变的情况下，提高了图像的对比度，图像fox 轮廓清晰分明。

图5 图像fox 的直方图Fig.5 Histogram of image fox

3.2 客观评价

3.2.1 熵E

熵用于度量图像的信息丰富度，熵变小，表明图像的灰度出现合并情况，则信息的丰富度变小；熵变大，表明图像包含的信息变得更加丰富，细节纹理更加清晰，如式（6）。

3.2.2 峰值信噪比PSNR

峰值信噪比［15］用于度量图像增强效果，峰值信噪比越大，图像的增强效果越明显，对比度就越高，表示为

式中，MSE 表示均方误差，X(i，j)表示输入图像，Y(i，j)表示输出图像，N表示图像总的像素个数，max(Y(i，j))表示输出图像最大灰度级。

3.2.3 结构相似度SSIM

结构相似度［16］用于度量输出图像和输入图像的相似程度，SSIM 越接近1，说明输出图像与输入图像越相似，图像处理效果就越好，计算公式为

式中，μX，μY分别表示输入图像X与输出图像Y的灰度平均值，σX表示输入图像X的标准方差，σY表示输出图像Y的标准方差，σXY为协方差的均方根，C1，C2均为常数。

本文采用信息熵差ΔE、峰值信噪比PSNR、以及结构相似度SSIM 来对亮暗不同的123 张图像进行评估，评估结果如表1、表2所示。

表1 不同HE 算法增强后图像的ΔE 和PSNR 值Table1 The ΔE and PSNR values of enhanced images by different HE algorithms

表2 不同HE 方法增强后图像的结构相似度Table 2 Structural similarity of images enhanced by different he methods

通过对不同123 张图像进行信息熵、峰值信噪比以及结构相似度的比较，从表1 可以看出，经本文算法增强后图像较MMBEBHE、MEMBHE、IPDHE 算法增强后图像峰值信噪比分别提高了45.5%、26.6%、25.6%，经算法QDHE 处理后的图像出现了大量的噪声，图像增强效果极差。输入图像与输出图像之间的熵差最小的是本文算法，较MMBEBHE、MEMBHE、QDHE 算法熵差分别减少了24.6%、28.3%、59.5%。说明了经过本文算法处理后的图像细节丢失更少，图像的纹理边缘更加地清晰，图像信息更加丰富。从表2可以看出，经本文算法增强后图像的结构相似度更加地接近1，较QDHE 算法图像的相似度提高了43.9%，说明了图像在增强的过程中引入的噪声更少，出现过增强和欠增强的情况也更少，在保留图像信息的同时提高了图像的可视效果，使得图像看起来更加地饱满立体。

3.3 样机实验验证结果

采用分辨率为648×480，灰阶为64 级的5.84 寸单色电润湿显示器对本文增强算法进行验证。将图片fox 和图片girl 在电润湿显示器上进行验证，如图6所示，可以看出图片fox 和图片girl 在电润湿显示屏上显示效果不佳，但经过本文算法处理后，图片fox 和图片girl 却在电润湿显示器上变得清晰可见，如图6（b）、（d）所示，轮廓分明，图像也变得更加的饱满，图像对比度得到了显著的提升。从图6（b）可知，fox 的脸轮廓相较于图6（a）更加的明显，耳朵上面的细毛清晰可见以及鼻头周围的胡须黑在视觉上也能看到，在图3（a）中可以看到狐狸眼睛上面有一颗小黑痣，但在电润湿显示屏显示时，这颗痣消失了。经过本文算法处理得到的图3（f）在电润湿显示器显示时，可以很清楚地看见这颗痣，使得图像细节得到了保留。在图6（c）中，背景墙上的条纹，小女孩袖子上面的方格图案以及手臂在电润湿显示屏上显示时造成边缘细节的丢失，使得图像细节显示不清，而图6（d）可以看出背景墙上的条纹更加明显，方格图像的对比度也提高了以及手臂的轮廓也变得清晰，图像变得更加的丰富。通过验证，本文算法适用于电润湿显示器显示，该算法不仅增强了图像的对比度，还提升了图像显示效果。

图6 单色电润湿显示器显示效果对比图Fig.6 Comparison diagram of display effect of monochrome electrowetting display

4 结论

针对电润湿电子纸油墨破裂、电荷捕获、接触角迟滞等技术上的问题造成图像对比度不高，细节丢失，边缘模糊甚至图像失真等现象，很大程度上影响电润湿显示器的显示效果，对此，本文提出了基于图像分割和动态直方图均衡的电润湿显示器图像增强算法，该算法综合了Otsu 和最大熵阈值分割算法的优点，提出了基于方差权重的Otsu 和最大熵阈值分割算法，利用该分割算法将图像分割为背景区和目标区，将图像的目标区以及背景区分割开来，进行针对性的增强处理，避免了图像局部区域出现欠增强和过增强的情况，使得增强后的图像更加有层次感，细节纹理更加清晰。通过Matlab 平台对本文算法进行仿真，结果表明，本文算法与其他改进的直方图均衡算法相比，图像质量评价指标PSNR 提高约25.6%～45.5%，熵差ΔE降低约29.1%，SSIM 更接近1，图像的轮廓更加清晰可见，图像的对比度得到很大地提升，图像内容也变得更加的丰富，进一步增强了视觉效果。本文算法能够增强电润湿显示器显示效果并且适用于电润湿显示器显示。