基于局部对比度优化的教学视频图像增强方法

张明军 俞文静 王影

关键词： 教学视频; 图像增强; 对比度优化; 块效应; 引导滤波; 伪薄雾

中图分类号： TN911.73?34; TP391              文献标识码： A                    文章编号： 1004?373X（2019）02?0075?05

Teaching video image enhancement method based on local contrast optimization

ZHANG Mingjun， YU Wenjing， WANG Ying

（South China Institute of Software Engineering， Guangzhou University， Guangzhou 510990， China）

Abstract： In allusion to the low contrast of the recorded teaching video images or the false haze caused by devices， a local contrast optimization enhancement method is proposed. The contrast enhancement is conducted for image blocks by using the unsharp masking method. The constraint condition of the gain factor is set to obtain the maximum contrast and the optimal value. The guiding filtering is used for optimization of the gain factor to solve the block effect problem caused by blocking enhancement. The experimental results show that the method can effectively enhance the teaching video images with quality degradation， and has a good enhancement effect and efficiency.

Keywords： teaching video; image enhancement; contrast optimization; block effect; guiding filtering; false haze

0  引  言

录制课堂教学视频是当前教育信息化和教学改革的重要手段之一，而录制环境和设备却影响着录制视频的效果。由于光照度及摄像头等成像设备的制约，视频图像经常出现分辨率降低，视觉效果较差等现象。因此，图像增强在教学视频图像处理中具有重要的应用价值。

目前，针对图像的增强和恢复，研究人员提出了很多方法。Pizer等人提出对比度受限直方图均衡化（CLAHE）算法[1?2];Land基于人眼视觉特性提出了Retinex算法[3]，针对该算法中的入射分量估计进行了改进;文献[4]提出了单尺度Retinex算法;文献[5]提出了多尺度Retinex算法;He等人提出了暗通道先验方法[6]，并借助图像软抠图算法，对大多数户外图像都能获得很好的去雾效果，但图像软抠图具有较高的时间和空间复杂度;因此He等人提出了引导滤波方法[7]来替代图像软抠图的部分，提高了该算法的效率。此外，很多学者以上述算法为基础针对具体应用也提出了很多方法[8?12]。

教学视频图像不够清晰的原因主要是拍摄场景照度较低，且拍摄以及投影设备的影响导致画面对比度低或似乎有薄雾的感觉（伪薄雾）。本文针对这种图像，在图像退化模型的基础上，提出一种利用反锐化掩模方法对视频图像进行局部对比度优化的增强算法。首先对图像局部对比度增强，通过约束并求取每个图像块的最优增益因子，既要保证图像块的最大对比度，也要满足不因为过增强而丢失信息，然后为了解决分块增强导致的块效应，采用引导滤波对增益因子进行优化。实验结果表明，本文方法对普通的降质图像以及教学视频图像具有较好的增强和恢复能力，具有较好的效果和效率。

1  本文算法

1.1  图像退化模型

在计算机视觉中，常用的图像退化模型[6，13]为：

[X（i）=t（i）F（i）+（1-t（i））A]  （1）

式中：[Xi=XRi，XGi，XBiT]为观察到的图像;[Fi=FRi，FGi，FBiT]为未退化的图像;r，g，b表示位置i处的像素的三个分量;[A=AR，AG，ABT]为周围环境中的大气光;[ti∈[0，1]]为反射光透射率，由场景点到相机镜头的距离决定，通常光传播距离越远而越分散便越弱。

1.2  局部对比度增强模型

依据反锐化掩模方法（Un?sharp masking）[14]可知，对于图像[X={x1，x2，…，xN}]的增强，有：

[F=X+CX-A]  （2）

式中：[F={f1，f2，…，fN}]为增强后的图像，[A={a1，a2，…，aN}]为原图像X的低频分量，则[X-A]为图像X的高频分量，C为增益因子，当C>0时，图像X得到增强。

由式（2）得：

[X=11+CF+1-11+CA]    （3）

令[t=11+C]，则[ t∈（0，1）]，可知式（3）符合图像退化模型。

由于图像局部信息的差异，导致使用同样的C值进行增强，可能导致部分区域增强未达到最优，部分区域则过增强而丢失信息。因此，对图像分块进行增强，每块选取不同的C值，能解决上述问题。图像块p的增强有：

[Fp=1tXp-Ap+Ap] （4）

由式（4）可知，一般原图像对比度都比较低，而增强后的图像块的对比度则随着t值变小而增大，因此，需要估计最优的t值而使得增强后的图像块具有最大的对比度。

1.3  增益因子估计

依据图像对比度度量的方法[11]，采用均方误差对比度[CMSE]：

[CMSE=i=1KFpi-Fp2K] （5）

式中：[Fp]为[Fpi]的平均值;K为图像块p中的像素个数。

由式（4）和式（5）有：

[CMSE=i=1KXpi-Xp2t2K] （6）

式中，[Xp]为[Xpi]的平均值。

对于彩色图像，[Xpi=XRpi，XGpi，XBpiT]，不妨记为[XColpi]。将RGB三个通道的对比度求和，有：

[Econtrast=Col∈R，G，Bi∈pXColpi-XColp2t2K] （7）

由此可知，对比度[Econtrast]是关于t的递减函数。

假设增强后的图像不能存在像素值上溢和下溢而产生信息损失，那么：

[minCol∈R，G，Bmini∈pFColpi≥0maxCol∈R，G，Bmaxi∈pFColpi≤255] （8）

将式（4）代入式（8）中，则t需满足如下两个约束：

[t≥minCol∈R，G，Bmini∈pXColpi-AColp-AColpt≥maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp] （9）

由式（9）可得一个约束：

[t≥maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp，                 maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （10）

由式（7）可知，t取最小值则有最大对比度，但t需同时满足式（10），则t为最优值。令[t*]为最优值，则有：

[t*=maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp，                  maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （11）

1.4  增益因子优化

由式（11）可知，每个图像块都可求出该块的增益因子，即每个图像块中的所有像素具有相同的增益因子，而每个图像块中的像素是变化的，特别是具有边缘信息的图像块，其像素变化十分明显，使用相同的增益因子有可能使得边缘信息无法全部表现，而且可能产生块效应。为了解决上述问题，本文采用引导滤波[7]对增益因子进行优化，假设在以像素点l为中心，半径为r的方形窗口[Pl]中，有：

[ti=αTlXi+βl，    i∈Pl]   （12）

式中：引导图像[Xi]为原图像;输出图像[ti]为优化后的增益因子图像（即所有增益因子构成的矩阵）;[αTl=αRl，αGl，αBlT]是颜色取值向量;[βl]是偏移量，在窗口[Pl]中是固定值。由式（12）可知，因[Δt=αTΔX]，线性关系保证了[t]会产生与引导图像X相同的边缘。

对于窗口[Pl]，通过搜索出线性因数[αl]和[βl]的最优解[α*]和[β*]使得输入图像[t（i）]与输出图像[t（i）]的差值最小，即：

[α*，β*=argmintαl，βli∈Plti-ti2] （13）

通过线性回归分析可得：

[α*=1ωi∈PlXiti-μltlσ2l+εβ*=tl-αlμl] （14）

式中：[ω]是窗口[Pl]中的像素总数;[σ2l]和[μl]分别表示窗口[Pl]中X的方差和平均值;[tl]是窗口[Pl]中[ti]的平均值;[ε]是調整参数。

由于窗口在图像中逐像素的移动，则像素i可能存在于多个窗口中。对于不同的窗口，[αl]和[βl]的取值不同，则[ti]也不同，解决方法为：选取像素值方差最小的一个窗口作为最佳窗口，求取[ti];若存在多个最佳窗口，则求这些窗口的平均值，即：

[αi=1θl∈Piαlβi=1θl∈Piβl] （15）

式中，[θ]为像素i所在窗口的数量。依据式（12）有：

[ti=αiIi+βi]    （16）

1.5  算法流程

其中低频图像A的求取可采用低通滤波，本文采用高斯滤波。根据低频图像和优化后的增益因子，代入式（4）可对输入的图像进行增强。根据式（1）可知，当t趋近于0时，则原图像趋近为模糊的低频图像，并且根据He等人的建议[6，13]，增益因子小会导致噪声放大，因此，本文对增益因子下限进行约束，取下限[t0=0.1]，则由式（4）有：

[Fp=Xp-Apmax t（i），t0+Ap]   （17）

式中，[t（x）]为优化后的增益因子。此外，为了校正颜色显示偏差，本文进行了gamma校正。

2  实验结果及分析

为了检验本文算法对教学视频图像增强的有效性，在普通计算机上实现了该算法，实现环境为Windows 10系统，Visual Studio 2013以及OpenCV 2.4.12，CPU为Intel[?] Core（TM） i7?5500U，RAM为4 GB。同时，将本文算法运行结果与He算法[6]，多尺度Retinex算法[5]和CLAHE算法[2]进行比较。

2.1  主观比较评价

选取了4张不同类型的图片，其中straw和dolls为常用测试的有雾图像，另外slide1和slide2为实拍的教学图像，如图2所示，并给出了各算法的增强效果。从图2可知，He算法、CLAHE算法和本文算法都具有较好效果，由于未对Retinex进行相关优化处理，因此效果较差。本文算法与He算法相当，但在图像细节和色调上具有更好效果。从两张教学图像的增强效果来看，本文算法能有效提高投影内容的对比度，对教学视频的质量改善打下良好基础。

2.2  客观比较评价

目前应用最为广泛的图像质量盲评审[15]指标包括：e表示原图像与恢复图像的可见边集合的数量比;[r]为可见边的规范化梯度均值;[σ]是饱和黑色或白色像素点的百分比（本文计算饱和黑色像素的百分比）。增强算法的目的是提高图像的对比度，增加视觉信息，因此e和[r]值越大，[σ]值越小，则说明算法的效果越好。表1为四种算法增强图像得到的3个客观质量评价指标结果。

从表1可知本文算法的e和[r]两项指标与其他算法比较均较好，在有些图像中的表现优于其他算法。而本文算法在[σ]指标上与其他算法比较则略差，其主要原因在于本文算法增强图像后亮度较低，而算法将图像对比度增强至最大，导致饱和的黑色像素增多，因此导致[σ]值相对较大。综合来看，本文算法对提高图像质量是非常有效的。

为了更好地检验本文算法对视频教学图像增强的有效性，对实拍的slide1和slide2两张教学图像再从标准差和平均梯度2个客观指标进行比较评价，表2为评价指标结果。其中，标准差反映图像的对比度，其值越大，表示对比度越大;平均梯度反映图像的清晰度，其值越大，表示图像越清晰。

由表2可知，本文算法在标准差和平均梯度两个指标上均超过原图，与其他算法比较，本文算法也仅有平均梯度指标略差于CLAHE算法。由此可知，本文算法对教学视频图像增强具有较好效果。

2.3  运行时间

算法的运行时间是其有效性和实时性的重要指标之一。本文算法与其他3种算法的运行时间比较如表3所示，表中数据是各算法测试10次的平均值。

由表3可知，本文算法的運行时间与CLAHE算法、He算法相当，明显小于Retinex的运行时间。另外，依据视频的帧频可知，以slide2的运行时间为例，该分辨率下的1 s的视频帧（按30帧计算）的处理时间远小于1 s，因此本文算法完全可以对教学视频的序列图像进行实时增强处理。

3  结  语

本文提出一种局部对比度优化的图像增强方法。该方法在反锐化掩模方法的基础上对图像分块进行对比度增强，为求取最大对比度，设定增益因子的约束条件，并求得最优值。同时为解决分块增强带来的块效应，又采用引导滤波对增益因子进行优化。实验结果表明，该方法在主观和客观两个方面都有较好表现，而且执行效率较高，由此可知，该方法能够满足教学视频图像的增强，具有较好的实用性。

参考文献

[1] ZIMMERMAN J B， PIZER S M， STAAB E V， et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement [J]. IEEE transactions on medical imaging， 1988， 7（4）： 304?312.

[2] ZUIDERVELD K. Contrast limited adaptive histogram equalization [M]. San Diego： Academic Press Inc， 1994： 474?485.

[3] LAND E H. Recent advances in retinex theory and some implications for cortical computations： color vision and the natural image [J]. Proceedings of the National Academy of Sciences， 1983， 80（16）： 5163?5169.

[4] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround retinex [J]. IEEE transactions on image processing， 1997， 6（3）： 451?462.

[5] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing， 1997， 6（7）： 965?976.

[6] HE K， SUN J， TANG X. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（12）： 2341?2353.

[7] HE K， SUN J， TANG X. Guided image filtering [J]. IEEE transactions on pattern analysis & machine intelligence， 2013， 35（6）： 1397?1409.

[8] 杨有，李波.CLAHE和细节放大相结合的档案图像增强方法[J].中国图象图形学报，2011，16（4）：522?527.

YANG You， LI Bo. A method of document image enhancement based on the combination of CLAHE and detail amplifying [J]. Journal of image & graphics， 2011， 16（4）： 522?527.

[9] 邵振峰，白云，周熙然.改进多尺度Retinex理论的低照度遥感影像增强方法[J].武汉大学学报（信息科学版），2015，40（1）：32?39.

SHAO Zhenfeng， BAI Yun， ZHOU Xiran. Improved multi?scale retinex image enhancement of under poor illumination [J]. Geomatics and information science of Wuhan University， 2015， 40（1）： 32?39.

[10] 肖进胜，高威，邹白昱，等.基于天空约束暗通道先验的图像去雾[J].电子学报，2017，45（2）：346?352.

XIAO Jinsheng， GAO Wei， ZOU Baiyu， et al. Image dehazing based on sky??constrained dark channel prior [J]. Acta Electronica Sinica， 2017， 45（2）： 346?352.

[11] 马康，崔子冠，干宗良，等.基于图像融合策略的Retinex背光图像增强算法[J].计算机技术与发展，2017，27（8）：73?78.

MA Kang， CUI Ziguan， GAN Zongliang， et al. Backlight image enhancement algorithm of Retinex based on image fusion strategy [J]. Computer technology and development， 2017， 27（8）： 73?78.

[12] 曾接贤，余永龙.双边滤波与暗通道结合的图像保边去雾算法[J].中国图象图形学报，2017，22（2）：147?153.

ZENG Jiexian， YU Yonglong. Image defogging and edge preserving algorithm based on dark channel prior and bilateral filtering [J]. Journal of image and graphics， 2017， 22（2）： 147?153.

[13] KIM J H， JANG W D， SIM J Y， et al. Optimized contrast enhancement for real?time image and video dehazing [J]. Journal of visual communication & image representation， 2013， 24（3）： 410?425.

[14] 杨词银，尚海波，贾晨光，等.基于区域分割的自适应反锐化掩模算法[J].光学精密工程，2003，11（2）：188?192.

YANG Ciyin， SHANG Haibo， JIA Chenguang， et al. Adaptive unsharp masking method based on region segmentation [J]. Optics and precision engineering， 2003， 11（2）： 188?192.

[15] 郭璠，蔡自兴.图像去雾算法清晰化效果客观评价方法[J].自动化学报，2012，38（9）：1410?1419.

GUO Fan， CAI Zixing. Objective assessment method for the clearness effect of image defogging algorithm [J]. Acta Automatica Sinica， 2012， 38（9）： 1410?1419.