基于Retinex的视频自适应增强算法

侯天峰等

摘 要： Retinex算法是图像增强的常用方法。基于Retinex理论提出一种新的视频光照增强算法，结合图像全局及局部灰度特性引入补偿系数，增强暗区域光照的同时克服了传统算法处理后的人工痕迹，使处理结果更加自然；同时，算法用引导滤波估计照度图像，在避免光晕现象的同时可以加快算法处理速度。实验结果表明，该方法简单有效，视觉效果提升显著。

关键词： Retinex； 图像增强； 光照补偿； 引导滤波

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2015）17?0068?04

Retinex?based self?adapting enhancement algorithm for videos

HOU Tianfeng1， CHENG Hesheng2， ZHANG Yan1

（1. School of Information Science and Engineering， Jinling College of Nanjing University， Nanjing 210000， China；

2. School of Computer， Hefei Normal University， Hefei 230601， China）

Abstract： Retinex algorithm is a common image enhancement method. Based on Retinex theory， a new video illumination enhancement algorithm is proposed， in which the compensation factor is introduced in combination with global and local grayscale characteristics of images. It can enhance the illumination in dark areas and overcome the artificial marks on images processed by traditional algorithms， which can make the processing results more natural. The guided filtering is applied to estimation illumination image by the algorithm， which can avoid halo phenomenon and accelerate the processing speed of the algorithm. The experimental results show that this method is simple and effective， with which the visual effect is promoted obviously.

Keywords： Retinex； image enhancement； illumination compensation； guided filtering

0 引 言

视频采集过程受诸多因素影响，如夜间或者暗光拍摄条件下表现为光照不足、亮度偏低；光线遮挡使得形成的图像一部分明亮另一部分较暗，造成光照不均；反光或强光源使得获取的图像亮度分布不均勾，高亮区域细节模糊。光照不足或者光照不均一方面会造成图像主观效果不佳，难以满足人们视觉感官的需要，另一方面对于后续的图像处理比如模式识别[1]、目标跟踪都会造成较大影响。由此出现图像增强技术对光照不均图像进行增强处理提高质量。

图像增强技术根据图像质量情况和不同的应用釆用信号处理技术手段达到增强局部或者整体特征的目的[2]。针对光照不均匀图像的增强处理，常常采用的算法主要有：灰度变换方法[3]、同态滤波方法[4]、小波变换增强[5]、基于Retinex理论的算法[6]等。其中，基于Retinex理论的增强算法具有颜色保真、细节增强和动态范围压缩等多个方面的优势，它常常与其他算法结合使用可以达到更好的增强效果，目前已广泛应用于航空航天、生物医学、电视电影等多个方面，占据比较重要的地位。

自20世纪70年代Retinex理论提出以来，得到了很大的发展和关注。从采用同态滤波器的Retinex算法，到后来又出现了中心环绕Retinex，包括单尺度Retinex（SSR）和多尺度Retinex（MSR）以及带颜色恢复的Retinex（MSRCR）算法等。Michael Elad引入两种双边滤波器[7]，一个滤波器处理图像的反射分量，另一个滤波器对图像的入射分量进行估计，算法对边缘处的增强效果也较好，在消除“光晕”方面有了一定效果。文献[8]又提出了一种亮度修正的Retinex算法，算法将Canny算子和Retinex算法结合起来，算法首先对入射分量分析，接着采用Canny算子检测图像边缘信息，该算法能够有效消除“光晕”现象。文献[9]提出了局部多尺度的Retinex算法，将小波变换和Retinex算法结合起来，实现了图像色彩保真与细节增强两者之间的权衡[10]。文献[11]将图像转换到HIS空间对亮度和饱和度进行调整，同时加入影像边缘细节特征。陈志斌等人针对烟雾区域灰度建立专门数学模型，利用信息熵进行灰度拉伸[12]。文献[13]基于Retinex框架在小波域自适应估计照度分量。

上述改进主要关注于消除Retinex处理“光晕”现象、边缘的增强以及图像对比度的提升，忽略了处理所造成的人工痕迹明显以及时间效率等问题。本文对基于Retinex理论的算法进行研究，考虑日常影视及移动设备拍摄视频的增强处理要求，提出一种新的方法，使需要增强图像区域看起来更加自然，而对于无需增强的图像区域，处理后也不会变得更差。另外通过引入引导滤波使得算法满足实时应用要求，同时消除光晕。实验结果表明本文算法是切实有效的。

1 Retinex算法简介

Retinex理论算法模型把原图像分解为反射分量和入射分量，反射分量决定图像的内在性质，而照射分量决定图像达到的动态范围，通过某种方法估计出图像的低频光照信息，进而提取出图像的反射分量，也就是图像的细节信息，还原物体的原貌。

虽然不同的文献对Retinex算法的数学表达形式可能不同，但实际上它们是相似的，都是通过对照度图像尽可能准确地估计进而提取反射图像，最终达到增强图像的目的。不同之处在于对照度图像估计方式的不同。

Retinex理论算法数学模型为：

[S（x，y）=R（x，y）?L（x，y）] （1）

式中：[R]表示入射分量，它决定物体的内在性质；[L]表示照度分量，它决定了图像像素的动态范围。

通常需要将式（1）变换到对数域处理，一方面可以将复杂的乘法运算转换为简单的加法运算，另一方面对数域的数据更加接近人眼的感知能力。对式（1）两边取对数得：

[log（S（x，y））=log（R（x，y））+log（L（x，y））] （2）

直接获得物体的反射分量较困难，但是可以通过先对照射分量进行估计，然后在对数域上用原图像减去估计出的照射分量，最后得到反射分量。通常用低通滤波器对原始图像进行卷积估计照度分量图像，Jobson证明了采用高斯滤波函数可以得到较好的增强效果：

[G（x，y）=1G（x，y）dxdye-x2+y2c2] （3）

式中：[c]为尺度参数，通过调节[c]的大小调节增强效果。实验表明，[c]越大，图像的边缘信息得到较好的保留，但是动态范围压缩较小；[c]越小，动态范围能够得到较好的压缩，但边缘比较模糊。

Retinex虽然能够在一定程度上增强图像，但是它存在处理后的图像亮度偏高、“光晕”及处理后图像出现色偏等问题。“光晕”存在的原因在于“空间照度变化缓慢”的假设在图像中某些部分是不成立的，比如说明暗分明的边界、阴影等区域。算法在计算图像的全局照度分布时所采用的高斯卷积核是各向同性的，而且为防止结果图像颜色的失真，要求采用的卷积核尺度较大。当尺度较大的卷积核通过明暗变化剧烈的区域时，将会严重模糊阴影的边界致使模拟全局照度分布失败，最后将导致输出图像的阴影边界附加出现“光晕”现象，细节信息也丢失。

另外生成照度分量所用的低通滤波器通常选择高斯滤波，为了抑制光晕，一些文献提出使用双边滤波代替高斯滤波。这两种滤波器带来的卷积运算量都和滤波器支撑域成正比，大尺度卷积核会使运算量急剧增加，使处理过程缓慢，不能满足实时视频处理的要求。

2 基于Retinex的视频自适应增强算法

虽然双边滤波等边缘保持滤波器能抑制“光晕”现象，但时间复杂度较高；而其他的算法如考虑边缘特性的各向异性算法[14]虽然能解决问题，但稍显繁杂。而且Retinex处理后的图像很多时候人工痕迹较为明显，典型表现为图像明亮区域抑制过多，图像暗区域增强太过，会出现色彩失真等不自然效果，如图1（b）和图2（b）所示，图1，图2在天空、道路及灯光处都显得失真，Artifact明显。

考虑自然图像的增强，往往更关注暗区域部分，而对于高光区域，如果压缩太多，会使图像显得不真实；另外对于非光照不足或光照不均图像，算法处理的结果不应该变差。为此本文考虑实际应用中，对于处理结果自然度方面的要求较为重要，提出一种视频增强算法，利用引导滤波消除“光晕”和提高速度，满足实时处理要求；结合图像全局及局部灰度特性避免明显的人工痕迹，达到自适应处理需要增强的图像区域，同时不会影响视频中其他正常图像或区域质量的目的，取得较高的视觉效果。

2.1 结合全局及局部灰度特性的自适应Retinex

对于光照增强而言，一个自然的想法是对原始图像中相对暗的区域加强补偿，而对原始图像中相对明亮的区域减少处理，从而在补偿光照的同时减少Artifact，因此，可以利用图像灰度特性改善Artifact。

图像的灰度特性可以直接通过像素颜色值大小反映，针对视频光照补偿的应用，本文研究提出一种补偿系数：

[cf（x，y）=minmaxk?meanvS（x，y），0，1] （4）

式中：[k]为经验常量，[k∈（0，1）；][S（x，y）]为原始图像的像素值；[meanv]是图像全局均值；[min]和[max]为截断操作，保证计算出的系数范围在[（0，1）]内。

上述补偿系数综合考虑了图像的整体像素亮度及局部像素亮度。整体颜色均值[meanv]大小代表全局灰度特性，整体上较暗的图像，处理后不自然度就越大，需要稍降低补偿力度，因此[meanv]与[cf]成正比；局部像素点的亮度即局部灰度特性，局部暗的像素重点增强，因此[S（x，y）]与[cf]成反比，据此两方面自适应设置增强力度。对于实验部分图5（a），其补偿系数分布图如图3所示。

将式（4）代入式（3），可以得到新的计算公式：

[rcf（x，y）=cf（x，y）?r（x，y）+（1-cf（x，y））?S（x，y）] （5）

2.2 基于引导滤波的照度分量估计

引导图像滤波器由He提出[15]，具有边缘保持性质，滤波器与引导图像[I]、滤波输入图像[p]以及输出图像[q]相关，[I]和[p]预先给定，可以相同。滤波结果在像素点[i]处表示成一个加权平均：

[qi=jWij（I）pj] （6）

式中：引导图[I]和滤波输出[q]是一个在窗口[ωk]内的局部线性模型：

[qi=ak?Ii+bk， ?i∈ωk] （7）

[ak]和[bk]是当窗口中心位于[k]时上面的线性函数的系数。在该滤波算法中，影响效果的有两个参数[r]和[ε]。[r]是窗口[ωk]的半径，[ε]用于界定图像局部颜色值变化大小，在窗口大小保持不变的情况下，[ε]越大，滤波效果越明显。

利用引导滤波估计照度图像，可以做到算法执行时间与滤波核尺寸无关。

[Li=ak?Si+bk] （8）

3 实验

文中所有实验图像来自手机拍摄视频和影视片段，转换到YUV格式进行处理。手机拍摄视频尺寸为1 280×720，影视片段均从网络电影无损截取。实验环境为Window 7系统的PC机，利用Matlab R2010b进行编程和算法运算。所有算法均调整至最佳效果。

为了充分验证所提算法的有效性，本文进行了大量实验，下面选取几组进行对比评价。

图4为电影开头画面。图4（b）为用高斯滤波估计照度图像的处理结果，滤波核尺寸为32×32，可以看到在明暗分明的边界（红色矩形框区域），出现了“光晕”，这是由于高斯卷积引起照度图像边界模糊导致的；图4（c）为用引导滤波计算照度图像的结果，因为具有边缘保持性，所以可以较好地消除“光晕”，但对图像高亮区域不合理的抑制，导致处理结果失真（红色箭头指向区域）；图4（d）为本文改进算法，引入补偿系数，在增强较暗区域的同时可以使处理后图像更加自然；图4（e）为补偿系数分布图像。

图5和图6同样为两组影视截取画面，图5为综艺节目《爸爸去哪儿》，整体偏暗，图6为电影《木乃伊3》，存在高光区域。图5（b）为使用引导滤波的原算法，在天空、道路及屋檐灯光处人工痕迹明显，图5（c）为改进算法处理结果，在增强光照的同时可以保持一种很自然的风格；图6（b）在洞口高光及佛像处显得不自然，而图6（c）视觉效果更胜一筹。

4 结 语

本文着眼于视频光照增强处理的实际应用要求，基于Retinex理论自适应补偿系数消除人工痕迹保持自然度，利用引导滤波加快处理速度及避免“光晕”，满足日常影像处理的需求。下一步的工作将关注视频光照补偿所产生的帧间亮度闪烁问题，以及图像自然程度的定量衡量指标。

参考文献

[1] 肖燕峰.基于Retinex理论的图像增强陝复算法研究[D].上海：上海交通大学，2007.

[2] YU Z Y， BAJAJ C. A fast and adaptive method for image contrast enhancement [C]// Proceedings of 2004 IEEE International Conference on Image Processing. Chicage： IEEE， 2004， 2： 1001?1004.

[3] 梁琳，何卫千，雷蕾，等.光照不均图像增强算法综述[J].计算机应用研究，2010，27（5）：1625?1628.

[4] 焦竹青.基于同态滤波的彩色图像光照补偿万法[J].光电子·激光，2010，21（4）：602?605.

[5] ZAFAR I M， ABDUL G， MASOOD S A. Satellite image resolution enhancement using dual?tree complex wavelet transform and Nonlocal means [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（3）： 451?455.

[6] 蒋永馨，王孝通，徐晓刚，等.一种基于光照补偿的图像增强算法[J].电子学报，2009，37（z1）：151?155.

[7] ELAD M. Retinex by two bilateral filters [C]// Proceedings of 2005 the 5th International Conference on Scale?Space. Germany： Springer， 2005： 217?229.

[8] SUN Bo， CHEN Weifang， LI Hongyu， et al. Modified luminance based adaptive MSR [C]// Proceedings of 2007 the 4th IEEE International Conference on Image and Graphics. Washington， DC： IEEE， 2007： 116?120.

[9] 吴镇宇，姚洪利，杜少军.一种自适应的雾天降质图像凊晰化方法研宄[J].光电与控制，2010，17（8）：52?56.

[10] 刘钦堂.基于Retinex算法的彩色图像增强研究[D].哈尔滨：哈尔滨工程大学，2012.

[11] 邵振峰，白云，周熙然.改进多尺度Retinex理论的低照度遥感影像增强方法[J].武汉大学学报，2015，40（1）：32?39.

[12] 陈志斌，张超，宋岩，等.灰度拉伸Retinex在大动态范围烟雾图像增强中的应用[J].红外与激光工程，2014，43（9）：3146?3150.

[13] EUNSUNG L， SANGJIN K， WONSEOK K. Contrast enhancement using dominant brightness level analysis and adaptive intensity transformation for remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（1）： 62?66.

[14] 唐磊，赵春霞，王鸿南，等.基于各向异性Retinex的路面图像阴影消除[J].中国图象图形学报，2008，13（2）：264?268.

[15] HE Kaiming， SUN Jian， TANG Xiaoou. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397?1409.