基于多兴趣区域融合的视频增强算法研究

梁龙飞，陈远哲，戴莉勤，林巍峣，田 广

(1.博康智能网络科技股份有限公司，上海 200233;2.上海交通大学电子工程系，上海 200240;3.上海市电力公司市区供电公司，上海 200080)

责任编辑:时 雯

1 视频增强算法简述

随着互联网和多媒体通信设备的快速发展，视频服务的应用越来越广泛。但在实际应用中，由于受光照条件、曝光程度以及传输带宽、存储容量等方面的限制，其质量难以保证。因此，通过视频增强算法来保证高质量的视频服务，是目前最实际有效的方法。

视频增强的算法可以大致分为两类:第一类是将整个视频帧看成一个整体来进行增强［1－8］。该方法通常通过提取整个视频帧的某几个特征来描述一帧图像，例如全局直方图等。然而，由于没有考虑视频帧内部不同区域之间的差异，该方法不能保证对视频中的每个关键区域都进行适当的增强。第二类算法会针对视频帧中的关键区域提取特征，然后有针对性的进行增强［9－10］。但大多数这类算法仅考虑了某一特定区域，因此其他区域的增强效果得不到保证，不具有普适性。

文献［10］提出了一种基于学习的视频增强算法。文献［11］将该算法推广到针对视频帧中的两个兴趣区域。然而，由于实际应用中往往需要同时增强视频帧中的多个视频内容，该算法依然有较大的局限性。基于上述讨论，本文提出了一种新的视频增强算法。

2 基于多兴趣区域融合的视频增强算法

本文提出的视频增强算法的系统框图如图1所示。该算法首先提取当前帧中的感兴趣区域。然后对各个提取出的兴趣区域分别用混合高斯建模其颜色分布，并对每个区域构造映射函数。接着，利用本文提出的渐进融合策略对多个区域的构造映射函数进行融合，得到全局的映射函数，并将该全局映射函数应用于当前帧。最后，利用相邻帧的时间相关性对当前帧进行进一步融合即可得到最终的增强结果。本文将对框图中的各个步骤进行详细阐述。其中，兴趣区域的混合高斯建模、渐进融合策略和基于时域相关性的融合是本算法的关键部分，将着重予以介绍。

2.1 兴趣区域的提取及混合高斯建模

本文以视频会议和视频监控等为主要应用场景，利用基于Harr特征和Adaboost分类器的检测器［12］检测人脸、白板、人手、车辆等目标作为兴趣区域。

图1 基于多兴趣区域融合的视频增强算法系统框图

然后对一个兴趣区域的RGB三个颜色通道分别用一个混合高斯模型进行拟合。每一个混合高斯模型都可以看成是多个高斯模型的加权和。这样做的好处在于，即使兴趣区域的颜色分布较为复杂(比如含有多个主颜色成分)，仍能有效地建模并进行适当的增强。实验中取混合高斯模型的高斯分布数量为2，并采用最大期望算法(EM algorithm)［13］进行求解。

2.2 兴趣区域映射函数的构建

在求得混合高斯模型后，需要对每个兴趣区域构建映射函数。本文采用文献［10］中的基于学习的算法来计算映射函数。该算法在文献［10］中有详尽的描述，这里只对其思想进行简述:该算法利用高质量的训练图像进行学习，从而得到高质量视频特征所对应的典型分布。在处理待增强视频时，也同样求得其对应特征的分布函数，然后用函数映射将该分布函数变换成和典型分布像类似的分布函数，从而达到增强的效果。原理上分析，高质量的图像通常给兴趣区域分配了较多的色彩资源，因此函数映射的目的就是使待增强视频中的兴趣区域也能得到类似的色彩资源，从而达到更好的视觉效果。

本文提出的策略将先对单个高斯分布采用文献［10］的方法求取映射函数，然后再利用融合策略将多个映射函数融合成一个全局映射函数。具体的融合策略将在下文介绍。

2.3 渐进融合策略

利用前两节阐述的方法可得到每个兴趣区域中每个高斯分布对应的映射函数，以 Fi，j，k(x)表示，其中i是第 i个兴趣区域，j是颜色通道的序号，k是高斯分布的序号。融合策略的目标是对每一个颜色通道得到一个全局的映射函数，该函数尽可能地在该颜色通道对应的高斯分布均值的周围贴近对应的映射函数。全局映射函数用一个光滑单调的函数对原有的分布进行映射，从而不会改变图像色彩的连贯性。如果采用不同映射函数对不同兴趣区域进行映射的话，很容易在边缘产生不自然的边缘痕迹，从而严重影响视频质量。

文献［11］提出了一种对两个映射函数融合的方法，简述如下:若两个兴趣区域的重叠面积较大，采用基于分段的融合方法;若重叠面积较小，采用基于参数的融合方法。基于分段的融合方法可由式(1)、式(2)来表示

式中:F1，F2为两个单高斯分布对应的映射函数;m1，m2，σ1，σ2分别为两个高斯分布的均值和标准差;t1，t2，α 均为参数，在实验中分别取值为0.9，0.5，1。利用与式(2)对称的限制条件可以类似地求出FPB，2(x)。

此外，基于参数的融合方法可由式(3)表示

图2给出了一个基于分段融合的实例，其中包含两个兴趣区域。从图2中可以看出，融合后的映射函数由两部分组成，其中第一部分与第一个兴趣区域在其主要颜色范围内(m1－ασ1，m1+ασ1)的映射函数(虚线段)很接近，而第二部分与第二个兴趣区域在其主要颜色范围内(m2－ασ2，m2+ασ2)的映射函数(点划线)很接近。因此，两个兴趣区域都可以通过融合后的映射函数得到适当的增强。

图2 基于分段融合的实例

然而，该方法不能处理多个兴趣区域的同时增强。因此，本文提出一种渐进融合策略，可以对多个兴趣区域的多个映射函数进行融合，过程如下。

1)对第 i个兴趣区域，以 Li，j=mi，j－ ασi，j，Ri，j=mi，j+ασi，j标识其j个颜色通道中的主要颜色成分区域的左右边界。其中，mi，j是该兴趣区域的 j通道颜色均值，σi，j是该兴趣区域的 j通道颜色方差。也就是说，［Li，j，Ri，j］表示兴趣区域i在j个颜色通道中的范围。

2)根据式(5)，选取两个颜色重合区域最大的兴趣区域 (LA，RA)，(LB，RB)

3)利用式(1)～(4)对兴趣区域 (LA，RA)，(LB，RB)对应的映射函数进行融合。

4)将步骤3)中得到的结果看作是一个新的大兴趣区域，并用 (LAB，RAB)=(min(LA，LB)，max(RA，RB))表示该大兴趣区域的颜色范围。

5)重复步骤2)～5)，直到所有的兴趣区域合并成一个大兴趣区域，并得到最终的全局融合映射函数。

渐进融合的策略就是每次选取最接近的两个兴趣区域进行融合，并将得到的结果认为是一个更“大”的兴趣区域。不断重复这个过程，直到仅剩下一个大兴趣区域，这个大兴趣区域对应的映射函数就是全局映射函数。通过这种选取策略，每次选取的兴趣区域的主要颜色区域(即［Li，j，Ri，j］)之间通常不会含有其他兴趣区域的主要颜色区域，因此就不会影响到已融合高斯分布主要区域的增强效果。另外，要注意的是，如果一个兴趣区域包含了多个高斯分布(即2.2节中的混合高斯分布)，可以先将这些高斯分布拆开成多个“微小”兴趣区域，然后再利用上述步骤将这些微小兴趣区域与其他区域进行融合，这样就可以防止在融合中对已融合的部分造成影响，从而保证增强的效果。

2.4 全局增强

利用全局映射函数对当前帧的像素进行颜色映射处理［10－11］，从而使得到的结果能同时有效增强多个感兴趣区域。

2.5 基于时域相关性的融合

由于上述增强结果是基于当前帧的，并没有考虑相邻帧之间的相关性，因此可能导致相邻帧之间的闪烁问题。因此，本文进一步引入基于时域相关性的融合方法，利用相邻信息对当前帧进行处理，以保证相邻帧之间增强效果的连续性。基于时域相关性的融合方法描述如式(6)所示

3 实验与分析

分别对混合高斯建模、渐进融合策略、基于时域相关性的融合效果进行实验分析。

3.1 针对混合高斯建模的实验结果

混合高斯模型实验结果如图3所示。

图3 混合高斯模型实验结果

比较图3c和图3d可以看出，由于花这个兴趣区域包含了黄色和红色这两个不同的主要颜色(编者注:图3原为彩图)，如果仅用单高斯模型建模兴趣区域颜色(图3c，即文献［10］的方法)，增强后的花效果仍显单调。相比之下，如果用混合高斯建模兴趣区域颜色(即图3d)，则增强后的花颜色更为鲜艳，黄红两部分颜色更为鲜明。同时，比较图3b～图3f，可以进一步看出融合方法的有效性，如果只考虑了单个兴趣区域(如图3b、图3c、图3d)，都难以使另一个兴趣区域的色调显得自然，当利用融合方法以后(如图3e、图3f)，两个兴趣区域能同时得到有效的增强。此外，对比图3e和图3f，可以进一步看出利用本文的混合高斯模型能使花朵在最终的融合增强结果中得到更为鲜艳的效果。

此外，图4给出了与图3结果中花朵兴趣区域相对应的映射函数的对比图，针对G通道。可以看出花朵兴趣区域含有两个主要颜色区域，即m1为中心区域和m2为中心的区域(即花朵的红色和黄色区域)，F1(x)和F2(x)为针对这两个主要颜色区域的理想映射曲线。采用混合高斯模型的曲线Ff，1(x)在均值m1和m2附近均比较靠近对应颜色区域的映射函数的曲线(F1(x)，F2(x))，而采用单高斯模型的曲线Ff，2(x)与之有明显的差别，因而很难得到理想的增强效果。另外，图4下方的曲线对应了该颜色通道的颜色分布直方图，可以大致看出它有两个峰值，用混合高斯模型可以更精细地模拟，这也间接说明了混合高斯模型的有效性。

图4 映射函数对比图(G绿色通道)

3.2 针对渐进融合策略的实验结果

图5给出了渐进融合策略的实验结果。可以看出图5b～图5d尽管对某一兴趣区域进行了适当的增强，但对其他兴趣区域的增强效果并不好。图5e尽管对两个人脸部分都有明显的增强，但窗户区域的细节仍然看不到。图5f可以明显看出对多个兴趣区域进行融合的结果，和其他方法相比有更好的视觉效果。

图5 渐进融合策略实验结果

图6为图5结果中人脸兴趣区域相对应的映射函数的对比图，其中，fA，j(x)，fB，j(x)，fB，j(x)分别对应图 5b，图5c，图5d的映射函数，点划虚线曲线和虚线曲线分别对应图5e和图5f的全局映射曲线。可以看出利用本文的渐进融合策略(即图6中的虚线段)，可以有效地使最终映射曲线在每个兴趣区域的颜色区间内接近各自的理想映射曲线，而在同时保持最终映射曲线的单调递增和平滑性，得到比图5b～图5e(即文献［10－11］)更好的效果。

图6 图5结果中的映射函数对比图(R通道)

3.3 针对基于时域相关性的融合的实验结果

图7显示了一组基于时域相关性的融合结果，其中最左边一列为原始视频帧，中间一列为利用改进的直方图均衡方法得到的结果［2］，右边一列为用本文方法的结果。从图中可以看出，由于场景中出现闪电现象，原始视频帧出现忽明忽暗现象，利用文献［2］的方法，该现象得到缓解，然后仍然有一定的闪烁，利用本文方法，时间连续性得到很好的保存。

图7 基于时域相关性的融合的结果

3.4 主观客观数据结果比较

为进一步验证本文方法的有效性，表1比较了各个增强方法结果在一个视频数据库上［11］的客观指标。其中，H，HIBTE，TAMBE(μ)，和TAMBE(σ )分别表示视频的离散熵［2］、直方图时域抖动［2，6］、时域平均亮度绝对值差［2］、以及相邻帧标准差抖动［2］。其中，离散熵H值越大表示视频帧图像质量越好，而HIBTE，TAMBE(μ)和 TAMBE(σ)值越小表示视频帧相邻帧质量平滑性越好。

表1 不同方法的客观质量比较

此外，表2比较了一个主观实验的比较结果。在该实验中，30个观察者观看用不同方法增强的视频结果并打出1～5的分数［10］，其中“1”表示视频质量很差，而“5”表示质量很好。表2显示了不同观察者对同一个方法的所有视频打分值的平均结果。

从表1和表2可以进一步看出，本文提出的方法在客观和主观质量上都比以前基于兴趣区域的方法有了较为明显的改进和提高。

表2 不同方法的主观质量比较

4 小结

本文针对现有视频增强算法的不足，提出了一种基于多兴趣区域融合的增强算法。该算法利用混合高斯模型进行建模，并提出了一种渐进融合策略对多个兴趣区域的增强映射函数进行融合以及利用时域相关性进行时域融合保证视频质量时域平滑性。实验结果表明该算法具有较高的鲁棒性，适用于多种不同的视频服务。

在未来工作中，将进一步研究新的兴趣区域提取方法，以进一步改进兴趣区域的提取效果。同时，研究本文方法在存在图像模糊、噪声等其他干扰情况下如何有效实现增强。

［1］STARK J A.Adaptive image contrast enhancement using generalizations of histogram equalization［J］.IEEE Trans.Image Processing，2000，9(5):889－896.

［2］ARICI T，DIKBAS S，ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement［J］.IEEE Trans.Image Processing，2009，18(9):1921－1935.

［3］SCHETTINI R，RANCESCA G.Contrast image correction method［J］.Journal of Electronic Imaging，2010，19(2):1－8.

［4］汪志云，黄梦为，胡钋，等.基于直方图的图像增强及其MATLAB实现［J］.计算机工程与科学，2006，28(2):54－56.

［5］周旋，周树道，黄峰，等.基于小波变换的图像增强新算法［J］.计算机应用，2005，25(3):606－608.

［6］李耀辉，刘保军.摹于直方图均衡的图像增强［J］.华北科技学院学报，2003，5(2):65－66.

［7］任炎辉，李仅伟，毕卫红.一种优化参数的图像增强算法［J］.电视技术，2012，36(3):7－10.

［8］李建彬，韩军，邱君华.基于Retinex的旧视频序列增强算法［J］.电视技术，2011，35(5):21－24.

［9］SHI C，YU K，LI J，and et al.Automatic image quality improvement for videoconferencing［C］//Proc.ICASSP 2004.［S.l.］:IEEE Press，2004:701－704.

［10］LIU Z，ZHANG C，ZHANG Z.Learning－based perceptual image quality improvement for video conferencing［C］//Proc.ICME 2007.［S.l.］:IEEE Press，2007:1035－1038.

［11］XU N，LIN W，ZHOU Y.A new global－based video enhancement algorithm by fusing features of multiple region－of－interests［C］//Proc.VCIP 2011.［S.l.］:IEEE Press，2011:1－4.

［12］VIOLA P，JONES M.Robust real－time object detection［EB/OL］.［2012－08－02］.http://www.hpl.hp.com/techreports/Compaq－DEC/CRL－2001－1.pdf.

［13］HOGG R，MCKEAN J，CRAIG A.Introduction to mathematical statistics［M］.6th ed.［S.l.］:Pearson Prentice Hall，2005:359－364.