基于3DGMM的多视点视频直方图颜色校正

张 倩，崔 斌，王 沛，黄继风

(上海师范大学 信息与机电工程学院，上海 200234)

基于3DGMM的多视点视频直方图颜色校正

张 倩，崔 斌，王 沛，黄继风

(上海师范大学 信息与机电工程学院，上海 200234)

多视点视频在采集过程中，由于受到摄像机所处位置以及摄像机自身的参数设置等因素的影响，会造成视点间颜色的不一致，针对这一情况，提出基于三维高斯混合模型的多视点视频直方图颜色校正算法。算法首先获取源图像以及目标图像的直方图并检测直方图的峰值个数，然后结合三维高斯混合模型对源图像以及目标图像进行聚类分析，获取中心矢量，最后计算两图像中像素点距离中心矢量的最小欧几里得距离并分割图像，对源图像和目标图像的匹配区域进行直方图匹配校正。实验结果表明，该算法与传统直方图匹配算法相比，避免了校正过度的影响，校正效果较好。

多视点；三维高斯混合模型；欧几里得距离；直方图

1 多视点颜色的校正

随着计算机图形学与视觉技术的发展，传统的二维图形已经很难满足人们对于视频质量及内容多样性的追求。三维立体视频因其可以给人们带来身临其境的视觉体验又可以提供交互式场景的多视点视频，越来越受到观众的青睐，正引领着视频技术的发展。作为新兴的媒体数据，三维立体视频在电视、远程控制、医疗以及导航等方面具有广阔的前景[1]，并有可能在不久的将来作为一种基础的数字媒体存在。

三维立体视频通过摆放在不同角度的摄像机对同一场景的内容进行采集，获取到了不同视点的相同内容的信息，经过处理呈现在观众面前的是具有立体感的视频图像。然而，随着摄像机数目的增加，摄像机阵列所采集到的信息量也在成倍增加[2]，这就限制了其存储与传输，对于存储设备以及网络带宽提出了更高的要求，因此综合决定了多视点视频所需的高压缩特性。同时，视频在采集过程中，由于物体表面的反射性、噪声环境以及成像设备本身的特性(包括电荷耦合器件CCD噪声、抖动、快门速度以及曝光时间等)，都会导致获取的视点间的视频颜色不一致[3]，这将直接影响视频处理后期的视差估计以及虚拟视点绘制[4]，无法有效去除视点间图像的冗余信息，从而无法达到满意的压缩效率，并有可能生成颜色不均匀的虚拟视点图像，严重影响传输以及观看质量。

针对上述问题，业界提出了许多视点颜色的校正方法，从方法上可归纳为三类：一类是通过调节摄像机参数以便从获取源头对视频图像进行校正(目前多采用自动白平衡方法对摄像机进行校正[5])；另外两类是将视频校正作为多视点视频编码的预处理过程[6]以及将颜色差异补偿作为视频编码中的一个模块。也可以按照所提出的方法是否涉及到参数变量归类为：有参数(如Miguel等人利用三维高斯混合模型模拟多视点图像中的像素值分布应用于车载系统的双目视频颜色校正[7])和无参数方法(如Fecker等人提出的将目标图像的直方图映射到参考图像的直方图的颜色补偿方法[8])，并在此基础上继续分为基于全局校正以及局部校正方法[9]。而这些方法实质上都是将待校正图像的颜色模板校正到源图像的颜色模板上去，使其颜色保持一致[9]。文献[10]中采用尺度不变(SIFT)检测特征点之间的一致性然后构造相应的查找表，通过查表进行颜色校正，这种方法虽然比较直观，但是不便于操作。文献[2]从固定匹配块会降低视差估计可靠度出发，提出了一种尺寸可变块匹配的校正方法，但由于需要根据块的可靠性判断是否要继续分割重新搜索，所以算法较复杂。文献[7]中的方法虽然比较简单，但为了满足整幅图像的校正效果，校正参数不宜过大，否则会引起校正过度的情况。

为了达到算法简单并且能够尽量满足局部区域的校正效果，本文将采用基于局部校正的思想利用高斯混合模型将源图像与目标图像分割成相同数目的区域，分割数目通过算法自动检测计算两幅图像的直方图的峰值数目来决定，最后对源图像区域与目标图像的对应区域建立基于直方图的线性映射关系，求出线性映射的相关系数，逐步校正各视点的图像，实验证明了方法的有效性和可靠性。

2 基于三维高斯混合模型(GMM)的直方图校正方法

2.1 整体结构框图

通常采用图像的直方图信息处理简单图像效果比较好，但对于细节较多的图像进行直方图校正则会产生较多的错误校正，校正后颜色与真实值差距比较大。为了提高校正的精确性，需要将基于整体的校正改为局部校正。因此本文首先采用三维高斯混合模型对图像进行聚类分割，分割的个数由各通道的直方图峰值个数之积来决定，这是因为彩色图像中所呈现的颜色值都是基于三原色混合而成且各通道像素值是相互独立的，而彩色图像内的主要颜色区域正是由各通道直方图峰值区域的像素值相互组合而成，所以基于排列组合的思想，本文将聚类分割数定为各通道直方图峰值个数之积，峰值个数则采用先平滑滤波直方图，再计算直方图梯度值的自动检测算法来自动获取。然后，根据图像中像素点距离聚类中心的最小欧几里得距离对图像进行区域划分，在源图像与目标图像之间构建映射关系进行局部的直方图校正。最后，比较实验结果并分析。算法框架如图1所示。

图1 本文算法整体结构

2.2 三维高斯混合模型(3DGMM)

图像灰度直方图反映的是图像中某个灰度值出现图像灰度直方图，反映的是图像中某个灰度值出现的次数，也可以认为是图像灰度概率密度的估计。当图像中颜色相近时，直方图会显示“钟形”曲线，近似高斯分布曲线。当图像的目标区域与背景区域颜色相差较大时，直方图会显示出双峰形状，每个峰谷近似一个高斯分布，所以可以将灰度或彩色图像近似为一个或者多个高斯分布的叠加，进而将高斯混合模型用于语音、图像识别等方面平滑地近似任意形状的密度分布，得到了不错的效果。通过对于图像的直方图峰值个数的自动检测不仅能够得到近似的数学模拟模型，还可以通过直方图中峰值的个数了解图像中主要颜色区域的数目。因此本文考虑利用三维高斯混合模型近似模拟彩色视频图像三个通道的直方图分布，对多视点视频的每帧图像进行局部校正。

由于不同视点反映的是对同一场景不同角度的信息，所以图像中的主要颜色区域个数应该是相同的。首先，本文先获取参考视点源图像的直方图，通过算法自动检测到图像的3个通道的峰值个数Mj(j=1，2，3)，如图2、图3所示。

图2 flamenco2序列源图像直方图

图3 flamenco2序列目标图像直方图

考虑彩色图像的三通道是相互独立的，所以，根据排列组合原理，可推导出三维高斯混合模型的聚类个数N

(1)

然后，利用已获取的参数，将图像视中每个像素值的分布视为三维高斯混合分布模型，对图像进行聚类分析，获取聚类中心矢量，定义如下

(2)

(3)

(4)

通过上述数学模型，在MATLAB上将参考视点的源图像与待校正视点的目标图像聚类成N个区域，并获取对应的聚类中心矢量，选取源图像的中心矢量作为两幅图的中心矢量，计算两图像中的每一个像素点距离聚类中心的最小欧几里得距离，从而确定图像中的每个像素点归属于哪个区域，即

(5)

式中：N由式(1)得到；I(x)代表图像中的像素矢量；Vk(x)表示图像中第k个区域的中心矢量；D(x)代表各像素点距离中心矢量的欧几里得距离。

2.3 基于直方图的局部颜色校正

图像的直方图体现了一幅图像各通道的像素值在其值域范围内的分布频数。通过图像的直方图可以清楚观察到图像中的主要颜色区域。所以基于直方图的匹配校正方法可以直观地将待校正图像的直方图尽量与源图像的直方图重合，从而达到颜色基本一致的效果，这就是直方图匹配的基本原理。直方图匹配方法的优点是不受光照成像模型的影响，既可以校正线性偏差，也可以消除伽马效应之类的非线性差异。本文采用基于局部的直方图校正方法，选取靠近中央摄像机的视频序列作为参考视点，构建映射关系，将其余视点的目标图像分别聚类，再对相应区域分别进行直方图匹配校正方法，获取相关系数，避免了全局校正造成局部效果不理想以及过度校正的缺陷。本文采用式(6)获取源图像各通道的直方图

(6)

而源图像的直方图与目标图像的直方图之间的映射关系可以考虑为一个乘性差异和一个加性差异[11]

Iref(x,y)=aj·Itar(x,y)+bj

(7)

式中：Iref(x,y)，Itar(x,y)分别代表源图像区域与目标图像区域对应点(x，y)处的像素；aj代表由相机灵敏度等因素引起的三维乘性差异；bj代表由相机元件暗电流产生的三维加性差异。

3 实验结果与分析

本文采用race1序列0、1视点图像，flamenco2序列0、1视点图像以及objects2序列的0、1视点图像在MATLAB环境下进行测试，将本文所采用的方法分别与基于全局的直方图校正方法[8]进行对比。

1)race1序列

根据源图像以及目标图像的直方图可以计算出，其三通道的直方图峰值个数均为1，所以采用三维GMM设定的聚类个数N=1，实验结果如图4所示。

从图4中可以看出采用本文方法校正后的图像相比于未校正前的图像在颜色上更接近参考图像，而与基于全局的直方图校正方法结果图相比，不仅整体颜色更接近参考图像，在部分区域上(如后山、场地等)的校正效果也会显得更清晰。

2)flamenco2序列

根据源图像以及目标图像的直方图可以计算出，其三通道的直方图峰值个数均为2，利用式(1)可知，采用3DGMM所需的参数N=2×2×2=8，实验结果如图5所示。

图4 race1序列对比结果图

图5 flamenco2序列对比结果图

从图5可以看出，采用本文方法校正后的图像的整体颜色效果更接近于参考图像，与基于全局的直方图校正方法相比，在背景光亮以及颜色上都更加接近参考图像，尤其是地板上的灯光，达到了预期的效果。

3)objects2序列

根据源图像以及目标图像的直方图可以计算出，其三通道的直方图峰值个数均为2，利用式(1)可知，采用3DGMM所需的参数N=2×2×1=4，实验结果如图6所示。

根据图6的实验结果可以分析出，采用本文方法的结果图相比于待校正图像以及基于全局的直方图校正方法结果图，在人物衣着、墙壁背景以及地板等区域上的颜色校正效果都更接近于参考图像，达到了理想的效果。

4 结论

通过race1、flamenco2、objects2这3个序列的对比结果可以看出，本文提出的校正方法相较于基于全局的直方图校正方法取得了很好的效果，解决了视点间颜色差异大的问题。同时，通过结果分析可知，映射关系中的乘性差异决定了直方图分布的疏密程度，而加性差异决定了直方图的位置关系。综合全文分析，本文提出的校正方法能够达到很好的效果，但在构建目标图像与源图像之间的中心矢量匹配以及区域间的边缘差异都还存在着不足，有待进一步的改善。

图6 objects2序列对比结果图

[1]杨方伟.多视点视频编码中颜色校正技术的研究[D].天津：天津大学，2010.

[2]喻莉，熊玮，钟刚，等.基于尺寸可变块匹配的多视点视频颜色校正方法[J].计算机工程与科学，2011，33(8)：138-142.

[3]SHAO F，JIANG G，YU M，et al.A new image correction method for multiview video system[C]//Proc.2006IEEE International Conference on Multimedia and Expo.[S.l.]：IEEE Press，2006：205-208.

[4]熊玮.多视点视频中的颜色校正方法研究[J].武汉：华中科技大学，2011.

[5]JIANG T，NGUYEN D，KUHNERT K.Auto white balance using the coincidence of chromaticity histograms[C]//Proc.2012 IEEE 8th International Conference on Signal Image Technology and Internet Based Systems(SITIS).[S.l.]：IEEE Press，2012：201-208.

[6]SHAO F，YU M，JIANG G，et al.Colour correction pre-processing and chrominance reconstruction post-processing for multi-view video coding[J].IET Image Processing，2012，6(2)：129-138.

[7]OLIVEIRA M，SAPPA A D，SANTOS V.Color correction for on board multi-camera systems using 3D Gaussian Mixture Models[C]//Proc.2012 IEEE Intelligent Vehicles Symposium (IV).[S.l.]：IEEE Press，2012：299-303.

[8]FECKER U，BARKOWSKY M，KAUP A.Histogram-based prefiltering for luminance and chrominance compensation of multiviewvideo[J].IEEE Trans.Circuits and Systems for Video Technology，2008，18(9)：1258-1267.[9]XU W，MULLIGAN J.Performance evaluation of color correction approaches for automatic multi-view image and video stitching[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2010：263-270.

[10]YAMAMOTO K，KITAHARA M，KIMATA H，et al.Multiview video coding using view interpolation and color correction[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17(11)：1436-1449.

[11]CHANG Y C，REID J F.RGB calibration for color image analysis in machine vision[J].IEEE Trans.Image Processing，1996，5(10)： 1414-1422.

张 倩，女，硕士生导师，主研方向为图像及视频信号处理；

崔 斌，硕士生，主研方向为视频编码；

王 沛，女，副教授，主研方向为数字图像处理；

黄继风，教授，主研方向为模式识别与数字图像处理。

责任编辑：时 雯

Multi-view Video Color Correction Method Based on 3DGMM

ZHANG Qian，CUI Bin，WANG Pei，HUANG Jifeng

(CollegeofInformationMechanicalandElectricalEngineering，ShangHaiNormalUniversity，Shanghai200234，China)

In the process of multi-view video capturing，the camera location and parameters setting lead to the color inconsistent between differentviewpoints.In this paper，a newmulti-view video histogram color correction algorithm based on 3D Gaussian Mixture Models (3DGMM) is proposed.Firstly，the cumulative histogram of source image and target imageare obtainedand the peak number of the histogram is calculated by the method.For theclustering analysis of source image and target image，the three-dimensional Gaussian Mixture Models is performed，while the center vector is obtained.Finally，the algorithm calculates the minimum Euclidean distance between each pixel and the center vector to segment the image，histogram matching correction is followed.Experimental results show that the proposed method avoids the excessive correction and gets a good effect comparing with the traditionalhistogram matching algorithm.

multi-view；3D Gaussian mixture models；Euclidean distance；histogram

【本文献信息】张倩，崔斌，王沛,等.基于3DGMM的多视点视频直方图颜色校正[J].电视技术,2015，39(3).

上海市教委科研创新项目(14ZZ125)；上海高校青年教师培养资助计划项目(P200803)

TP391

A

10.16280/j.videoe.2015.03.001

2014-08-28