基于直方图匹配的多视点视频亮度相关性处理算法

安徽工程大学机电学院 段 毅



基于直方图匹配的多视点视频亮度相关性处理算法

安徽工程大学机电学院 段 毅

【摘要】多视点间的亮度差异是降低编码效率的主要原因之一。本文针对亮度差异介绍了直方图匹配算法的亮度差异补偿的方法，得到校正后的图像。从图像主观视觉比较、相关系数和峰值信噪比三方面检验其效果。实验结果表明基于直方图匹配的亮度相关性增强技术能够较好地补偿亮度差异，且具有复杂度低的优点。

【关键词】多视点视频；亮度补偿；直方图匹配；累积直方图；直方图相关系数

引言

多视点视频是由多个摄像机对同一场景进行拍摄，相邻摄像机的视点画面内容是十分相近的，所因此相邻视点间的画面具有很强的相关性［1］。若分别进行单独的视频编码，将会消耗大量的存储空间，在很大程度上都是冗余信息。因此，采用视点间预测，则能够大幅提高编码效率，减小存储空间［2］。

实际中由于拍摄角度、摄像机参数等差异性，造成视点间画面亮度值和色度值的不一致，使视点间的相关性减弱，补偿相视点亮度差异可增强空间画面相关性，提升编码空间效率［3］。本文研究了基于直方图匹配的亮度相关性增强技术。

1、图像的亮度直方图和累计直方图

直方图是对图像数据进行统计的一种方式［4］。亮度直方图，即对一帧图像的各像素的亮度值进行统计，画面的每一个像素亮度是按一个字节存储的，共有256个亮度值即每个亮度值出现的概率，如图1 （a）所示。反映了在一帧图像中各不同亮度的像素分布状况。

累积直方图是亮度直方图的累计图，每一个亮度点的累计概率值便是小于等于该亮度值的所有亮度点的出现概率的累加，如图1（b）所示。

图1　图像的亮度直方图和累积直方图

2、直方图匹配算法

本文通过亮度直方图匹配的方法来校正相邻视点之间的图像亮度差异［5］。

直方图匹配的第一步是计算相邻视点同一时间帧的亮度直方图，公式（1）给出了图像的的亮度直方图计算公式：

其中w表示图像的宽度，h表示图像高度，u表示图像的亮度等级，Hpicture（u）表示图像中亮度值为u的像素所占的百分比。Ipicture（i，j）表示像素（i，j）处的的亮度值。

通过亮度直方图匹配的方法来建立参考图像和原始图像亮度直方图之间的映射函数需要经过以下两步：

（1）计算出参考图像和原始图像的亮度累积分布函数——亮度累积直方图，该累积直方图由以下公式（2）求得：

式中，Cpicture（u）为表示图像中亮度值小于或者等于u的像素占总像素的百分比。

由于计算机的浮点型数总是有精度限制，累积起来最后的Cpicture（255）可能不等于一，最后还要对累积直方图进行简单修正。

（2）得到两幅相邻视点图像的亮度累积直方图后，再通过累积直方图的对应关系建立亮度变换的映射函数，使得校正后的图像和参考图像的累积直方图在每个亮度值处具有相似的数值。可使用下面的公式（3）得到映射函数。

公式（3）中，Map表示亮度映射函数，Cref（u）和Corg（v）分别代表参考图像和原始图像的亮度分量累积直方图，当条件满足时，表示原图像中亮度值小于或者等于v的像素和参考图像中亮度值小于或者等于u的像素数目近似。

此时，便用这种亮度等级的累积发生概率的近似相等作为我们求亮度映射函数的标准。以此我们便得到了两帧图像之间的亮度映射函数，得到了两图像亮度之间的近似差异对应关系。

3、直方图匹配算法性能实验分析

从中3DAV特别小组提供的标准多视点视频序列中选出四组进行性能测试：Exit，Rena，Race1和Flamenco2。选出每一组序列中的两个视角图像进行直方图匹配后分析。

（1）主观视觉感受分析比较

通过对测试序列的原始图像和参考图像的进行亮度直方图匹配，我们得到了校正后的图像。通过肉眼可以明显看出，相比于原始图像来说更加接近于参考图像，校正后的图像亮度明显更加相近于参考图像。这里从主观视觉感受上验证了亮度直方图匹配的效果，对比来看，其效果是显著的。

（2）累积直方图相关系数分析比较

直方图匹配前后的图像和参考图像之间的亮度累积直方图相关系数如表1所示。该表中的数据是取同一序列一对相邻视点的60帧图像匹配前后的累积直方图相关系数的平均值。通过相关系数比较，可以明显看出修正后的图像的累积直方图与参考图像的更强，几乎达到一致。

表1　亮度补偿前后图像和参考图像累积直方图相关系数和PSNR值

（3）PSNR值分析比较

对亮度补偿前后图像和参考图像PSNR的比较分析结果如表1所示，同样，该表中的数据是取同一序列一对相邻视点的60帧图像一一匹配前后的与参考图像PSNR的平均值。可以看出，除了Flamenco2序列经过直方图匹配后的图像与参考图像的PSNR有所下降外，其他序列的都有较大提高。

4、总结

从视觉主观效果对比、累计直方图相关性对比和匹配前后图像与参考图像亮度PSNR系数对比三个方面分析了直方图匹配算法的性能。结果均反映出亮度直方图匹配算法在亮度补偿方面具有十分显著的效果。直方图匹配增强了相邻视点间的相关性，提高空间预测的效率，减少编码时所需存储空间，并且算法复杂度低，大大降低对硬件速度或软件复杂度的需求。

参考文献

［1］Yun He， Jörn Ostermann， Masayuki Tanimoto， et al. Introduction to the Special Section on Multiview Video Coding. IEEE Trans. Circuits and Systems for Video Technology.2007，17（11）： 1433-1435.

［2］Schwarz H，Wegner K，Rusert T.Overview of 3DV Coding Tools Proposed in the Call for Proposals［C］//Proceedings of Moving Pictures Experts Group the 98 th Meeting.Geneva：MPEG， 2011：1-6.

［3］杨旭，常义林，霍俊彦，等.一种三维视频深度图像快速帧内编码方式［J］.西安电子科技大学学报，2012，39（3）：7-13.

［4］杨海涛，常义林，霍俊彦，等.一种基于亮度直方图的自动曝光控制方法.光学学报.2007，27（5）：841-847.

［5］汪世刚，吕东辉.基于最优聚类数和直方图匹配的图像彩色化方法［J］.计算机应用，2010，30（2）：20-23.

作者简介：

段毅（1988-），男，安徽芜湖人，硕士，助教，研究方向：智能信号处理。