多相机图像拼接匀色算法

2016-08-10苟永刚

测绘通报 2016年7期

关键词：全景直方图亮度

吕　楠，苟永刚，龙　川，张　婕

（1.重庆市地理信息云服务企业工程技术研究中心，重庆400020；2.重庆数字城市科技有限公司，重庆400020；3.重庆市勘测院，重庆400020）

多相机图像拼接匀色算法

吕楠1，苟永刚2，龙川2，张婕3

（1.重庆市地理信息云服务企业工程技术研究中心，重庆400020；2.重庆数字城市科技有限公司，重庆400020；3.重庆市勘测院，重庆400020）

多相机图像拼接中存在的亮度和色彩不均匀的现象严重影响着拼接图像的视觉效果。本文针对全景图像拼接过程中多幅图像之间的亮度和色彩差异问题，提出了一种多相机图像拼接匀色算法，该算法先从局部出发对单幅图像进行亮度调整，再从全局角度对待拼接图像进行颜色校正，最终获得亮度和色彩一致的全景图像。试验结果表明，该方法能较好地减少甚至消除拼接图像间的亮度和色彩差异，较好地改善全景图像的视觉效果。

匀色算法；全景图像；颜色空间

随着计算机技术和图像处理技术的不断发展，多相机图像拼接技术得到了越来越广泛的应用，如测绘遥感、军事安防、虚拟现实、全景地图等［1-3］。多相机图像拼接一般需要多部摄像机同步获取图像，尤其在获取全景图像时，需要多部相机在同一时刻从不同角度进行拍摄，而且相邻图像之间要有重叠区域，通过重叠区域同名控制点点对，利用图像匹配方法计算图像变换矩阵，从而拼接成一幅全景图像。然而，由于相机自身硬件（如相机型号、成像性能、感光元件尺寸等）及拍摄环境（如光照、大气条件、太阳高度等）等因素的影响，同一区域内来自不同相机的图像在亮度、色彩等方面会存在差异，如果对这些图像直接进行拼接，拼接的全景图像在图像重叠区域会存在明显的接缝线，从而影响全景图像的视觉和美观效果。因此，非常有必要进行多相机图像拼接亮度和色彩分布不均问题的处理方法（即匀色方法）的研究。

目前国内外对图像匀色算法的研究较多，主要集中在两个方面:一是从硬件角度的图像校正［4］，二是从软件角度的图像校正［5-8］。从软件角度的图像校正算法主要有直方图匹配［9］、直方图规定化［10］、Wallis匀色算法［6］、Mask色光算法［8］及基于均值和标准差统计的方法等。如张静等基于直方图匹配理论，在目标图像和源图像的直方图之间建立映射关系，使目标图像的直方图与源图像相同或相似，从而使两幅图像具有相同的亮度和色彩，最终实现对图像颜色的校正，该方法在图像直方图差异较大时，直方图匹配会改变原有灰度级之间的相对距离［11］。曹彬才等将用于保持两幅或多幅图像间的亮度和色彩一致性的Wallis滤波器用于单幅图像，并且取得了较好的匀色效果，但是此方法在处理颜色变化较大的图像时，会出现颜色突变的现象［12］。李德仁等提出的基于Mask原理的匀色方法采用高斯滤波器模拟图像的亮度分布作为背景图像，通过从原始图像中减去不均匀背景图像，达到图像匀色的目的［13］。张振等指出现有Mask匀色方法能够在一定程度上解决不均匀光照的现象，但是经过Mask匀色处理后的图像存在反差不均匀的现象，即原始的图像中较暗的区域经过匀色后明显地表现出反差较低，而亮的区域则反差较大，针对这一问题，对Mask匀色算法进行了改进，得到了反差一致的图像［14］。然而，这些方法大部分是针对灰度图像的匀色处理，对彩色图像的匀色效果并不理想。

本文针对目前多相机图像拼接匀色算法存在的问题，提出了基于颜色空间变换理论的多相机拼接匀色算法。试验证明，本算法可以很好地对多相机图像拼接亮度和色彩不均匀问题进行处理，使最终全景图像色彩和亮度具有一致性，匀色效果较好。

一、算法理论基础

1.Gamma校正

多相机获取的图像由于成像角度和成像环境等条件的影响，图像存在照度不均匀的现象，导致图像不同区域存在不同的光照效果，对图像进行Gamma校正，能够使图像光照分布均匀。本文使用的Gamma校正公式为式中，Iin表示输入图像的原始灰度值；Iout表示校正后的图像灰度值；graymax表示输入最大灰度值；γ即Gamma值，为一个经验值。

2.信息熵

信息熵表示图像包含信息量的多少。对于单幅图像，可以认为图像各个灰度值是相互独立的样本，则认为这幅图像的灰度分布为p=｛p0，p1，…，pi，…，pn-1｝，i表示灰度级；pi表示第i灰度级出现的概率；n表示灰度级个数。信息熵定义为式中，H表示图像信息熵。图像的信息熵值越大，说明图像信息量越大。

3.RGB颜色空间与YCbCr颜色空间变换

颜色空间是按照某种定义或规则描述颜色的模型。常见的颜色空间有:RGB颜色空间、HSV颜色空间、CMY颜色空间、CMYK颜色空间、YCbCr颜色空间等。根据应用场合的不同，选择的颜色空间也不同，如RGB颜色空间用于计算机的显示，HSV颜色空间用于视觉系统的处理，CMY颜色空间用于印刷行业，YCbCr颜色空间用于表示彩色电视数字信号等。不同颜色空间对颜色特征的表现不同，经过试验发现，在YCbCr颜色空间对图像进行匀色处理，试验效果最佳。多相机获取的图像属于RGB颜色空间，RGB颜色空间转化到YCbCr颜色空间的计算公式为［15］

YCbCr颜色空间转换到RGB颜色空间的转换公式为［15］

4.对比度增强

多相机图像拼接成全景图之后，为了更好地改善全景图像效果，对全景图进行了对比度增强。本文采用直方图增强法［16］，首先计算全景图像直方图，然后分别从最大灰度值255和最小灰度值0开始，计算累积直方图，确定目标灰度级数，如目标最大灰度级数为Newmax，最小灰度级数为Newmin，修正归一化灰度值为实际灰度，建立灰度映射表，生成目标全景图像。原始全景图像灰度值Iold和目标全景图像灰度值Inew之间的映射关系为

二、多相机拼接匀色算法

本文针对多相机图像拼接过程中存在的亮度和色彩不一致的现象，提出了一种多相机拼接匀色算法，通过该方法能够有效处理全景图像拼接中存在的亮度和颜色差异，该算法的处理流程如图1所示。

图1　多相机图像拼接匀色算法流程

如图1所示，由于拍摄环境等因素的影响，图像存在光照不均匀的现象，首先需要对多幅图像进行Gamma校正，使各幅图像光照分布均匀；其次计算各幅图像信息熵，根据图像信息熵，选择参考图像；然后将所有图像进行颜色空间转换，以参考图像为基础，对图像进行亮度和色彩校正；最后拼接多幅图像并进行对比度增强，得到最终全景图。

1.Gamma校正

对多相机图像进行Gamma校正，使单幅图像光照分布均匀，消除单幅图像内部光照不均现象，Gamma校正公式如式（1）所示。

2.选取参考图像

计算各幅图像信息熵，选取信息熵最大的图像作为参考图像，信息熵计算方法如式（2）所示。

3.图像亮度与色彩校正

图像亮度和色彩的校正包括颜色空间的转换、图像区域划分及图像颜色校正。首先需要将参考图像和目标图像从RGB颜色空间转换到YCbCr颜色空间；然后将每幅图像按照重叠区域和非重叠区域进行划分，按照不同的权值计算Y、Cb、Cr的平均值；最后计算各个分量的自动调节因子，根据自动调节因子，重新计算Y、Cb、Cr各分量，对目标图像颜色进行校正。如图2所示。

图2　图像亮度、色彩校正流程

（1）颜色空间转换

将参考图像和目标图像进行颜色空间转换，即将图像从RGB颜色空间转换到YCbCr颜色空间，转换公式如式（3）所示。

（2）重叠区与非重叠区划分

多相机图像拼接中，图像重叠区域是最有参考价值的一部分。本文根据全景图像的特点，将每幅图像划分为重叠区域与非重叠区域，赋予重叠区域较大的权值。假设将图像划分后，重叠区域记为I0，非重叠区域记为I1，重叠区域权值用λ（本文取值0.7～0.9）表示，则非重叠区域权值用1-λ表示，Y、Cb、Cr各分量的均值可以按照下式计算

（3）颜色校正

颜色校正的关键是计算目标图像和参考图像之间的颜色调节因子，本文颜色调节因子的计算方法为

式中，IS_Avg表示参考图像的平均亮度值；ID_Avg表示目标图像的平均亮度值；IDiff表示目标图像与参考图像平均亮度差值；Icurr表示目标图像中某一像素点的当前亮度值；Ifactor表示目标图像的亮度调节因子；Inew表示目标图像中某一像素点校正后的亮度值。式中的I表示Y、Cb或Cr分量。

颜色校正完成后，将图像从YCbCr颜色空间转换到RGB颜色空间，转换公式如式（4）所示。

4.图像拼接

单幅图像匀色处理结束后，拼接所有图像即可获得亮度、颜色分布均匀的全景图像。本文采用基于特征的匹配算法实现同名点提取与匹配，该方法对同名点的识别效率较高［17-18］。

5.对比度增强

为了更好地改善全景图像效果，本文根据对比度增强理论对全景图像进行对比度增强。

三、试验结果与分析

本文对多相机图像拼接匀色算法进行了验证。用于试验的计算机硬件为Inter（R）Core（TM）i5-4590 CPU@3.30 GHz，内存为8 GB，操作系统为Window7，开发环境为Visual Studio 2010，使用开源库OpenCV2.0。图3为多相机在同一时刻拍摄的待拼接图像，图像分辨率均为4000×3000像素，从图中可以看出，部分图像亮度较亮，而部分图像较暗，且存在较大的颜色差异，如果不对图像进行颜色校正直接拼接为全景图，那么拼接图会存在明显的亮度和色彩差异。

图3　多相机待拼接图像

图4为未经本文算法处理直接对全景图像拼接所得的结果，从图中可以看出，全景图像存在亮度和色彩不均一的现象。图5为经过本文算法处理后得到的全景图像，经过本文算法处理后，图像中亮度和色彩不均一现象基本消除，全景图的效果较好。

图4　未经本文算法处理的全景图像

图5　本文算法处理后的全景图像

四、结束语

本文针对多相机图像拼接中存在的亮度和色彩差异现象，提出了一种多相机图像拼接匀色算法，详细论述了该算法的理论基础与处理流程，并且通过试验验证了本文算法的有效性。本文算法能够消除图像之间的亮度和色彩差异，非常有效地改善了图像的整体视觉效果，为图像拼接中存在的颜色不一致问题提供了新的解决思路和方法。

［1］ CHEN S E.QuickTime VR-An Image-based Approach to Virtual Environment Navigation［C］∥Proceedings Siggraph’95.Los Angeles:［s.n.］，1995.

［2］王晓丽，戴华阳，余涛，等.基于多分辨率融合的无人机图像拼接匀色研究［J］.测绘通报，2013（6）:27-30. ［3］李海亭，彭清山，王闪，等.数字城市中的全景地图系统建设方法研究［J］.测绘通报，2011（4）:71-73.

［4］ SASAKI M，MASE M，KAWAHITO S，et al.A Wide Dynamic Range CMOS Image Sensor with Multiple Shoretime Exposures［C］∥Proceedings of IEEE Sensors. ［S.l.］:IEEE，2004.

［5］张力，张祖勋，张剑清.Waills滤波在影像匹配中的应用［J］.武汉测绘科技大学学报，1999，24（1）:24-35.

［6］林景亮，陈岳林.多摄像机图像拼接自动色彩均衡算法［J］.计算机应用，2010（12）:3236-3237.

［7］周丽雅，秦志远，尚炜，等.反差一致性保持的影像匀光算法［J］.测绘科学技术学报，2011（1）:46-49.

［8］姚芳，万幼川，胡晗.基于Mask原理的改进匀光算法研究［J］.遥感信息，2013（3）:8-13.

［9］李勇.图像无缝拼接及匀色技术的研究［D］.西安:西安电子科技大学，2013.

［10］赵通，王国胤，肖斌.基于多峰高斯函数的直方图规定化算法［J］.计算机科学，2014（12）:245-250.

［11］张静，陈广学.基于直方图匹配的图像颜色校正算法研究［C］∥2013中国食品包装学术会议论文摘要集.北京:［s.n.］，2013.

［12］曹彬才，朱宝山，李润生，等.用于单幅影像匀光的Wallis算法［J］.测绘科学技术学报，2012（5）:373-377.

［13］李德仁，王密，潘俊.光学遥感影像的自动匀光处理及应用［J］.武汉大学学报（信息科学版），2006，31（9）: 753-756.

［14］张振，朱宝山，朱述龙.反差一致性改进的MASK匀光算法［J］.测绘科学技术学报，2010（1）:54-56.

［15］张懿，刘旭，李海峰.数字RGB与YCbCr颜色空间转换的精度［J］.江南大学学报（自然科学版），2007 （2）:200-202.

［16］李开端，李树军.基于直方图统计学的图像增强算法研究［J］.科学技术与工程，2011，11（23）:5572-5575.