基于自适应引导滤波的全景图像增强算法研究

谭云兰，汤鹏杰，夏洁武



基于自适应引导滤波的全景图像增强算法研究

谭云兰1，汤鹏杰2，夏洁武1

(1.井冈山大学电子与信息工程学院，江西，吉安 343009；2.井冈山大学数理学院，江西，吉安，343009)

虚拟实景漫游系统中的全景图像细节比较多，因天气、拍摄技术等原因导致图像场景不清晰而需要增强，增强的目的是为了突出全景图像的美景细节信息，提高场景视觉效果。为了增强全景图像的场景细节，本文提出了自适应引导滤波算法AGIF（Adaptive Guided Image Filter）。该算法利用具有较强细节提取能力的加权最小二乘滤波器WLS (the Weighted Least Squares) 构建引导图像，对已有的引导滤波GIF（Guided Image Filter）进行改进，通过引入梯度值偏移量进行像素值自适应，突出全景图的图像边缘，使得全景图像的细节进一步增强。实践表明，增强后的全景图用于虚拟漫游系统，提高了旅游场景的用户体验。

自适应引导滤波；全景图像；增强算法

0 引言

旅游场景的数字化采集是通过相机水平转动一周拍摄多张图片后，再进行全景图的拼接。在旋转一周的拍摄过程中，同一个场景的不同方向，存在某方向光照不强导致曝光不足，而相反的方向则光照过强导致曝光过度，曝光不恰当引起场景细节损失或是弱小目标辨识不清等，此外还存在拍摄的场景中因有运动目标而产生图像局部运动模糊。这种由于天气条件、亮度条件、捕获设备以及摄影者本身的技术问题等多种因素，导致在采集旅游场景图片时，可能出现图片对比度较低、动态范围压缩有限，并存在颜色退化、偏色等现象，加上后期全景图的拼接导致接缝模糊等问题，部分拼接出来的全景图像不能满足游客浏览高清旅游场景的需求，因此需要对质量下降的全景图进行增强。旅游场景中的全景图像增强的主要目的有两个：一是提高图像的清晰度，二是改善图像的视觉效果，使得图像中感兴趣的信息或是有用的图像细节信息变得更加突显。由于旅游场景全景图细节多，需要一个加强的自适应的图像增强算法实现自然场景下的全景图细节增强。为了达到较好的图像视觉效果，本文提出了自适应的引导滤波算法AGIF（Adaptive Guided Image Filter）。该算法应用具有较强的细节提取能力的加权最小二乘滤波器WLS (the Weighted Least Squares)[1]构建引导图像，对已有的引导滤波GIF（Guided Image Filter）[2]进行改进，通过增加梯度值偏移量进行像素值自适应，突出全景图的图像边缘，使得全景图像的细节进一步增强。

1 经典图像增强滤波器分析

双向滤波器BF(Bilateral Filter)算法具有显著的保边缘特性，成为了GIF(Guided image filter)算法[2]保边缘图像增强算法设计的最重要思想来源之一。GIF是一种算法复杂度为()，又能增强图像细节的滤波器，但也存在图像平滑区域过度模糊、细节丢失的问题，本文将在该滤波器的基础上进行改进。

2 自适应引导滤波全景图增强算法研究

2.1 GIF(Guided Image Filter)引导滤波器

GIF(Guided Image Filter)引导滤波器是由He等人[2]提出的一种能增强图像细节的滤波器。该滤波器通过一幅引导图像对输入图像进行滤波处理，该滤波器的优势在于输出图像在保留输入图像整体特征的时候还能充分获得引导图像的边缘特征[7]，该滤波器适合全景图的场景增强。滤波过程中的引导图像记为，输入图像记为，滤波输出图像记为，假设在以象素为中心的窗口中引导图像和输出图像之间存在如下的局部线性模型：

式(1)中，是半径为的方形窗口，a和b为窗口中的线性系数，这种局部线性关系保证了输出图像的边缘和引导图像的边缘一致。要保证输出图像和输入图像之间的差异尽可能小，关键在于求出线性系数a和b的最优解，因此转化为求以下目标函数最优化问题：

对于输入图像，对每个包含象素的窗口计算不同的Q值，然后取均值。则在计算出所有的窗口系数a、b后的滤波输出图像为：

2.2 引导图像的构造

由于引导滤波器的输出图像在保留输入图像整体特征的时候，能充分获得引导图像的边缘特征，又因为加权最小二乘滤波器WLS (the Weighted Least Squares) 算法[1]具有很好的细节提取能力，为了使得全景图像的细节进一步增强，本文采用加权最小二乘滤波器WLS来构造全景图像的引导图像，算法原理阐述如下。

对于给定的输入图像，要找到一个这样的图像，该图像能与输入图像足够相似，又能在平坦区域尽可能处处平滑，用最小化平方和来表示，如式(5)：

图1 基于WLS构造的引导图

2.3 细节增强的自适应引导滤波器设计

对于输入图像和引导图像，GIF滤波器可形式化描述如下[2]：

在进行滤波的时候，在输入图像中增加一个偏移量被证明能使得图像锐化，经过滤波器算法增强后的图像边缘更清晰[10]。为了使得引导图像G边界和细节信息的像素在引导滤波器中进一步增强，本文引入梯度模差值作为偏移量，进行自适应图像增强。具体公式表达如下：

在本文中，根据式(10)，梯度及其模定义为如下式(11)：

2.4 细节增强算法基本流程及步骤

上面三小节阐述了所提出算法的基本思想和原理，并在原有的GIF算法上进行改进，提出了自适应的图像增强算法AGIF，现梳理成算法流程和步骤，算法流程如图2所示。

图2 算法流程图

本算法具体步骤：

Step 1 对输入图像采用2.2节中的加权最小二乘滤波器WLS (the Weighted Least Squares) 算法构建引导图像；

Step 2 计算引导图像的滤波窗口W中的梯度和梯度均值；

Step 4 AGIF引导滤波器对输入图像在引导图像的边界和细节信息引导下，用AGIF引导滤波器进一步增强，最后输出图像。

3 实验验证

3.1 实验环境

本文实验图像采集工具为：佳能 Canon EOS 5D Mark III相机，佳能EF 8-15mm f/4L USM 鱼眼镜头，佳能LC-5无线遥控器，曼富图303SPH云台，百诺C2691TB1三脚架等拍摄设备。本文所有方法的实验硬件环境：Intel(R) Core(TM) i5-3337U Duo CPU 1.8 GHz/8 GB内存；软件运行环境：工具软件为Matlab 2013a和操作系统为Windows8。为了验证算法的有效性，采集了大量庐陵古村及博物馆的不同场景和光线条件下的鱼眼照片，并拼接成全景图像，对其中拍摄质量欠佳旅游场景全景图像进行增强处理实验，并依据客观评价指标进行定量评价。

3.2 实验结果与分析

为了对比分析，同时给出了GIF算法[2]、LLF算法[6]以及本文所提出的改进算法AGIF增强结果。图4~图7分别给出了全景图在各算法执行下的增强效果图。表1给出了各算法的平均梯度、边缘强度、信息熵的全景图增强的客观质量评价指标计算值。

运用上述步骤，实验结果见图3所示。从图3可以看出，增强后的图像细节更清晰，色彩更亮。

图3 AGIF增强效果局部放大效果图

3.2.1 各算法增强效果图

1) 钓源古村某场景全景图增强后的局部细节对比

图4 上图：钓源古村某场景全景图原图；下图：各方法增强后局部细节放大效果对比

2) 井冈山革命博物馆某场景全景图整体增强效果图

图5 博物馆某场景全景图的增强效果对比

3) 燕坊古村某场景全景图整体增强效果图

图6 燕坊古村某场景全景图的增强效果对比

4) 青原山净居寺某场景全景图整体增强效果图

图7 青原山净居寺某场景全景图的增强效果对比

从图4~图7可以看出，各个算法原图像A)原图场景中部分不清楚的细节经过增强之后得到进一步的改进。对比于B)、C)等算法的实验结果，直观上可以看到，所提出的自适应GIF增强算法能较好地提高图像的清晰度，增强场景细节，效果比其它2种增强方法要好。

3.2.2 图像增强的客观评价

由于人眼的视觉强度不同，对于细节过多的全景图像增强效果认知具有一定的主观性，本文除了与GIF、LLF等图像增强算法进行主观上的视觉效果对比之外，还选用平均梯度AG（Average Gradient）、Sobel算子计算边缘强度EI(Edge Intensity)、信息熵IE (Information Entropy)等三个常见图像增强客观评指标进行定量评价。

3.2.2.1 图像增强的客观评参数指标

1）平均梯度AG（Average Gradient）

平均梯度值AG分别将图像长度和宽度方向上的相邻像素灰度值做差后求平方和再求均方根值，它能较好地反映图像的微小细节反差纹理变化特征，其值越大表示图像越清晰、图像质量越好[12]。本文对图像的RGB三通道的彩色颜色亮度值来求取增强后图像的平均梯度值，其计算公式为式(12)：

2）边缘强度EI

梯度虽然可以作为描述图像结构特征的一项重要指标，但其受噪音干扰比较大，而边缘强度可以描述图像的边缘信息。使用Sobel算子进行边缘检测，它是一离散性差分算子，对噪声具有平滑作用，提供较为精确的边缘方向信息。该算子包含两组3x3的矩阵，分别为水平模板及垂直模板，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。Sobel算子模板如图8所示。

图8 Sobel算子模板 (a)水平模板 (b) 垂直模板

则边缘强度的计算公式如下式(14)：

式中，代表,分别是图像的像素行数和列数。清晰的图像，边缘信息越丰富，值也就越大。反之，模糊的图像，边缘信息值则越小。

3）信息熵计算IE

图像信息熵是衡量图像质量的一个重要指标。增强图像的熵值越大，说明增强图像从源图像中保留的信息量越多，细节越丰富，图像质量越好[13]。图像的信息熵评价函数IE定义为式(15)：

3.2.2.2 全景图像质量增强客观评价计算结果

根据平均梯度AG、Sobel算子计算边缘强度EI、信息熵IE等三个常见图像增强客观评指标进行计算，结果如表1所示。

表1 图4~图7全景图像质量增强客观评价指标

从表1可以看出，改进的AGIF算法增强后的值基本上均比其它算法增强的结果要大。值越大，说明图像波动明显，这与细节增强达到的目标是一致的。

4 结论

本文利用具有较强细节提取能力的加权最小二乘滤波器WLS (the Weighted Least Squares) 构建引导图像，通过引入梯度值偏移量在滤波窗口w内对输入图像进行像素值自适应增强，提出了自适应的引导滤波算法AGIF算法。为了验证AGIF算法在全景图像上的增强效果，实验对象选择了各种不同场景降质全景图像，同时对GIF算法、LLF算法的增强效果进行比较。实验验证效果主要从两方面进行度量，一是主观视觉效果，二是客观定量评价指标。实验结果表明，提出的增强方法能较好地提高图像的对比度，增强旅游场景的视觉效果，性能优于其它2种增强方法。增强后的全景图像应用在钓源、渼陂、燕坊等庐陵古村的全景漫游系统中，取得较好的漫游视觉效果。

[1] Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. Acm Transactions on Graphics, 2008, 27(3):67.

[2] He K, Sun J, Tang X. Guided image filtering[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(6): 1397-1409.

[3] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C].Computer Vision, 1998. Sixth International Conference on. IEEE: 839-846.

[4] Fattal R, Agrawala M, Rusinkiewicz S. Multiscale shape and detail enhancement from multi-light image collections[J]. ACM Trans. Graph., 2007, 26(3): 51.

[5] 戴霞,李辉,杨红雨,等. 基于虚拟图像金字塔序列融合的快速图像增强算法[J].计算机学报,2014,37(3): 602-610.

[6] Paris S, Hasinoff S W, Kautz J. Local Laplacian filters: edge-aware image processing with a Laplacian pyramid[J]. ACM Trans. Graph., 2011, 30(4): 68.

[7] Paris S, Durand F. A fast approximation of the bilateral filter using a signal processing approach[J]. International Journal of Computer Vision, 2009, 81(1): 24-52.

[8] 张闯,迟健男,张朝晖,等. 基于边缘检测与双边滤波的彩色图像去噪[J].电子学报, 2010,38(8): 1776-1783.

[9] 杨志学,徐勇,方静,等. 结合区域分割和双边滤波的图像去噪新算法[J].中国图象图形学报,2012,17(1):40-48.

[10] Bennett E P, McMillan L. Video enhancement using per-pixel virtual exposures[J].ACM Transactions on Graphics (TOG). 2005, 24(3): 845-852.

[11] Pham T Q, Van Vliet L J. Separable bilateral filtering for fast video preprocessing[C].2005 IEEE International Conference on Multimedia and Expo. IEEE, 2005: 4.

[12] Buades A, Coll B, Morel J M. The staircasing effect in neighborhood filters and its solution[J]. Image Processing, IEEE Transactions on, 2006, 15(6): 1499-1505.

[13] Wu X. A linear programming approach for optimal contrast-tone mapping[J]. Image Processing, IEEE Transactions on, 2011, 20(5): 1262-1272.

[14] Paris S, Durand F. A fast approximation of the bilateral filter using a signal processing approach[C].European conference on computer vision. Springer Berlin Heidelberg, 2006: 568-580.

[15] 漆琳智,张超,吴向阳. 引导滤波的单幅图像前景精确提取[J]. 杭州电子科技大学学报,2013,33(5): 166-170.

[16] Pham C C, Ha S V U, Jeon J W. Adaptive guided image filtering for sharpness enhancement and noise reduction[C].Pacific-Rim Symposium on Image and Video Technology. Springer Berlin Heidelberg, 2011: 323-334.

[17] Zhang B, Allebach J P. Adaptive bilateral filter for sharpness enhancement and noise removal[J]. IEEE Transactions on Image Processing, 2008, 17(5): 664-678.

[18] 谭啸,冯久超. 图像邻域像素分布分析[J].吉林大学学报:工学版,2011,41(2):553-558.

ADAPTIVE GUIDED IMAGE FILTERING FOR THE PANORAMIC IMAGE ENHANCEMENT

TAN Yun-lan1, TANG Peng-jie2, XIA Jie-wu1

(1. School of Electronics and Information Engineering, Jinggangshan University, Ji’an, Jiangxi 343009, China; 2. School of Mathematics and Physics, Jinggangshan University,Ji’an, Jiangxi, 343009,China）

Aiming at the problem of image with low contrast cause by weather conditions, capture device or the technological level of photographer and the problem of indistinct mosaic caused by late panorama mosaic algorithm, the paper takes the advanced adaptive guided image filter algorithm for image detail enhancement. This paper using the weighted least squares filter for the construction of guided image, improving the existing adaptive filtering method, so as to better enhance the shape and surface details through introducing the gradient offset. The algorithm can improve the visual effect of the tourism scene from both the subjective result and object quality evaluation. At the same time, the algorithm can also compress the file size to achieve the transmission requirement of lightweight travel scene, so as to improve the user experience of virtual tourism.

adaptive guided image filtering; the panoramic image; enhancement algorithm

1674-8085(2018)04-0034-09

TP391

A

10.3969/j.issn.1674-8085.2018.04.007

2018-03-11；

2018-05-25

2015年度江西省艺术科学规划项目(YG2015081)；2017年度江西省艺术科学规划项目(YG2017283)；2015年江西省教育厅科技项目 (GJJ150788)

谭云兰(1972-），女，江西新干人，副教授，博士，CCF会员，主要从事虚拟现实，图像处理等方面的研究(E-mail:tanyunlan@163.com);

汤鹏杰(1983-)，男，河南郸城人，讲师，博士生，主要从事计算机视觉、深度学习等方面的研究(E-mail:5tangpengjie@tongji.edu.cn);

夏洁武(1969-），女，江西吉水人，教授，硕士，主要从事图像处理方面的研究(E-mail: 276360030@qq.com).