一种改进MAP图像超分辨率复原方法在智能交通中的研究

陈海棠　黄国勇

(1.昆明理工大学信息与自动化学院　昆明　650500)(2.云南省矿物管道输送工程技术研究中心　昆明　650500)

一种改进MAP图像超分辨率复原方法在智能交通中的研究

陈海棠1,2黄国勇1,2

(1.昆明理工大学信息与自动化学院昆明650500)(2.云南省矿物管道输送工程技术研究中心昆明650500)

摘要针对传统超分辨率复原方法处理的图像较为平滑,边缘信息消失的问题,提出一种改进的MAP图像超分辨率复原方法。由于监控视频图像是彩色的,该方法首先将原始图像分解成R、G、B三个颜色空间,然后分别利用Curvelet插值将低分辨率图像构建成两倍高分辨率图像,并将图像划分为四个方向同时计算对应的方向因子,结合权重系数对图像进行插值,然后利用MAP算法对图像进行超分辨率复原,最后将R、G、B三个颜色空间的复原图像合成一幅高分辨率图像。仿真实验证明,该方法较于传统图像超分辨率重建方法,能够恢复彩色图像信息,更好地保持图像的边缘特性,抑制边缘和纹理丰富区域模糊和锯齿现象的出现。

关键词MAP; 超分辨率复原; Curvelet插值; 双三次

Class NumberTP391

1引言

监控视频是实现智能交通的最重要的媒体之一[1]。随着智能交通的发展,无论是车辆的跟踪还是车辆的识别基本都是基于视频实现的。一个高质量的视频对于后续的处理起着十分重要的作用,无疑能够减少后续处理的难度,提高效率。然而,监控设备需大量布置于城市的各个区域,为了节约管理成本,前端视频采集设备分辨率一般较低[2]。从而导致监控视频中有重要意义的细节部分,如交通事故中肇事车辆的车型车牌等,往往会由于分辨率过低而难以辨认。所以从已有的图像中恢复图像信息具有重要作用,图像复原技术也得到广泛关注和研究。

传统的图像复原方法只能在一定程度上去除成像过程中由干扰因素造成的影响,从而提高退化图像的质量[3]。不可能恢复成像过程已经丢失的图像细节信息,因而不能真正提高图像的分辨率。为此,提出了超分辨率复原的概念。最早的超分辨率重建是由Tsai和Huang提出的,该算法能够不依赖于硬件设备提高图像空间的分辨率,较为方便,成本较低,能够充分利用已获取的大量图像资源。但由Tsai和Huang所提出的图像复原方法是基于频域的复原方法,无法处理非整体运动模型的本质缺陷。后来许多空域方法被提出,如1989年由Oskoui等提出的凸集投影法(Projection onto Convex Set,POCS)[4],1991年由Irani和Peleg提出的迭代反投影法(Iterative Back Projection,IBP)[5],1995年提出的ML-POCS算法[6]以及1997年提出的最大后验估计(maximum a posterior,MAP)[7]。其中,MAP超分辨率重建方法能够对超分辨率重建变态问题进行正则化,模型选择灵活多样,并且具有降噪强、解唯一等优点,在图像复原中得到广泛的应用[8]。国内超分辨率图像重建得到了许多学者的关注,如焦斌亮[9]等提出采用小波插值对序列图像进行超分辨率复原,但前提是序列图像之间严格具有一个像素的位移,这在不知道相机参数的实际拍摄中很难做到。李文博等[10]提出了一种基于马尔可夫模型与Shearlet变换的超分辨率复原方法,作者运用该算法对雷达孔径(SAR)图像进行复原处理,取得了较好的效果。宋锐等人[11]提出在MAP框架下将三边滤波正则化应用到数值求解的迭代过程中,该方法能够保护屋顶边缘和陡坡及图像的整体平滑特性,取得较好的结果,但是该方法没考虑图片纹理特性。唐佳林[12]等人提出一种结合小波理论和超分辨率复原方法,该方法能够取得较好的效果,较传统的MAP图像算法能够较好地保持图像的边缘特性,然而该方法忽略了图像的纹理方向,使得纹理边缘不清晰。

为解决图像超分辨率算法边缘、纹理保持性不好的问题,本文提出一种改进的MAP超分辨率重建复原方法,该方法将MAP超分辨率重建复原算法与曲波变换(Curvelet)插值算法相结合,首先利用Curvelet插值将低分辨率图像构建成两倍高分辨率图像,然后利用MAP算法对图像进行复原,该方法不仅较好地解决传统MAP算法边缘平滑的问题,还能够保持多方向特性,从而更好地表示图像中普遍存在的几何特性。

2改进的MAP超分辨率方法

在图像进行插值之前,首先,将原始图像分解成R、G、B三个颜色基量下的图像。分别对三个颜色基量图像进行插值处理,最后将三个图像再整合成一幅图像。这种方法能够更好地恢复图像的色彩信息,使得复原的图像能够有较小的色差。

2.1Curvelet插值算法

Curvelet插值算法,首先将图像进行Curvelet变换,并将频域系数划分为四个方向,计算方向因子,然后构造插值权重系数,最后将待插值点分为两类进行插值,得到高分辨图像[13]。

设X为m×n的低分辨率图像,Y为2m×2n高分辨图像。图像Y是图像X经过2倍插值后得到的。如图1所示,Curvelet插值算法中待插值点根据其空间位置分为两类。已知点位于高分辨率图像Y的奇数行和奇数列,用实心圆表示;第一类待插值点位于高分辨率图像Y的偶数行和偶数列,用实心三角形表示;第二类插值点分别位于高分辨率图像的奇数行偶数列和偶数行奇数列,用空心圆表示。

图1　高分辨率图像中待插值点分类

首先将图像X中对应点的像素值给图像Y的奇数行和奇数列赋值如式(1)[13]:

Y(2i-1,2j-1)=X(i,j)

(1)

其中i=1,2,3,…,m,j=1,2,3,…,n然后计算四个方向因子A1,A2,A3和A4,对待插值点进行线性插值:

第一类待插值点用Y(2i,2j)表示,分别计算45°方向估计值、135°方向估计值以及插值点的估计值来估计第一类待插值点。第二类待插值点用Y(x,y)表示,其中当x=2i-1时y=2j,当x=2i时y=2j-1,分别计算水平方向估计值,垂直方向估计值以及插值点的估计值估计第二类待插值点。

通过前面两步,计算出高分辨率图像中的两类待插值点Y(2i,2j)和Y(x,y),从而完成了低分辨率到高分辨率的插值重构过程。图2为本节算法的插值示意图。

图2　基于曲波变换的图像2倍插值示意图

2.2MAP算法

MAP方法作为一种典型的统计方法把超分辨率复原问题转换成一个统计估计问题。MAP方法在贝叶斯原理的基础上,使高分辨率出现的后验概率达到最大。

未知的高分辨率图像Z的MAP估计可以由如下过程获得:

在给定观测图像序列y={y(1),y(2),…,y(k)}的条件下,使理想图像的条件概率密度函数Pr(z(k)/{y(1)})达到最大。根据贝叶斯原理,理想高分辨率图像的最优估计问题可以表示为[3]

(2)

最大后验概率估计用如下公式表示:

(3)

+logPr(z(k))}

(4)

本文算法是在Huber-Markov模型下实现的MAP超分辨率复原算法。高分辨率图像的最大后验概率估计可表示为

(5)

约束集合Φ定义为

Φ={z(k):y(k)=A(k,k)z(k)}

(6)

f(z(k))是目标函数;α为Huber边缘惩罚函数阈值参数。当α趋向无穷时,ρ(x,α)变成了二次边缘惩罚函数,对应于Gauss-Markov先验模型。λ(l,k)是与y(l)相对应的信任参数,l≠k。λ(l,k)存在如下关系式:

(7)

Huber函数是凸的,所以目标函数f(z(k))最优解唯一。最后采用最优算法来获得高分辨率图像的估计。

3改进的MAP超分辨率复原方法实现

将本文提出改进的MAP图像超分辨率复原方法应用于交通视频图像上,对其进行超分辨率复原。实现过程如图3所示,具体步骤如下所述:

1) 在图像获取的过程中有些噪声可能会严重影响重建算法的效果,所以在进行图像重建之前应该对其进行预处理,以减小其对复原效果的影响。

2) 将预处理后的图像分解成R、G、B颜色空间的图像。

3) 然后,用Curvelet插值方法对高分辨率图像进行初始估计,首先对图像进行Curvelet变换,并将频域系数划分成四个方向,然后结合加权系数对所有待插值点进行线性插值,将所得的估计值作为分辨率复原重建的“参考”。

图3　改进的MAP图像超分辨率复原算法实现过程

图4　候选图像

图5　基于最近邻插值的重建图像

图6　基于双线性插值的重建图像

图7　基于双三次插值的重建图像

图8　改进Curvelet插值的重建图像

· 对预插值图像进行Curvelet变换,并将频域系数划分为四个方向,并分别从45°、135°水平和垂直四个方向计算待插值点像素的方向因子;

· 对两类待插值点计算方向因子,然后结合构造出的加权系数,对所有待插值点进行线性插值,从而将m×n低分辨率图像插值成高分辨率图像;

4) 引入MAP算法对图像进行复原。

· 根据贝叶斯定理定义概率密度函数来表达先验信息,获取理想高分辨率图像的最优估计问题;

· 引入Huber-Markov模型,最后用梯度下降最优化方法来获取高分辨率图像的估计。

5) 将R、G、B颜色空间的图像合成一幅图像。

4仿真实验

本文对交通视频图像进行实验,分别采用线性插值和Curvelet插值在MAP超分辨率复原模型下对视频图像进行复原处理。本实验采集16帧的视频图像序列,将首帧图像作为参考帧如图4所示,运动估计后得到一个初始图像。然后分别用线性插值算法和Curvelet插值算法将图像进行2倍插值,构建出高分辨率图像。最后用MAP算法对高分辨率图像进行求解,从而得到超分辨率复原图像。在本文中,MAP算法将图像复原转换成最优估计问题后,采用最速下降法最优化方法来获得高分辨率图像。

图5～图7分别是基于最近邻插值、双线性插值、双线性插值、双三次插值和Curvelet插值算法的MAP超分辨率复原方法的实验结果图。从实验结果可以看出MAP超分辨率复原算法对于复原退化图像具有较好的效果,能够恢复大部分退化图像丢失的信息,从本质上提高退化图像的空间分辨率。然而,基于最近邻插值、双线性插值、双线性插值、双三次插值的MAP超分辨率复原算法所得的图像较为平滑,边缘信息不明显,不能保持纹理特性,复原效果并不理想。而Curvelet插值算法将图像划分为四个方法,对各方向有权重的进行插值,能够保持图像的边缘特性和纹理特性。如表1所示,实验从PSNR和MSE两个参数结果进行对比分析算法的有效性,证明本文算法较传统MAP重建算法有较为明显的提高。所以本文所提出的结合Curvelet插值算法和MAP超分辨率重建算法能够更好地保持边缘特性,保持多方向特性,更好地表示图像中普遍存在的几何特性,纹理边缘较为清晰,该算法对图像的复原效果较好,更加接近理想的图像,能够减小后续视频图像处理的难度。

表1　基于各种插值算法的超分辨率重建性能比较

5结语

本文提出的方法结合了Curvelet插值算法与MAP算法,解决了传统超分辨率复原算法边缘模糊的问题,抑制了纹理丰富区域的锯齿出现。该算法所得到的图像能够保持边缘特性,恢复图像退化过程中丢失的部分重要信息,且该算法能够保持多方向特性,能够更好地表示图像中普遍存在的几何特性,并且降低边缘和纹理丰富的区域出现的模糊和锯齿现象,复原效果较好。实验证明了本文算法的有效性。

参 考 文 献

[1] 刘皓.高清图像中基于车牌定位的车辆跟踪和违章检测[D].南京:南京理工大学,2012.

LIU Hao. Vehicle tracking and violation detection based on license plate location in high-definition image[D]. Nanjing: Nanjing University of Science and Technology, Nanking,2012.

[2] 谢伟.多帧影像超分辨率复原重建关键技术研究[M].武汉:武汉大学出版社,2014.

XIE Wei. Research on the key technology of multi-frame Super-resolution image reconstruction[M]. Wuhan: Wuhan University Press,2014.

[3] 卓力,王素玉,李晓光.图像/视频的超分辨率复原[M].北京:人民邮电出版社,2011.

ZHUO Li, WANG Suyu, LI Xiaoguang. Image/Video Super Resolution[M]. Beijing: Posts & Telecom Press,2011.

[4] Henry STARK, Peyma OSKOUI. High-resolution image recovery from imageplanearrays using convex projections[J]. J. Optical Society of America,1989,6(11):1715-1726.

[5] Michal IRANI, Shmuel PELEG. Improving resolution by image registration[J]. GraphicalModels and Image Processing,1991,53:231-239.

[6] Brian C. TOM, Aggelos K. KATSAGGELOS. Reconstruction of ahigh-resolution image by simultaneous registration, restoration and interpolation of low-resolution images[C]//Proc. of Int Conf. Image Processing, Washington D.C:IEEE,1995:539-542.

[7] Russell C. HARDIE, Kenneth J. BARNARD, Ernest E. ARMSTRONG. Joint MAP registration and highresolution image estimation using a sequence of under sampled images[J]. IEEETrans. on Image Processing,1997,6(12):1621-1633.

[8] 袁小金,王开志,刘兴钊.基于MAP及边缘保持的超分辨率图像复原[J].信息技术,2008(5):45-47.

YUAN Xiaojin, WANG Kaizhi, LIU Xingzhao. Super-resolution based on MAP and edge preserving[J]. Information Technology,2008(5):45-47.

[9] 焦斌亮,赵文蕾.小波及分形理论在互有位移图像序列重构中的应用[J].光学仪器,2006,27(6):23-27.

JIAO Binliang, ZHAO Wenlei. Application of wavelet and fractal theory on reconstruction of the image sequence with displacement[J]. Optical Instruments,2006,27(6):23-27.

[10] 李文博,吴炜,罗代升,等.马尔可夫模型与Shearlet变换结合的SAR图像超分辨率复原方法[J].四川大学学报,2012,15(44):101-108.

LI Wenbo, WU Wei, LUO Daisheng, et al. SAR Image Hallucination Based on Markov Model and Shearlet Transform[J]. Journal of Sichuan University(Engineering Science Edition),2012,15(44):101-108.

[11] 宋锐,吴成柯,封颖,等.一种新的基于MAP的纹理自适应超分辨率图像复原算法[J].电子学报,2009,37(5):1124-1129.

SONG Rui, WU Chengke, FRNG Ying, et al. A New MAP Based Texture Adaptive Super-Resolution Image Reconstruction Algorithm[J]. Acta Electronic Sinica,2009,37(5):1124-1129.

[12] 唐佳林,吴泽锋,蒋才高,等.基于小波变换的图像超分辨率复原算法研究[J].计算机科学,2014,41(11):147-149.

TANG Jialin, WU Zefeng, JIANG Caigao, et al. Study of Super-Resolution Image Restoration Algorithm Based on Wavelet Transform[J]. Computer Science,2014,41(11):147-149.

[13] 赵亮,和红杰,尹忠科.基于Curvelet的纹理方向自适应图像插值[J].光电子·激光,2012,23(4):798-803.

ZHAO Liang, HE Hongjie, YIN Zhongke. Texture direction adaptive image interpolation based on Curvelet Transform[J]. Optoelectronics · Laser,2012,23(4):798-803.

An Improved MAP Super-Resolution in Intelligent Transportation System

CHEN Haitang1,2HUANG Guoyong1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAn improved MAP super-resolution is proposed aiming to solve the problem that the image dealt by traditional super-resolution is quite smooth and the marginal information is vanished. This algorithm decomposes the initial image into R,G,B color space because of the color of surveillance video, then a 2×high resolution image is constructed from a low resolution image by Curvelet interpolation. The constructed image is divided into four directions and the corresponding directivity factor was calculated. Then, interpolate image by combining the directivity factor and its weight coefficient. And then, the interpolated image is interpolated by Bicubic interpolation. And the interpolated image is restored by MAP super-resolution. And then the R,G,B images are composed into a final image. The experiment shows that this algorithm can remain the marginality of image better and restrain the appearance of blur and serration within the area where the margin and texture are rich compared to the traditional super-resolution algorithm.

Key WordsMAP, super-resolution, Curvelet interpolation, bicubic

收稿日期:2015年12月10日,修回日期:2016年1月17日

基金项目:国家自然科学基金项目(编号:51169007);云南省科技计划项目(编号:2013DH034);云南省中青年学术和技术带头人后备人才培养计划项目(编号:2011CI017)资助。

作者简介:陈海棠,女,硕士研究生,研究方向:智能交通事件检测技术。黄国勇,男,博士,副教授,硕士生导师,研究方向:嵌入式系统研究及开发,高精度北斗导航技术及应用,智能交通事件检测技术。

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.06.030