基于小波粗糙集算法的图像拼接研究

李宏升，张 健

（黄淮学院 信息工程学院，河南 驻马店463000）

1 引 言

将多幅在不同时刻、从不同视域的图像经过对齐无缝地融合，得到一幅大视域、各图像序列信息高分辨率的图像［1］，同时压缩了信息存储量，以满足人们观察、浏览大范围场景的需要。比如将360°所拍摄的多张图片合成一张图片可观察到周围的全部情况，因此对红外预警、遥感图像处理、虚拟漫游系统、计算机图形全景浏览等领域有着广泛的应用价值［2］。

目前图像拼接研究中：基于多重投影拼接，通过中心投影的射影变换，防止了视觉差出现［3］，无法适应大数据量图像的融合；基于仿射变换的拼接，水平视角不受限制［4］，但是垂直方向上的视场有限制；基于图像检索的图像拼接，通过划分图像小块与数据库图像替换为新图像，不受视觉限制［5］，但是使用的时候需要大规模图像数据库支持；基于区域相关的拼接算法，以灰度值的差异化进行图像拼接，实现简单［6］，但是如果图像亮度、对比度的变化则导致拼接失败；基于特征相关的拼接算法，以图像特征对重叠部分进行搜索匹配，具有较高的健壮性和鲁棒性［7］，但是不同图像的相似度测量比较复杂。

本文采用基于小波粗糙集算法对图像拼接，首先基于自适应小波变换对图像分解，小波方向的对比度设定阈值平衡图像内各个对象的差异；然后对分解图像特征点的粗糙决策属性来划分重叠区域，比较计算参考图像与输入图像特征向量因数集的欧氏距离约简规则选择特征点，通过平均值法消除拼接缝隙；接着给出了算法流程和评价指标；最后实验仿真显示本文算法拼接缝隙区域过渡光滑，视觉效果连续，没有出现重叠鬼影，评价指标较好。

2 小波粗糙集算法

2.1 基于小波变换的图像分解

2.1.1 自适应小波分解

多级小波变换将图像分解为高、低频图像，在低频状态下对目标图像进行粗匹配，在上一级进行精匹配，减少了计算量，提目标高搜索效率。但是若干次小波分解使图像一些关键特征丢失，比如在高频图像上难以提取特征，低频图像的灰度信息过少而影响拼接的精度［8－10］，图像f（i，j）大小自适应地选取进行小波分解的次数n，小波分解后的图像大小为f′（i，j），则：

式中：δ为阈值，本文控制为400×400。

相应的小波重构算法为：

其中：φ 和ψ 为相应的尺度函数和小波函数，φ（i）和ψ（i）为沿i方向分析，沿j方向分别用φ（j）和ψ（j）做类似分析，f（j）（i，j）是沿j 方向的平滑逼近，其余三路输出为水平Zjh（i，j）、垂直Z（jv）（i，j）、对角Z（jd）（i，j）φ。

2.1.2 局部对比度改善

小波多分辨率分析忽略了高频子带和低频子带的对比度关系，为了平衡图像内各个对象的差异，更加适合人眼的生理视觉特点［11］，根据蒲恬等人思想并结合工程经验中局部对比度的概念［12］，小波方向的对比度设定阈值为：

式中：Kjh 是第j 层分解的水平对比度；Kjv 是第j层分解的垂直对比度；Kjd 是第j 层分解的对角对比度；fjt为第j 层分解的低频近似分量；Zjh、Zjv、Zjd 分别是第j 层分解的水平、垂直、对角的高频分量。σjh 为水平对比度设定阈值，σjv 为垂直对比度设定阈值，σjd 为对角对比度设定阈值。

在重叠区域的待拼接特征像素点，虽然它们在位置上相对应，但由于其特征像素值并不完全相同，对图像重叠区域进行平滑处理即可。

2.2 基于粗糙集的特征匹配

2.2.1 分解图像特征点的粗糙决策属性

粗糙集是属性约简通过对象的知识对原始数据进行分析，保持信息系统分类能力不变，导出与原始数据具有相同决策能力的最小集合，降低数据的需求量和处理复杂度［13］。

一个知识系统为：S＝（U，A，V，F，f，D），其中：论域图像样本空间U＝（U1，U2，…，U｜u｜）为有限非空集合，图像候选特征点向量因数条件属性集合A＝（a1，a2，…，a｜A｜）为有限非空集合，V＝∪Va，其中a∈A，Va为属性a 的值域；f：U×AV 为信息函数，对于a∈A、x∈U、f（x，a）∈Va，D＝（d1，d2，…，d｜d｜）为决策属性集。极小子集A0使得RA0（D）＝RA（D），其中R 表示属性重要性欧氏距离约简规则。

设R 是分解图像f′（i，j）上的等价关系，则f′（i，j）产生的等价类划分集，其中划分的每个小区域均是一个等价类［14］，为：

其中：［x］R＝｛y｜（x，y）∈R ｝那么f′（i，j）与R 的集合体｛f′（i，j），R ｝为近似空间。若f～∈f′（i，j）拼接图像粗糙集空间的上近似为：

则粗糙集空间的下近似为：

通过空间的划分，把上近似在基于属性子集R 的划分区域被划分到对象集合f～（i，j）中，下近似有可能被划分到对象集合f～（i，j）中［15］。

2.2.2 特征点欧氏距离与属性置信度计算

通过比较计算参考图像与输入图像特征向量因数集的欧氏距离约简规则，以此作为特征点匹配的依据提取出初始特征点对，其公式如下：

其中：Mi、M⌒j分别表示参考图像和输入图像的矩，欧氏距离h越小特征点越相似，计算参考图像中的特征点与输入图像中的每一个特征点的欧氏距离，并把输入图像中欧氏距离最小的点作为参考图像中特征点的匹配点。然后依次计算出参考图像中每一个特征点在输入图像的匹配点［16］。

属性Ai单边个数与所有属性单边个数之和的比值为属性的置信度：

当样本空间很大且决策表中所有条件属性都绝对不可约简时，通过置信度可以进行近约简.若置信度条件为（100－α）%，则可将所有属性置信度小于α%的条件属性约去［17］。

2.2.3 拼接消缝

当拼接图像重叠区域有较大差异时，造成拼接后的图像存在拼接缝隙，采用平均值法消除拼接缝隙［18］，设f1（i，j）和f2（i，j）为待拼接图像，f3（i，j）为拼接后图像，则有：

式中：w1和w2表示重叠区域中所有相应像素的强度值之差平方和最小值。这样在拼接后，实现图像的上下，左右以及斜方向的无缝拼接，适于视觉观察。

2.3 算法过程

①输入待拼接图像；

②自适应小波变换对其分解，同时局部对比度改善；

③依据粗糙属性约简提取图像特征点；

④满足设定的特征点欧氏距离，则转置步骤③；

⑤属性置信度优化与消除拼接缝隙；

⑥输出拼接图像。

2.4 评价指标

2.4.1 信息熵

信息熵越大，则图像的信息丰富，对比度好，细节突出［19］，其计算公式为：

式中：q表示图像灰度等级；P（q）表示在重叠区域图像中像素的灰度值为q时的概率。

2.4.2 平均梯度

平均梯度评价图像的模糊程度［20］，其定义为：

其中：M 和N 为重叠区域大小；Gi和Gj分别为图像沿i和j 方向的差分。平均梯度越大，则像层次越多，也就越清晰。

2.4.3 标准偏差

高对比度的图像对应大的标准偏差，其标准偏差：

3 实验仿真

3.1 图像拼接对比效果

使用数码相机在区域固定进行拍摄，采集相邻3幅图像间的重叠范围均在35%～55%。拍摄过程中镜头允许存在一定俯仰，相邻图像间允许存在一定范围内的亮度差。拍摄3幅待拼接的图像如图1所示。

图1 待拼接的图像Fig.1 To be mosaic image

算法程序是Matlab7.0与VC＋＋混合编程实现，小波粗糙集算法与本文涉及到的其他具有代表性的算法进行对比，其拼接效果如图2所示。

图2 各算法全景拼接对比效果Fig.2 Comparative effects of each algorithm

本文算法图2中（a）的全景拼接缝隙区域过渡光滑，视觉连续，效果较好，没有出现重叠鬼影拼接，其他算法的图像中缝隙处有明显拼接痕迹，图像过渡部分不自然，这时因为本文算法是自适应控制小波分解的次数，再通过区域像素对象的粗糙条件属性和它们的粗糙属性值来进行匹配，对3幅图像的非重叠区域直接取各自的灰度值，对重叠区域采用平均值法消除拼接缝隙。

3.2 评价指标对比

通过客观评价指标对本文算法以及其他算法进行分析，其结果如表1所示。

表1 评价指标对比Tab.1 Comparative evaluation

从表1中的数据可以看出，本文算法执行时间少，有效提升了图像拼接速度，同时拼接所含图像的信息量较大，为观察图像细节提供了依据，平均梯度大，使像层次多清晰度高，标准偏差较大使对比度比较高，其他算法的检测指标均差于本文算法。

4 结 论

基于小波粗糙集算法对全景图像拼接，首先基于自适应小波变换对图像分解，小波方向的对比度设定阈值平衡图像内各个对象的差异；然后对分解图像特征点的粗糙决策属性来划分重叠区域，比较计算参考图像与输入图像特征向量因数集的欧氏距离约简规则选择特征点，通过平均值法消除拼接缝隙；接着给出了算法流程和评价指标。最后实验仿真显示，本文算法拼接缝隙区域过渡光滑，视觉效果连续，没有出现重叠鬼影，评价指标较好。

［1］ 陈德印.360度全场景多目标识别与跟踪算法的研究与实现［D］.南京：南京邮电大学，2013.Chen D Y.Research and implementation of 360degree full scene multiple target recognition and tracking algorithm［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.（in Chinese）

［2］ 王志刚，夏汉铸.一种基于鱼眼图像的全景展开算法［J］.通信技术，2012，45（7）：65－66，71.Wang Z G，Xia H Z.A panoramic unwrapping algorithm based on fish－eye image［J］.Communications Technology，2012，45（7）：65－66，71.（in Chinese）

［3］ 周强.多重集相关投影分析与特征融合研究［D］.南京：南京理工大学，2011.Zhou Q.Study on the integration of multiple sets of correlation projection analysis and feature［D］.Nanjing：Nanjing University of Posts and Telecommunications，2011.（in Chinese）

［4］ 高保平，白瑞林.轴承压印字符自动识别算法的研究［J］.电视技术，2012，36（9）：142－145.GAO B P，BAI R L.Study on automatic recognition algorithm of pressed characters on bearing［J］.Video Engineering，2012，36（9）：142－145.（in Chinese）

［5］ 余胜，谢莉，成运.基于颜色和基元特征的图像检索［J］.计算机应用，2013，33（6）：1674－1676.Yu S，Xie L，Cheng Y.Image retrieval based on color and motif characteristics［J］.Journal of Computer Applications，2013，33（6）：1674－1676.（in Chinese）

［6］ 马超杰，李连喜.基于SURF特征相关的红外图像自动拼接［J］.淮海工学院学报，2013，22（1）：19－21.Ma C J，Li L X.Infrared image automatic mosaic method based on SURF feather correlation［J］.Journal of Huaihai Institute of Technology，2013，22（1）：19－21.（in Chinese）

［7］ 纪东升.基于特征点的图像拼接算法研究［D］.兰州：兰州理工大学，2011.Ji D S.Research on image mosaic algorithm based on feature points［D］.Lanzhou：Lanzhou University of Technology，2011.（in Chinese）

［8］ 王学伟，王世立，李珂.基于伪中值滤波和小波变换的红外图像增强方法［J］.激光与红外，2013，43（1）：90－93.Wang X W ，Wang S L，Li K.Infrared image enhancement based on pseudo median filter and wavelet transformation［J］.Laser ＆Infrared，2013，43（1）：90－93.（in Chinese）

［9］ 李钊宝，周铭，顾莉.基于小波变换的相似多目标识别算法研究［J］.科技通报，2013，29（3）：120－124.Li Z B，Zhou M，Gu L.The identification algorithm of similarity multiple targets based on Wavelet transform［J］.Bulletin of Science and Technology，2013，29（3）：120－124.（in Chinese）

［10］ 丁南南，刘艳滢，朱明.尺度相互作用墨西哥帽小波提取图像特征点［J］.液晶与显示，2012，27（1）：125－129.Ding N N，Liu Y Y，Zhu M .Extracting image feature points using scale－interaction of Mexican－hat wavelets［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（1）：125－129.（in Chinese）

［11］ 姚军财.基于人眼对比度敏感视觉特性的彩色图像压缩技术［J］.液晶与显示，2012，27（6）：800－807.Yao J C.Color image compression technology based on contrast sensitivity characteristics of human vision system［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（6）：800－807.（in Chinese）

［12］ 蒲恬，方庆吉，倪国强.基于对比度的多分辨率图像融合［J］.电子学报，2000，28（12）：116－118.Pu T，Fang Q J，Ni G Q.Multi resolution image fusion based on contrast［J］.Acta Electronica Sinica，2000，28（12）：116－118.（in Chinese）

［13］ 胡燕，王慧琴，秦薇薇，等.基于粗糙集的火灾图像特征选择与识别［J］.计算机应用，2013，33（3）：704－707.Hu Y，Wang H Q，Qin W W，et al.Fire image features selection and recognition based on rough set［J］.Journal of Computer Applications，2013，33（3）：704－707.（in Chinese）

［14］ 邵迎超，杜召彬，杨霁琳，等.软模糊粗糙集［J］.计算机工程与应用，2013，49（10）：125－128.Shao Y Y，Du Z B，Yang Q L，et al.Soft fuzzy rough sets［J］.Computer Engineering and Applications，2013，49（10）：125－128.（in Chinese）

［15］ 王学恩，韩崇昭，韩德强，等.粗糙集研究综述［J］.控制工程，2013，20（1）：1－8.Wang X E，Han C Z，Han D Q，et al.A survey of rough sets theory［J］.Control Engineering of China，2013，20（1）：1－8.（in Chinese）

［16］ 李淑尚，李雷达，何霁野，等.结合特征点与极谐变换的图像拼接［J］.计算机工程与应用，2013，49（3）：234－237.Li S S，Li L D，He J Y，et al.Image mosaic combining feature point and polar harmonic transform ［J］.Computer Engineering and Applications，2013，49（3）：234－237.（in Chinese）

［17］ 卢鹏，王锡淮，肖健梅.基于粗糙集和图论的电力系统故障诊断方法［J］.控制与决策，2013，48（4）：511－516，524.Lu P，Wang X Z，Xiao J M.Method of fault diagnosis in power system based on rough set theory and graph theory［J］.Control and Decision，2013，48（4）：511－516，524.（in Chinese）

［18］ 李军，吴洁明.一种改进图像拼接算法的仿真研究［J］.计算机仿真，2012，29（2）：273－276.Li J，Wu J M.Simulation research on improved image mosaic algorithm ［J］.Computer Stimulation，2012，29（2）：273－276.（in Chinese）

［19］ 林小平，周石琳，张官亮，等.一种基于蚁群算法和互信息测度的图像拼接技术［J］.重庆理工大学学报，2013，27（1）：76－81.Lin X P，Zhou S L，Zhang G L，et al.An image mosaic technology based on ant colony algorithm and mutual information measure［J］.Journal of Chongqing Institute of Technology，2013，27（1）：76－81.（in Chinese）

［20］ 臧媛媛，王正勇，卿粼波.PTZ视频监控的大场景形成方法研究［J］.四川大学学报，2011，48（3）：577－583.Zang Y Y，Wang Z Y，Qing L B.The formation approach of wide－area scene in PTZ video surveillance［J］.Journal of Sichuan University，2011，48（3）：577－583.（in Chinese）