基于扩散方程和相位一致的异源图像配准算法

江泽涛,王 琦

(1.桂林电子科技大学 广西图像图形智能处理研究室,广西 桂林 541004；2.桂林电子科技大学 广西高校图像图形智能处理研究室,广西 桂林 541004)

1 引 言

计算机视觉领域,异源图像配准一直是人们研究的重点和难点,红外与可见光图像配准是最常见的异源图像配准。可见光图像反映物体的反射信息,红外图像反映物体的温度辐射信息[1-2],两者信息互为补充,实现异源图像融合[3],在国土资源调查、军事侦查、模式识别等领域有着广泛应用。而两者的成像机理和拍摄条件不同,图像轮廓边缘存在较大的差异,噪声干扰大,因此研究精度高、正确匹配率高、实时性强和鲁棒性强的算法有着重要的实际意义[4-5]。

由于红外图像灰度对比度低、信噪比低,通过角点检测器提取特征点,搜索到的局部极值点数量极少,不能满足图像配准需求,降低阈值则会引入噪声点。因此,近年来,众多学者通过边缘图像来屏蔽两种图像的差异对图像配准进行约束。例如刘畅[6]等人提出在Canny边缘提取高曲率特征点的方式,利用相似三角形实现匹配,算法不适用于高噪声图像;陈亮[7]等人提取Canny边缘,剔除灰度变化小的点得到边缘区域掩膜图,用互相关系数实现匹配,该算法仅适用于带有明显几何结构的图像;Ma Jiayi[8]等人提出了基于正则化高斯场的红外与可见光人脸图像的配准,利用人脸边缘信息通过高斯场准则进行配准,该算法是针对人脸图像,在大范围场景中时间复杂度过高;彭逸月[9]、王阿妮[10]等人在Canny边缘图像上提取Harris角点进行图像配准,算法对于图像重叠区域比例要求较高。通过研究现有算法,Canny边缘检测易受光照变化影响,同时对于模糊边界的鲁棒性不够,会导致图像匹配的误差偏高。

根据红外图像的特点和以上算法存在的不足,本文提出了基于扩散方程和相位一致性模型的红外与可见光图像配准算法。使用改进的扩散方程对红外图像进行平滑处理,使得在保留目标天然边界的同时有效降低噪声的影响；利用相位一致模型提取两幅图像的视觉相似性结构,克服红外图像边缘结构视觉效果模糊的缺陷;最后在边缘结构图上提取特征点AKAZE,进行二值化描述,通过汉明距离实现特征点的匹配。实现图像的配准。

2 基于扩散方程和边缘增强的图像配准算法

2.1 优化的扩散方程模型

由于传统降噪处理会对边缘产生弱化,从而选择将物理学中的扩散现象应用到图像处理当中[11-12],建立各向异性扩散传导模型[13-14]:

(1)

其中,扩散函数为:

(2)

即PM方程,g1(|L|)是基于图像梯度的传统扩散传导函数,k为对比度参数,一般选择原始图像梯度直方图70%的值。实现了平滑图像的同时保留了边缘信息。针对红外图像的信噪比低、对比度低的特点,本文提出了一种新的扩散传导函数:

(3)

改进的传导函数与传统的传导函数相比,收敛速度更快,可以保留更多的边缘信息,在低对比度的图像中,可以更好地提取边界。在使用扩散方程的同时加入噪声点抑制机制,当像素点的扩散传导函数值低于阈值时,对该像素点周围的像素进行差值运算,对非边缘像素点进行抑制。

利用改进的扩散传导函数平滑与经典的高斯平滑对比,计算结果如图1和图2所示。

图1 本文算法的图像平滑效果

图2 高斯平滑效果

从图1的(a)到(d)变换过程可以看出,扩散方程在对图像进行平滑处理的过程中,能很好地保持图像的灰度对比度,物体内部的弱细节被平滑,边缘部分被很好的保留;图2的(a)到(b)中,高斯平滑图像随着平滑的进行,图像灰度对比度被降低,边缘部分逐渐模糊。这是因为传统的高斯空间对于图像目标中的所有像素点有着相同的平滑效果,在消除噪声的同时目标边界也被模糊化的现象,非线性扩散由于各向异性的存在使得对于目标边界的影响大幅度的降低,最大限度保留目标轮廓。

2.2 基于相位一致性的边缘提取

相位一致性由Morrone等提出的一种局部能量模型[15-16],在研究和实验中发现,相位一致性与人类视觉对图像结构有着相似的认知特性,是一种视觉不变特征。相位一致模型能够滤除异源图像的视觉差异,提取出图像中视觉相似的边缘结构。针对传统相位一致边缘定义计算开销大的缺陷,提出了新的边缘函数的定义。

本文使用Log-Gabor滤波器在不同方向和尺度上计算像素点的幅值和相位响应值,计算公式如下:

(4)

(5)

(6)

其中,Ws,θ(x,y)是权值；T是噪声阈值；⎣·」是非正抑制函数；Δφs,θ(x,y)是相位偏移度量函数:

(7)

相位一致性测度属于[0,1]的量纲一,其值反应的是图像特征的显著大小,经典算法将相位一致性的边缘特征定义如下:

(8)

其中:

(9)

cos(θ))

(10)

(11)

改进算法,将特征边缘定义为:

(12)

从定义中可以看出,新的边缘特征与原算法相比,计算开销将会有大幅度的降低,通过将三个协方差变量取均值,可以去除杂波的影响,通过后续实验可以发现,在算法复杂性减小的同时算法精度没有较大变化,仍然可以保留完成的边缘主体结构。

提取边缘之后使用最大化抑制的方法滤去噪声干扰,并对边缘强度图像进行二值化处理,通过以上举措来强化边缘信息。

由于红外的辐射特性,得到初步边缘图像之后,物体边缘会存在少许扩散现象,从边缘两侧根据梯度下降最快方向的反方向收敛操作,如图3所示。

图3 边缘收敛过程图

相位一致算法与Canny边缘检测的对比效果如图4所示。

图4 边缘提取对比图

由于红外图像的灰度对比度低,Canny边缘检测对于边界细节的损失严重,而相位一致模型对于光照和对比度具有不变性,能较好地提取出原图边缘细节,更好地用于特征提取。

2.3 特征提取及描述

AKAZE特征[17]检测与SIFT检测类似,通过寻找不同尺度归一化后的Hessian矩阵的局部极大值来实现。具有尺度不变性和旋转不变性。

得到特征点之后,为了使特征点具有旋转不变性,在特征点周边的局部区域来计算特征点的主方向。在特征点为圆心的圆形区域,通过一个π/3的扇形活动窗口对临近点进行向量叠加,遍历完整个圆形区域后,获得最长向量长度的方向则为特征点的主方向。

为了计算速度更快和匹配效率更高,采用鲁棒性强的二值化的局部差分描述子(M-LDB)。M-LDB在一般二进制描述子采用强度信息的基础上,引用了图像像素的梯度信息,依据特征点主方向将网格旋转,得到的像素点响应函数为:

(13)

其中,fintensity是网格内像素点强度的平均值,对每个网格点进行二进制检测,检测函数如下:

(14)

得到的结果组成N位的二进制编码作为特征点的描述子。

2.4 特征点匹配

得到特征点集的二值化描述子之后,利用计算效率更高的汉明距离作为距离测量准则对特征点进行匹配。首先是进行K临近算法的粗匹配,计算出特征集中的点与训练集中点的汉明距离,以距离最小的点对作为粗匹配的结果;然后利用寻找特征点对之间的单应性变换进行过滤消除误匹配,细化匹配结果。

2.5 算法流程

算法的流程图如图5所示。算法的执行过程描述如下:

(1)改进扩散系数g2,利用各向异性扩散方程对红外图像进行预处理;

(2)使用相位一致性模型对扩散处理的红外图像和可见光图像提取图像的视觉相似性结构特征,构成边缘结构图;

(3)在红外与可见光图像的边缘结构图上进行AKAZE特征点的提取;

(4)对特征点进行二值化描述,得到二值化描述子M-LDB;

(5)采用K临近算法,计算红外与可见光图像中特征点汉明距离,选出拟匹配对;

(6)对拟匹配对进行单应性检测,删除误匹配点;

(7)根据匹配点得出坐标的变换系数,实现图像的配准。

图5 算法流程图

3 实验结果与分析

3.1 实验图像及特征点匹配

为验证本文算法在尺度变换、遮挡、噪声的图像条件下的鲁棒性,本实验采用三个场景的红外与可见光的测试图像,对算法的性能进行测试。场景一是带有光照变换的室外场景图(图6),场景二是室外有烟雾遮挡的平房图(图7),场景三是室外带有视角变换的电器设备图(图8)。

图6 场景一测试图像

利用扩散方程平滑处理和相位一致模型提取边缘结构,效果图如图6(c)和图6(d)、图7(c)和图7(d)、图8(c)和图8(d)所示,得到的边缘结构图已有效地滤除红外与可见光图像因成像机制不同引起的灰度和对比度差异,得到的边缘图像有很好的相似性和可比性,为后续提取特征点打好基础。

图7 场景二测试图像

图8 场景三测试图像

利用提取到的边缘图,进行特征的提取和特征的匹配,最终得到的匹配效果如图9、图10、图11所示,在边缘结构提取AKAZE特征点,使得有效用于匹配的特征点均位于边缘结构上;在匹配过程中使用单应性检测,删除误匹配,最终保留的正确匹配对的数量保持在10～20对;最后根据匹配特征点的坐标计算得到变换模型的参数,实现图像的配准。

图9 场景一匹配效果图

图10 场景二匹配效果图

图11 场景三匹配效果图

3.2 配准精确度对比和效率分析

为检验算法的配准性能,将本文算法与同样采用边缘图像的文献[9]文献[16]的算法进行比较,文献[9]通过Canny边缘和边界阈值操作得到边缘区域掩膜图进行匹配的;文献[16]采用边缘强度图映射的方式,使用并行遗传算法进行全局寻优和Powell进行局部优化的方式实现配准。为保证比较结果的公平性,本次对比只针对标记点误差和计算复杂性进行对比。

在标记点误差方面,采用标记点的均方根误差(RMSE)作为配准算法精确度的依据。已知匹配标记点是通过手工方式选取。对实验图像分别选择五对标记点用于测量。RMSE的计算公式为:

(16)

图12 误差曲线

图12的误差曲线中,横坐标为五个匹配标记点,纵坐标为坐标误差,可以看出在场景一中,由于红外图像与可见光图像的结构清晰,三种算法误差均控制在一个像素点左右;在场景二中存在烟雾遮挡的问题,三种算法的匹配误差都有增加,本文算法的精度较高受烟雾干扰较小;在场景三中,电器设备的热红外图与可见光图存在尺度变化,目标边缘存在噪声干扰,文献[9]和文献[16]的方法受尺度影响较大,存在误匹配现象,相比之下,本文算法配准误差最小。通过上述实验结果可以看出,本文算法在图像配准上有着较高的精度,可以较好的克服烟雾遮挡和尺度变化的影响。

在计算复杂度方面,计算开销主要是特征提取和特征匹配。如图13所示,在特征点提取方面,本文算法首先进行扩散函数图像平滑,再进行边缘结构检测和特征点提取,时间开销相对较高,平均耗时约1600 ms;文献[9]采用的Canny边缘检测和掩膜处理,平均耗时约为620 ms;文献[16]采用相位一致模型边缘检测,平均耗时约为310 ms。在特征匹配方面,本文算法采用K临近算法和单应性检测耗时相对较低,文献[9]和文献[16]采用优化算法进行参数寻优耗费了大量的时间。

图13 配准时间

4 结 论

本文提出了一种基于扩散方程和相位一致性的红外与可见光图像配准算法,这是将图像降噪处理和边缘检测相结合的图像配准算法。首先对红外图像进行扩散处理;接着对红外图像和可见光图像利用相位一致模型提取边缘结构;然后在图像的边缘结构上提取AKAZE特征点;最后采用汉明距离作为度量准则进行特征匹配从而实现图像的配准。实验中,本文算法在简单场景、噪声高的场景和尺度变换的场景中均能实现较快和较准确的图像配准结果。

参考文献:

[1] YUAN Jinsha,ZHAO Zhenbing,GAO Qiang,et al.Review and prospect on infrared/visible image registration[J].Lsaer & Infrared,2009,39(7):693-699.(in Chinese)

苑津莎,赵振兵,高强.红外与可见光图像配准研究现状与展望[J].激光与红外,2009,39(7):693-699.

[2] Dong Xiaojie,Liu Erqi,Yang Jie,Wu Qiang.Visible and infrared automatic image registration based on SLER[J].Journal of Infrared and Millimeter Waves,2014,33(1):90-97.

[3] ZHOU Yuren,GENG Aihui,ZHANG Qiang,et al.Fusion of infrared and visible image based on compressive sensing[J].Optics and Precision Engineering,2015,23(3):855-863.(in Chinese)

周渝人,耿爱辉,张强.基于压缩感知的红外与可见光图像融合[J].光学 精密工程,2015,23(3):855-863.

[4] Xiaolei Feng,Wei Wu,Zhi Li,et al.Weighted-Hausdorff distance using gradient orientation information for visible and infrared image registration[J].Optik-international Journal for Light and Electron Optics,2015,126(23):3823-3829.

[5] Feihong Wu,Bingjian Wang,Xiang Yi,et al.Visible and infrared image registration based on visual salient features[J].Journal od Electronic Image,2015,24(5):053017.

[6] LIU Chang,CUI Tong,HE Chenglong,et al.Infrared-Visual image registration based on High-Curvature Feature Matching[J].Command Information System and Technology,2016,7(1):13-17.(in Chinese)

刘畅,崔桐,贺成龙,等.基于高曲率特征点匹配的红外与可见光图像匹配[J].指挥信息系统与技术,2016,7(1):13-17.

[7] CHEN Liang,ZHOU Mengzhe,CHEN He.A method for image registration combined by edge region and cross correlation[J].Transactions of Beijing Institute of Technology,2016,36(3):320-325.(in Chinese)

陈亮,周孟哲,陈禾.一种结合边缘区域和互相关的图像配准方法[J].北京理工大学学报,2016,36(3):320-325.

[8] Jiayi Ma,Ji Zhao,Yong Ma,et al.Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J].Pattern Recognition,2015,(48):772-784.

[9] PENG Yiyue,HE Weiji,GU Guohua,et al.Visible and infrared image registration algorithm based on features points[J].Laser & Infrared,2012,42(6):713-717.(in Chinese)

彭逸月,何伟基,顾国华.基于特征点的红外与可见光图像配准研究[J].激光与红外,2012,42(6):713-717.

[10] WANG Ani,MA Caiwen,LIU Shuang.Infrared and visible images automatic registration algorithm based on corner[J].Acta Photonica Sinica,2009,38(12)3328-3332.(in Chinese)

王阿妮,马彩文,刘爽.基于角点的红外与可见光图像自动配准算法[J].光子学报,2009,38(12):3328-3332.

[11] WANG Weiwei,FENG Xiangchu.Fast numerical solution of diffusion equations in image processing[J].Journal of Electronics and Information Technology,2009,31(7):1736-1740.(in Chinese)

王卫卫,冯象初.图像处理中扩散方程的快速数值解法[J].电子与信息学报,2009,31(7):1736-1740.

[12] DING Chang,YIN Qingbo,LU Mingyu.Summary of Partial Differential Equation(PDE) Method on Digital Image Processing[J].Computer Science,2013,40(11):341-346.(in Chinese)

丁畅,尹清波,鲁明羽.数字图像处理中的偏微分方程方法综述[J].计算机科学,2013,40(11):341-346.

[13] TONG Cheng,WANG Shitong,MAN Lihong.Improved image denosing method based on PDE[J].Computer Engineering and Applications,2010,46(15):176-178.(in Chinese)

佟成,王士同,满丽红.一种改进的PDE图像去噪方法[J].计算机工程与应用,2010,46(15):176-178.

[14] ZHOU Huixin,ZHAO Ying,QIN Shimin,et al.Infrared dim and small target detection algorithm based on multi-sclae anisotropic diffusion equation[J].Acta photonica sinica,2015,(9):152-156.(in Chinese)

周慧鑫,赵营,秦翰林,等.多尺度各向异性扩散方程的红外弱小目标检测算法[J].光子学报,2015,(9):152-156.

[15] Perter Kovesi.Phase congruency detects corners and edges[J].Digital Image Computing:Techniques and Applications,2003：309-318.

[16] LIAN Lin,LI Guohui,ZHANG Jun.An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J].Acat Automatic Sinica,2012,38(4):570-581.(in Chinese)

廉蔺,李国祥,张军.基于边缘最优映射的红外与可见光图像自动配准算法[J].自动化学报,2012,38(4):570-581.

[17] Alcantarilla P F.Fast explicit diffusion for accelerated features in nonlinear scale spaces[C].British Machine Vision Conference,2013:13.1-13.11.