LBP算法在岩石薄片图像拼接中的应用*

刘文亮　王正勇　卿粼波　滕奇志

(四川大学电子信息学院　成都　610065)



LBP算法在岩石薄片图像拼接中的应用*

刘文亮王正勇卿粼波滕奇志

(四川大学电子信息学院成都610065)

摘要基于SIFT特征点的图像拼接算法对受消光性和干涉色影响的岩石薄片正交偏光图像进行拼接时,由于特征信息相似度极高,传统的BBF-RANSAC算法无法很好地剔除错误匹配对,从而导致错误的拼接结果。论文将LBP算法引入SIFT特征点描述中,利用SIFT算法对岩石薄片正交偏光图像进行特征点提取,在特征点描述时,采用隔点计算特征点周围像素点的旋转不变均匀LBP特征值,用其替代一阶梯度幅值,生成改进的SIFT特征点描述向量。实验结果表明,论文提出的基于旋转不变均匀局部二值模型的SIFT特征描述子提高了拼接算法的鲁棒性和速度。

关键词岩石薄片; 图像拼接; LBP; SIFT

Application of LBP Algorithm in Rock Slice Image Stitching

LIU WenliangWANG ZhengyongQING LinboTENG Qizhi

(College of Electronic and Information, Sichuan University, Chengdu610065)

AbstractThe image stitching algorithm based on SIFT features will lead to incorrect results when it is applied to orthogonal polarization core slice image stitching with high similarity of feature information, which are affected by extinction and interference, as the traditional BBF-RANSAC algorithm cannot eliminate false matches well. LBP algorithm is applied to SIFT feature descriptors. Firstly, features of orthogonal polarization rock images are calculated by using SIFT algorithm. Secondly, rotation-invariant uniform LBP values of uniformly-spaced pixels around the features are calculated instead of gradient value, when calculating feature descriptors. Finally, modified SIFT feature descriptors are generated. Experimental results show that the presented modified SIFT feature descriptors can improve the robustness and speed of image stitching algorithm.

Key Wordsrock slice, image stitching, LBP, SIFT

Class NumberTN315

1引言

在石油地质勘探中,需要将钻探设备钻井获取的岩心样品制成岩石薄片,利用显微成像技术和数字图像分析技术获得岩石样品的微观特性[1]。在对岩石薄片显微成像的过程中,受目镜视野范围和成像设备靶面的限制,需要对岩石薄片进行多次图像采集,得到多幅局部视域岩石薄片图像。通过图像拼接技术将所获得的多幅局部视域岩石薄片图像拼接成最终的岩石薄片全景图,将实物地质样本数字化,易于管理和实现永久保存[2]。David Lowe于1999年提出SIFT(Scale Invariant Feature Transform)特征提取算法[3]并于2004年整理和完善[4]。吴晓红、罗代升于2009年将SIFT特征提取算法引入岩心图像自动配准[5],实现了岩心图像的自动拼接。岩石薄片正交偏光图像是用正交偏光镜采集的岩石薄片样品图像,图像之间的重合量较小。受到消光性和干涉色的影响,岩石薄片正交偏光图像特征信息不明显,而且相似度极高。因此传统的BBF[6]粗匹配算法做不到有效剔除错误匹配点,正确匹配率偏低,经过RANSAC[7]精确匹配之后依然存在错误匹配对,最终导致拼接失败。

LBP(local binary patterns)[8]是一种图像局部纹理特征描述算子,可用来度量和提取图像局部纹理信息,具有算法复杂度低,旋转不变性和灰度不变性等优点。最近几年,人们对LBP做了多种改进,例如圆形LBP[8]、对称LBP、旋转不变LBP[8]和均匀LBP等。由于其原理简单,计算速度快等特性,已经成功应用于人脸检测,表情检测等领域。

本文针对岩石薄片正交偏光图像的特点,结合LBP算子能够很好地描述局部纹理特征的优势,将其引入到岩石样本图像拼接中。先利用SIFT算法提取图像的特征点,再将旋转不变均匀LBP算子引入到特征点的描述向量中,提高了拼接算法的鲁棒性;在不降低正确匹配率的前提下,对特征点周围的像素进行隔点计算,提高了拼接算法的速度。实验表明,相比于传统的SIFT特征点描述算法,本文提出的基于旋转不变均匀LBP算子的改进SIFT算法能提高岩石样本图像的匹配率和计算速度。

2SIFT特征点提取与描述

SIFT算法通过建立尺度空间,寻找其中的极值点,获得极值点的坐标、尺度和旋转不变向量等信息,提取图像的局部特征。SIFT特征提取算法因具有尺度不变性、旋转不变性等优点被广泛应用于计算机视觉领域。SIFT算法主要步骤如下:

1) 特征点提取。将原始图像进行高斯卷积和降采样,生成LOG高斯金字塔并通过对其中每级中相邻图像相减,生成DOG差分金字塔。将DOG差分金字塔中每层的像素点与其上下两层中对应的3×3大小区域内的像素点比较,判断是否为极值点,并记录检测出的极值点的位置和尺度信息。对极值点进行泰勒展开,计算特征点坐标与极值点坐标的偏移量,获得特征点的亚像素精度坐标。去除那些对比度较低和靠近图像边缘的不稳定的极值点。

3基于旋转不变均匀LBP特征的描述向量

3.1旋转不变均匀LBP特征

LBP算法用灰度图像中待计算像素点的灰度值作为阈值,与其邻域像素相比较,根据比较结果得到二进制编码并转换成十进制,来表述局部纹理特征,计算公式如下

(1)

(2)

其中,c为待计算像素点,i为其邻域中的像素点;p=8,表示取待计算像素点的八邻域。

均匀LBP是指8位二进制中数值跳变的次数不多于两次的特征值。据统计,在实际应用中,LBP特征值绝大部分都是均匀LBP,大约占总数的85%~90%。均匀LBP总共只有58种,其中跳变次数为0的有两种,跳变次数为1的有0种,跳变次数为2的有56种。可以将跳变次数大于2的归为一种,因此所有的LBP特征值分成59种,实现了从256到59的降维作用[9]。均匀LBP计算公式如下

U(LBPc,p)=|S(gp-gc)-S(g1-gc)|

(3)

(4)

一个8位二进制数进行循环右移,每移动一次就变成一个和原来不同的特征值。循环右移8次后变回原来的值,其间共产生8种不同的数值。我们把这8个值归为一类,并且用这8个值中最小的值代替其它7个数值。这8个值不论进行循环左移或循环右移,其结果都是这8个值中的一种,因此可以用最小的值代替。这就是LBP特征值的旋转不变性[8]。LBP特征值可以分为36种旋转不变特征值,实现了从256到36降维的作用。

根据旋转不变对均匀LBP的58种特征值进行分类,可分为9种,非均匀LBP特征值算作第10种。计算公式如下:

(5)

3.2基于旋转不变均匀LBP的描述向量

岩石薄片正交偏光图像整体亮度较低,由许多大小不等、形状不规则的颗粒组成。虽然能从待拼接的岩石薄片正交偏光图像中提取大量的特征点,但是图像整体相似度极高,基于SIFT算法的128维描述向量不足以区分不同的特征点。另外,待拼接图像间的重合量很小,导致正确匹配点在所有特征点中只占很小的比例。采用传统的BBF-RASANC匹配算法对特征点进行匹配和筛选时,不能实现完全剔除错误匹配点对,鲁棒性较差,常常导致错误的拼接结果。

传统的SIFT算法在计算特征点描述向量时,主要计算像素的一阶梯度,统计特征点周围一定范围内像素点的梯度大小和方向。本文将式(5)所计算的旋转不变均匀LBP特征值替代一阶梯度幅度值,像素点的方向依然采用原算法中所计算的一阶梯度方向。

一阶梯度利用了像素的四邻域信息,其幅度大小只体现了横向和纵向灰度差异。局部二值模型利用像素点周围八邻域像素,不但计算了横向和纵向的差异,而且计算了±45°的像素差异。和一阶梯度相比,旋转不变均匀LBP特征值包含更多的局部纹理信息,因此具有更高的区分度。利用LBP算子的均匀模式和旋转不变模式降低了LBP特征值的取值范围。本文将旋转不变均匀LBP特征值替代一阶梯度幅度值,生成128维特征点描述向量。然后通过BBF-RANSAC算法能有效地剔除错误的匹配点对。

4实验结果与分析

4.1BBF粗匹配比较

首先,用SIFT算法对待拼接的两幅图像进行特征点提取,得出两个特征点集合A和B。再用BBF算法对集合A建立K-d树[10],查找集合B中的点bi(i=1,2,3,…)在K-d树中最近邻点a1和次最近邻点a2。计算a1和a2与bi的欧式距离l1和l2,如果l1和l2的比值小于设定的阈值γ,则认为a1是bi的匹配点,否则bi无匹配点。

选取空间位置关系分别为左右关系和上下关系的两组岩石薄片正交偏光图像作为待拼接图像,四幅图像大小均为5184×3456。对第一组呈左右位置关系的两幅岩石薄片偏光图像进行两次降采样,分别提取出5950个和5793个特征点。当γ取不同值时,采用原算法和本文改进算法计算特征点描述向量所用的时间、BBF匹配点对数目等信息如表1所示。

表1　原SIFT算法与本文改进SIFT算法BBF匹配结果

在γ<0.49时,传统的SIFT特征点描述算法的匹配效果如图1所示,BBF算法总共找到55对匹配点对,但是其中大部分都是错误,正确匹配率只有38.2%。同样在γ<0.49时,采用本文改进的描述向量的匹配效果如图2所示,总共找到了16对匹配点对,其中13对匹配正确,正确匹配率达到了81.3%。通过表1中的数据不难发现,在计算特征点描述符时,本文算法具有较快的计算速度,所用时间大约是原算法的1/3。虽然得到的匹配点对数量相对较少,但是其中大部分是正确的匹配点对,正确匹配率较高。

图1　γ<0.49,原SIFT算法BBF横向匹配结果

图2　γ<0.49,本文改进SIFT算法BBF横向匹配结果

对第二组呈上下位置关系的两幅岩石薄片正交偏光图像,采用原算法和本文算法BBF纵向匹配结果如图3所示。

图3　γ<0.49,原算法和本文算法BBF纵向匹配结果对比

4.2RANSAC精确匹配比较

用RANSAC算法精确筛选BBF粗匹配后的特征点对,剔除其中错误的匹配对。最终提取出不小于4对匹配点对,利用其中的4对计算出单应性矩阵完成图像的拼接。原特征点描述算法和本文改进的特征点描述算法经BBF-RANSAC算法得出的最终匹配结果如表2所示。

表2　RANSAC精确匹配结果

通过对比可知,使用原SIFT特征点描述算法,γ取不同值时,RANSAC算法始终无法完全剔除其中的错误匹配点对,如图4所示;而采用本文改进的算法,γ取不同值时,都能完全剔除其中的错误匹配点对,如图5所示。正是原SIFT特征点描述算法产生的难以剔除的错误匹配点对常常导致错误的拼接结果。由于整体拼接结果图尺寸较大且重合量较小,从中难以体现重合区域匹配差异。将整体拼接结果图中相同位置重叠区域进行局部放大,形成图6中左右两幅图。从图6中左右两幅图可以看出,原算法产生明显的拼接错误,而本文算法拼接结果相对较好。

图4　γ<0.49,原算法RANSAC横向匹配结果

图5　γ<0.49,本文改进算法RANSAC横向匹配结果

图6　原算法和本文算法局部拼接结果对比

图7　γ<0.49,原算法和本文算法RANSAC纵向匹配结果对比

对第二组呈上下位置关系的两幅岩石薄片正交偏光图像采用原算法和本文算法RASANC纵向精确匹配结果如图7所示。待拼接多幅局部视域岩石薄片图像其实是一个大小为M×N的图像阵列,局部图像之间配准完成后,还要进行捆绑调整。选择参考平面的捆绑调整法是常用的方法,其主要思想是选择一幅图像作为参考图像平面,其他所有图像都向这幅参考图像平面变换以得到拼接全景。最后采用多分辨率融合技术消除拼接缝,生成最终的岩石薄片全景图。在实际岩石薄片显微成像中,采用10倍物镜进行图像采集时,需要采集100~180幅局部视域图像。由于最终全景图像尺寸较大,本文难以展现重合区域细节拼接效果。因此,如图8所示,本文以2×2共四幅局部岩石薄片图像为例,展现最终拼接结果。

图8　2×2图像阵列采用本文算法拼接结果

5结语

本文针对传统SIFT拼接算法不能有效剔除岩石薄片正交偏光图像中错误匹配对和拼接速度较慢等问题,将旋转不变均匀LBP算子引入到特征点描述向量中,替代一阶梯度幅值。在不降低正确匹配率的前提下,采用隔点计算特征点描述向量。实验结果表明,相较于传统的SIFT岩石样本图像拼接算法,本文提出的基于旋转不变均匀LBP算子的改进SIFT算法能有效提高岩石样本图像的匹配率和计算速度。

参 考 文 献

[1] 康瑕,滕奇志,唐棠,等.基于聚焦测度和决策图的岩石薄片图像融合[J].计算机与数字工程,2009,37(2):125-128.

KANG Xia, TENG Qizhi, TANG Tang, et al. Rock Thin Section Image Fusion Based on Focus Measure and a Decision Map[J]. Computer & Digital Engineering,2009,37(2):125-128.

[2] 杨玉臣,马玉忠.岩心图像扫描技术的开发及应用[J].录井技术,2002,13(2):43-46.

YANG Yucheng, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.

[3] Lowe D G. Object Recognition From Local Scale-Invariant Features[C]//PROC. OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, CORFU,1999:1150.

[4] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60:91-110.

[5] 吴晓红,罗代升.基于SIFT特征提取的高清晰岩心图像自动配准[J].四川大学学报:自然科学版,2009,46(1):124-128.

WU Xiaohong, LUO Daisheng. SIFT-based feature extraction of high-definition core images automatic registration[J]. Journal Sichuan University: Natural Science Edition,2009,46(1):124-128.

[6] Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. IEEE,1997:1000-1006.

[7] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM,1981,24(6):381-395.

[8] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on,2002,24(7):971-987.

[9] 董文彧,冯瑞,郭跃飞.基于均匀LBP和稀疏编码的人脸识别算法[J].计算机应用与软件,2015,(1):175-178.

DONG Wenyu, FENG Rui, GUO Yuefei. FACE RECOGNITION BASED ON UNIFORM LBP AND SPARSE CODING[J]. Computer Application and Software,2015,(1):175-178.

[10] 刘宇,熊有伦.基于有界k-d树的最近点搜索算法[J].华中科技大学学报:自然科学版,2008,36(7):73-76.

LIU Yu, XIONG Youlun. Algorithm for searching nearest-neighbor based on the bounded k-d tree[J]. J. Huazhong Uniy. of Sci. & Tech: Natural Sicence Edition,2008,36(7):73-76.

中图分类号TN315

DOI:10.3969/j.issn.1672-9722.2016.02.033

作者简介:刘文亮,男,硕士研究生,研究方向:图像采集与图像处理。王正勇,女,副教授,研究方向:图像处理、模式识别、多媒体通信。卿粼波,男,博士,副教授,研究方向:信号与信号系统、图像处理、图像通信。滕奇志,女,博士,教授,博士生导师,研究方向:数字图像处理与模式识别、计算机应用与图像识别、生物医学图像等。

基金项目:国家自然科学基金项目(编号:61372174)资助。

*收稿日期:2015年8月20日,修回日期:2015年9月30日