一种基于图像配准的钢绳芯抽动识别技术

沈海洋，陈 瑞，焦良葆

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.南京工程学院 通信工程学院，江苏 南京 211167；3.南京工程学院 康尼研究院，江苏 南京 211167)

一种基于图像配准的钢绳芯抽动识别技术

沈海洋1，陈 瑞2，焦良葆3

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.南京工程学院 通信工程学院，江苏 南京 211167；3.南京工程学院 康尼研究院，江苏 南京 211167)

针对钢丝绳芯输送带X光成像的图像特征，提出了一种基于图像配准的钢丝绳芯抽动识别方法。该方法在研究图像配准和SURF特征的原理及其一般实现方法的基础上，提取参考图像和待配准图像的SURF特征点对，并利用随机采样一致算法(RANSAC算法)对特征点对进行过滤，以去除误匹配点对；再以获得的匹配点对作为源数据计算图像的变换参数，并对参考图像进行几何变换；将已变换的基准图像和待识别图像进行作差处理，提取差值较大的区域并进行区域识别，即可最终确定钢绳芯抽动状况。为验证所提出方法的有效性和可行性，进行了对比验证实验。实验结果表明，相对于通过检测接头来识别钢丝绳芯抽动的常规方法，所提出的方法更具有普适性，同时还能够避免接头检测引入的额外误差，可较好地识别钢芯的抽动情况。

X光图像;图像配准;SURF特征点;RANSAC算法;抽动检测

0 引 言

钢绳夹芯输送带以纵向定间距、等张力排列的镀锌钢丝绳为骨架，外覆不同性能的芯胶、覆盖胶经成型、硫化而成,具有抗拉强度高、承载能力强、工作平稳可靠等优点，在煤矿、码头、冶金、建筑行业的运输、牵引等过程中得到了广泛应用[1]。但接头内钢绳芯的抽动、断裂易导致输送带断裂事故，因此在输送带运行过程中，动态检测输送带钢绳芯的接头状况可以有效预防事故发生，意义重大[2]。

目前，对输送带进行X射线投影成像，并利用数字图像处理技术进行钢芯抽动分析是常用的抽动检测方法[3]。但在对接头图像作钢绳分析时，从采集的单幅图像往往难以识别接头是否抽动，需与初始状态的接头图像进行比对判断。由于不同时期、不同环境下采集的同一接头图像会有一定的平移、伸缩等偏差，故需先进行图像配准工作，即将库图像作为参考图像进行几何变换，使匹配的位置转换到与待识别图像在同一坐标下，再进行差异识别。为此，提出一种基于图像配准的钢绳抽动检测算法。该算法对当前图像和参考图像提取SURF特征点，并进行特征点匹配，根据匹配点对计算图像变换参数，并进行参考图像的几何变换，再根据变换图像与当前图像的差值大小鉴别抽动区域，以达到钢绳芯抽动识别的目的。

1 图像配准的定义

通常，数字图像用二维矩阵表示，图像配准定义为两个图像矩阵在空间和灰度上的映射。设IA(x,y)、IB(x,y)为图像矩阵IA、IB在位置(x,y)上的灰度值，f表示一个二维空间坐标变换(即(x',y')=f(x,y))，g为一维灰度或辐射变换，则图像间的映射可表示为:

IA(x,y)=g(IB(f(x,y)))

(1)

配准的主要任务就是找寻最佳的空间变换f和灰度变换g，使待配准图像相对于标准图像得到最佳匹配[4]。空间变换是灰度变换的基础，且在通常情况下，相同的传感器图像之间的配准是不需要灰度变换的，因此，寻找空间/几何变换便是解决配准问题的关键[5]。空间变换f可参数化为两个单值函数fx,fy:

IA(x,y)=IB(fx(x,y),fy(x,y))

(2)

2 图像配准的步骤

图像配准的步骤如图1所示。第一步是特征提取,特征提取指从浮动图像和参考图像中提取用于匹配的特征。提取的特征对后续的图像配准意义重大，表现在：特征决定了该方法适合的图像类型，对该算法敏感的特征类型及配准算法的即时性和鲁棒性。根据所提取的特征类型的不同，图像配准可以分为两类：

(1)基于灰度统计的图像配准。该方法直接利用图像的灰度值来测度待配准图像的相似度，即以图像的灰度信息为基础，在搜索空间内按搜索策略找寻使相似性最大的变换，从而确定配准图像之间的变换参数[6]。基于灰度的配准方法主要包括相关法、互信息法、傅里叶方法等。该配准方法具有实现简单、无需预处理、可避免额外误差、能实现自动配准等优点，因此在图像配准领域应用广泛。另一方面，基于灰度的配准方法也存在诸如计算量大、配准时间长、对图像变形敏感、忽略图像空间信息等不足。

图1 图像配准

(2)基于特征的图像配准。该配准方法首先对待配准的图像进行特征提取以获得特征空间，然后通过相似性度量进行特征匹配(包括对匹配结果的过滤)，最后根据相应的特征对求解变换参数，实现图像的配准[7-8]。常用的图像特征包括：边缘轮廓[9]、区域特征结构、特征点等。相较于基于灰度的配准方法，该方法具有计算量小、稳定性高、适用性广等优点，已成为图像配准中最常用的方法。该方法也存在需人为干预、特征提取不易、误特征对对配准影响较大等缺点。

第二步是相似性度量。相似性度量是指按照一定的方法测度所提取的特征相似度，是对每次图像变换好坏的判断依据。相似性度量与特征集紧密相关，特征集往往决定了采用的相似性度量准则。常用的相似性度量包括互相关方法、互信息方法、绝对差方法、傅里叶方法和描述子匹配方法等。

第三步是搜索空间和搜索策略。搜索空间是指图像配准过程中一系列的图像的变换公式及变换范围，其中的主要变换为几何变换。搜索策略用于在搜索空间中快速找寻最优的变换模型参数，可有效减少配准过程中的计算量，加快配准速度。

第四步是根据选定的相似性度量准则在搜索空间内寻求最优的配准参数，并将该参数用于原始图像的变换，即可得配准图像。

3 基于SURF特征点的图像配准

基于SURF特征的图像配准属于基于图像特征的配准类型，是在检测出图像的精确SURF特征点对后，利用特征点对间的几何对应关系，计算两幅图像间的映射参数，并确定变换模型的配准方法。

3.1SURF特征点的提取

SURF即Speeded Up Robust Features(加速鲁棒特性)是SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)[10-11]的加速增强版，是一种用来侦测与描述图像中局部性特征的电脑视觉算法。它利用Hessian行列式和图像金字塔在图像的二维空间域和尺度域中寻找极值点，并提取其位置、尺度、方向参数，以此为基础建立用于特征点匹配的描述子[12]。由于所提取的特征具有尺度和旋转不变性，较强的抗光线变化能力和较好的实时性，因而广泛应用于物体识别、影像拼接、地图感知与导航、3D建模、影像追踪和动作比对等领域[13]。通常，SURF特征点及其描述子的提取包括如下步骤：

(1)二维空间和尺度空间极值检测：搜索所有尺度上的图像位置。通过Hessian矩阵识别潜在的对于尺度和旋转不变的兴趣点。

(2)关键点定位：在每个候选位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据它们的稳定程度。

(3)方向确定：基于图像特征点附近的像素分布，统计一定邻域范围内的Harr特征，并基于Harr特征给出该特征点的方向参数。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

(4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的Harr小波特征，并以向量的形式表示，这些向量表征了关键点的局部特征。

以一组接头图像为例，提取的匹配特征点对如图2所示。其中，左侧为图IA，右侧为图IB。

图2 一对接头图像对应的SURF特征点

设图IA中提取特征点位置为：(xAi,yAi),i=0,1,…,N-1；图IB中对应特征点位置为：(xBi,yBi)，i=0,1,…,N-1。其中，N为匹配到的特征点对的数量。提取的两组特征点可用于计算之后的图像变换参数。

3.2SURF特征点的过滤

3.2.1 误匹配点的检测方法

在特征点的匹配过程中，很难确保所有的匹配点对都是完全正确的。事实上，误匹配的特征点对与精确值往往存在较大误差，这些偏差对后期模型参数的确定会产生较大的影响，因此有必要对已匹配的点对进行滤波处理，即剔除错误的匹配点对。

按照检测原理的不同，可将误匹配点检测分为三种类型：基于函数拟合的方法、基于统计模型的方法和基于图的方法。其中，基于函数拟合的方法是先设定所有正确的点均满足某一函数模型(通常为函数多项式)，利用现有数据通过最小二乘法求出该模型的参数，然后判断各数据到该模型的“距离”，相差较大者即为误差数据。该方法简单、快速，但也有显著的弊端：当误差点较多或偏差较大时，求得的参数模型往往不准确，影响误匹配点的检测。可考虑使用迭代最小二乘法来克服大误差数据对模型参数的影响。基于统计模型的方法找出能满足最多数匹配点的某一模型，并以该模型来判断不满足的匹配点为误匹配点。常用的统计模型方法包括RANSAC(RANdom SAmpling Consensus,随机采样一致)算法和基于刚性图像的距离比方法。RANSAC算法的鲁棒性较好，能从含有大量误匹配点中估计出模型参数，从而准确地识别误匹配点。但该算法难以计算迭代次数，且迭代次数过多比较耗时，另外，该算法只适于估算一个模型。距离比方法只能用于刚性图像的配准。基于图的方法在局部区域内使用特征点的分布和邻域关系来进行误匹配点检测，对弹性图像的配准具有良好的鲁棒性。

利用SURF特征所得的误匹配点往往误差较大，另外，采集的钢绳接头图像是由X光线扫描拼接而成，受皮带纵向运动的影响，拼接成的图像在水平方向具有不同的伸缩比例Sx、Sy，故不宜使用函数拟合及距离比方法进行误匹配点检测。这里采用RANSAC算法检测误匹配点。

3.2.2 误匹配点的RANSAC检测

对于已经匹配的点(xAi,yAi)、(xBi,yBi)，i=0,1,…,N-1，设矢量p1=(xAi,yAi,1)、p2=(xBi,yBi,1)，由投影几何学可知，p1、p2满足下述极线方程：

(3)

其中，F为两幅图像之间视角关系的基础矩阵，该矩阵用作误匹配点检测的统计模型[14]。

该算法首先从匹配点集中随机挑选8对匹配点，且将这8对匹配点作为准确的配准点带入式(3)求得F，然后用该矩阵对其他的配准点进行准确与否的检测，并记录下符合该方程式的点集，以符合的点数作为判断该模型优劣的依据。上述过程被重复若干次，直到取得最优模型(基础矩阵)，并以该基础矩阵来识别和剔除误匹配点，最终可得匹配点对:(xAi,yAi)、(xBi,yBi)，i=0,1,…,M-1。

3.3变换参数的求取

对于基准图像A和参考图像B中的任一对匹配点(xAi,yAi)、(xBi,yBi)，当配准图像为刚体时，通常的映射关系可表示为：

(4)

其中，s为缩放比例；φ为旋转角；Δx、Δy为x、y方向上的平移量。

但考虑实际采集到的接头图像受皮带纵向运动及图像成型过程的影响，并不完全符合刚体的变换类型，主要表现在：(1)水平方向伸缩比例Sx与竖直方向伸缩比例Sy不一致；(2)旋转角度φ较小，可以忽略不计。

综合上述情况，图像对应点的映射关系为：

(5)

其中，sx、sy为x、y方向的缩放比例；Δx、Δy为x、y方向的平移量。这四个变换参数可以通过最小均方误差算法求得，计算式为：

(6)

(7)

(8)

获得参考图像B的变换参数后，对其做相应的几何变换得B'，即将B图的对应位置转换到了与A图相同的坐标位置下，实现了图像的配准。

4 抽动位置识别

图3 抽动区域显示图(1)

图4 抽动区域显示图(2)

将上述识别到的抽动部分的位置和大小标注于待识别的图像IB上，如图3(b)、图4(b)所示。具体的抽动区域的识别信息如表1所示(处理工具为OpenCV库2.4.10)：

表1 接头抽动检测结果

5 结束语

钢丝绳芯抽动识别在生产传输中对于检测传送带状况、预防事故发生具有重大意义。为此，提出利用SURF特征点的图像匹配技术来实现钢绳芯接头图像的抽动检测方法。实验结果表明，该方法具有很高的适用性和可靠性，同时克服了常规方法接头定位困难的问题。由于SURF特征点的提取耗时较长，在一定程度上影响了图像处理的实时性，因此，在保证现有精度的基础上，还需要进一步研究提高配准速度的方法。

[1] 焦晋杰,牛昱光.X光成像的钢绳芯输送带接头距离检测方法[J].机械工程与自动化,2012(5):133-134.

[2] 叶春青,苗长云,李现国,等.基于X光检测的强力输送带故障定位方法[J].计算机测量与控制,2009,17(2):302-303．

[3] 殷勇辉,范忠明,梁 骁,等.钢绳芯输送带接头实时监测系统设计[J].煤炭科学技术,2009,37(7):90-92.

[4] 洪 贝,孙继银.图像配准技术研究[J].战术导弹控制技术,2006(3):109-112.

[5] 张卫国,李景妹.改进的基于纹理特征的图像配准算法[J].计算机工程与应用,2016,52(6):214-218.

[6] 赵毅力,徐 丹,潘志庚.基于SURF特征点的图像配准系统[J].计算机应用,2011,31:73-75.

[7] 高素青,谭勋军,黄承夏.一种基于SURF的图像配准改进算法[J].解放军理工大学学报：自然科学版,2013,14(4):372-376.

[8] 曾新贵,陶 卫,颜发才,等.基于Harris算子和方向场的图像配准算法[J].计算机应用,2016,36:146-148.

[9] Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[10] Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the seventh IEEE international conference on computer vision.[s.l.]:IEEE,1999:1150-1157.

[11] Lowe D G.Distinctive image features from scale invariant features[J].International Journal of Computer Vision,2004,60(2):91-110.

[12] Bay H,Ess A.SURF:speeded up robust features[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[13] Brown M,Lowe D G.Invariant features from interest point groups[C]//British machine vision conference.[s.l.]:[s.n.],2002:656-665.

[14] Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge:Cambridge University Press,2003.

ATechniqueofRecognitiononTwitchofSteelCordBasedonImageRegistration

SHEN Hai-yang1，CHEN Rui2，JIAO Liang-bao3

(1.College of Telecommunications and Information Engineering，Nanjing University of Posts and Telecommunications，Nanjing 210003,China；2.College of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China; 3.Kangni Institute,Nanjing Institute of Technology,Nanjing 211167,China)

Regarding the characteristics of the X-ray image of the steel cord conveyor belt,a method of detecting the twitch of the steel cord based on image registration is proposed,in which the SURF feature points of the current image and reference image are extracted based on principles and general means of image registration and SURF feature,and then the error matched points are removed with random sample consensus algorithm (RANSAC).The image transforming parameters could be gained according to the matched points as the source data,and the reference image is in a geographical transform.The difference matrix between the reference image and current image is gained,and the twitching corresponding to the larger-value area in the difference matrix could be detected and the shifting situation be ascertained.The contrast experiment has been conducted for verification on its feasibility and effectiveness.Experimental results show that compared with the normal detection approach,it has more applicability and has decreased the additional errors and detected more effectively.

X-ray image;image registration;SURF point;RANSAC algorithm;shift detection

TP301

A

1673-629X(2017)10-0201-04

2016-10-25

2017-02-21 < class="emphasis_bold">网络出版时间

时间：2017-07-11

江苏省自然科学基金(BK20141389)；南京工程学院博士基金项目(ZKJ201305)

沈海洋(1990-)，男，硕士研究生，研究方向为图像处理；陈 瑞，教授，博士，通讯作者，研究方向为无线网络通信和多媒体信息处理；焦良葆，教授，研究方向为多媒体信息处理与通信。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170711.1456.066.html

10.3969/j.issn.1673-629X.2017.10.043