基于图像非刚性匹配的物体空间转角检测方法

王宇佳,杨 静

(西安理工大学机械与精密仪器工程学院，陕西西安710048)

物体空间位姿检测是导航、现代控制等领域的关键技术[1]，其中，转角是空间位姿的重要检测参数。基于机器视觉的检测是通过电子化感知和理解图像的一种非接触式测量方法[2]，具有结构简单，安装方便，实时、高效等优点，得到了越来越广泛的应用[3]。通过机器视觉识别转角的方法已经得到国内外诸多学者的重视，Sellami M[4]构造了基于Fourier-Mellin转换，通过对旋转前后图像用双傅立叶变换，确定旋转角度的算法；Lay等[5]利用小波变换求角度直方图，对旋转角度自动校正；张楠[6]提出Hough变换直线特征检测器，使用Hough变换提取特定长度直线，分组后得到图像主方向，以计算图像配准中的旋转参数。现有转角的图像检测方法中，检测相机光轴线与物体旋转轴线是平行的，如图1(a)所示，此时待测位姿角度转化为平面内的角度。但在一些特殊场景，由于安装空间受限，导致相机镜头轴心线与旋转物体回转轴线垂直，详见图1(b)。此时，由于透视变换导致图像发生非刚性变形，空间角度的机器视觉测量就成为了一个难题。

在图1(b) 相机光轴线垂直于物体旋转轴线的情况下，物体空间转角越大，图像的相似度就越小，因此，可以利用图像相似度衡量转角大小。图像相似度可以利用图像的匹配程度来表征，本文基于匹配特征点的统计信息定义了图像的相似度系数[7]。但由于透视变换，图像发生非刚性变形[7]，图像特征匹配的准确性和稳定性下降。为了提高图像相似度计算的准确性，本文基于向量场一致性原理[7]，提出特征点筛选算法，解决旋转图像非刚性形变的特征点误匹配问题。

图1 相机与旋转物体相对位置Fig.1 Relative position of the camera and the rotating object

1 空间转角的图像识别算法

图2给出了相机镜头轴心线与旋转物体回转轴线垂直情况下，一个矩形物体不同姿态角的图像。图2(a)为初始位置(不旋转)图像；图2(b)、(c)分别为30°、60°转角下的图像。由图可见，以初始位置的图像为样本，随着空间转角增加，图像形变量增大，与样本的相似度逐渐减小，因此，可以利用相似度估计物体的空间转角。

图2 物体在不同空间角度下的图像Fig.2 Image of objects in different spatial angles

两幅图像的相似度定义为γ：

(1)

式中，n为旋转图像与样本之间的正确匹配的特征点数；P为样本图像的所有特征点数；γ为正确匹配的特征点数占所有特征点数的比例。

γ值表示了两幅图像的接近程度。若γ=1，则两图相似性极高，即当前图像相对样本位置没有改变；若γ=0，则两图相似性极小，即当前图像相对样本转角至少大于90°，两图之间几乎没有匹配的特征点；若0<γ<1，则两图有一定相似性，即当前图像相对样本转角幅度在0°～90°之间[7]。

当相机光轴线垂直于物体旋转轴线，利用特征点匹配的相似度识别物体转角的算法流程如图3所示。

第一步 提取特征。以物体非旋转时的图像为样本提取特征点P。特征选取与图像配准结果直接相关。本文采用尺度不变特征变换(SIFT)算子提取特征点，该算子可实时提取图像的局部特征信息，且具有旋转与尺度变换不变性，对随机噪声、光线亮度的容忍度较高等特征。

第二步 图像初次匹配。利用k-d tree搜索策略和欧式距离进行初次特征点匹配。

第三步 图像匹配筛选。筛选算法通常应用于特征选择，用来剔除错误匹配的特征，该过程是在全部特征中选取一个准确性最高的特征子集。一般筛选算法，如RANSAC算法，在刚性变形下，能通过确定参数化模型，筛选错误匹配点对，效果显著，但对非刚性形变而言，无法确定固定的变换关系，使得筛选效果不理想。针对非刚性形变，本文采用向量场一致性(VFC)算法，剔除误匹配点，得到样本图像与转动图像之间正确匹配的特征点数n。

第四步 物体空间转角检测。首先标定物体转角β与图像相似度系数γ的线性关系，在此基础上，利用前面得到的P以及n，由式(1)可以计算任意角度下图像的相似度系数。然后，利用β与γ的标定关系可以得到物体转角。

图3 本文算法主要流程Fig.3 Main flow of the algorithm in this paper

2 基于向量场一致性的匹配筛选

向量场，又名矢量场(vector field)，是一个用向量函数定义的映射变换，该变换给场内的每个位置分配了一个向量[7]。向量场一致性算法是从包含噪声的稀疏位置的样本集中鲁棒的插值出整个向量场[7-8]。在图像点集中区分外点(错误匹配点)和内点(正确匹配点)，学习符合内点的向量场函数，将特征点匹配问题转化为鲁棒的向量场插值问题[7-8]，从而将误匹配点剔除。

向量场一致性算法的基本假设：

1) “光滑”的向量场产生正确的匹配，服从高斯分布；错误匹配服从均匀分布[7]；

2) 给每个特征点赋一个隐变量，作为该点是否属于内点的标志，内点则zn=1，外点则zn=0[7]。

根据假设，正确匹配为高斯分布，其均值为0、标准差为σ；而错误匹配为均匀分布，其概率密度为1/a[7]，a为待匹配图像面积的大小。γ为正确匹配点的比例，定义数集由样本到待匹配图像变换过程中间参数θ：

θ={f,σ2,γ}

(2)

通过求解似然函数L(X,Y|θ)，可估计出参数θ，即得到向量场f。由似然函数定义，L(X,Y|θ)=p(θ|X,Y)，即：似然函数在数值上等于给定参数θ后，变量为X、Y的概率；

向量场f的先验概率可表示为：

(3)

式中，λ>0为正则化参数；‖·‖为H的范数。概率p(θ|X,Y)通过贝叶斯公式求解：

p(θ|X,Y)∝p(Y|X,θ)p(f)

(4)

赋隐变量zn∈{0,1}，zn=1为正确匹配的高斯分布，zn=0为错误匹配的均匀分布。

由正确、错误匹配分布组成的混合似然概率p(Y|X,θ)表示为：

(5)

式中，D为H的维度。

(6)

将式(5)代入式(6)，得似然函数的最大似然估计量：

(7)

对p(θ|X,Y)两边取自然对数，得能量函数E(θ)：

(8)

由式(5)和(8)，能量函数可表示为：

(9)

zn=1时正确点高斯分布的后验概率为pn=p(zn=1|xn,yn,θ)，由贝叶斯分布得：

(10)

通过比较后验概率pn是否超过正确点预设阈值，继而得出正确点的点集。

3 实验与结果分析

3.1 实验场景介绍

本文实验环境：中建施工现场。具体场景：对现场施工电梯安全门进行转角识别[7]。施工电梯安全门，是嵌于建筑物主体墙面内临边洞口处的安全屏障门。其通常处于关闭状态，工作中，施工升降机到达指定楼层，要先打开该楼层安全门，工人、运输的工具物料才得以从升降机进出该楼层[7]；但当运输完成后，为防止安全门未关闭导致的安全事故发生，在升降机离开前，需监控安全门旋转状态。从节约成本角度考虑，本文选择用机器视觉的方法对安全门状态进行监控。摄像头安装在施工升降机外部。图4和图5为施工升降机、楼层安全门、摄像头之间的相对位置关系。由图5可见，安全门回转轴线与摄像机光轴线垂直，即获取的图像发生非刚性形变。图6是中建公司常用的施工电梯安全门，门左右两侧有相同的中建标识。

图4 位置关系侧视图Fig.4 Location relationship side view

图5 位置关系俯视图Fig.5 Top view of location relationship

图6 中建公司施工升降机安全门Fig.6 China construction company construction elevator safety door

3.2 实验流程

本文通过求解旋转的左侧门与转角0°安全门样本的相似度，识别安全门的转角。根据图3算法流程，首先，获取安全门关闭图像(门转角为0°)为样本，图像大小120×160像素。用SIFT算子搜索生成尺度空间邻域的极大值，通过三维二次函数拟合出稳定特征点，每个特征点用32维特征向量描述；然后，建立k-d tree搜索策略，利用k-d tree搜索策略和欧氏距离(以下简称欧式k-d tree)建立初匹配关系；在此基础上，利用向量一致性算法对匹配点进行筛选，得出正确匹配点；最后，利用正确匹配点计算图像相似度系数γ值。

3.3 实验结果分析

表1给出了左侧门分别转动5°、20°、30°、45°以及60° 5个典型位置时，不同转角位置图像与样本图像的匹配结果。表中第1列为门的实际转角，第2列为欧式k-d tree匹配的结果(未筛选)，第3列为VFC算法筛选后的匹配结果，其中红线表示图像匹配点的对应关系。由表1可得：

1) 当安全门图像转角增大，匹配上的特征点红色线数量逐渐减少，即随着安全门转角增大，匹配上的特征点数量减小，根据式(1)，也说明图像的相似度越来越小；

表1 安全门的匹配效果对比

2) 对比表中第2、3两列，观察到第2列中每个转角的图像欧式k-d tree匹配都有交叉红线，说明欧式k-d tree匹配存在误匹配；而经过VFC算法进行正确匹配点筛选后，匹配点的对应关系不存在交叉红线，匹配线方向一直、光滑。

本文的安全门样本图像利用SIFT算法提取特征点总数P=89。表2给出了表1中不同角度下，欧式k-d tree匹配的匹配特征点数以及VFC筛选后的匹配特征点数n。通过数据对比可见，VFC算法有效剔除了欧式k-d tree初匹配的误匹配特征点，错误匹配的特征点数明显减少。

利用表2中欧式k-d tree初匹配点数与VFC筛选匹配点数，代入式(1)可以计算得到两种算法在不同转角下，图像的相似度系数。图7给出了k-d tree初匹配与VFC筛选匹配两种算法的相似度系数与安全门实际空间转角β的关系。由图可见，欧式k-d tree初匹配对应的相似度系数值变化波动较大，不具有明显的统计学规律；经VFC算法筛选后的相似度系数值变化平滑，趋势明显，在10°～70°范围内VFC算法筛选后的相似度系数与安全门实际转角β呈线性关系。

表2 欧式k-d tree匹配和向量一致性筛选的特征点数n

图7 两种算法的相似度系数γ与转角β关系Fig.7 Relationship between similarity coefficient γ and angleβof two algorithms

利用简单的两点标定，可以得到VFC算法筛选后的相似度系数γ与安全门实际转角β的关系：

β=81.56-1.1×γ

(11)

由此，在有效剔除误匹配点后，根据匹配特征点的相似度系数γ，由式(11)可以在10°～70°范围内估计空间转角，平均检测误差小于2°。

4 结 语

针对物体空间旋转轴线与相机光轴线垂直情况下的机器视觉角度检测问题，本文采用了图像匹配相似度识别方法，定义了基于特征点的相似度系数。考虑到图像非刚性几何形变导致的误匹配，本文利用向量场一致性算法，解决特征点误匹配问题，提高相似度系数计算的准确性。实验证明，基于向量场一致性算法可以有效剔除误匹配点，通过标定相似度系数与物体转角的关系，在一定范围内可以利用相似度系数估计物体空间转角。