基于自适应子模式流形学习的三维工件位姿估计方法

李 林，魏新华，沈宝国，2

（1.江苏大学农业装备工程学院，江苏镇江212013；2.江苏航空职业技术学院航空工程学院，江苏镇江212134）

基于自适应子模式流形学习的三维工件位姿估计方法

李 林1，魏新华1，沈宝国1，2

（1.江苏大学农业装备工程学院，江苏镇江212013；2.江苏航空职业技术学院航空工程学院，江苏镇江212134）

为了实现复杂工业环境中单目视觉三维工件的实时精确定位，提出了一种基于自适应子模式流形学习（SP-IVP）的三维工件位姿估计方法.给出了通过非线性降维框架和重构高维空间的流形构建方法，获得最优保持本质变量连续性的低维特征子空间；实现了基于该流形构建方法的工件位姿估计；进而给出了自适应子模式的分割规则，并提出了遮挡情况下基于SP-IVP的工件位姿估计方法.以3种常见工件为试验对象，水平旋转和垂直旋转为零件的本质变量，完成了遮挡以及无遮挡情况下的工件位姿估计.结果表明：所提出方法的平均位姿估计时间为73.6 ms，可满足实时处理的需求；螺丝钳、曲柄轴和圆柱体定位准确率为95.4%，96.1%，98.4%；在不同遮挡情况下，新方法的识别率高于其他方法，并且进行子模式分割的识别率高于不进行子模式分割的方法.

流形学习；子模式；工件定位；本质变量；位姿；邻域

目标位置和姿态信息的检测是工业生产中的核心技术之一.随着工业生产水平的不断提高，对系统的智能化、实用性要求越来越高，目标物体位姿的微小偏差都会影响智能系统工作的成败.目标的识别与定位技术［1－2］水平限制了机器人在工业上的使用范围.为适应现代化生产线的需要，如何提高系统定位实用性和准确程度，成为系统设计和研究的主要任务.

流形学习作为一种能恢复数据内在非线性几何结构的非线性降维技术，自2000年提出后就受到越来越多的机器学习和数据挖掘领域研究人员的关注.H.S.SEUNG等［3］认为人的视觉感知可能以流形方式存在.任何一幅图像可以看成是高维图像空间中的点，图像空间的维数为图像像素的个数，每一维描述了图像在对应像素位置上的光的强度.笔者认为人对同一对象的视觉感知图像集在高维图像空间中会形成低维流形，且仅由少数几个变量控制，如光照强度、光照方向、视觉方向等.图1给出了人类视觉感知示意图，其中视觉看到的目标是具有3个维度信息的，6个工件的三维图在低维流形中对应着某个点.

图1 视觉感知中的流形

同一期的《Science》分别从算法层面上给出了参数少、运算快、易求全局最优解的经典算法等距映射（isometric map，ISOMAP）和局部线性嵌入（local ly linear embedding，LLE）.此后，流形学习吸引了相关领域研究人员的注意，迅速成为当前机器学习、数据挖掘、统计数据分析、模式识别及计算机视觉等方向的研究热点［4－5］.

虽然流形学习已经应用到很多实际问题中，但是低维流形空间并未直接应用于三维目标定位问题中.文中通过分析流形结构，在工件的位姿估计中直接引入流形学习框架，这对流形学习的应用是一个非常重要的扩展.

文中给出流形的构建过程，并提出基于流形学习的工件位姿估计方法，阐述了自适应子模块的形成过程，并进行试验分析以验证算法的有效性.

1 流形构建

1.1 流形学习过程

不同流形学习算法的区别在于所尝试保持流形的局部邻域结构信息以及利用这些信息构造全局嵌入的方法不同［6］.流形学习的目的在于挖掘非线性数据隐含的本质变量，其本质变量提取的基本步骤如下：①根据输入高维数据的欧氏距离构建流形结构；②针对不同算法需要保持的局部或者全局特征构造优化问题；③对优化问题求解，得到数据的低维表示.

文中流形学习的目的是找到一个能够保持目标本质变量连续性的低维空间及相应的高低维间的映射关系，并将该映射关系用于目标定位中.该流形的学习过程如下：①在训练阶段，根据高维样本对应的本质变量间距离来构造流形结构图，其中本质变量在训练阶段已知；②通过非线性降维技术，得到高维数据空间与低维表示空间之间的显性映射关系；③得到低维空间对应的表示：有相近本质变量的输入样本在低维空间的坐标也会相近；④ 在实际的定位过程中，通过显性的映射关系将候选图像投影到低维空间，找到低维空间中距离候选图像最近的映射点，从而得到目标的位姿信息.

1.2 基于保持本质变量的流形构建

为了进行高维输入的低维表示，采用文献［7］中的LPP算法来实现，并获得高维输入和低维表示之间显性的映射关系.另外一类实现该目的的方法称为基于核的方法［8］，由于核函数的计算量非常大，限制了该类方法的应用.另外，基于核的方法仅在高维空间和低维空间的映射关系匹配一个核函数的时候是有效的，且输入数据必须在流形结构中，而不是接近或偏离这个流形.

对给定的高维数据集X，假设其位于某未知流形M上，并进一步假设M能够被参数化表示为式中：f是一个未知的连续可微函数，且对于x∈X，存在u∈U使得x＝f（u）；U是能够生成X的本征自由维度的集合，且U的几何结构是唯一的.流形学习方法的目标是计算与U有相似的几何结构的低维表示集合y.

假设xi，yi都是输入样本，对应的本质变量分别是ui和uj，其中ui＝（ui1，ui2，…，uid），uj＝（uj1，uj2，…，ujd）.为了保持本质变量之间的相邻关系，文中构建了一个基于输入样本本质变量关系的新流形.

严格意义上讲，文中构建流形目的是要寻找低维表示集Y使其能够满足以下优化问题：

式中Sij为变量之间距离dij的惩罚因子.

对于2个本质变量相近的样本xi，xj，若它们之间有很小的本质变量距离dij，则它们具有较大的相似度Sij.为了使式（2）目标函数最小化，如果‖yiyj‖L2对应的权值Sij较大，‖yi－yj‖L2将会很小.因此，yi和yj在低维空间中是相近的.式（2）中列出的约束条件是为了去除低维空间中的尺度因子.

通过直接的代数计算，可得到：

在LPP中，一般假设在X和Y间存在一个线性映射，也就是存在一个n×m投影矩阵U，使得对于任意xi，i＝1，2，…，N，它的低维表示yi满足下式：

将式（5）带入式（4）得到：

式（6）是要找到一个被m个方向扩张的子空间，使得输入样本之间的相似度能够在线性投影假设的情况下最好地得以保持.

从式（5）可见，这m个方向正好是U的列向量.令P＝XLXT和Q＝XDXT，则式（6）变为

U的m个列向量是下述广义特征值问题前m个最小特征值所对应的特征向量：

为了避免平移干扰，假定X以原点为中心，U列向量为式（8）中前m个最小特征值对应的特征向量.通过计算得到投影矩阵U后，样本xnew的低维表示ynew可以由下式获得：

通过融合新的流形结构和基于LPP的流形学习方法，得到保持本质变量连续性的流形学习方法，其算法输入为训练数据集X，输出为X的低维表示Y，详细步骤如下：① 在输入数据间构建邻接关系图；② 计算高维数据对之间的本质变量距离；③计算数据对之间的相似度，并形成相似度矩阵S；④计算矩阵P和Q；⑤解决一般化的广义特征值问题（8），并得到投影矩阵U；⑥通过Y＝UTX获得任意输入样本X的低维表示Y.

图2给出了对曲柄轴的投影图像使用基于保持本质变量连续性的流形学习方法得到的流形结构图.

图2 基于本质变量连续性的流形构建

2 基于SP-IVP的工件位姿估计

2.1 基于流形学习的工件位姿估计

工件定位分为离线学习阶段和在线检测阶段.离线学习阶段针对采集的样本构建基于本质变量的流形，得到高维空间到低维空间的显性映射以及高维空间的低维表示.在线检测阶段即对待估计图像进行位姿估计.

基于保持本质变量连续性的零件定位算法，其思想是将高维待检测定位的图像降到低维度进行比较测量.选择最近似的位姿，进而通过位姿优化获得零件的精确位姿.可分为以下2步：

1）在待检测定位的图像中，构建滑动窗口，该窗口与训练时所获得的图像像素一致.令滑动窗口图像为It，则降维度后所获得的低维表示为

计算所有的yt与所构建流形最小欧氏距离dmin.当dmin小于某一数值时，所对应的高维窗口图像中包含目标零件.此时，令在低维中与yt距离最近的流形中的点所表示的零件位姿，为此时滑动窗口中零件的初步位姿pinit.

2）由于1）步中所获得为初步位姿，为获得精确位姿，需以该位姿为初始参数，进行位姿优化.文中采用最小二乘法进行调整，通过使用Levenberg Marquard［9］算法进行鲁棒的非线性优化迭代来得到优化的位姿.在优化过程中，通过使图像边缘点与对应CAD模型投影边缘点之间的距离平方最小化来实现参数的优化.最小化之后，就可以得到精确的位姿参数.

2.2 自适应子模式的选择

在实际的工件位姿定位过程中，由于受到环境（噪声、遮挡等）以及工件本身（不同位姿的投影图像相似）的影响，仅使用单幅图像进行工件的位姿估计得到的准确度较低.为了解决该问题，可在进行位姿估计前首先对目标图像进行子模式分割，然后分别对各子模式进行位姿估计，最后融合各子模式的位姿估计结果得到最终精确的位姿信息.

子模式的分割数量在很大程度上决定了最终位姿估计的准确度和速度，为了有效进行子模式的分割，提出了子模式的自适应分割方法.其详细的分割过程如下：

1）默认最少的分割数量为N1×N1，N1为正整数（一般设置为2），当前的分割数为N＝N1.

根据经验可知：当工件纹理信息丰富时，子模式的数量会较多；当工件属于弱纹理信息时，子模式的数量较少.图3给出了圆柱体的子模式分割结果.

图3 自适应子模式集

2.3 基于SP-IVP的工件位姿估计

结合2.2给出的自适应子模式的选择，提出基于子模式（sub-pattern）-保持本质变量连续性（intrinsic variable preserving）的工件位姿估计方法，图4给出了该方法的流程图.

图4 基于SP-IVP的工件位姿估计流程图

基于SP-IVP的工件位姿估计主要分为3个阶段：离线处理阶段、预处理阶段和在线估计阶段.

1）离线处理阶段.

离线处理阶段在进行位姿估计之前就可以进行，其作用主要是建立已知模型的流形学习方法.该阶段首先使用CAD软件对已知的工件建立三维模型，然后采集工件由3D 2D投影的图像并保存其相应的位姿信息；然后对二维图像集进行子模式分割，得到各个子模式的集合，最后对子模式集合建立基于保持本质变量连续性的流形结构用于后期的位姿估计.

2）预处理阶段.

预处理阶段的作用是提取工件的位置信息.在实际应用中，位置估计的背景非常复杂，如何有效提取目标信息进行后期的处理是非常关键的步骤.

预处理阶段中，选用H通道的彩色直方图进行目标和背景的分离.目标和背景的H通道彩色直方图可分别表示为

背景和目标的分离阈值D［h］可以通过下式计算得到：

式中δ大于0，可用来去除Bn［h］和fn［h］小的值，避免分割点为0.

通过H通道彩色直方图可以建立原始图像Itest的映射图.假设｛Xi｝i＝1，2，…，N表示Itest的像素点，映射图的计算式为

式中：S（Xi）为像素点Xi属于目标的概率；b（Xi）为像素点Xi的均一化值；ε1和ε2为2个阈值，ε1＞ε2.

3）在线估计阶段.

在线估计阶段即实时对目标进行精确的位姿估计，子模式位姿初估计是基于保持本质变量连续性的流形学习方法对子模式进行位姿的初步估计.估计过程中并不是所有的子模式都进行位姿估计，根据2.2中选用的相似性检测方法，仅对不存在相似度高的块的子模式块进行位姿估计.

对子模块进行位姿估计后，需要剔除偏差较大的子模式块检测结果.剔除原则采用反检原则，即对该子模块估计的位姿进行全部还原，提取CAD模型中该位姿对应的投影图像，将该图像与测试图像进行相似性测量，若相似度高，认为该子模块为有效块，并保存相似度信息，否则认为该子模块的位姿估计结果不准确，将其剔除.对每个子模块的位姿估计结果进行检测，得到有效的位姿估计集.

对位姿估计集进行信息融合，得到目标的初步估计结果，信息融合方法采用最大投票准则，即选取与测试图像距离最近的位姿估计结果.

选用上述方法对位姿估计的精确度只能达到图像采集的间隔大小，为了能进一步得到更精确的目标位姿信息，采用迭代最近点和高斯-牛顿组合的方法对粗估计的位姿信息进行更精确的估计.

3 试 验

3.1 参数设置

在工业零件定位的过程中，零件的位姿包括空间中的位置和姿态共6个参数信息.试验的目的在于提出并验证基于保持本质变量连续性的零件定位算法的可行性，并以可视化的形式，来直观展现流形的建立.因此，在接下来的描述和试验中，均以2个姿态为变量.

视觉系统主要由相机和计算机组成，相机通过千兆以太网口与计算机相连，相机为AVT公司的Manta201c，其分辨率为1 624×1 234，配置computar的镜头，根据实际情况选择的焦距为5 mm.相机安装在工业机器人FANUC 6 DOF（DOF：degree of free dom）上.

3.2 无遮挡情况下的工件位姿估计

在试验中，零件定位过程中的本质变量被简化为水平旋转rh和垂直旋转rv，且rh∈［0，2π］，rv∈［0，2π］.因此，零件定位过程中的本质变量为μ＝（rh，rv）.3种工件各自的rh和rv方向定义如图5所示.

图5 工件的位姿方向定义

在训练过程中，连续改变本质变量μ中的rh和rv，采集零件的视图数据，且要求零件视图沿着水平旋转rh和垂直旋转rv轴均匀地分布.最终，文中获得了包含工业零件2个自由度0至360°的训练数据库.

分别采集16个不同的位姿空间，采集间隔为0.1°，表1给出了16个位姿空间的信息.每个位姿空间包含400张不同位姿的二维图像以及相应的位姿信息.

表1 16个位姿空间的位姿范围

对每个位姿空间，随机采集处于该位姿空间的20个位姿对应的投影图像作为测试集，螺丝钳、曲柄轴和圆柱体正确识别率分别为95.4%，96.1%，98.4%.可以看出，文中提出的基于保持本质变量连续性的方法可有效地对零件目标的位姿信息进行估计.图像位姿的平均估计时间为73.6 ms，满足实际应用中实时估计的要求.

3.3 遮挡情况下的工件位姿估计

制造业的生产环境复杂，尤其在工业机器人进行工件抓取时，工件之间的遮挡经常影响对工件的位姿信息的估计，导致机器人末端执行错误的指令.为了验证提出的基于子模式的工件位姿估计方法可以解决工件之间的遮挡问题，进行以下试验.

1）有遮挡情况下文中算法与其他算法的比较.

以曲柄轴为试验对象，随机选取16个位姿空间中存在遮挡的曲柄轴位姿进行位姿估计，其中每个位姿空间选取20幅图像，并将文中算法与Shin′s［10］的方法进行对比.图6给出了在遮挡率分别为10%，20%，30%，40%，50%这5种情况下2种算法的准确率.

图6 遮挡情况下文中算法与Shin′s的比较

由图6可见，当存在遮挡时，Shin′s的准确性下降非常快，说明该算法对遮挡情况不具有鲁棒性.而文中算法在遮挡率为20%～30%时仍保持较高的位姿估计准确率.

2）不同遮挡情况下非SP与SP的比较.

为了验证文中算法的有效性，分别进行2组试验，一组是只进行整个图像的位姿估计（非SP），另外一组进行自适应子模式选择的位姿估计（SP）.测试样本集为16个位姿空间里每个位姿空间随机选取的20幅图像.表2给出了非SP与SP在不同的遮挡情况下的姿态估计结果.

表2 非SP与SP在不同的遮挡情况下姿态估计结果

由表2可见，当存在遮挡情况时使用子模式具有更好的识别效果.

4 结 论

1）基于流形学习的方法通过获得最优保持本质变量连续性的低维特征子空间，算法复杂度降低，可满足工业中实时性的要求.

2）试验结果表明：所提出方法的平均位姿估计时间为73.6 ms；螺丝钳、曲柄轴和圆柱体3种工件的定位准确率为95.4%，96.1%，98.4%；在不同遮挡情况下，文中提出方法的识别率高于其他方法，并且进行子模式分割的识别率高于不进行子模式分割的方法.

（References）

［1］ RUSSAKOVSKY O，DENG J，SU H，et al.ImageNet large scale visual recognition challenge［J］.Internatio nal Journal of Computer Vision，2015，115（3）：211－252.

［2］ 丁雅斌，梅江平，张文昌，等.基于单目视觉的并联机器人末端位姿检测［J］.机械工程学报，2014，50（21）：174－179.DING Y B，MEIJP，ZHANGW C，et al.Position and orientationmeasurement of parallel robot based on mono cular vision［J］.Journal of Mechanical Engineering，2014，50（21）：174－179.（in Chinese）

［3］ SEUNG H S，LEE D D.Themanifold ways of perception［J］.Science，2001，290：2268－2269.

［4］ 岳学军，全东平，洪添胜，等.基于流形学习算法的柑橘叶片氮含量光谱估测模型［J］.农业机械学报，2015，46（6）：244－250.YUE X J，QUAN D P，HONG T S，et al.Estimation model of nitrogen content for citrus leaves by spectral technology based on manifold learning algorithm［J］.Transactions of the Chinese Society for Agricultural Ma chinery，2015，46（6）：244－250.（in Chinese）

［5］ KUMAR S，SAVAKISA.Learning a perceptualmanifold for image set classification［C］∥Proceedings of the 23rd IEEE International Conference on Image Processing.Pis cataway：IEEE Computer Society，2016：4433－4437.

［6］ 苟建平，詹永照，张建明，等.一种可鉴别的稀疏保局投影算［J］.江苏大学学报（自然科学版），2015，36（6）：691－696.GOU JP，ZHAN Y Z，ZHANG JM，et al.A discrimina tive sparsity locality preserving projections method［J］.Journal of Jiangsu University（Natural Science Edition），2015，36（6）：691－696.（in Chinese）

［7］ CRIMINISIA，SHOTTON J，KONUKOGLU E.Decision forests：a unified framework for classification，regression，density estimation，manifold learning and semi supervised learning［J］.Foundations and Trends in Computer Gra phics and Vision，2011，7（2／3）：81－227.

［8］ 胡春华，李萍萍.基于各向异性核扩散法的杨树叶特征降维［J］.农业机械学报，2013，44（11）：281－286.HU C H，LI P P.Dimensionality reduction for poplar leaves features based on anisotropic kernel diffusion map［J］.Transactions of the Chinese Society for Agricultural Machinery，2013，44（11）：281－286.（in Chinese）

［9］ MISHRA S，PRUSTY R，HOTA P K.Analysis of leven berg marquardt and scaled conjugate gradient training al gorithms for artificial neural network based LSand MMSE estimated channel equalizers［C］∥Proceedings of the 2015 International Conference on Man and Machine Inter facing.Piscataway：IEEE，2015，doi：10.1109／MAMI.2015.7456617.

［10］ SHIN D，LEE H，KIM D.Illumination robust face re cognition using ridge regressive bilinearmodels［J］.Pat tern Recognition Letters，2008，29（1）：49－58.

3D workpiece pose estimation based on adaptive sub pattern manifold learning

LILin1，WEIXinhua1，SHEN Baoguo1，2
（1.School of Agricultural Equipment Engineering，Jiangsu University，Zhenjiang，Jiangsu 212013，China；2.School of Aviation Engi neering，Jiangsu Aviation Technical College，Zhenjiang，Jiangsu 212134，China）

To locate three dimensional workpiece ofmonocular vision timely and accurately in complex industrial environment，a pose estimation method of three dimensional workpiece was proposed based on adaptive sub pattern manifold learning（SP-IVP）.The constructing manifold method was given by nonlinear reduction of dimension framework and reconstruction of high dimension space，and the low dimensional feature sub space was obtained to maintain the optimal continuity of nature variable.The pose estimation ofworkpiecewas realized based on themanifold constructionmethod.The pose estimation method of workpiece with occlusion was proposed based on SP-IVP after the segmentation rules of adaptive sub pattern was given.Three kinds of common workpieces were tested，and the horizontal rotation and the vertical rotation were chosen as natural variables to conduct pose estimation ofworkpieces with or without occlusion.The results show that the average pose estimation time of the proposed method is 73.6 ms，which can meet the requirement of real time processing.The positioning accuracy rates of screwdriver，crankshaft and cylinder are 95.4%，96.1%and 98.4%，respectively.The recognition accuracy of the proposed method is higher than those of othermethods in different occlusion cases.The ____sub pattern segmentation method is performed with higher recognition rate than the method without sub pattern segmentation.

manifold learning；sub pattern；workpiece localization；natural variable；pose；neighbourhood

10.3969／j.issn.1671－7775.2018.01.014

TP391.4

A

1671－7775（2018）01－0086－06

李 林，魏新华，沈宝国.基于自适应子模式流形学习的三维工件位姿估计方法［J］.江苏大学学报（自然科学版），2018，39（1）：86－91，114.

2016－08－30

国家自然科学基金资助项目（51575244）；农业部公益性行业专项项目（201503130）；江苏大学高级人才基金资助项目（14JDG149）

李 林（1986—），女，山东聊城人，助理研究员（lilin＠ujs.edu.cn），主要从事计算机视觉应用技术研究.

魏新华（1972—），男，山东滨州人，研究员，博士生导师（wxh＠ujs.edu.cn），主要从事先进传感器的开发、智能化农业装备等研究.

（责任编辑 梁家峰）