基于立体视觉技术的家政机器人抓取技术研究

丁雪梅，任柏寒

（吉林建筑科技学院，吉林 长春 130000）

0 引言

立体视觉匹配技术[1]的区域匹配是将大视角图像转化为许多块状图像或改变图像对的尺度大小来划分对应的区域，但是不同的视角会获得不同的图像，就会导致对同一环境产生多个不同的图像，从而难以进行区分，同时会使得对比过程中出现糊图现象，导致对大视角图像[2]中的区域进行识别较为困难，对上述问题通过以下算法步骤尝试解决：

1 通过区域匹配算法确定家政机器人活动范围以及初步判定抓取物品

第一步：检测并拟合两幅待匹配图像的最大稳定极值区域[3]，然后，对拟合的椭圆区域进行归一化，然后对归一化的圆形区域进行SIFT描述[4]，得到128维SIFT描述符，将SIFT描述符的最近邻与次最近邻之比小于某个阈值（阈值设置为0.85）的区域对用作初始匹配区域对；

第二步：采用高斯差分特征检测方法对匹配区域内的特征点进行检测，准确获取特征点的位置信息和尺度信息；

第三步：在特征点尺度所在的高斯图像上，构造以特征点为中心的椭圆邻域，对邻域进行归一化，然后对归一化的圆形区域进行SIFT描述，得到基于mser的128维SIFT描述符；

第四步：对mser区域[5]所有的特征点进行一体化，并将其进一步归一为单位圆，得到二维空间描述符（包括距离描述符和角度描述符），这种二维空间描述符具有仿射不变性的，此时对图像处理的方法结合了区域匹配和点匹配；

第五步：通过获得的基于mser的sift描述符和基于mser的二维空间描述符构造绑定距离，然后利用绑定距离的相似性策略得到最终正确的匹配点对。

区域匹配通过给定同一场景的两幅图像，然后进行粗尺度上图像对之间对比，对比成功就代表该图像对应的区域为可清洁区域，在对比过程中的差异部分进行保留。如果将图像对空间划分许多图像单位，则与划分之前相比，图像单位中的任何图对应图像单位的相似度都会提升。

在匹配区域的算法内，首先用尺度不变的dog检测器提取特征点，然后用描述子描述特征点，其中包括新描述符集成了基于mser的SIFT描述和基于mser的空间描述符，两者都具有仿射不变性。基于mser的Sift描述符使用基于mser的自适应椭圆区域代替圆形区域来描述特征点。主方向sift描述子的设置和计算在自适应椭圆区域的归一化圆区域内，保证了描述子的仿射不变性。基于mser的空间描述符由标尺组成，度不变特征点由其所属的归一化mser单位圆区域中的空间信息组成。最后采用结合距离的相似性策略，得到正确的匹配点对。其中组合距离考虑了光学和多个因素，匹配信息使匹配更加准确。

2 通过特征匹配算法对区域匹配的差异部分进行二次匹配

在对差异区域进行二次对比分析时，先是记录多种常见生活垃圾的图像作为第一份图像，然后提取第二幅图像中每个特征点的可能范围，形成一幅小图像，然后检测小区域中是否有特征点。如果找到特征点，将特征点放在一个容器中，将第一幅图像中的对应点放在另一个容器中；如果在该区域中未找到特征点，则显示第一幅图像，并丢弃图像的对应点。然后，匹配两个容器中的特征点，从而判断是否对第二幅图像中的物体进行抓取。

对区域匹配产生并记录的差异区域进行二次匹配，此时利用惯性导航信息可以提高特征匹配速度，减少误匹配。由于感知导航系统通常是通过匹配图像的特征点来实现的，为了通过获得的图像获得稳定的姿态，需要提取稳定的特征点进行状态变化估计，但大量的特征描述符会导致匹配速度变慢；同样，特征匹配也会受到不匹配的限制，从而降低姿态估计的效率。通过利用固定在相机上的惯性导航提供的姿态[6]，可以缩小特征匹配时的搜索范围，从而提高时间效率，减少成本失配。利用惯性导航提供的数据，通过旋转矩阵和平移向量将图像中的特征点投影到第二幅图像中，形成核心线。这条核心线提供了一个寻找可能匹配的特征点的区域，它减少了用于特征比较的特征描述符的数量，并减少了错误匹配。时间效率和失配是影响匹配的两个主要因素，直接影响相机姿态估计的速度和精度。

主要有四种基于特征的图像匹配方法：

（1）对图像的特征点进行匹配。图像特征点匹配包括建立模板与待匹配图像，计算特征点集之间的点对点对应关系，并计算对应点之间的相似度来判断图像是否匹配和点对点匹配，点对点匹配为无显示的方式，其主要包括最小均方差匹配。

（2）对图像的边缘线进行匹配。边缘线[7]通过边缘检测[8]得到，在对比时将对比的图像块进行重叠，从而实现快速对比。

（3）对图像的闭合轮廓进行匹配。轮廓匹配[9]与边缘匹配对比方式相同，通过重叠法进行快速比较。

（4）对图像的几何约束进行匹配。对图像特征之间的几何约束进行比较，并将结果作为相似性度量，进一步提高匹配算法的速度。基于特征的匹配方法一般具有良好的抗灰度畸变和几何畸变能力，并具有一定的抑制噪声干扰能力，其关键在于稳定、自动和一致的特征提取。

在图像特征匹配阶段，现有的图像匹配算法对特征描述子进行匹配，会产生大量的不匹配，这不仅会降低匹配的精度，而且会增加图像匹配的时间。当视觉采集传感器与惯性导航传感器组合时，可借助惯性导航数据计算特征点可能在同一时间之后的下一次出现在图像中的区域；然后在该区域内找到与图像中前一时刻对应的特征点相匹配的特征点，这样可以提高特征点匹配的精度，减少搜索匹配特征点的面积，减少匹配时间，采用的匹配算法步骤如下：

第一步：选择两幅要匹配的图像，每个传感器数据都有其对应的时间文件，从时间问题文件中找到两幅图像对应的时间问题；

第二步：读取惯性导航数据文件，并且在存储惯性导航数据文件的文件夹中有一个图像数据集，该图像数据集用于存储惯性导航数据文件，图像中有一对一的对应时间问题，根据图像对应的时间问题，需要找到具有相同时间问题的惯性导航数据文件；

第三步：检测两幅图像中的特征点以形成特征描述符选择图像特征匹配算法检测两幅待匹配图像的特征点并形成特征描述符，因为不同的算法具有不同的鲁棒性，有必要分析车载系统拍摄的图像的特征；

第四步：估计所述第二图像中特征点的坐标范围所述坐标值可从所述待匹配的第一图像的第三步中检测到的特征点获得，然后根据匹配图像对应的惯性导航数据，利用待匹配的特征点获得坐标值，根据第三步计算图像中特征点的变化，并且该特征点在第二幅图像中找到一个对应的点，并围绕该点划定搜索范围。

在区域匹配和特征匹配的组合判定下，先是判定工作区域，然后在工作区域内寻找差异图像，将这部分差异图像进行记录，接着通过特征匹配进行对比，对比物为常见的生活垃圾，当对比度足够时，通过家政机器人将对比物抓取，送入垃圾桶内。

3 家政机器人抓取规划

根据家政机器人操作的要求，从机器人需要依次完成抓取动作、移动动作和投入垃圾桶动作等动作。然而，时滞问题往往影响运行的可靠性和稳定性。一方面，在时间的影响下，系统的输出在延迟之前由于输入信号的作用不会响应。操作员需要面对t时间之前的状态量，这种情况下操作员不能从抓取机构的实时反应下获得反馈，从而难以进行操作，导致操作失败，甚至无法进行操作；另一方面，输入延长会引起系统的相位滞后，对于维持系统的稳定性极为不利。因此，对于机器人的自主操作极具实际价值，能够有效提高操作的实时性和可靠性，降低人们的成本劳动强度。

在家政机器人的操作系统内设置有远程遥操作机器人系统，远程遥操作机器人系统的是指操作者直接在本地控制主机器人的运动的模式，在这种模式下机器人的位置、姿态等运动信息通过无线信号传输给控制单元，控制单元在操作员的控制下对机器人进行命令，使得机器人能够完成与操作员所期待的动态操作，当远程监控摄像机将远程截获物体和环境的图像信息传输到本地工作站显示器时，主终端应根据截获物体的位置进行操作。操作员控制主操纵器的运动，主终端控制计算机以检测主操纵器的位置和位置，并通过网络将手指的闭合位置发送到远程从属作业。从机器人跟踪主机械手的位置和姿态，逐个接近目标，形成预抓取模式，同时，从机器人与远处环境相互作用产生的力也通过机器人传输给操作员的通信链路反馈给主机器人，使本地操作员能够感知远程操作信息并产生身临其境的感觉，在面对难以自动抓取的物体时可以由户主控制远程抓取，同时提升了家政机器人的可玩性[10]。

4 结语

区域匹配对比同一场景的两幅图像，然后在粗略的尺度上比较图像对。如果比较成功，则意味着与图像对应的区域是可清洁区域，并且保留比较过程中的差异部分。特征匹配对不同区域进行二次比较分析。在对区域匹配生成和记录的差异区域进行二次匹配时，利用惯性导航信息可以提高特征匹配的速度，减少误匹配。在区域匹配和特征匹配的组合判断下，首先确定工作区域，然后在工作区域中找到差异图像，记录这些差异图像，然后通过特征匹配进行比较。对比对象为普通生活垃圾。如果皮革和纸屑，对比度足够时，通过家用机器人抓取对比物，将其送到垃圾桶完成垃圾收集。通过组合比较，将全家人的垃圾收集能力添加到家用机器人上，进一步解放房主的双手，打造更美好的生活。