基于三维点云和图像边缘的托盘检测技术研究

吴登禄 曹文希 朱颖

基于三维点云和图像边缘的托盘检测技术研究

吴登禄1,2曹文希1,2朱颖1,2

（1.顺丰科技有限公司 2.物流机器人技术与应用工程研究中心）

以自动叉车为研究对象，针对叉车的具体运动约束和实际使用场景，提出一种结合图像边缘和深度信息的点云匹配技术来解决末端载具检测及定位问题，相比其他仅从三维点云定位的技术，具有较强的检测鲁棒性和定位准确性，同时具有可扩展性。

点云匹配；托盘检测；叉车定位

0 引言

随着物流业的快速发展，劳动力的需求也不断增长。根据物流业高强度和高重复性的劳动特点，采用机器人完成劳动成为趋势。具有自主导航能力的机器人在物流运输和仓储管理行业具有重要作用。依靠地图定位算法，机器人可精确地在场地内运动。此外，自动识别装载目标，对于叉车无人化是不可或缺的能力。本文主要针对目前主流的叉车，研究一种适用于仓库的无人叉车精确托盘定位技术。

无人叉车定位技术在学术界得到多年关注[1]，并已在工业领域广泛应用。目前，针对无人叉车定位技术主要研究全局定位技术，如依赖于稠密激光点云地图和稀疏反光板定位技术、基于轨道巡线或磁条定位技术等。托盘定位因为精度要求高于全局定位，且位置无法提前在地图固定标记等问题而有别于全局定位。针对上述问题，已有不同的解决方案，如激光托盘定位方案、激光和图像结合方案[2]等。

针对托盘定位问题，本文采用基于3D深度传感器的方案。相比激光方案，3D深度传感器可以节约成本；同时由于3D深度传感器获取的点云相对激光更加稠密，鲁棒性更高。与巡线技术和磁条技术相比，3D深度传感器不需要对场地进行改造，降低成本的同时提高了部署的灵活性。另外，目前在市场上已经量产的3D深度传感器Kinect、Real-Sense和Astra等，所提供的稠密三维点云数据在测量距离和精度方面能满足托盘定位的要求。本文参考工业机械臂识别和抓取物体的算法，利用点云匹配技术为叉车提供近距离的托盘位姿信息。

1 检测方法

1.1 三维点云匹配问题描述

传感器安装于叉车的固定位置，其获取的托盘测量点云坐标可通过叉车位姿和传感器外参确定。随着叉车在空间移动，通过观测点云在不同时刻坐标的变化，能够间接地求出叉车相对托盘的运动。在相机外参已知的情况下，托盘定位问题可等价于点云运动估计，常用的方法是点云匹配技术。

其中N是维点集的个数。

其中,w 描述模型点m 与测量点d之间的匹配关系。当二者为匹配点时w =1；否则w =0。

1.2 匹配问题求解

解决匹配问题常用的方法：先给定相似变换参数的初始估计值；再迭代优化。与通常的迭代法类似，求解匹配问题容易陷入局部最小值而无法得到最优参数估计，因此初始值决定了最终点云匹配效果。为尽量得到合适的初始估计值，研究学者关注于设计区分度高的特征描述子来编码点云领域信息，从而使这些特征区域能够在全局被有效地搜索和匹配。利用合适的特征描述子，点云匹配问题的求解步骤：

1）分别对模型点集和测量点集提取特征点、计算描述子；

2）根据特征点的三维位置和描述子信息，估计每个测量点在模型点集的匹配点，并根据所有匹配点估计模型和测量数据整体之间的相似变换关系；

3）考虑到测量误差，测量点集和模型间可能出现误匹配，利用重复采样、估算和验证的方式来排除粗差；

4）利用排除误匹配后的数据重新估算相似变换。

3D点云特征描述子包括从2D图像特征描述迁移到点云的算法，如SIFT和FAST；另外还有点特征直方图描述子（PFH）和其加速版本（FPFH）[3]。

PFH基于中心点与邻域之间的法线关系。在中心点半径为的圆球内部选取个相邻点，彼此构成相互连接，PFH计算每个连接两点间的法线偏差，并在其中一点建立一个局部坐标系，描述如下：

其中，s为中心点p的法向量；p为邻点坐标。

坐标系两点法线的偏差可通过3个角度来描述：

结合3个垂线偏角以及距离，PFH将每个领域点对描述为四元特征。同时，PFH特征描述将特征范围划分为多个子区间，再统计落在每个子区间内的点数分布作为最终PFH描述。为减少PFH的运算量，FPFH算法只关注中心点与每个领域点之间的垂线关系，而不是领域内部每对点间的关系。同时，FPFH用每个领域点各自计算得到的特征直方图做加权平均，简化计算的同时保证结果接近PFH描述子。

PFH和FPFH都是基于局部点云的统计信息来编码中心点，这些算法在点云稀疏或照射物体表面几何曲率变化较小时，无法得到有效的特征描述。为此，PPF算法[4]提出一种描述全局表面曲率变化信息的算法来解决局部描述子在弱纹理和简单表面区域匹配效果差的问题。另一个解决此问题的方法是结合图像信息来弥补点云几何信息的不足。单纯的图像模板匹配技术适用于弱纹理区域，且具有一定的鲁棒性，如Chamfer匹配法和Haussdorf距离法[4]。它们仅依赖图像边缘信息，容易随着光照和背景的改变而变化。相比之下，Linemod算法[5]同时考虑了3D物体表面法向量和2D图像梯度信息，在点云匹配中有较好表现。

考虑特征描述子（PPF）算法和Linemod算法的各自优点，本文提出一种结合图像局部纹理和3D点云全局曲率变化信息的方法来解决点云匹配问题，并将PPF描述子由4维扩展到7维，增加了图片像素中的RGB信息，描述如下：

2 实验

本文算法的代码基于OpenCV和PCL开源库编写，测试平台硬件配置了16 G内存+i7处理器。首先采用手持Astra标准版深度相机连接到笔记本在不同位置录制托盘数据，选取一组作为参考数据录制为匹配模板，另一组模拟叉车运动；然后根据本文匹配算法估算二者点云的位姿变换；最后根据估计的位姿变换将两组点云投影到同一坐标系作对比。

为提高运算速度和提高匹配效果，本文在识别算法前增加了预处理，如图1所示。

图1 点云预处理流程

首先，利用多分辨率降采样点云以提高ICP匹配效率。点云从低分辨率开始匹配，并利用低分辨率匹配得到的结果作为更高精度的分辨率点云匹配的初始值，可减少ICP的迭代次数。这样不仅减少算法运行时间，同时还减弱初值对ICP算法的影响。

最后，在点云匹配前对点云进行Euclidean Cluster聚类分割。由于托盘只允许在近距离、无障碍物的条件下插取，可只选取深度方向最小的聚类为目标点云，提高点云匹配准确度。

3 结果分析

实验结果如图3所示。其中右侧黑点为录制的参考托盘点云，左侧黑点为模拟运动中叉车所观测到的托盘点云；灰白点为根据点云匹配得到的位姿变换将参考托盘点云投影到叉车观测坐标系的结果。由图3可知，左侧黑点和灰白点几乎完全重合，这表明估算的叉车位姿精度较高，算法能够通过测量点云的位姿变换估算叉车相对托盘的位姿，从而为叉车控制模块提供引导数据。

图2 托盘图像和点云图

图3 托盘点云匹配结果

4 结论

针对仓储自动叉车托盘定位问题，本文使用3D深度相机并设计相应的点云匹配算法来估算托盘与叉车的相对位姿，并将PPF描述子拓展到7维来提高对弱纹理表面的点云匹配效率。实验表明，本文提出的算法在近距离范围内能有效定位托盘，比单纯采用点云的几何信息定位具备更高的鲁棒性。

[1] Bostelman R, Tsai H, Chang T. 2006 Visualization of pallets Intelligent Robots and Computer Vision XXIV: Algorithms, Techniques, and Active Vision (October 2006) Proc[J]. SPIE , 2006: 89-101.

[2] Baglivo L, Biasi N, Biral F, et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method[J]. Measurement Science and Technology, 2011, 22: 85502.

[3] Rusu R B, Marton Z C, Blodow N, et al. Learning Informative Point Classes for the Acquisition of Object Model Maps[C]. In Proceedings of the 10thInternational Conference on Control, Automation, Robotics and Vision (ICARCV) 2008, 2008:123.

[4] Hinterstoisser S, Lepetit V, Rajkumar N, et al. Going Further with Point Pair Features in Proceedings European Conference on Computer Vision 2016[C]. Netherlands, 2016: 834.

[5] Huttenlocher D, Klanderman G, Rucklidge W. Comparing Images Using the Hausdorff Distance[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993,15: 850.

Research on Pallet Detection Technology Based on 3D Point Cloud and Image Edge Features

Wu Denglu1,2Cao Wenxi1,2ZhuYing1,2

(1.SF Technology Co., Ltd. 2. Research Center of Logistics Robot Technology and Application Engineering)

This paper suggests a pallet detection algorithm based on 3D point cloud and image edge features for auto forklifts application with considering its motion constrain and the practical usage situation. It has better detection robust and location accuracy comparing to other method only rely on 3D point cloud, and it can extend itself further.

Point Cloud Match; Pallets Detection; Forklifts Location

吴登禄，男，1983年生，博士研究生，主要研究方向：图像处理与机器学习。E-mail: wdlcas@gmail.com

曹文希，男，1986年生，硕士研究生，主要研究方向：图像处理。

朱颖，男，1985年生，硕士研究生，主要研究方向：图像处理。