基于Dtag的智能垃圾车相对位姿定位方法研究

2021-07-22王双双顾涓涓张文武

绿色科技 2021年12期

王双双，顾涓涓，张文武

(合肥学院生物食品与环境学院，安徽合肥 230000)

1 引言

近年来，我国环卫产业发展迅速，尤其是城市生活垃圾的清运和城市餐厨废弃物的综合利用走到了一个新的转折点[1]。根据国务院《关于建立健全国家“十三五”规划纲要实施机制的意见》和《关于积极推进“互联网+”行动的指导意见》，在“互联网+”和“创新驱动”的时代背景下，中国环卫工作也将进入智慧化发展新时期，智慧环卫是智慧城市的重要组成部分，也是产业创新转型的重要载体[2]。未来智慧产业必将呈现出自动化、集成化、信息化、绿色化的发展趋势。智慧园区成为为智慧产业的持续发展提供人性化、立体式高效服务的载体。环卫管理借助云计算、大数据、物联网、AI 等技术实现精确、高效、智能管理，环卫作业更加及时、精准和人性化[3]。随着各种智能垃圾车的普及使用，全自动无人驾驶垃圾车的设想越来越频繁进入人们的视野。其中难以攻克的一点就是需要驾驶员手动调节垃圾车与垃圾箱的相对位姿，这就浪费了一定的人力物力。环卫人员的每天无数次的上下车，不仅浪费大量的时间而且存在很大的安全隐患，并且长久地从事此项工作，也会对环卫人员的身体健康造成影响。此外，收集垃圾的作业包含人工环节，为原始作业状态，完全可以用简单的机械行为代替[4]，所以目前的垃圾车工作模式，不能满足全自动智能化的大发展趋势，不利于实现工业4.0的大飞越。

对此，本文提出了一种基于Apriltag的智能垃圾车对城市道路两旁的垃圾桶进行自动精准定位的方法研究，此研究可以解决回收垃圾必须要环卫工人操作而导致的效率不高和人力资源的浪费，还有助于促进整个城市的环卫事业的发展。

AprilTag是一个视觉基准系统，可用于各种任务，包括AR，机器人和相机校准。这个tag可以直接用打印机打印出来，而AprilTag检测程序可以计算相对于相机的精确3D位置，方向和id[5]。基准点是为自动检测而设计的人工视觉特征，通常携带一个独特的有效载荷以使它们彼此区分开来。虽然这些类型的基准点最早是由增强现实应用程序开发和普及的，但它们后来被机器人界广泛采用。其应用范围从地面真相到目标检测和跟踪，在这些领域，可以作为一种简化的假设，而不是更复杂的感知。

基准点的一些关键特性使其在机器人应用中的姿态估计或目标跟踪方面非常有用。它们的唯一性和高检测率是测试SLAM系统的理想选择。固定基准标记可以用于视觉定位或作为机器人运动的地面真实性估计。安装在对象上的基准点可用于识别和定位感兴趣的对象。AprilTag和其他被动基准标记，需要专门的算法来检测自然场景中的标记和其他特征。视觉处理步骤通常会控制标签检测流水线的计算时间，因此，即使标记检测的微小改进也可以转化为更快的标签检测系统，此项特性正适合于城市道路两旁的垃圾桶，将基准标签贴于垃圾桶侧面，通过垃圾车上的摄像头来捕捉进行快速检测，完成垃圾桶的定位。

2 实验研究

2.1 整体介绍

本研究用到的标签系统是Apriltag的改进版Dtag，增加了标签的个数和空间布局，从前后左右4个平面来识别tag码的空间位置，更能实现完整的6自由度定位。排除噪声较大的编码，定位更精准。当行驶在城市道路中间的垃圾清运车，通过摄像头捕捉到路边的垃圾桶壁贴着的标签码时，由于城市环境的复杂性，垃圾桶往往会发生相对于原位置的旋转、偏移等位置变动，如果只在原本应该在垃圾桶靠路边一侧的一面贴码，就会产生识别不到的结果。所以，为了更加精准的识别，排除漏掉的可能性，本研究决定将垃圾桶的四面都贴上标签码，以更好地适应城市复杂的环境，达到更准确的识别效果。

系统采用到的编码是apriltag的36h11，这个编码的汉明距离最长，编码的内容更广，适合样本个数多的垃圾桶来使用，满足现实使用情况，有利于以后环卫系统的更新，发展智慧城市智慧环卫。

2.2 方法设计

为了对使用RGB摄像机的Tags获得可靠的位姿估计，本研究设计了一种简单而强大的方法，称为DTags，该方法将两个或多个标签与不在同一平面上的约束相结合，见图1。相反，标签相互旋转，因此，在高反射环境中，至少有一个标签仍然可以被检测到，并且可以计算出适当的姿态估计。DTags可以被描述为一个标签束，其中每个标签都被设置在自己独特的平面上。

图1 两面标签

虽然基准标记在实验室条件下能给出精确的姿态估计，但将其应用于智能垃圾车领域仍然是一个挑战。这仅限于基准符号标签系统，因为它们只在RGB图像中工作空间。因此，图像中的噪声会产生较大的姿态估计误差。在垃圾车应用中，基准标记主要以其原始和简单的形式使用，如垃圾桶的侧面。这种设置对于基本视觉伺服和增强现实应用来说是足够的[6]，但不适用于在复杂的社会环境下应用，包括恶劣天气及变形垃圾桶。

2.3 具体实施

本研究通过先在智能垃圾车运行的过程中拍摄图像并识别出图像中的Dtag码，再对Dtag码进行编码并确定点阵坐标，然后重新遍历点阵并进行匹配，而后计算出编码ID和其他参数，并求出4个角点的坐标，再然后计算出单应性矩阵并获得Dtag码的相关姿势信息，最后分解矩阵旋转和平移变换向量，确定Dtag码的正确姿势，即确定智能垃圾车与垃圾桶的精确相对位姿，实现对垃圾桶的准确定位[7]，解决了现有的垃圾桶定位精度不高，定位困难的技术问题，得到了准确度高、鲁棒性好、易定位的技术效果。

图2 四面标签模型

本研究采用以下技术方案实现：一种基于Dtag的智能垃圾车相对位姿定位方法，智能垃圾车用于定位至少一个垃圾桶，垃圾桶上的每一面上贴有组合tag编码的Dtag码，如图2四面标签模型。智能垃圾车相对位姿定位方法包括以下步骤，如图3基于Dtag的智能垃圾车相对位姿定位方法的流程图。

图3 基于Dtag的智能垃圾车相对位姿定位方法的流程

首先，使智能垃圾车自动巡航并捕捉运行视野中的图像，识别原始图像中的Dtag码；对所拍摄的图像进行识别定位，并将识别出的Dtag码进行编码，在确定四边形中明确点阵坐标并确定阈值；重新遍历整个点阵，得到一串二进制码，并将二进制码与已知的编码库进行匹配以确定编码是否可靠；计算确定可靠的编码ID与旋转的Dtag码的其他参数，求出Dtag码中四个角点的坐标；先根据打印的棋盘标定图和拍摄的照片，计算出单应性变换矩阵，再根据单应性变换矩阵结合相机信息，获得Dtag码的相关姿势信息；先分解单应性变换矩阵以求出旋转变换向量和平移变换向量，再根据旋转变换向量获取Dtag码的正确姿势，且正确姿势为智能垃圾车与垃圾桶的精确相对位姿[8]。

其中，智能垃圾车的摄像机的标定方法包括以下步骤，如图4基于Dtag的智能垃圾车相对位姿定位方法中摄像机的标定方法的流程图。

图4 摄像机的标定方法的流程

首先打印一张棋盘格作为标定物；调整标定物或摄像机的方向；拍摄不同方向的照片；从照片中提取棋盘格角点；估算理想无畸变情况下五个内参和六个外参；应用最小二乘法估算实际存在径向畸变下的畸变系数；通过极大似然法优化估计以提升精度[9]；结束标定，获得棋盘标定图。

2.4 实验结果

相较于现有的垃圾桶定位方法，本研究基于Dtag的智能垃圾车相对位姿定位方法及其装置具有以下有益效果：该基于Dtag的智能垃圾车相对位姿定位方法，其先在智能垃圾车运行的过程中拍摄图像并识别出图像中的Dtag码，再对Dtag码进行编码并确定点阵坐标[10]，然后重新遍历点阵并进行匹配，而后计算出编码ID和其他参数，并求出四个角点的坐标，计算出单应性矩阵并获得Dtag码的相关姿势信息，最后分解矩阵旋转和平移变换向量，确定Dtag码的正确姿势，即确定智能垃圾车与垃圾桶的精确相对位姿，实现对垃圾桶的准确定位，达到定位准确度高、鲁棒性好，并且易定位的技术效果。该方法能够对各种区域的垃圾桶进行定位，尤其是一些现有的定位信息无法覆盖或者覆盖重复的位置，这样可以扩充垃圾桶的定位广度，方便垃圾桶的投放，使垃圾桶可以使用在各种场景中。该方法只需要在垃圾桶上设置Dtag码即可，这样可以省去定位器件的材料成本，节省垃圾处理系统成本，便于垃圾桶的推广使用。而且，Dtag码还可以作为其他信息载体，便于对垃圾桶进行管理，提高垃圾处理效率和管理效率。