APP下载

一种用于机场候机楼智能指引的轮式机器人系统设计

2024-01-30寇云凯林浩意苏芃桥黄韦徐书涵

科技风 2023年35期
关键词:目标识别

寇云凯 林浩意 苏芃桥 黄韦 徐书涵

摘 要:针对未来智慧机场建设和发展的需要,本文提出了一种搭载深度相机、激光雷达、语音交互等智能模块的机场航站楼智能指引机器人设计与实现方案,分析了机器人在机场候机楼特定场景下可实现的预期功能,使用一种基于深度学习模型的目标检测算法,并通过即时定位与地图构建算法构建二维地图,确定了其在机场航站楼中路径导航与避障运动方案。

关键词:ROS系统开发;目标识别;机器人路径规划

1 概述

1.1 问题描述

智能机器人利用计算机视觉、自然语言处理、机器学习和深度开发程序等技术,根据工作环境及相应指令做出快速与准确响应。当前,随着智能化技术的不断发展,人工智能、机器人技术等已成为各国重点发展的科技领域之一,在制造业、物流业、家庭服务业和军事领域展现出了优秀的应用性能,可用于工业自动化、环境监测、智能家居、无人物流、无人驾驶等领域。例如,大疆创新制造的“晓”Spark小型航拍无人机;波士顿动力公司研发的可适应复杂地形条件的Big Dog型四足机器狗[1]。其中基于轮式移动系统的智能机器人已相当成熟,相比于其他结构,轮式机器人具有易于平稳移动、驱动装置容易维护、制造成本相对较低等优点,能协助完成烦琐、危险、重复性高的任务,极大地提高了工作效率和安全性,提供了诸多便利。例如,以巡检机器人为代表,通过广泛应用机械臂、3D激光导航技术和视觉识别等技术,在各类天气情况下完成路况的巡检工作及简单安全维护的机器人;通过磁条引导、激光引导、惯性导航以及磁钉导航等方式,用于物流分配车间物品搬运的AGV(Automated Guided Vehicle)物流小车;家用自动吸尘器机器人iRobot Roomba,采用人工智能系统iAdapt,用于自动清扫和清除家庭中的各类垃圾、灰尘。

在民航领域,机场航站楼结构相对复杂,特定人群如老人、未成年人、初次选择民航客运的乘客等难以找到登机口、卫生间、值机柜台等相应区域,给旅客出行造成了较大困难。根据智慧机场建设以及提高民航服务水平的要求,引进一款用于航站楼指引的机器人十分必要。但市场上的引路机器人大多存在着在室内环境下定位不够准确、目标识别仅限于有明显特征的物品以及机器人自主导航避障低效的问题。因此,在此背景下开展新型航站楼智能机器人的设计工作具有积极意义。

1.2 国内外研究现状

目前,针对机场智能机器人的研究一直非常活跃,形成了新的研究热点:国外领域在比较早的时期就有不断对于机器人运动规划的研究。例如,Karaman等设计出用于机器人最佳运动规划的基于增量采样的算法[2]。Palmieri等设计出一种名为POSQ的新的RRT扩展功能,该功能可以实现高效流畅的移动机器人的运动规划[3]。国内领域起步较晚,但目前也有一些对于机器人路径规划的研究。例如,李名杰等设计出一种基于SLAM的智能服务机器人。该机器人通过配备视觉传感器、激光雷达和红外等传感器在未知的陌生环境中构建出地图和结构,并确定自身的位置和方向,可以实现人脸识别、进行查询登机口、全方位场景扫描、行李托运和移动导航等功能[4]。王勇等设计了一种用于机场服务、协助机场管理的服务机器人控制系统[5]。控制系统设计利用轮式移动并且加入了人机交互系统界面的设计与程序编写,实现了可以通过互联网查询信息,语音识别并预设应答和机器人移动避障等功能,该机器人配备了上位机(PC)、控制器、传感器模块、通信模块、电源模块、驱动模块和语音模块。该机器人通过测距超声波传感器和红外线传感器检测环境中障碍物的位置与自身距离,通过程序判断运行状况并实现实时调整机器人运行速度和方向,避免与人或物体发生碰撞。

在应用领域方面,广州白云国际机场引入了一种名为“云朵”的智能问询机器人,通过大数据和云计算技术可实现乘机咨询、语音交互、定位导航等功能;韩国仁川机场使用了由韩国LG公司研制的名为特罗伊卡(Troika)的机器人,可识别多种语言并帮助旅客寻找登机口,以及帮助保洁人员清扫地板。

综上可见,在机器人路径规划方面国内外都有了一定的研究,但如何优化用于机场轮式机器人的路径规划是我们仍需要继续研究的。

1.3 文章概述

本文提出了一种用于机场候机楼指引的轮式机器人设计方案,实现机器人的障碍识别与路径动态规划,为其在未知或部分未知环境下的自主导航提供技术支持,提升躲避障碍物的效率与复杂环境下的运行能力。项目将基于机器人上搭载的激光雷达、深度相机、语音交互模块等硬件配置,通过深度图像数据识别与处理,实现机器人的建圖导航、自主避障和跟随等功能。本文篇章结构组织如下:第二部分介绍机器人的总体功能与配置;第三部分提出机器人所需的硬件结构;第四部分提出机器人图像处理及目标识别检测算法;第五部分介绍机器人二维运动地图构建和导航避障功能的实现;第六部分对本文章进行总结。

2 总体功能

指引机器人旨在协助旅客到达目的地,且在无任务状态时通过自动巡逻功能寻找需要帮助的旅客,并帮助机场完成航班信息的传达。具体功能如下:

2.1 语音交互及广播

此功能能够帮助旅客及时搜寻航站楼的信息位置,为有需要帮助的旅客能准时到达登机口顺利搭乘航班提供必要协助。机器人搭载的语音交互系统与旅客实现语音交互,通过平台提供的多项服务,识别旅客的指令,理解旅客需求,及时做出回应,实现与旅客的交流。同时,在执行任务时,还能为旅客播报航班状态[6],协助旅客完成登机。在巡逻状态下,能广播寻人启事等通知。

2.2 自动巡逻

在机器人未收到外界指令时,可在候机楼内自动巡逻,利用深度摄像头进行目标检测。同时寻找需要帮助的旅客,及时回答旅客问题,并且协助发现安全隐患。

2.3 导航引路

收到旅客的导航指令后,机器人通过内置的机场地图,及时搜寻出目的地信息,并规划出从当前位置出发的最短距离。同时,它还会计算出预计花费的时间进行及时播报,会在经过洗手间、商店等地点时告知旅客。为了实现实时定位,可通过在机场内放置定位标,借助SLAM技术、深度相机以及激光雷达,通过同时对多个定位标的角度测量以及距离测量,确定自身在三维空间中的位置,使机器人计算出自身在航站楼所处的位置[7]。在运行过程中,可提前通过SLAM建图获得候机楼内部环境信息,即获得静态障碍物数据;而对于行人、车辆等动态障碍物,则采取激光雷达实时扫描的方案,通过在ROS系统中加载局部路径规划器实现避障[8]。

综上所述,机器人导航引路的逻辑与基本流程如图1所示,将在后续章节中讨论探测障碍物与路径规划的具体方法。

2.4 其他功能

机器人在未执行导航任务时,进入巡逻状态,此时可通过电控装置自动或手动执行喷洒消毒水、播放城市旅游宣传视频等功能。机器人还安装了基于多机通信的一键报警程序,旅客可使用机器人与机场工作人员沟通,寻找人工帮助。

3 硬件系统设计

为实现机器人的障碍识别与路径动态规划,为其在未知或部分未知环境下的自主导航提供技术支持,提升躲避障碍物的效率与复杂环境下的运行能力的目标,机器人选用阿克曼转向结构底盘配合520电机以及金属舵机,配备深度相机和激光雷达用来感知周围环境。配合语音交互模板实现对小车的命令。硬件选型与设计如下:

3.1 深度相机

机器人采用的是Astra pro深度相机,其包含了彩色摄像头(RGB)、红外相机(IR camera)、红外投影仪(LDM)、深度计算处理器(depth processor)等,能够快速准确地进行物体的测距追踪、目标物体识别,更方便准确感知外界环境,帮助分析判断机器人自身所处的位置[9]。

3.2 激光雷达

激光雷达采用的是YDLIDAR 4ROS激光雷达,其原理是靠旋转反射镜将激光发射出去,并通过计算发射与返回的时间差计算距离,利用其较高的测距精准度能为机器人导航提供有效的环境感知[10]。

3.3 科大讯飞的语音交互系统

机器人利用讯飞开放平台实现语音交互。讯飞平台提供了语音识别、语音唤醒、语义理解等多项服务,借助其语音交互系统强大的AI识别功能,能准确理解旅客需求,正确回答旅客问题并将语音命令转化为对小车的运动指令。

3.4 机器人操作系统

ROS(Robot Operating System)是适用于机器人软件开发的元操作系统。它借助Linux系统,实现底层设备控制、常用函数应用、进程间消息传递等功能。它能在完善功能包的配置后,完成航站楼3D坐标的建设、机器人运动的规划和相机的标定等功能,完成从指令到实际操作的实现[11]。

4 目标识别

机器人的目标识别是指利用摄像输入装置检测预定目标的几何或者统计特征的图像分析处理技术,采用目标识别的方法,机器人可以实现颜色追踪、二维码扫描、障碍物识别等功能。目前,主流的目标识别技术主要包括三种:一是模板匹配法,对目标图像的形状特征采集后,在待检测图像中逐点寻找与目标图像模板距离、梯度、方差等特征值最为相似的区域[12];二是特征提取法,例如Blob分析(Blob Analysis),将图像中颜色、纹理相近的部分进行连通域提取和标记,即二值化处理图像之后再检测灰度突变区域;三是深度学习,通过训练深度学习模型来自动识别和分类目标。

考虑到机器人主板的性能,为了快速且有效地实现对目标的特征提取,因此选择了基于深度学习的目标检测算法:在深度相机采集深度信息和RGB图像后,图像数据和图像元数据(图像宽度、高度、编码格式等信息)返回给机器人主板,主板上搭载的ROS系统通过图像消息系统(sensor_msgs)传输存储图像数据,在此过程中,可使用rosbag记录图像消息或用ROS的话题(Topic)机制实时传输图像消息。

此后利用Open CV(Open Source Computer Vision Library)对输入图像进行处理,Open CV是一个跨平台的计算机视觉库,具有强大的图像数据处理功能,库中有各种函数可以对图像进行分析,且占用存储较小,在ROS系统中能较为流畅地使用。首先,将ROS图像数据转化为Open CV格式的图像数据,再对图像数据进行灰度化、去噪等预处理,这可以减少图像数据中的无关信息,而Open CV中Canny函数可对预处理的图像进行边缘检测,实现对目标的特征提取,并将处理后的数据保存在相应文件中[13]。

基于深度学习的目标检测算法YOLOv5(You Only Look Once version 5)可通过卷积神经网络(Convolutional Neural Network,CNN)实现对图像中目标物体的识别和定位,它在检测过程中会将输入的图像分割成多个网格单元,分析并输出预测框(Bounding Box),其中包含目标物体位置、大小和该物体属于不同类别的概率值。为了实现图像的识别,需提前构建机场中机器人可能拍摄图像的训练数据集,并按照行人、建筑物、路标、出入口、定位二维码进行分类,采用YOLOv5作为深度学习模型,对已准備数据集中的图像进行分类训练,提高精准度。在机器人实际运行过程中,YOLOv5通过ROS系统调用Open CV存储的文件,从而获得目标的位置类别信息。进一步,还可以增加目标跟踪的相关算法实现对物体的实施跟踪和位置预测[14]。

5 路径导航

机器人的路径规划是指机器人根据自身定位与目标地点选择最佳路线,机器人的路径规划通常面对三大问题:一是机器人对所处环境的地图构建和自身定位;二是单次运动中机器人对起点与终点之间路径的选择与优化;三是运动过程中避障行为的局部路线规划。基于此,文章提出以下方案。

5.1 基于SLAM的二维建图

机器人通过YDLIDAR 4ROS激光雷达与Astra pro深度相机完成SLAM二维地图的构建。YDLIDAR 4ROS激光雷达以固定频率向四周扫描,发射的激光在经过障碍物反射后被接收器接收,采集多组信息后,根据地图的数学特征(直角、曲线)来进行地图匹配,将分散的地图组成完整地图,采集数据被提交到ROS系统中,我们将接收信息在(x,y)坐标轴上用Cartographer SLAM生成2D栅格地图[15]。

Astra pro深度相机可采集像素点与相机间的距离信息,根据三角相似的计算原理,将三纬空间上的点信息在二维像素平面上完全体现,并在相邻图像上进行特征点匹配。Astra pro深度相机可以获取环境中的深度信息,将得到的信息提交到ROS系统中,通过RGBD SLAM算法进行建图,作为激光雷达生成2D地图的辅助。

2D激光雷达仅能采集到单一平面内的点云数据;而深度相机可以采集到一定范围的深度图像和彩色图像,通过例如RTAB—MAP等算法,可构建三维彩色地图,但地图精度较低。融合激光雷达和深度相机的采集数据可在实现三维建图的同时,保留雷达的高精度避障功能。

5.2 机器人的导航和规避

本项目中,机器人的运动场景固定为机场候机楼,预先将机器人带至场地,利用传感器提前扫描场景即可完成SLAM二维地图构建;而机器人与乘客交互确定目标点后,采用一种启发式搜索算法(A*搜索、Dijkstra算法结合)来规划路径,由于全局路径规划的灵动性较差,而面对移动目标时,机器人不能及时做出路线改正,动态窗口法算法(Dun amigo Window Approach,DWA)可解决这个问题,进而DWA算法、A*算法与Dijkstra算法结合后,可让机器人在有移动目标情况下达到目的地。

A*搜索算法(启发式搜索)是基于广度优先算法提供搜索方向,通过“路程代价”和“预估代价”,找到一条代价最低的路径(路程代价和预估代价的和),这条路径是最佳路径,在此路径的基础上,通过DWA算法来进行局部规划,从而到达目的地。

DWA算法通过机器人测试得到机器人速度、加速度信息后,通过评价函数来对当前路线进行评估,得到一组最优速度解,通过调整评价函数中方向角、机器人与障碍物距离、轨迹对应速度的权重来获得规划路线。

机器人路径规划是基于激光雷达与深度相机收集周边信息和获得自身位置与姿势信息,当机器人在ROS系统中生成二维地图后,再根据相关的运动算法与路径规划算法到达目的地,如图2所示。

图2 机器人路径规划流程图

5.3 机器人控制

在候机楼中布置供机器人定位的二维码,机器人行进过程借助目标识别算法即可实现自身定位,利用路径算法,获取目标位置后得到路径信息,通过PID(Proportional Integral Differential)给出机器人四个轮子的运动参数,从而完成导航行为。

结语

本文对候机楼特定环境下的机器人的指引工作原理进行了分析,通过装配硬件设施与加载软件开发环境,展示了指引机器人可能实现的功能,思考了实现目标检测识别、避障、路径导航等功能的可行办法,最终给出了相对合理的设计方案。

参考文献:

[1]王哲,冯晓辉,李艺铭,等.智能机器人产业的现状与未来[J].人工智能,2018(03):1227.

[2]Karaman S,Frazzoli E.Incremental samplingbased algorithms for optimal motion planning[J].Robotics Science and Systems VI,2010,104(2):267274.

[3]Palmieri L,Arras K O.A novel RRT extend function for efficient and smooth mobile robot motion planning[C]//2014 IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE,2014:205211.

[4]李名杰,詹紅梅.基于SLAM的智能机器人在大型枢纽机场的应用[J].中国新技术新品,2022(07):1921.

[5]王勇,祝鑫,朱嘉敏,等.机场服务机器人控制系统设计与研究,20190208.

[6]周君,刘璟.酒店服务机器人语音交互系统设计[J].软件导刊,2018,17(11):1316+21.

[7]徐慧,孙宏图.室内移动机器人激光雷达定位方法研究与仿真[J].机械设计,2022,39(05):9195.

[8]查荣瑞,马云华,燕翔,等.基于场景理解与改进型BUG算法的移动机器人避障[J].计算机测量与控制,2023,31(03):228234.

[9]丁子琳.基于深度相机的移动机器人视觉SLAM技术研究与实现[D].东北石油大学,2022.

[10]何小英,王旭.激光雷达和视觉技术的机器人移动位置跟踪系统[J].激光杂志,2023,44(01):232237.

[11]李昕哲,高雨源,何棋威,等.一种基于ROS的SLAM智能小车设计[J].信息与电脑(理论版),2022,34(11):144146.

[12]谢永杰,智贺宁.基于机器视觉的图像识别技术研究综述[J].科学技术创新,2018(07):7475.

[13]黄俊明,陈平平,王彩申.在Linux环境下基于OpenCV图像处理的研究与实现[J].电脑编程技巧与维护,2023(01):143146.

[14]郑太雄,江明哲,冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报,2021,42(09):2851.

[15]薛迎港.基于ROS的仓储机器人自主导航研究和实现[D].西安工业大学,2022.

项目基金:用于轮式机器人避障的嵌入式系统程序开发(项目号:IECAUC2023186)

作者简介:寇云凯(2001— ),男,汉族,山东潍坊人,本科,中欧航空工程师学院工科试验班;林浩意(2002— ),男,汉族,安徽宿州人,本科,中欧航空工程师学院工科试验班;苏芃桥(2002— ),男,汉族,四川会理人,本科,中欧航空工程师学院工科试验班;黄韦(2003— ),男,汉族,安徽滁州人,本科,中欧航空工程师学院工科试验班;徐书涵(2003— ),女,汉族,天津人,本科,中欧航空工程师学院工科试验班。

猜你喜欢

目标识别
基于偏振数字图像的特征提取及处理方法研究
一种BCI与SAR融合的目标检测系统设计
Java数字音频识别程序
渡口水域安全监管技术研究
渡口水域安全监管技术研究
全自动模拟目标搜救系统的设计与实现
动态场景中的视觉目标识别方法分析
基于PC的视觉解决方案在 Delta机器人抓放中的应用
移动机器人图像目标识别
基于动态模糊积分的决策层融合识别算法