基于深度学习的智能导盲犬的研究与设计

杨友晨 彭万新 陶兴发 胡伟

摘 要：近年来，机器人已逐渐融入人们的工作和生活。智能导盲犬是基于智能机器人技术开发研究的一种符合社会需求的社会服务型机器人，其设计融合了激光测距、智能避障、智能语音导航和深度学习等智能化手段。同时在功能方面，智能导盲犬将多种智能手段相结合，不仅操作方便还具有很高的安全性，在一定程度上满足了消费群体的需要。

关键词：智能导盲犬；视障人群；导航；避障；安全

随着科技不断发展，智能化不断普及，高新科技的发展需要关注弱势群体，尤其是视障人群。中国残疾人联合会统计中国有一千多万盲人，且逐年以一定的速度递增。视障人士的出行面对的是重重的困难，除了缺失视觉识别道路信息的能力之外，还存在不符合规范的盲道、无法预知的突发危险等一系列的困难。盲人面临着的恶劣的出行环境，极大程度地限制了盲人的正常出行生活。

根据中国盲人协会的统计数据显示，我国有一千多万盲人，是世界盲人最多的国家，但只有数百条导盲犬，远远不够使用。开发智能导盲犬可以极大程度缓解现有导盲犬的压力。导盲犬系统中最重要的工作是导盲，系统需要实现的是引导视障人群正常出行，避开出行路线范围内的障碍物。因此，设计出能够精准快速识别出障碍物的智能导盲犬系统，具有很好的现实意义的。

一、系统结构

本设计系统通过数据采集、处理、存储、反馈等子系统构架而成。首先由两路信息采集系统——超声波测速测距系统及图像采集系统采集外部环境信息，经决策处理系统对信息进行处理，并进行多模块输出，其中有信息的反馈系统可以面向使用者提供足够的信息提示，同时，又可通过运动系统对“导盲犬”进行实时控制。存储系统可以将采集和处理的环境信息进行存取，方便查询。图1为系统的体系结构图。

（一）硬件设计结构

采用英伟达的Jetson Nano作为主控，将主控板、蓄电池、供电电路、摄像头监测及智能識别模块、红外线避障模块、超声波测速与测距模块、电机驱动与控制模块、语音识别与播报模块、实时存储模块、即插即用液晶显示模块一同安装在机器人上，构成整个硬件系统。

（二）软件设计结构

软件系统决定了系统的功能实现和人机交互的舒适性、便利性。在Ubuntu操作系统的基础上设计超声波测距模块、语音识别与播报模块、红外线避障模块和电机控制模块的驱动程序，使得模块控制实现更为便利。

1.超声波测距模块。超声波测距模块，通过发送一定频率的声音，计算返回的时间，根据声速公式，可以精确的测量出盲人和前方障碍物的距离，如果距离低于设定的阀值智能导盲犬便会发出警报提醒盲人停下来。空气中的温度、湿度以及超声波传播的速度，超声波测距的时间都可能会引起超声波测距的误差而超声波的传播速度影响最大，所以我们想到了使用可以补偿温度的传感器测距，通过高精度的温度传感器实时检测外界温度的变化，进而可以更好的提高超声波测距的精准度[1]。图3为超声波测距基本组成图。

2.语音识别与播报模块。语音识别和播报任务的作用是识别语音指令，如语音指令启动、去往哪个地点等，语音播报任务负责播报前方障碍物、路面情况，如前方路面坑洼，左侧有障碍物等。

3.红外线避障模块。红外线避障模块主要利用微处理器来产生一定频率的光信号，并用高频率的方波对红外线发射管进行调制发射，当发射出去的红外线光信号遇到障碍物反射回来时，红外线接收管便开始对反射会的光信号进行解调，输出相应的高或者低电平。利用红外线的优点是外界对红外光信号的干扰相比于其他信号比较小，并且易于实现，红外发射接收管的价格也比较合理，红外线避障系统是智能导盲犬的“眼睛”，其性能的好坏和抗干扰能力的强弱以及过滤其他信号的能力，决定了红外避障精准性和多变性[2]。

4.图像采集模块。利用的地貌比对是对被检测到的环境特征在环境图像库中进行目标搜索以及进行地点的确认。实际上，将采样到的环境图像与库存的图像依次进行比对，并找出最佳的匹配对象。所以，环境的描述决定了环境识别的具体方法与性能。该应用的核心是“图形识别算法”，这种算法是利用了环境中的各主要特点及一些特征部分而形成的方法[3]。

5.电机控制模块。智能导盲犬的设计中采用的是直流电源，因此用到的电机也为直流电机，控制智能导盲犬自由运动的是四个可以双向转动的直流电机，并且给超声波避障测距系统的执行和红外线的测量提供动力系统。通过试验，然后按照事先编辑好的程序微处理器的参数进行整定执行，由微处理器输出控制两个电机的相互协调转向，进而可以实现智能导盲犬的自主运动及循迹避障。超声波测距线路用于测量智能导盲犬距离障碍物的远近，反馈电路输出控制刹车系统可控制预先设定的编程代码[4]。

二、技术路线

首先将ubuntu系统移植到Jetson Nano中，进行系统初始化及基本信息存储。然后在Ubuntu中建立一个开始任务，再在开始任务中创建六个任务，分别是超声波测距任务、语音识别与播报任务、红外线避障任务、图像采集任务、电机控制任务和GSM无线任务。超声波测距任务负责探测周围的障碍物情况；语音识别和播报任务负责识别语音指令，如左转、右转、前进、后退等，以及播报当前的障碍物和路面情况；红外线避障任务负责探测路面坑洼情况，并通过信号量传递给其他任务；图像采集任务负责确认当前所处的环境情况；电机控制任务负责根据路面情况和指令控制电机的行走路径和转动方向；GSM无线任务负责将盲人所说的话快捷地发送出去，或者在盲人遇到特殊情况时将情况描述并自动发送给其家人。系统会将从这些任务得到的信息进行综合分析，然后发布到下一节点去实现控制。系统还会收集反馈信息进行处理，再返回信息综合分析实现闭环处理[5]。图4为技术路线流程图。

为了满足生活中的各种复杂场景，还需进行深度学习，使得各种功能识别准确率更高。通过使用导盲犬的仿目摄像头采集大量实际场景中的图片进行处理与分类数据集，如将轿车、卡车、行人与骑行者归类为car类。对采集到的图片使用yolo_mark标注工具进行标注，并随机抽取80%的数据集作为训练集，其余20%用于测试。训练模型方面采用yolov3模型，训练前需设置训练参数，在确定训练参数后对YOLOv3进行训练。训练次数设置为50000次，学习率在35000次后下降到0.0001，在45000次后下降到0.00001，使损失函数进一步收敛。同时利用旋转、调整饱和度和色调等方法对数据集中的图像进行增强和扩充，以增强模型的鲁棒性。

三、结论

智能导盲犬运用了摄像头检测及智能识别技术、红外线避障技术、超声波测距技术、电机驱动与控制技术、语音识别技术等先进技术手段，具有行进中的障碍物检测、识别与定位，其中包括移动的物体与静止的物体识别；测定障碍物的速度与距离；对周围路线的特定环境标志进行环境辨认等功能，在引领视力残疾人方面有杰出的表现。它可以弥补导盲犬数量严重不足的缺点，能够代替导盲犬在日常生活中为视力残疾人提供帮助。

参考文献：

[1]王力程，陈锐，韩旭，苏龙霞.基于超声波测距原理的电子导盲车设计[J].电子技术与软件工程，2018，No.140（18）：98-99.

[2]赵海兰.基于单片机的红外遥控智能小车的设计[J].无线互联科技，2011，No.7（03）：36-38.

[3]黄大志，申屠留芳，郭燕.导盲机器人中超声波测距系统的研究[J].淮海工学院学报（自然科学版），2009，v.18;No.72（01）：19-22.

[4]杨东燕.一种移动机器人小车的电机控制系统[J].内蒙古科技与经济，2008，No.174（20）：99-100+108.

[5]王广权，石玲，王建文等.基于机器学习的智能导盲犬设计[J].电子测试，2022，36（24）：35-37.DOI：10.16520/j.cnki.1000-8519.2022.24.006.