基于AI图像识别的视觉障碍人士背包

2021-12-14黄志芳魏洁锋陈德鹏姚凯茵梁锐轩

物联网技术 2021年12期

黄志芳，魏洁锋，陈德鹏，姚凯茵，梁锐轩

（嘉应学院物理与电子工程学院，广东梅州 514015）

0 引言

据相关数据可知，国内目前约有视觉障碍人士达3 500多万，且这一数据还在逐年增加。由于视力上的缺陷，视觉障碍人士在学习、生活、工作等方面存在诸多不便。据调查，当前视觉障碍人士可使用的辅助性用具较少，其中最常见的就是拐杖，而普通拐杖只能辅助视觉障碍人士对周围60 cm以内的障碍物进行避让，在现实错综复杂的交通环境下无法满足保障视障人士出行安全的需要。拥有测距导盲性的拐杖，具有红外测距避障及手动灯光警示功能[1]，但由于其红外测距范围较小，手动控制警示灯光并不能预判当前环境的状况，因此视觉障碍人士行走时人身安全并不能得到充分保障。综合现有视觉障碍人士辅助性用具的不足，本文介绍了一款辅助视觉障碍人士的多功能背包，该背包不仅能够作为视觉障碍人士随身携带的物品，还能够实现超声波大范围测距避障、光强检测自动照明警示、红绿灯识别、远程监测视觉障碍人士姿态情况等功能，从而有效帮助视觉障碍人士解决外出时行动不便的问题。

1 整体设计方案

1.1 系统设计

背包系统设计方面，由于需要及时处理视觉障碍人士行走过程中存在的识别障碍物、光强检测、语音播报、定位、姿态检测等问题，所以对于系统主控芯片的选择，尤其要考虑芯片的运行速度和响应处理能力。当视觉障碍人士遇到需要识别红绿灯等情况时，主控芯片的计算性能和处理能力将受到极大考验。考虑到系统中存在众多模块，因此采用STM32F407ZGT6单片机作为控制中心，其主频高达168 MHz，拥有多达140个具有中断功能的I/O端口与众多外设，可为系统提供强大的硬件支持。图1所示为系统框架。

图1 系统框架

当超声波测距模块测量到视觉障碍人士距离障碍物较近时，系统将自动语音播报提醒前方障碍物距离；若视觉障碍人士在夜间出行，背包系统将自动检测环境光是否过低，若低于阈值，则开启LED灯以警示行人及车辆；在过马路时，背包上的摄像头将自动识别交通灯的红绿状态并进行语音提醒；同时，系统会时刻监测视觉障碍人士的身体姿态，若发生摔倒则系统自动发送定位及提醒短信给家属。系统根据各模块发送的数据进行处理、分析、反馈，多角度辅助视觉障碍人士安全出行。

1.2 结构设计

本文设计的多功能视觉障碍人士辅助出行背包不仅能够随身携带，还能有效解决视觉障碍人士出行不便的问题，社会效益、经济效益俱佳。图2为背包结构。

图2 背包结构

2 硬件设计

2.1 超声波测距避障

超声波测距功能采用HC-SR04超声波传感测距模块实现。该模块装载有2个压电陶瓷超声传感器，其中一个用于发射超声波信号，另一个则用于接收反射回来的超声波信号。将该模块的Trig控制端和Echo接收端与单片机的I/O口相连，便可实现其与单片机间的通信。单片机通过计算发射与接收超声波信号的时间差，进而计算出视觉障碍人士前进方向障碍物的距离[2]。图3所示为HC-SR04超声波传感测距模块电路接线图。

图3 HC-SR04超声波传感测距模块电路接线图

2.2 摄像头红绿灯识别

背包系统的红绿灯识别功能采用OpenMV4摄像头实现[3]。当视觉障碍人士独自外出遇到人行道路口时，可通过背包上的摄像头识别人行道交通灯显示的红绿状态，进而通过语音播报提醒视觉障碍人士当前路口是否处于可通行状态，从而辅助视觉障碍人士辨别路口的交通情况。

2.3 语音播报

语音播报采用SYN6288语音合成模块进行文本合成，然后通过喇叭播报。SYN6288内置智能文本分析处理算法，将单片机的串口与模块串口相连实现两者间的通信。单片机通过串口以命令帧的格式将文本数据发送给模块，模块进行文本合成，实现文本到语音之间的转换[4]，然后通过喇叭播报。图4所示为SYN6288语音合成模块电路接线图。

图4 SYN6288语音合成模块电路接线图

2.4 光强检测照明

光强检测采用GY-30光照强度模块。该模块内置ROHM-BH1750FLV芯片以及16位A/D转换器[5]，通过SDA和SCL端口对外提供I2C接口，单片机I/O口与其相连以实现I2C总线通信。模块初始化后，读取单片机发送的相应指令以及数据并处理，通过算法计算出光照强度，进而决定是否驱动LED灯照明。图5所示为GY-30光照强度模块电路接线图。

2.5 身体姿态检测

监测视觉障碍人士身体姿态采用MPU9250姿态传感器，该传感器内部含有三轴加速度计、三轴陀螺仪及三轴磁力计，通过模块中的数字运动处理器进行算法处理，输出稳定的姿态角度，判断视觉障碍人士身体是否向左倾、向右倾、向前倾或向后倾[6]。通过SDA和SCL端口对外提供I2C接口，单片机I/O口与其相连以实现I2C总线通信。图6所示为MPU9250姿态传感器电路接线图。

图6 MPU9250姿态传感器电路接线图

2.6 GSM+GPS通信

GSM+GPS功能的实现借助GSM/GPS模块，该模块工作频段支持GSM/GPRS：900 MHz/1800 MHz。模块通过AT指令控制，接口丰富，外围电路集成度高[7]。只需将单片机串口与模块串口相连，即可实现单片机与模块间的通信。单片机向串口陆续发送相应功能的多条AT指令即可实现对模块的控制，进而实现短信、语音通话和基站定位等功能。图7所示为GSM/GPS模块电路接线图。

图7 GSM/GPS模块电路接线图

3 软件程序设计

3.1 测距+播报程序的实现

HC-SR04超声波传感器在检测到前方障碍物时，自动播报“前方有障碍物距离××米”。根据实际情况，设定HC-SR04超声波传感器的测距范围为4 cm～4 m。该功能可为视力残障人士提供行进道路上的障碍物信息，为视力残障人士的安全出行提供保障。图8所示为测距+播报提醒流程。

图8 测距+播报提醒流程

3.2 红绿灯识别+播报程序的实现

通过OpenMV4摄像头进行图像识别，确定视觉障碍人士所在路口的交通灯位置，然后借助摄像头进行颜色扫描，确定交通灯的颜色，接着将信息传送到单片机处理，并语音播报提醒视觉障碍人士当前路口的红绿灯状态。图9所示为红绿灯识别+播报程序的实现流程。

图9 红绿灯识别+播报程序的实现流程

3.3 光强检测+照明程序的实现

模拟I2C协议以实现单片机与光强模块间的通信。单片机向传感器内部发送通电指令以及连续分辨率模式指令，然后发送设备地址写数据并等待接收应答信号ACK。传感器一次测量完成后，发送地址数据并发送应答信号ACK，得到测量结果后[8]进行计算，单片机根据计算结果判断是否发送信号驱动LED灯照明。图10所示为光强检测+照明程序流程。

图10 光强检测+照明程序流程

3.4 身体姿态检测+通信提醒程序的实现

检测视觉障碍人士的身体姿态，首先在MPU9250姿态传感器初始化后，对视觉障碍人士的身体姿态进行检测，利用三轴陀螺仪检测在x、y、z三个轴向上的数据信息以及三轴磁力计测量的方位，结合加速度计实时测得各方位加速度，判断是否在某一方向上加速度过高，若超过阈值，则表明视觉障碍人士出现跌倒状态[9]。系统将自动触发GSM通信向家属发送视觉障碍人士所处定位及跌倒的提醒短信，从而有效保障视觉障碍人士的出行安全。图11所示为身体姿态检测+通信提醒实现流程。

图11 身体姿态检测+通信提醒实现流程

3.5 通信程序的实现

对于背包系统GSM通信功能的实现，单片机与GSM/GPS模块均通过串口发送一系列AT指令实现控制。首先，通过设置AT指令将模块的波特率设置为9 600 b/s，然后再向串口陆续发送相应多条AT指令，实现短信、语音通话和基站定位等功能[10]。图12所示为GSM通信模块运行流程。

图12 GSM通信模块运行流程

4 实验测试结果

图13为背包系统实物。本系统采用背包作为载体，将各功能模块固定在背包的不同部位上，通过超声波测距、光强检测、GSM通信等测试，发现系统可稳定运行。图14所示为背包光强检测，当光强较低时，背包上的LED灯自动开启，为视力残障人士夜晚外出行走提供安全保障。家属可通过Android Studio开发的手机APP发送短信至GSM模块，查询视觉障碍人士所处位置。图15所示为手机APP定位测试图。表1为检测前方障碍物距离测试表，表2为时间播报测试表。