基于图像感知与定位匹配的多功能导盲系统

牛 恒，陈智利，张文婧，宋庚庚

（西安工业大学 光电工程学院，西安710021）

据2018年世界卫生组织数据显示，目前我国有至少1400 万盲人，在出行方面有着极大的挑战[1]。传统的导盲手杖探测范围小且安全性差；导盲犬训练难度大且价格昂贵无法普及。随着科技的发展，科研人员开始着力于设计一种更加可靠、方便、廉价的导盲设备。当前导盲设备的研究主要集中于图像导盲或者传感器导盲，功能单一，安全性不高[2-6]。文献[7]利用超声波测量障碍物距离并采用光敏模块在夜间自动照明，给其他行人及车辆提示以避开盲人；文献[8]设计了一种基于多传感器信息融合并利用人工势场法进行路径规划的导盲系统；文献[9]利用超声波进行探障，结合GPS 实现定位；文献[10]在传感器测距及GPS 定位外还提出了一种具有检测路面及台阶功能的导盲系统。盲人出行主要需求是避障和引导其前往目的地，上述导盲系统均是在某一个或某几个功能上进行改进，当前导盲系统对于盲人出行的整体需求并没有考虑全面，功能实现上无法满足盲人出行需要进而保证盲人安全。

通过上述分析，目前在盲人导盲领域急需一种可实现导航和避障的多功能的导盲系统。鉴于此，本文结合盲人实际需求，设计了并实现一种基于树莓派3B+的多功能智能导盲系统，实现了传感器及摄像头组合探障、避障路径规划、实时导航、语音交互功能，为盲人出行保驾护航。

1 系统总体设计

1.1 导盲需求分析

通过调查发现，盲人的出行需求主要有4 个方面：避障、导航、语音交互、导盲安全性。

结合以上引入的盲人在出行方面的大致需求进行具体分析。由于前提是出行需要，所以导引盲人前往目的地是一个必要的需求，盲人视觉缺失，故需自动检测起点、语音输入终点并自动规划合理步行路径，将导航信息语音输出。本系统是导盲系统，单纯导航不足以满足盲人的出行需要，对于导航路径上的障碍物无法进行合理避让，此时需要采取避障措施，由于盲人是不断行走的，故需提前对路径做出规划，至少要探测前方20 m 内的障碍。利用图像法可探测较大范围内障碍并规划避让路径，保证盲人安全，对于更小范围内的障碍，摄像头无法探测到时，再结合超声波、红外探测盲人前方4 m、侧方80 cm 内的障碍，避免盲人与其相撞，更进一步保证盲人安全。

1.2 系统方案设计

结合实际导盲需求，本系统主要实现超声波、红外、图像组合探障、避障路径规划、GPS 定位导航、语音交互功能。综合分析后，设计了总体实现方案，如图1所示。

图1 系统总体方案Fig.1 Overall scheme of system

本系统的核心部件是树莓派3B+控制芯片，可以进行较大规模的数据处理且处理速度快。探障模块分为传感器探障和图像探障，传感器探障由超声波探测器和红外探测器组成，主要探测盲人前方及两侧障碍物；图像处理模块通过一个摄像头采集环境信息并实现测距，再通过YOLOv3 算法进行识别，判断出场景中障碍物的大致距离、类型、大小以及交通信号；避障模块主要是利用A* 算法将图像获取到的障碍物信息导入数据地图，根据算法自动生成最优的避让路径；GPS 定位导航模块主要用于实时导航，当盲人输入终点信息后，结合GPS定位利用软件爬取导航路径信息并进行处理反馈；语音模块功能一是实现语音录制与识别，二是实现语音合成与播报，由于盲人无法利用视觉信息，在系统工作前需要进行目的地信息获取，此时盲人可以语音输入目的地，且系统所有提示信息均以语音形式通过耳机提示给盲人，以此达到导盲效果。

2 系统硬件设计

该系统硬件电路主要由基础电路、探测电路、定位导航电路、语音转换电路构成：①基础电路：最小处理系统、串口通信；②探测电路：超声波测距、红外测距、摄像头、A/D 转换；③定位导航电路：定位模块、天线；④语音转换电路：3.5 mm 接口耳机、USB麦克风。

2.1 主控系统

本设计采用树莓派3B+型控制板为主控系统。可进行无线和有线两种方式的网络连接，外部可接USB 摄像头或排线摄像头，且有外部存储卡，容量大，运行速度快（GHz 量级），有独立的linux 操作系统，能进行复杂硬件连接及软件编程。

2.2 探障电路

探障模块主要实现测距及障碍物识别，其中测距模块对盲人前方和侧方障碍物进行探测，HCSR04 超声波测距传感器探测前方障碍，通过探测返回高电平的时间来反映位置信息，测量范围2～400 cm，张角为15°，探测精度2 cm，GP2Y0A0216YK0F 红外测距传感器探测左右两侧障碍，利用PSD（position sensitive detector）三角法测量障碍距离，测量范围20～150 cm，张角为5°，测量精度1 cm，红外信号获取后，通过MCP3008 8 通道10 位A/D 转换电路进行信号转换；障碍识别部分的采集摄像头采用树莓派专用的DSI 单目排线摄像头，接口方便，信息传递速率快，用于盲人前方场景信息的探测。

2.3 定位电路

导航模块主要利用GPS/BD 定位和百度地图平台联合的方式实现[11]，其中定位部分利用ATKS1216F8-BD GPS/BD 定位模块，该模块的核心器件采用SkyTraq 公司的S1216F8-BD 模组，共有167 个通道，灵敏度为-165 dBm，测量输出频率20 Hz，具有系统断电不丢失数据的功能。GPS/BD 双模天线具有较高定位精度。

2.4 总体电路设计

超声波测距模块、红外测距模块、定位模块均采用串口通信模式，其中红外数据需进行A/D 转换后传入系统，麦克风通过USB 接口与主控系统进行通信，耳机采用3.5 mm 耳机接口进行语音输出，摄像头模块通过DSI 排线进行连接达到通信目的，5 V/2.5 A 移动电源为整个系统供电。

3 系统软件设计

3.1 总体软件设计

在完成硬件设计后，需要利用软件来实现导盲系统的所有功能，使其能够自动运行。分析各部分具体功能及编程条件，设计的导盲系统总体软件流程如图2所示。为使各模块运行不受其他模块影响，采用多线程方式对各模块功能进行联合设计，极大地增强了系统的运行效率。

图2 总体软件设计流程Fig.2 Overall software design of flow chart

3.2 避障软件设计

避障部分软件设计主要由障碍物识别和路径规划组成，其中利用YOLOv3 算法识别环境中常见障碍物（如车、人等）[12-14]，识别障碍物并结合摄像头测距得到障碍物具体信息，填充至数据地图之中进行避障规划，避障使用A*算法（启发式搜索算法，避免大量无效路径、寻路快且可得到最优路径[15-16]）。避障软件设计流程如图3所示，其中F 为启发函数值，具体指路径代价。最终得到代价最小路径，即最优路径。

图3 避障软件设计流程Fig.3 Obstacle avoidance software design of flow chart

3.3 定位导航软件设计

GPS 电路与百度平台信息交互匹配，生成导航指令。其软件设计流程如图4所示。

图4 定位导航软件设计流程Fig.4 Positioning and navigation software design of flow chart

4 系统测试

测试A* 算法进行路径规划，结果如图5所示，矩形框表示障碍物位置，直线表示避开障碍的具体路线，并生成的避障指令。

图5 A＊算法规划路径Fig.5 A＊ algorithm planning path

生成的避障指令为：向前行走1.0 m，向左前行走0.7 m，向前行走0.5 m，向右前行走0.7 m，向前行走1.5 m，向右前行走1.4 m，向前行走3.0 m，向右前行走1.4 m，向前行走3.0 m，向左前行走2.8 m，向前行走6.5 m。

进行避障整体调试，可据识别的障碍物情况生成数据地图并规划出合理的避让路径，障碍物识别及路径规划如图6所示。

图6 障碍物识别及路径规划Fig.6 Obstacle recognition and path planning

图6中对应生成的避障指令为：向前行走1.0 m，向左前行走0.7 m，向前行走0.5 m，向右前行走0.7 m，向前行走18.0 m。

导航模块采用实时定位，不间断匹配的方式对路径拐点进行及时探测并播报相对应的导航信息。测试时，语音输入某一位置，通过运行内部程序，得到了相应的路径信息，测试路径导航指令及拐点坐标如表1所示。

表1 测试路径导航指令及拐点坐标Tab.1 Test path navigation instructions and inflection point coordinates

5 结语

本文结合盲人需求设计了一种基于树莓派3B+的多功能导盲系统，完成了导盲系统硬件及软件设计，实现了探避障及导航功能。使用超声波、红外、图像3 种方式联合探障并结合A* 算法规划避障路径，其中超声波可检测到盲人前方2～400 cm 障碍，红外可检测到盲人侧方15～80 cm 障碍，进一步保证了盲人的安全。利用GPS/BD 模块对盲人全程进行导航，充分考虑了在远程和近程情况下盲人的整体需求，改变了以往导盲系统功能单一、安全性差的问题。在后期设计中可以加入位置共享和一键呼叫模块，方便家人了解盲人位置并使盲人在遇到危险能及时与家人联系。相信在不久的将来，多功能导盲系统一定可以在盲人出行方面作出巨大贡献。