基于超声波传感器的室内多功能电子行走辅助系统

陶春静 ，陆彦琦，余晓强

(1. 国家康复辅具中心，北京 100176；2. 北京市老年功能障碍康复辅助技术重点实验室，北京 100176；3. 华中科技大学自动化学院，武汉 430074)

根据世界卫生组织(WTO)资料显示[1]：世界上有2.85亿视觉障碍者，其中包括0.39亿盲人与2.46亿视力低下人群，约有 90%,的视觉障碍者生活在低收入的环境中．全球盲人数量最多的国家为中国，总数达 1,233万．人类感知外部事物的方式包括：视觉、触觉、嗅觉、听觉和味觉，即人们所说的“五感”．据分析，正常人日常生活中 80%,的信息是通过视觉获取的，视觉是最主要的获取信息的途径[2]．视觉障碍者无法通过视觉来获取信息，在学习、生活及工作将存在着很大的困扰，因此必须通过辅具获取信息，利用感觉替代以获取经验．

随着世界盲人联盟的创立，盲人的安全出行与正常生活已经越来越受重视，带有定位功能的电子行走辅助系统(ETA)也成为科研工作者的研究项目之一．Shoval等[3]于1992年设计的Navbelt导航系统，是在一个移动机器人上实现避障的．Meijer[4]设计的电子行走辅助系统 vOICe包括一个附着于眼镜上的电子摄像机、一对耳机和装有必要软件的便携式电脑．加拿大圭尔夫大学的 Zelek[5]和他的学生研发了一套价格低廉、可穿戴、低功耗的设备，能够将摄像机捕捉到的外界信息通过触觉传递给视觉障碍者．Ulrich等[6]设计的 Guidecane，可以像手杖一样由使用者手持，当遇到障碍物时，通过自身改变方向让使用者感知信息．弗罗里达国际大学的 Adjouadi[7]从事计算机视觉项目的研究，他致力于开发一套能够以最优的方式将摄像头得到的环境信息描述给用户的设备．总结国内外电子行走辅助系统大部分研究成果，有些需要患者长期学习辅助系统的人机交互界面，有的结构过于复杂或者体积庞大、价格昂贵、外观设计不佳．

本文以视觉障碍者体验为出发点，设计了一种结构简单、大小适中、轻便、易于佩戴，并能够实现实时定位的系统．

1 系统总体方案

多功能电子行走辅助系统是针对视觉障碍者或者全盲者的，其肢体健全，且拥有除了视觉以外的其他感觉．所以，系统只需要采集实验者周围的障碍物信息，并确定其所处的地理位置．系统的主要功能包括：探测腰部周围的障碍物信息；每迈出一步后，探测地面上的障碍物信息；实现视觉障碍者的室内定位；实现避障与定位信息的反馈．系统的总体方案设计见图1．

图1 总体方案设计Fig. 1 Overall design

系统的硬件结构如图2所示．为了兼顾I/O接口数量、数据运算速度、信号反馈等的要求，系统采用双CPU处理方式：主CPU选用E8_BOARD卡片式计算机，完成姿态检测的数据处理、定位算法的实现以及定位信息的语音播报；从 CPU采用基于 ARM内核的 16位单片机 STM32F103VET6，主要完成传感器的信息采集与微型振动电机的振动信息反馈．

系统用到的传感器包括 4个薄膜压力传感器、7个超声波传感器、5个姿态检测传感器，信息反馈采用7个微型振动电机与1个骨传导耳机．

图2 系统硬件结构框图Fig. 2 Hardware system structure

2 基于感觉替代的避障方法

针对视觉障碍者，Bach-Y-Rita提出了感觉替代的思想，即利用大脑的可塑性，将其他形式的感知形态(如听觉或触觉等)呈现出某种缺失的感知形态(如视觉等)，使大脑获得的感知特性[8]．对于一个完整的视觉系统，光学图像映射到视网膜上，并在视网膜上转换为神经上的电脉冲信号，从而感知图像在人脑中得到呈现．许多研究证明，使用感觉替代系统能够让盲人体验类似的主观图像[9]．以这种方式恢复失去的感知形态时，信息被一个人机界面接收，然后进行转换，转换后的信息通过一个完好的器官传送给大脑．现有的感觉替代研究包括视觉、触觉、听觉、定位与平衡感及空间感觉等之间的相互替代．其中最常见的是触觉代偿视觉的研究，同时利用听觉的代偿系统也在逐步成熟[10]．

2.1 超声波传感器测距

腰部周围的障碍物由均匀分布在视觉障碍者腰间的 5个超声波传感器进行探测，其分布见图 3，保证了对视觉障碍者整个前方区域的覆盖．对地表障碍物的探测由鞋子前端的2个超声波传感器完成．

图3 腰部超声波传感器的布局Fig. 3 Layout of the ultrasonic sensors

HC-SR04超声波传感器是借助于超声波脉冲渡越时间法来实现测距的，7个超声波传感器的连接方式相同，VCC、GND 分别与 STM32F103VET6的5,V、GND 端口连接，TRIG、ECHO 与 STM32F103 VET6的I/O端口相连．

2.2 压力传感器的开关控制

在每只鞋前后脚掌下各安装一片薄膜压力传感器 FSR402，压力传感器的电路连接如图 4所示．传感器与 10,kΩ的电阻串联于 5,V电压的电路中．当视觉障碍者迈出步伐后，前后脚掌同时着地，压力传感器受到的压力增大，电阻减小，从而电阻两端电压增大．将A点处的电压值引出，经过电压跟随器后与STM32F103VET6的I/O口连接，然后再进行模数转换，与设定阈值进行比较，从而实现迈步的判断．电压跟随器在电路中起着隔离、缓冲与提高带载能力的作用．

图4 压力传感器电路Fig. 4 Diagram of pressure sensor circuit

2.3 基于触觉的信息反馈

在避障系统中，对距离信息的提醒是通过微型振动电机实现的，在腰部的每个超声波传感器下方分别安置一个微型振动电机，用以提醒视觉障碍者探测到的空中障碍物信息．同时，在人体较为敏感的脚踝处也分别固定两个微型振动电机，用于鞋子前端传感器探测到的地表障碍物信息的提醒．

系统通过调节微型振动电机的振动频率，给实验者以距离远近的提醒．实验发现，人体对 250,Hz的振动最敏感，因此设置振动频率在 200～300,Hz范围．振动强弱是通过脉冲宽度调制(PWM)，设置不同占空比的方波来实现的．

3 基于扩展卡尔曼滤波的室内定位设计

3.1 定位系统的软硬件基础

3.1.1 姿态检测模块

将 5个姿态传感器分别固定在使用者的大小腿及腰部，当人体下肢运动时，附着在身上的传感器会有对应的运动，根据传感器的姿态，就可以得到肢体的运动状态．

姿态检测传感器由三轴磁力计、三轴加速度计和三轴陀螺仪组成．加速度计在静止状态下用于检测重力加速度，在运动状态下用于检测重力加速度与运动加速度的合成量；磁力计用于检测地磁场强度；陀螺仪用于检测旋转过程中的角速度．

对于每个传感器，可以根据重力加速度与磁场强度确定该传感器在传感器坐标系中的姿态角．

3.1.2 超声波观测模块

利用腰间的5个超声波传感器的测量数据，探测视障者前方 180°范围内的障碍物，从而实现视觉障碍者在室内的绝对定位．根据使用者的实际情况，长半轴与短半轴的长度均为已知的值．

3.1.3 数据采集模块

STM32F103VET6通过I/O口实时采集超声波传感器及姿态传感器的数据，其中，姿态检测传感器与STM32F103VET6之间的连接采用串行外设接口(SPI)实现．

STM32F103VET6将采集到的数据通过串口发送给主 CPU，串口数据的传送采用中断方式实现.STM32F103VET6与主 CPU之间由蓝牙模块连接，实现了数据的无线通信．为保证数据处理的实时性，STM32F103VET6以 60,ms周期发送数据帧形式的采集数据．

3.1.4 数据处理模块

数据处理 E8_BOARD卡片式计算机完成，程序在Linux系统下实现，数据处理界面如图5所示．界面显示了包括5个姿态传感器的姿态角、腰上5个超声波传感器的障碍物距离、惯性导航的定位坐标及多传感器信息融合的定位坐标等内容．整个终端的软件工程自定义了5个类与1个文件，即卡尔曼滤波算法类 CKalman、串口通信类 CPort、电源开关类CPoweroff、数据处理类 CDataprocess、窗口类MainWindow和main.cpp文件．

图5 数据处理模块的界面Fig. 5 Data processing module interface

3.2 基于扩展卡尔曼滤波的多传感器融合定位方法

3.2.1 定位系统的总体设计

室内定位是多功能电子行走辅助系统的一个重要功能．基于惯性导航的定位方法属于相对定位，随着视觉障碍者行走步数的增加，定位误差会不断累加．因此，采用了基于扩展卡尔曼滤波的多传感器数据融合方法，充分利用姿态传感器与腰间超声波传感器的数据，对惯性导航数据进行周期性修正，从而提高定位精度，其实现过程如图 6所示．第一步是状态预测，根据惯性导航传感器的信息得到状态估计值与对应的统计特性．第二步，超声波传感器采集观测信息值；同时，根据状态估计值及地图信息得到预测观测值；然后，根据预测观测值与传感器采集的观测值形成有效的特征匹配对．第三步，利用扩展卡尔曼滤波对有效的特征匹配对进行信息融合，实现位姿的更新．

图6 定位系统的扩展卡尔曼滤波定位框图Fig. 6 Location diagram of the extended Kalman filter positioning system

3.2.2 定位实现

(1)位姿预测

由于时间及精力有限，仅对第八版医学微生物某些章节内容进行了题目的设计和问卷星试卷的制作，目前已经编写的习题包括：细菌的遗传与变异、细菌的耐药性、细菌的感染与抗细菌免疫、细菌感染的检查方法与防治原则及病毒总论等内容。今后将持续完善其他章节内容。

假设表示当前时刻的状态估计，U(n−1)表示控制输入，下一时刻的预测状态为

预测方差为

式中：Q(n−1)表示系统噪声协方差矩阵；∇F(n)表示F的Jacobi矩阵，满足

(2)预测观测模型

结合已知地图，得到第j个超声波传感器与对应的墙面i

l间的预测观测值，可表示为

(3)观测

通过超声波传感器收集n时刻的观测值Zij(n)．

根据超声波的观测模型，对墙面il的观测值Zij(n)需满足

①观测值必须在传感器量程范围内，即

②dij(n)与xg的夹角θij(n)满足

在n时刻，保存此时所有满足以上条件的观测值Zij(n)，并且取与之对应的超声波传感器的预测观测值，分别组成一个新的向量，即

对应于每对有效观测，∇ Hij表示 Jacobi矩阵，Rj(n)为观测噪声，分别将它们组成新的矩阵，有

最后，根据扩展卡尔曼滤波的步骤，视觉障碍者的位姿更新可表示为

协方差矩阵的更新方程为

4 实 验

4.1 单个超声波测距实验

为检测超声波传感器的测距效果，首先针对单个HC-SR04超声波传感器进行测距实验，让超声波与挡板距离在10～170,cm，每隔20,cm测量1次，假定人工测量的数据为标准值，实验结果见表 1．实际距离与测量距离之间存在一定的误差，分析误差来源，可能是：声速受温度、压力、湿度等因素的影响；超声波传感器的尺寸影响，由 2.1节的测距原理可知，对于不是收发一体的超声波传感器，其自身的尺寸对结果有一定的影响．

表1 单个超声波传感器测距实验结果Tab. 1 Experimental results of single ultrasonic sensor

4.2 室内定位与语音反馈实验

实验者穿戴电子行走辅助系统进行实验．5个超声波均匀分布在实验者腰部前端 180°方向，超声波阵列的分布近似为长轴 30,cm，短轴 20,cm 的椭圆．实验环境地图如图 7所示，将地图信息存储于主CPU中．

图7 实验环境地图Fig. 7 Experimental environment map

实验者从五角星处出发，沿着蓝色虚线顺时针行走一周，若按下播报按键，则播报所在区域的语音信息．实验过程，当实验者行至图 7地图中红色标识的房间(302、305、310、314及卫生间)时，固定于腰部的E8_BOARD卡片式计算机会自动语音播报当前的房间号，并根据腰部姿态传感器的航向角，识别该房间所在的方位(实验者左侧，还是右侧)；在 4个区域按下按键时，能够语音播报当前的区域．

实验过程中，记录实验者每行走一步仅依靠姿态传感器的相对定位坐标与利用多传感器融合定位的坐标，并离线作图，如图 8所示．实验数据的误差曲线如图9所示．

图8 实际路线与相对定位、多传感器融合定位数据Fig. 8 The actual route，relative positioning and multisensor fusion positioning data

由图8与图9可知：基于多传感器融合的室内定位方法相比于惯性导航的相对定位在精度上显著提高．由于惯性导航的相对定位在行走过程中存在着累积误差，因此估计的坐标曲线将越来越偏离于实际路线．根据超声波传感器的观测值周期性地修正姿态传感器的计算结果后，有效地提高了定位精度．

图9 实验误差曲线Fig. 9 Error curve of experiment data

5 结 语

本文设计了一套结构简单、穿戴方便、价格低廉的多功能电子行走辅助系统，能够实现空中及地表障碍物探测、室内定位与信息反馈等功能．

系统利用腰间超声波传感器感知空中障碍物的距离信息，由鞋前部的超声波传感器感知地表的障碍物信息，由安装在鞋底的薄膜压力传感器控制鞋上的超声波传感器在迈出步伐时才启动工作．所有的测距信息转换为不同频率的振动反馈给使用者．

利用腰间的 5个超声波传感器，并结合室内地图，建立了室内的绝对定位系统．利用超声波传感器和姿态传感器得到当前位置相对于初始位置的距离与方向，从而实现相对定位；并通过基于扩展卡尔曼滤波的多传感器融合，不断修正累计误差，显著提高了定位的精确性．

［1］ World Health Organization. Visual impairment and blindness[EB/OL]. [2017-10-11]. http：//www.who.int/mediacentre/factsheets/fs282/en/.

［2］ 何婧， 旻聂 ，罗兰，等. 听觉引导助盲系统[J]. 生物医学工程学杂志，2010，27(2)：467-470.

［3］ Shoval S，Borenstein J，Koren Y. Mobile robot obstacle avoidance in a computerized travel aid for the blind[C]//Proceedings of IEEE Conference on Robotics and Automation. Piscataway：IEEE，1994：2023-2029.

［4］ Meijer P B L. An experimental system for auditory image representations[J]. IEEE Transactions on Biomedical Engineering，1992，39(2)：112-121.

［5］ Sainarayanan G，Nagarajan R，Yaacob S. Fuzzy image processing scheme for autonomous navigation of human blind[J]. Applied Soft Computing，2007，7(1)：257-264.

［6］ Ulrich I，Borenstein J. The guidecane-applying mobile robot technologies to assist the visually impaired people[J]. IEEE Transactions on Systems，Man and Cybernetics，Part A：Systems and Humans，2001，31(2)：131-136.

［7］ Adjouadi M. A man-machine vision interface for sensing the environment[J]. Journal of Rehabilitation Research and Development，1992，29(2)：57-76.

［8］ Szeto A Y，Saunders F A. Electrocutaneous stimulation for sensory communication in rehabilitation engineering[J]. IEEE Transactions on Biomedical Engineering，1982，29(4)：300-308.

［9］ White B W，Saunders F A，Scadden L，et al. Seeing with the skin[J]. Perception and Psychophysics，1970，7(1)：23-27.

［10］ Visell Y. Tactile sensory substitution：Models for enaction in HCI[J]. Interacting with Computers，2009，21(1)：38-53.