兼具柔顺与安全的助行机器人运动控制研究

徐文霞 黄剑 晏箐阳 王永骥 陶春静

兼具柔顺与安全的助行机器人运动控制研究

徐文霞1黄剑1晏箐阳1王永骥1陶春静2

针对助行机器人的柔顺性和安全性问题,基于多传感器系统融合技术,本文提出了一种能够兼具柔顺与安全的助行机器人运动控制方法.首先介绍了助行机器人的机械结构、控制原理以及多传感器系统,然后根据机器人多传感器系统,设计出各传感器相对应的用户意图估计方法,提出了一种基于多传感器融合的助行机器人柔顺运动控制算法.分析用户可能发生的跌倒模式,使用基于卡尔曼滤波(Kalman flter,KF)的序贯概率比检验(Sequential probability ratio test,SPRT)方法和决策函数来判断用户是否会跌倒,并判断处于哪种跌倒模式.最后,通过助行机器人柔顺运动控制实验和用户跌倒检测实验验证了算法的有效性.

助行机器人,跌倒检测,力传感器,激光传感器,柔顺性

DOI10.16383/j.aas.2016.c160163

由于社会的发展和人类平均年龄的延长,老年人的人口数量不断增长,我国已逐渐开始进入老龄化社会.许多老年人或者残疾人都面临着一些下肢功能障碍的问题,因此在日常生活中,他们需要一些辅助助行设备或者专业的看护人员来帮助他们.但是由于聘请专业看护人员成本较高,而且目前专业看护人员处于紧缺状态,所以那些能帮助老年人或者残疾人行走,以及满足他们日常生活需要的助行机器人成为了机器人研究领域的热点问题[1−3].

对于助行类机器人来说,人是助行机器人的操控者.人在使用助行类机器人时,希望能够舒适地操作机器人,即机器人能够顺从人对机器人产生的作用力,顺应人的行走意图.也就是说机器人应该具备一定的柔顺性,于是柔顺控制是助行机器人相关研究中非常重要的一个问题.目前机器人研究中的柔顺性主要分为主动柔顺性和被动柔顺性.主动柔顺性是指采用一些控制算法来主动控制外部作用力来实现柔顺性.被动柔顺性是指通过设计一些辅助的机械结构来实现对外部作用力的顺从[4].被动柔顺控制存在着一定的问题,而且应用范围受到限制[5],所以目前主动柔顺控制为柔顺控制的主要研究方向.

目前机器人柔顺控制的研究主要集中在机械臂和多足机器人的研究中,关于助行类机器人的柔顺控制研究较少.Shibata等[6]将人在推电动轮椅时的手臂看作一个虚拟阻尼器,计算其虚拟阻抗,采用阻抗控制来实现推轮椅这个动作时的柔顺性.Katsura等[7]使用一个反应力矩观测器来观测环境在平移和旋转两个方向上的干扰,将自适应力控制算法应用在这两个方向上的控制中,实现人在推动电动轮椅时的对偶柔顺控制.这些主要是轮椅机器人运动控制中的柔顺控制研究.对于助行机器人来说,柔顺控制的目标是机器人能够在正常行走过程中顺应用户的运动意图.传统的助行机器人主要使用力传感器来得到用户的运动意图[8],但是人的行走实际上是通过上肢和下肢的协调产生出来的一种动作[9]. Stephenson等[10]指出高度中风病人还保留着上肢和下肢的协调能力,所以在恢复训练的时候,增加滑动的手柄会帮助病人的恢复.Suzuki等[11]提出了一种由穿戴式设备和杖式助行器组成的助行系统,帮助偏瘫病人的行走恢复训练.因此在估计人的行走意图的时候,下肢所表现出来的运动意图也应该被考虑进去.目前针对上肢获得运动意图的肢康复机器人是面向手臂康复进行运动控制[12−14],并不是获得行走中的运动意图,而轮式助行机器人中还没有出现对上肢和下肢动作的研究.本文使用激光测距仪和力传感器结合的方法,通过力传感器得到用户上肢的运动意图,通过激光测距仪得到用户下肢的运动意图.然后采用融合技术,得到更加准确的用户运动意图,让用户能够释放一部分推助行机器人的力量,并且感觉机器人是跟随人的运动,而不是人在推着机器人运动,提高助行机器人的柔顺性.

助行机器人的另外一个重要特性就是安全性,即保障用户在使用助行机器人过程中的安全.老年人或者残疾人在使用助行机器人时最常发生的危险就是跌倒,因此跌倒检测算法及跌倒防护策略在助行机器人的控制中就显得尤为重要.目前,跌倒检测主要有三种方法:1)通过图像检测[15];2)通过对周围环境的感知[16];3)通过穿戴式传感器检测[17−18].使用图像检测跌倒的方法主要是将摄像头安装在实验环境中,采用图像处理算法检测人是否跌倒.Wu[19]通过研究发现,人在跌倒的时候垂直方向和水平方向的速度要比其他的受控动作快3倍,并且跌倒时速度的振幅都相同,反之在受控动作中速度的振幅在垂直和水平方向上是不同的.这种方法的优点是不需要穿戴任何设备,缺点是图像处理的算法比较复杂,而且在图像处理过程中受到光线和噪音的影响,会降低检测准确率.对于通过对周围环境的感知的方法,通常是将红外传感器或者声音传感器安装在所处的环境中来检测是否有跌倒的发生.如Litvak等[16]基于地板震动和声音,使用模式识别算法来区别人跌倒和一些其他物体的掉落,准确率高达95%.这类方法的优点是成本低廉,实施起来比较方便,也不需要穿戴任何设备,缺点是只能用于已安装传感器的环境中.最近几十年,已经有很多学者提出了关于穿戴传感器的跌倒检测方法, Williams等[20]研制出一种设备来探测地面对于加速度计的影响,使用一个倾度传感器来监测人是否处于一个平衡的位置.Degen等[21]研制了一个内置加速度计的腕表,加速度的振幅用于跌倒检测.这种基于穿戴式传感器的检测方法的优点是成本低廉,并且没有使用环境范围的限制,缺点是需要提前穿戴传感器装置.

对于助行机器人来说,使用的前提就是要能够保障用户的安全.这种安全不仅仅是指使用过程中的安全,也包括当用户发生危险时,机器人应该做出相应的行动来保障使用者的安全.而用户可能由于自身身体的缺陷,如腿脚不便等,发生跌倒,于是助行机器人的跌倒检测和跌倒防护机制就变得十分必要.目前关于助行类机器人的跌倒检测和跌倒防护方面的研究并不多见,Hirata等[22]使用激光测距仪和倾度传感器来估计用户使用机器人的状态(正常使用、斜坡运动、紧急状况等),当用户膝盖和机器人的距离超过一定范围,就刹车停止运动来防止用户跌倒.然后Hirata等[23]使用激光测距仪得到用户下半身各关节相对于机器人的位置,从而计算用户的COG来进行预判是否跌倒,达到跌倒防护的目的.但是这些方法只能判断前后方向的跌倒,并不能判断左右方向上的跌倒.Huang等[24]针对智能拐杖,融合全景摄像头得到的用户头部的位置和激光传感器得到的相对机器人的位置来判断用户是否跌倒.然后Huang等[25]将穿戴式传感器与助行机器人结合起来,用穿戴式设备得到用户的行走状态判断是否即将发生跌倒,但是穿戴式设备穿戴起来相对来说比较麻烦.本文主要使用助行机器人本体上的力传感器和激光测距仪来得到用户上肢和下肢表现出来的意图速度,然后通过上肢和下肢的意图速度来判断用户是否会发生跌倒,当检测到跌倒趋势之后,采取紧急制动的方式达到跌倒防护的效果.

目前来看,同时考虑柔顺性与安全性的助行机器人国内尚不多,本文主要在只使用机器人本体的传感器的情况下,对兼具柔顺与安全的助行机器人运动控制进行了研究.本文的创新点为首次同时考虑上肢和下肢所表现出来的运动意图,使用多传感器融合技术,得到与传统导纳控制相比更加柔顺的助行机器人运动控制,并根据上肢和下肢的运动意图,监控用户的行走状态,检测是否有跌倒的趋势并判断具体的跌倒模式.本文结构如下:首先介绍所使用的智能助行机器人的基本结构,其次提出用户上肢和下肢的运动意图提取方法,使用多传感器融合技术,融合上/下肢的运动意图,得到更加准确的用户意图速度,实现助行机器人柔顺控制.然后基于卡尔曼滤波(Kalman flter,KF)的序贯概率比检验(Sequential probability ratio test,SPRT)方法和决策函数来判断用户是否会跌倒及可能出现的跌倒模式,并使机器人及时停止运动达到跌倒防护的效果,保障机器人的安全性.最后通过实验证明该算法的有效性.

1 助行机器人构成

本文使用的助行机器人由1个全向移动平台、1个防护支撑结构、1个控制器和多传感器机构(力传感器阵列和激光测距仪)组成,如图1所示.全向移动平台由3个麦卡拉姆轮组成,实现全向移动;防护支撑结构用于保证机器人运行的稳定以及支撑用户,并形成围栏式的机构来保证用户在使用时的安全;控制器由控制箱和触摸显示器屏组成,控制箱用于数据的处理以及数据的交换,触摸显示屏用于人机交互及助行机器人的操作;多传感器机构由8个反馈移位寄存器(Feedback shift register,FSR)力传感器和1个激光测距仪组成,8个FSR用于测量用户和机器人之间的交互力,激光测距仪用于测量用户的行走状态.

图1 助行机器人Fig.1 The intelligent walking-aid robot

2 基于多传感器系统的用户意图估计

2.1 基于力传感器的用户意图估计

为了替代昂贵的六轴力/力矩传感器,我们设计了一个拉/压力传感器阵列来估计用户上肢表现出来的运动意图,如图2所示.8个FSR分别安装在操作手柄的前后左右四个方向,用于测量在四个方向上的人机交互力.定义{O}为惯性坐标系,{h}和{r}分别为用户坐标系和机器人局部坐标系.根据我们的前期研究成果[26],可以由这些力传感器和机器人的运动学方程得到用户的意图速度即在用户坐标系{h}中通过力传感器得到的用户运动意图速度.

图2 机器人坐标系系统和交互力的测量Fig.2 Robot coordinate system(top view)and measurement of interaction forces

2.2 基于激光测距仪的用户意图估计

传统的基于力传感器的用户意图估计方法存在一些缺点,例如当紧急情况发生时,用户此时也许还握着控制手柄,于是机器人跟用户之间仍然存在着交互力,导致机器人会继续移动,这时就不能保证用户的安全.因此,不能完全信赖基于力传感器的用户意图估计方法,特别是当紧急情况发生的时候.此外,人的行走步态是通过上肢和下肢协调而产生的动作,为了得到更加准确的用户运动意图,采用通过激光测距仪得到的用户下肢运动意图与通过力传感器得到的用户上肢运动意图相结合的方法.

在估计用户下肢表现出的运动意图之前,激光测距仪需要将人腿从周围的环境中识别出来.完整的下肢意图速度估计方法主要分为以下四个步骤:

步骤1.线段分割.因为连续扫描的点应该属于同一物体,于是计算每两个连续扫描点之间的距离,如果距离小于一定阈值,就认为这两点属于同一物体,将这些属于同一物体的点分类到一个簇中;如果距离大于该阈值,则认为这两个连续扫描点属于两个不同的簇.

步骤 2.圆的确定.使用文献[27]中的方法确定一个圆.当确定一个圆的时候,需要知道圆的圆心和半径,圆心为圆弧上任意三点之间连线线段的中心垂直线段的交点,如图3所示.圆心位置则为

其中,ma,mb为两个切线的斜率.

图3 圆的参数Fig.3 Parameters of circle

由于检测到的有些圆弧的大小与人腿大小不匹配,所以需要设定一个条件来去掉不匹配的圆弧.如果圆弧段中点到圆弧两个边缘点连线的距离d满足如图3所示,则判断该圆可能被识别为人腿,否则去掉这些圆弧.

步骤3.人腿检测,根据圆周角定理,如果四个点在同一圆上,根据几何分析,这四点所形成的内切角大小是相等的.如P1,P2,P3和P4(如图3所示)在同一圆弧上,则

然后计算所有点内切角的平均值,如果标准差小于8.6°,平均值在90°～135°之间,则将该圆弧视为一个圆.人腿的检测可以视为圆检测的一种延伸,因为人腿的直径一般在0.1m～0.25m之间,所以如果检测到的圆的直径满足条件,则识别为人腿.为了减少计算量,根据用户使用该助行机器人的情况,设定人腿和激光测距仪的距离应在0.3m～1.2m之间,人腿检测的实验结果如图4所示.

图4 基于激光的人腿检测Fig.4 Leg identifcation by laser

步骤4.下肢运动意图估计.人的行走过程是两条腿交换移动的过程,但是人腿的速度很难表现出人的移动速度和方向,用人的两腿连线中点来估计人的意图速度

其中,hxl和hyl为左腿在坐标系{h}中的位置,hxr和hyr为右腿在坐标系{h}中的位置.为机器人的实际速度.由于两脚连线的中点很难体现人的意图角速度,本文定义于是即在用户坐标系{h}中通过激光传感器得到的用户运动意图速度.

2.3 基于多传感器融合的助行机器人柔顺控制

柔顺运动是指机器人顺从与物体或者人之间的接触而产生的交互行为,而且保证机器人的操作安全[28].传统的力传感器被广泛的使用于各种助行器的柔顺运动控制中,它作为人-机接口,让用户能够根据自己的意愿控制助行器.但是如果只使用力传感器作为人-机接口,当用户由于身体健康状况或者外界环境因素跌倒时,用户可能会压住力传感器或者存在其他误操作,所以力传感器并不是完全值得信赖.于是先使用力传感器和激光测距仪得到用户的运动意图,再通过多传感器融合技术来融合上肢和下肢的运动意图,从而得到更加准确的用户意图速度,让机器人能够顺从人的运动意图,实现柔顺控制.

在实际系统中,KF用于多传感器信息的融合有着很好的效果,因此本节中使用KF来进行上肢和下肢意图速度的融合.首先定义状态变量

其中,k为采样时间,△t为系统采样时间,A1为系统参数矩阵,H1为测量系统参数,w1和v1分别为过程和测量的噪声,且都为高斯白噪声.根据经验,取a=0.6,b=0.4.

依据系统的模型,可以根据上一时刻的系统状态,预测当前时刻的系统状态,并且更新当前时刻的系统状态协方差矩阵P

其中,Q1是系统过程的协方差矩阵.

结合系统状态预测值和测量值,可以得到现在状态的最优化估算值

其中,K1为卡尔曼增益,

然后更新系统状态的协方差矩阵

其中,I为单位矩阵.

3 用户跌倒检测

由于助行机器人的围栏式保护结构,用户在使用机器人时可能发生的跌倒模式可以分为三种:1)向前跌倒;2)向左跌倒;3)向右跌倒.如图5所示.由于助行机器人在操作杆旁的围栏上有固定用户手臂的装置,所以向下跌倒的情况发生的概率较小.

图5 三种跌倒情况Fig.5 The three kinds of falling

根据用户可能发生的跌倒模式,本文提出一种基于多传感器的用户跌倒检测算法.力传感器和激光测距仪得到用户的行走状态之后,使用第2节中的上肢和下肢运动意图估计方法得到用户上肢和下肢表现出来的意图速度.通过基于KF的SPRT方法计算每个可能发生的跌倒状态的似然函数,得到每个跌倒状态的决策函数,判断是否会发生跌倒,并且判断具体的跌倒模式.如果用户处于即将跌倒状态,则通过紧急制动来防止用户跌倒,保障用户的安全,如果用户处于正常行走状态,则使用基于多传感器融合的柔顺运动控制算法.

3.1 离线跌倒数据采集

在介绍跌倒检测算法之前,需要对用户在使用助行机器人时不同跌倒模式下的意图速度数据进行采集,得到不同跌倒模式下用户表现出来的意图速度的平均值,称为不同跌倒模式下的意图速度期望值即意图速度的平均值,其中i为跌倒模式(1:向前跌倒;2:向左跌倒;3:向右跌倒).在数据采集过程中,使用下肢关节固定装置来降低志愿者的行走能力[27],模仿行走障碍或者行走能力下降的用户.离线跌倒数据采集具体过程为:3个志愿者分别进行3个跌倒模式的实验20次(志愿者1:30岁,女,身高160cm;志愿者2:24岁,女,身高160cm;志愿者3:21岁,男,身高170cm),如图6所示,统计每个志愿者在不同跌倒模式下的速度值.图7、图8和图9为意图速度的平均值和的分布直方图和核密度估计曲线,其中实线为核密度(cm/s),纵坐标为分布概率.表1为3个志愿者在3种不同跌倒模式下的各意图速度的平均值取3个志愿者的的平均值作为跌倒检测算法的意图速度的平均值,即

图6 离线跌倒数据采集实验图Fig.6 The picture of falling ofine data collection experiment

图7 3个志愿者在向前跌倒时的意图速度分布图Fig.7 Distribution of intent velocities of three subjects during falling to forward

图8 3个志愿者在向左跌倒时的意图速度分布图Fig.8 Distribution of intent velocities of three subjects during falling to left

图9 3个志愿者在向右跌倒时的意图速度分布图Fig.9 Distribution of intent velocities of three subjects during falling to right

表1 3个志愿者在不同跌倒模式下的平均意图速度(cm/s)Table 1 The intent velocities of three subjects in diferent falling modes(cm/s)

3.2 跌倒检测算法

SPRT方法是一种解决假设检验问题的重要方法,除了能解决传统决策问题,还能解决有时延的决策问题.并且,SPRT不需要似然分布(Likelihood distribution)的知识来得到决策阈值,只需要将根据KF得到的创新项的比值作为测试指标.

给定零假设H0和对立假设H1的阈值为E和F,测试过程如下所示.在td时刻做的决策之前的第k次试验,如果

则接受零假设H0,如果

则接受对立假设H1.否则,需要来帮助判断.

对于助行机器人来说,可以通过联合力传感器和激光测距仪分别得到的用户运动意图可以判断用户是否跌倒.定义状态跌倒的检测是通过状态的变化得到的.由于状态中存在不确定性和误差,通常需要对状态进行估计,KF是状态估计的一种常用方法. KF的状态方程和观测方程分别为

其中,A2=I,H2=I,B=∆t,w2(k)和v2(k)为零均值高斯白噪音.具体KF状态估计方法见文献[29].

根据本文中用户跌倒检测的要求,用户运动意图的残差项为

残差项的协方差矩阵为

其中,P2(k)为系统状态协方差矩阵,R2为系统噪音的协方差矩阵.

于是似然函数为

最后使用决策函数[30]:

其中,i为跌倒模式,t为系统时间.

3.3 跌倒模式判断

判断用户是否跌倒是基于在3个跌倒模式下的决策函数的值,当di＞hi时(其中hi为k模式下的跌倒检测阈值),且其他跌倒模式下的di≤hi,就可以判断用户即将发生i模式的跌倒.如果所有的di不大于该模式的跌倒检测阈值,则判断用户不会发生跌倒,处于正常行走状态,具体步骤如下:

算法1.用户跌倒检测算法

步骤1.离线数据采集.对用户不同跌倒模式下的意图速度数据进行采集,得到不同跌倒模式下用户表现出来的意图速度的平均值

步骤2.跌倒检测:

步骤2.1.使用KF对上下肢意图速度进行估计.

步骤2.2.计算用户运动意图的残差项

步骤2.3.计算用户运动意图的残差项的协方差矩阵为Sk.

步骤2.4.得到不同跌倒模式下的似然函数

步骤2.5.得到不同跌倒模式下的决策函数值

步骤2.6.如果di＞hi,且其他模式的di≤hi.则判断用户发生第i种模式的跌倒.

步骤2.7.否则,重复步骤2.1～2.6.

步骤3.如果检测出用户跌倒,则助行机器人紧急停止.

4 助行机器人运动控制

助行机器人分为主动型助行机器人和被动型助行机器人,主动型助行机器人是指根据用户的运动来移动的助行机器人,由伺服电机驱动机器人来实现移动;被动型助行机器人是指帮助用户实现移动效果的助行机器人,通常是通过控制伺服刹车来实现运动.本文使用的助行机器人是主动型助行机器人,通常对于主动型助行机器人来说,运动控制问题研究的是助行机器人如何基于用户的意图来进行运动.本文的目标是设计兼具柔顺与安全的助行机器人运动控制系统,即在用户正常行走时,要求助行机器人能够顺应用户的运动意图,在用户处于非正常行走阶段时,保证用户的使用安全.

本文第2.3节提出了基于多传感器融合的助行机器人用户意图估计算法,融合了用户上肢和下肢所表现出来的运动意图,得到更加准确的用户运动意图.与传统的基于力传感器的用户运动意图估计方法相比,该方法得到的用户运动意图更加接近真实的用户行走意图,于是助行机器人就能够根据用户的运动意图来移动,更好地顺应用户的意图,实现具有柔顺性的助行机器人运动控制.本文第3节分析了用户的跌倒模式,采用基于卡尔曼滤波的SPRT方法和决策函数来判断用户是否有跌倒趋势,并判断处于哪种跌倒模式,采取紧急制动的方法来保证用户的安全,实现了在非正常行走阶段时也能对用户进行安全保护.

由于本文使用的助行机器人的硬件限制,需要通过控制3个电机以及获取电机和各种传感器的信息,导致闭环控制的效果不佳,于是结合用户正常行走状态和非正常行走状态的助行机器人运动控制,设计了一种开环的兼具柔顺与安全的助行机器人运动控制系统,如图10所示.当用户跌倒检测算法测得用户处于正常行走状态时,则使用第2.3节中的基于多传感器融合的助行机器人用户意图估计算法得到用户准确的运动意图,然后通过串口传递给全向移动平台,控制机器人运动.当用户处于即将跌倒的状态时,则采取紧急制动策略,使助行机器人立即停止,防止用户跌倒,保障用户的安全.

图10 兼具柔顺与安全的助行机器人运动控制系统框图Fig.10 The system block diagram of the walking-aid robot motion control which has compliance and safety

5 实验结果

为了证明本文提出的多传感器融合的助行机器人跌倒检测算法的有效性,使用助行机器人进行实验验证.

5.1 助行机器人柔顺运动控制实验

图11为本文提出的向前运动时的基于多传感器融合的柔顺运动控制实验的用户意图速度图.由于激光测距仪没有测量用户的旋转速度,所以没有融合上肢和下肢的意图旋转速度.图11中实线为上肢意图速度,虚线为下肢意图速度,带点的实线表示融合后的用户意图速度,由于实验过程为向前行走,所以图11(b)中的机器人实际速度为零.根据文献[31]中对人行走过程中速度的实验,可以知道由于行走过程中人的双脚交替摆动,人的行走速度曲线类似一个正弦线.从图11中可以看出,融合后的速度与文献[31]中人行走速度曲线更加相似,也就是融合后的意图速度能够跟随用户的行走,而不是用户推着机器人行走,因此用户操作起来会更加舒适.

图11 基于多传感器融合的用户意图速度实验1Fig.11 Multi-sensors based human intent velocities Experiment 1

图12为在几种行走模式下的运动控制实验,实验过程为:向前行走→左转→向前行走→向左行走.可以看到在各种行走模式下,本文提出的基于多传感器融合的柔顺运动控制算法能得到柔顺的、准确的用户行走意图.

图12 基于多传感器融合的用户意图速度实验2Fig.12 Multi-sensors based human intent velocities Experiment 2

5.2 柔顺运动控制对比实验

为了证明本文提出的基于多传感器融合的柔顺运动控制的有效性,本节将本文方法与传统的导纳控制进行对比实验.图13为同一志愿者在相同实验环境和行走速度下,机器人采用导纳控制时,用户向前运动时的意图速度图,图中的实线为根据力传感器得到的用户意图速度.图14为两组实验过程中交互力的对比图,实线为多传感器融合柔顺运动控制实验的交互力,虚线为导纳控制实验的交互力.从图中可以看出,在启动阶段两组实验使用的交互力相同,但是在运动过程中,多传感器融合柔顺运动控制实验中的交互力明显比导纳控制实验的小.综合图11～14的结果可以知道,基于多传感器融合的柔顺运动控制算法能够让用户操作机器人所需要的力量更小,更加柔顺,更加舒适.

图13 导纳控制实验Fig.13 Admittance control experiment

图14 交互力对比Fig.14 The comparison of interactive force

5.3 助行机器人跌倒检测试验

为了验证本文提出的基于多传感器融合的助行机器人跌倒检测算法,3个志愿者每人进行3组实验,分别为志愿者向前跌倒、向左跌倒和向右跌倒实验,总共9组实验,实验结果如图15～22所示.从图中可以看出,9组实验都成功地判断了用户的跌倒趋势,并且及时地紧急制动机器人,防止用户跌倒.

图15为志愿者1向前跌倒时的实验结果图.从图15(a)可以看到,在大约3.5秒左右,由于用户的跌倒模式为向前跌倒,用户身体向前倾斜,双手向前推操作杆,于是上肢意图速度表现为在前后方向的速度达到最大,而由于向前跌倒,用户的下肢没有移动,所以下肢意图速度的表现为在前后方向的速度迅速降低.在图15(b)中,大约在3.5秒时,df突然增大,且明显大于跌倒判断阈值,于是判断出用户处于即将跌倒状态.图15(c)为用户行走状态,当用户处于正常行走状态时为0,当向前跌倒时为1,向左跌倒时为2,向右跌倒时为3.图15(d)为实验过程视频截图.

图16为志愿者1向左跌倒时的实验结果图.在大约2.6秒前,用户向前正常行走,此时上肢意图速度在左右方向的速度为0,Z轴速度也为0,由于人腿在行走过程中双脚会交替摆动,且人腿速度和机器人实际运行速度不会同步,所以下肢运动意图表现为在一定范围内波动.大约在2.6秒时,用户开始向左跌倒,用户身体开始向左倾斜,双手会向左推操作杆,于是上肢意图速度就表现为在前后方向的速度为零,左右方向达到最大,而且下肢运动意图在前后方向的速度基本变化不大,在左右方向则突然增大,如图16(a)所示,此时用户的下肢意图速度仍然处于正常状态,所以没有判断用户跌倒.根据图16(b)可以看出,在大约0.5秒后,即3.3秒时,机器人判断出用户处于跌倒状态,图16(c)中的用户行走状态也判断处于向左跌倒.

图15 志愿者1向前跌倒仿真实验结果图Fig.15 Subject 1 fall detection experiment results of falling to forward

图16 志愿者1向左跌倒仿真实验结果图Fig.16 Subject 1 fall detection experiment results of falling to left

图17 志愿者1向右跌倒仿真实验结果图Fig.17 Subject 1 fall detection experiment results of falling to right

图17为志愿者1向右跌倒时的实验结果图.当用户向右跌倒时,用户身体向右倾斜,双手会向右推操作杆,于是上肢意图速度就表现为在前后方向的速度为零,左右方向上的负方向上达到最大,而下肢运动意图在前后方向的速度基本变化不大,在左右方向则突然增大,如图17(a)所示.从图17(b)可以看出,在大约2.9秒时,机器人判断出用户处于跌倒状态,且跌倒模式为向右跌倒,且图17(c)中的用户行走状态也判断正确.

图18为志愿者2的3组实验的结果图,图19为志愿者3的3组实验的结果图.从图18和图19可以看出,本文提出的算法能够成功地判断用户的行走状态.

图18 志愿者2实验结果图Fig.18 The fall detection experiment results of Subject 2

图19 志愿者3实验结果图Fig.19 The fall detection experiment results of Subject 3

由于本文算法使用的是志愿者1～3的离线跌倒数据的平均值,为了验证该算法对其他人也有效,对志愿者4(24岁,男,身高170cm)进行了相同的跌倒检测实验,实验结果如图20所示.从图20可以看出,跌倒检测算法分别在3.4秒、2.1秒和2.8秒判断出了用户的跌倒趋势,并紧急停止机器人,防止用户跌倒.

图20 志愿者4实验结果图Fig.20 The fall detection experiment results of Subject 4

图21 基于穿戴式传感器的助行机器人用户跌倒检测实验(向前跌倒)Fig.21 Wearable sensor based user fall detection experiment of walking-aid robot(fall forward)

5.4 用户跌倒检测和防护算法对比实验

本文首次提出了基于上肢和下肢运动意图的助行机器人用户跌倒检测和防护算法,在使用离线采集的用户跌倒数据之后,对普通的用户具有一定的适应性.由于基于助行机器人的跌倒检测算法并不多见,为了证明本文提出的用户跌倒检测和防护算法的效果,与Huang等[25]提出的基于穿戴式传感器的助行机器人用户跌倒检测算法进行对比实验.

实验中,志愿者1在同样的实验环境中,使用基于穿戴式传感器的助行机器人用户跌倒检测算法进行与上节中相同的实验,使用的基于穿戴式传感器的助行机器人用户跌倒检测算法见文献[25].在该算法中,用户使用穿戴式传感器在线测量用户运动姿态,得到用户行走特征,采用Dubois概率理论得到用户正常行走状态的行走特征隶属度函数.根据用户在线的行走状态对跌倒趋势进行检测,当用户处于正常行走状态时,使用传统的导纳控制策略,当助行机器人检测到用户的跌倒趋势时,立即停止运动防止跌倒.

图21和图22分别为使用基于穿戴式传感器的助行机器人用户跌倒检测算法时,用户向前跌倒和向左跌倒的实验结果图.图中d1(用户COP在水平面上的投影点和双脚中点的距离)和d2(用户腰部高度)分别为穿戴式传感器测得的用户行走特征,µ(d(n))为行走特征的隶属度函数,c为跌倒检测的阈值,µ(d(n))＜c时,判断用户即将跌倒.从图21和图22可以看到,该算法成功地判断出用户即将跌倒,但是却不能判断跌倒的具体模式(向前、向左或者向右跌倒).而且穿戴式传感器需要提前穿戴好,是否穿戴正确也会影响算法的整体效果.本文使用的激光测距仪固定在机器人上,与穿戴式传感器比较,使用起来更加方便,检测效果更加稳定.并且基于穿戴式传感器的助行机器人用户跌倒检测算法,需要对每个用户的正常行走特征的数据进行采样,使用该用户特定的数据,才能保证算法有效,而本文算法,不需要对于特定的用户使用特定的数据.

图22 基于穿戴式传感器的助行机器人用户跌倒检测实验(向左跌倒)Fig.22 Wearable sensor based user fall detection experiment of walking-aid robot(fall to left)

6 结论

随着科技的进步和社会的发展,中国社会老龄化趋势越来越严重,因此康复助行等设备的开发就显得十分的急迫.助行机器人研究最基本的两个问题是用户操作的柔顺性(即机器人能够顺应用户的行走意图)和使用过程中的安全性(即保障用户在使用过程中的安全).本文提出了兼具柔顺与安全的助行机器人运动控制算法,能够有效增加用户在操作机器人时的柔顺性,并且预测用户在使用助行机器人过程中可能发生的跌倒,并采取有效的跌倒防护策略.首先详细描述了助行机器人的结构,原理和多传感器系统,通过力传感器得到用户上肢的运动意图速度,通过激光测距仪得到用户下肢的运动意图速度.分析用户的跌倒模式,使用基与KF的SPRT方法和决策函数来判断用户是否跌倒,并处于哪种跌倒模式.在用户正常行走状态下,使用卡尔曼滤波算法融合这两种运动意图速度,得到更加准确、更加柔顺的用户意图速度,在检测到即将跌倒时,则紧急制动机器人,防止用户跌倒,保证用户的安全.最后助行机器人实验验证了本文算法的有效性.

1 Hu Jin,Hou Zeng-Guang,Chen Yi-Xiong,Zhang Feng, Wang Wei-Qun.Lower limb rehabilitation robots and interactive control methods.Acta Automatica Sinica,2014,40(11):2377−2390 (胡进,侯增广,陈翼雄,张峰,王卫群.下肢康复机器人及其交互控制方法.自动化学报,2014,40(11):2377−2390)

2 Peng Liang,Hou Zeng-Guang,Wang Wei-Qun.Synchronous active interaction control and its implementation for a rehabilitation robot.Acta Automatica Sinica,2015,41(11): 1837−1846 (彭亮,侯增广,王卫群.康复机器人的同步主动交互控制与实现.自动化学报,2015,41(11):1837−1846)

3 Tan Min,Wang Shuo.Research progress on robotics.Acta Automatica Sinica,2013,39(7):963−972 (谭民,王硕.机器人技术研究进展.自动化学报,2013,39(7):963−972)

4 Whitney D E.Resolved motion rate control of manipulators and human prostheses.IEEE Transactions on Man-Machine Systems,1969,10(2):47−53

5 Yin Yue-Hong,Wei Zhong-Xin,Zhu Jian-Ying.Compliance control of robot an overview.Robot,1998,20(3):232−240 (殷跃红,尉忠信,朱剑英.机器人柔顺控制研究.机器人,1998,20(3):232−240)

6 Shibata T,Murakami T.Power-assist control of pushing task by repulsive compliance control in electric wheelchair.IEEE Transactions on Industrial Electronics,2012,59(1): 511−520

7 Katsura S,Ohnishi K.Human cooperative wheelchair for haptic interaction based on dual compliance control.IEEE Transactions on Industrial Electronics,2004,51(1):221−228

8 Xu W X,Huang J,Wang Y J,Tao C J,Cheng L.Reinforcement learning-based shared control for walking-aid robot and its experimental verifcation.Advanced Robotics, 2015,29(22):1463−1481

9 Wannier T,Bastiaanse C,Colombo G,Dietz V.Arm to leg coordination in humans during walking,creeping and swimming activities.Experimental Brain Research,2001,141(3): 375−379

10 Stephenson J L,Lamontagne A,De Serres S J.The coordination of upper and lower limb movements during gait in healthy and stroke individuals.Gait and Posture,2009,29(1):11−16

11 Suzuki S,Hirata Y,Kosuge K,Onodera H.Walking support based on cooperation between wearable-type and canetype walking support systems.In:Proceedings of the 2011 IEEE/ASME International Conference on Advanced Intelligent Mechatronics.Budapest,Hungary:IEEE,2011.122−127

12 Huang J,Huo W G,Xu W X,Mohammed S,Amirat Y.Control of upper-limb power-assist exoskeleton using a humanrobot interface based on motion intention recognition.IEEE Transactions on Automation Science and Engineering,2015,12(4):1257−1270

13 Huang J,Tu X K,He J P.Design and evaluation of the RUPERT wearable upper extremity exoskeleton robot for clinical and in-home therapies.IEEE Transactions on Systems, Man,and Cybernetics:Systems,2016,46(7):926−935

14 Wu J,Huang J,Wang Y J,Xing K X.Nonlinear disturbance observer-based dynamic surface control for trajectory tracking of pneumatic muscle system.IEEE Transactions on Control Systems Technology,2014,22(2):440−455

15 Mirmahboub B,Samavi S,Karimi N,Shirani S.Automatic monocular system for human fall detection based on variations in silhouette area.IEEE Transactions on Biomedical Engineering,2013,60(2):427−436

16 Litvak D,Zigel Y,Gannot I.Fall detection of elderly through foor vibrations and sound.In:Proceedings of the 30th Annual International Conference on Engineering in Medicine and Biology Society.Vancouver,British Columbia, Canada:IEEE,2008.4632−4635

17 Cheng W C,Jhan D M.Triaxial accelerometer-based fall detection method using a self-constructing cascade-AdaBoost-SVM classifer.IEEE Journal of Biomedical and Health Informatics,2013,17(2):411−419

18 Karantonis D M,Narayanan M R,Mathie M,Lovell N H, Celler B G.Implementation of a real-time human movement classifer using a triaxial accelerometer for ambulatory monitoring.IEEE Transactions on Information Technology in Biomedicine,2006,10(1):156−167

19 Wu G.Distinguishing fall activities from normal activities by velocity characteristics.Journal of Biomechanics,2000,33(11):1497−1500

20 Williams G,Doughty K,Cameron K,Bradley D A.A smart fall and activity monitor for telecare applications.In:Proceedings of the 20th Annual International Conference on Engineering in Medicine and Biology Society.Hong Kong, China:IEEE,1998.1151−1154

21 Degen T,Jaeckel H,Rufer M,Wyss S.SPEEDY:a fall detector in a wrist watch.In:Proceedings of the 7th IEEE International Symposium on Wearable Computers.White Plains,New York,USA:IEEE,2003.184−189

22 Hirata Y,Muraki A,Kosuge K.Motion control of intelligent walker based on renew of estimation parameters for user state.In:Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems.Beijing,China:IEEE,2006.1050−1055

23 Hirata Y,Komatsuda S,Kosuge K.Fall prevention control of passive intelligent walker based on human model.In:Proceedings of the 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems.Nice,France:IEEE,2008. 1222−1228

24 Huang J,Di P,Wakita K,Fukuda T,Sekiyama K.Study of fall detection using intelligent cane based on sensor fusion.In:Proceedings of the 2008 International Symposium on Micro-NanoMechatronics and Human Science.Nagoya, Japan:IEEE,2008.495−500

25 Huang J,Xu W X,Mohammed S,Shu Z.Posture estimation and human support using wearable sensors and walking-aid robot.Robotics and Autonomous Systems,2015,73:24−43

26 Han R,Tao C J,Huang J,Wang Y J,Yan H P,Ma L F. Design and control of an intelligent walking-aid robot.In: Proceedings of the 6th International Conference on Modelling,Identifcation,and Control.Melbourne,VIC:IEEE, 2014.53−58

27 Li P,Kadirkamanathan V.Fault detection and isolation in non-linear stochastic systems-a combined adaptive Monte Carlo fltering and likelihood ratio approach.International Journal of Control,2004,77(12):1101−1114

28 Jebson P J L,Hayden R J.AO principles of fracture management.The Journal of the American Medical Association, 2008,300(20):2432−2433

29 Lefebvre T,Xiao J,Bruyninckx H,De Gersem G.Active compliant motion:a survey.Advanced Robotics,2005,19(5):479−499

30 Marsland S.Machine Learning:An Algorithmic Perspective.Boca Raton,FL,USA:Chapman and Hall/CRC,2009. 356−359

31 Kadirkamanathan V,Li P,Jaward M H,Fabri S G.Particle fltering-based fault detection in non-linear stochastic systems.International Journal of Systems Science,2002,33(4): 259−265

徐文霞华中科技大学自动化学院博士研究生.2008年获得华中科技大学文华学院电气工程及其自动化专业学士学位.主要研究方向为助行机器人运动控制.

E-mail:xwxsai@163.com

(XU Wen-XiaPh.D.candidate at the School of Automation,Huazhong University of Science and Technology (HUST).She received her bachelor degree from Wenhua College of HUST in 2008.Her main research interest is motion control of walking aid robot.)

黄 剑华中科技大学自动化学院教授. 2005年获得华中科技大学控制科学与工程博士学位,曾于2006至2008年在日本名古屋大学微纳米系统工程福田研究室做博士后研究员.主要研究方向为康复机器人,机器人装配,网络控制系统和生物信息处理.本文通信作者.

E-mail:huan_gjan@mail.hust.edu.cn

(HUANG JianProfessor at the School of Automation,Huazhong University of Science and Technology.He received his Ph.D.degree from Huazhong University of Science and Technology in 2005.From 2006 to 2008,he was a postdoctoral researcher in the Department of Micro-Nano System Engineering and Department of Mechano-Informatics and Systems,Nagoya University,Japan.His research interest covers rehabilitation robot,robotic assembly,networked control systems,and bioinformatics.Corresponding author of this paper.)

晏箐阳华中科技大学自动化学院博士研究生.2015年获得华中科技大学测控技术与仪器专业学士学位.主要研究方向为助行机器人运动控制.

E-mail:yanqingyang@hust.edu.cn

(YAN Qing-YangPh.D.candidate at the School of Automation,Huazhong University of Science and Technology. She received her bachelor degree in measurement techniques and instrumentation from Huazhong University of Science and Technology in 2015.Her main research interest is motion control of walking aid robot.)

王永骥华中科技大学自动化学院教授.主要研究方向为飞行器制导控制,智能优化,智能控制和康复机器人控制.

E-mail:wangyjch@hust.edu.cn

(WANG Yong-JiProfessor at the School of Automation,Huazhong University of Science and Technology.His research interest covers aircraft guidance and control,intelligent optimization,intelligent control,and rehabilitation robot control.)

陶春静国家康复辅助研究中心助理研究员.主要研究方向为康复工程,智能控制和机器人.E-mail:taochj@gmail.com

(TAO Chun-JingAssistantresearch fellow atthe NationalResearch Centre for Rehabilitation Technical Aids.Her research interest covers rehabilitation engineering,intelligent control,and robotics.)

Research on Walking-aid Robot Motion Control with Both Compliance and Safety

XU Wen-Xia1HUANG Jian1YAN Qing-Yang1WANG Yong-Ji1TAO Chun-Jing2

Aimed at compliance and safety problems in motion control of walking-aid robot,a multi-sensor fusion based walking-aid robot motion control method with both compliance and safety is proposed.Firstly,the mechanism,control theory and multi-sensor system of the walking-aid robot are introduced.Then according to multi-sensor system,user motion intention estimation methods for each sensor are designed and a multi-sensor based compliance motion control for walking-aid robot is proposed.After analyzing user's possible falling modes,a Kalman flter(KF)based sequential probability ratio test(SPRT)method and decision function are used to detect the fall and falling mode.Finally,several compliance motion control experiments and fall detection experiments are described to show validity of the proposed algorithm.

Walking-aid robot,fall detection,force sensor,laser range fnder,compliance

徐文霞,黄剑,晏箐阳,王永骥,陶春静.兼具柔顺与安全的助行机器人运动控制研究.自动化学报,2016,42(12): 1859−1873

Xu Wen-Xia,Huang Jian,Yan Qing-Yang,Wang Yong-Ji,Tao Chun-Jing.Research on walking-aid robot motion control with both compliance and safety.Acta Automatica Sinica,2016,42(12):1859−1873

2016-02-25 录用日期2016-08-15

Manuscript received February 25,2016;accepted August 15, 2016

国家自然科学基金(61473130),教育部新世纪优秀人才支持计划(NC ET-12-0214),湖北省自然科学基金杰出青年基金(2015CFA047)资助

Supported by National Natural Science Foundation of China (61473130),Program for New Century Excellent Talents in University(NCET-12-0214),and in part by the Science Fund for Distinguished Young Scholars of Hubei Province(2015CFA047)

本文责任编委程龙

Recommended by Associate Editor CHENG Long

1.华中科技大学自动化学院图像处理与智能控制教育部重点实验室武汉430074 2.国家康复辅具研究中心北京100176

1.Key Laboratory of Ministry of Education for Image Processing and Intelligent Control,School of Automation,Huazhong University of Science and Technology,Wuhan 430074 2.National Rehabilitation Center,Beijing 100176