基于本体手势-触觉感知的机器手抓取

张晓鹏，张阳阳，李莉萍，赵 吉，张东彦

(安徽大学 互联网学院，安徽 合肥 230039)

0 引言

近年来，面向主从协同操作的主从映射式遥操作机器人技术成为研究热点之一[1-5]，主从协同作业、操作信息双向传递及协同以及在机器人遥操作系统中的力反馈是操作者感知被抓物体物理特性及掌握主从式遥操作的关键点。基于计算机视觉、数据手套及反馈装置的主从手映射技术的研究已经取得了较大的进展[6-10],可穿戴传感器引起了学者们的研究兴趣[11-15],同时，基于触觉反馈技术的遥操作机器人技术也已经取得了较大的成果[16-20]。Nicolis D等人[21]研究了遥操作机器人中的视觉伺服，为操作者提供有关远程位置的信息并协助执行任务，提出了一个由两个机器人手臂组成的远程操作系统，并且配备了一个手持式摄像机传感器。通过对摄像机的自主调节来实现无遮挡任务的执行，进一步将遮挡避免作为一个约束进行遥操作优化。Qiu S等人[22]提出了一种基于视觉反馈的外骨骼机器人遥操作控制方法，视觉反馈链接由摄像机捕获的视频实现，将压缩后的图像作为反馈信息。Yang C等人[23]利用表面肌电信号提取操作者的肌肉激活信息，通过触觉和视觉反馈来感知对外部环境的变化，人类操作者自然会对各种肌肉活动做出反应；同时通过肌肉活动信息来调节机器人手臂的刚度，期望机器人能够以更高的智能水平完成重复或不确定的任务。毛磊东等人[24]针对智能抓取机器人在软抓取过程中对三轴力感知和滑移识别的要求，提出了一种由碳、石墨烯纳米片和硅橡胶制造的柔性三轴触觉传感器。

本研究在前期基于柔性可拉伸传感器的数据手套的主从手遥操作研究基础上[25]，进一步基于触觉感知-视触双模态反馈信息，研究主从手映射式遥操作机器人稳定抓取系统，本文设计的反馈系统由视觉反馈和力触觉反馈两部分组成。视觉反馈采用计算机显示技术，实时反馈机器人灵巧手抓取物体的力的大小。基于电刺激的力反馈模块用于反馈机器人灵巧手抓取物体的作业状态。机器人灵巧手的抓取状态由触觉感知装置捕捉，为已有的研究基础；构建了实验平台，验证基于触觉感知及视-触双模态反馈系统反馈机器人灵巧手抓取的作业状态、抓取力度的有效性。同时增强了操作者对于主从手映射式机器人遥操作的本体感及临场感，实现了对目标物体的稳定抓取。

1 系统平台构建

1.1 触觉感知装置构建

本文采用的数据手套为已有的研究基础[26]。另外将5个可拉伸传感器布置于机器人灵巧手的关节处，捕捉灵巧手抓取过程中的关节角度特征，如图1(a)所示。文中选用的压力传感器在已有研究基础之上进一步阵列化，如图1(b)所示，感知机器人灵巧手在抓取物体过程中的触觉感知信息。

(b) 稳定

(a) 手滑动

(a) 可拉伸传感器阵列

(b) 压力传感器阵列

1.2 遥操作方法论述

主从手手势映射流程如图2所示，首先对特征信息进行归一化预处理：

图2 主从手手势映射流程Fig.2 Master slave hand gesture mapping process

(1)

式中x，y分别为转换前后的值，maxSensor、minSensor分别为采集数据的最大值和最小值。传感器的归一化输出与关节角度之间存在一一对应的关系，为此，对传感器的电学输出信号及关节角度进行标定。

(2)

(3)

(4)

(5)

(6)

(7)

机器人灵巧手的近端指关节的角速度ωi是遥操作过程中的一个关键参数。自适应角速度控制的目的是实现精确的姿态映射和安全的抓取，防止因抓取速度过快而破坏目标。本文使用的灵巧手由直流刷伺服电机驱动，电机的速度可以由驱动信号的占空比控制。

2 基于触觉感知及反馈的灵巧手抓取

2.1 抓取状态识别

本文利用长短期记忆网络(Long Short-Term Memory)算法结合动态时间规整(Dynamic Time Warping)的模型。与前向神经网络类似，LSTM网络训练采用误差反向传播算法(Back Propagation)，但由于LSTM处理序列数据，在使用BP算法时需要将误差在整个时间序列中传播回来[27-28]。采用基于LSTM及DTW结合的方法训练和测试数据进行标记。对于图3所示的LSTM，每个输入向量由61个1步采样的动态窗口构成，隐藏层由20个节点组成，输出由9个节点组成。为了训练LSTM，分类代表LSTM观测结果，抓取状态标签代表LSTM真实状态。同一类别抓取状态包含不一致的信息序列，因此采集的样本的时间序列特征不一致。DTW算法建立一种科学的时间序列比对方法，使测试模式的特征与参考模式之间的路径相匹配。

即使同一人重复相同的行为，也不可能再现完全一致的时间序列。在这种复杂情况下，传统的欧氏距离法在计算两个时间序列之间的距离时并不十分有效。假设有两个实验时间序列Ri和Rj:Ri=(r1,r2,…，ri)是测试模式特征向量序列。Rj=(r1,r2,…，rj)是参考模式特征向量序列。其中i，j代表时间序列号。

P(RT)=[P1(R1)，P1(R2)，…，P1(RT)，…，PN(R1)，

PN(R2)，…，PN(RT)]。

(8)

时间特征空间是在时间T统一时间线程P下，将输出与时间窗口拼接而成，N是传感器的序列号，如式(8)所示。路径W用于定义Ri和Rj之间的映射。W=(w1,w2,…,wk,…，wK),max(i,j)≤K≤i+j-1。变量K代表最终的翘曲路径，wk=(i，j)，K是第i个试验模式特征向量和第j个参考模式特征向量之间的第K个映射增益。因此，最小翘曲函数可以描述：

(9)

利用动态规划方法求出路径的递推，该递推定义了累积距离L(Ri，Rj)和当前核距离N(Ri，Rj)。

L(Ri,Rj)=N(Ri,Rj)+min{L(Ri-1,Rj-1),

(10)

图3给出了单元结构，展示出门操作和所提出混合模型的整体结构。

图3 基于DTW/LSTM/BPTT的抓取状态识别混合模型的工作流程Fig.3 Work flow of DTW/LSTM/BPTT-based grasping state recognition hybrid model

其基本单元定义为式(11)～式(16)：

ft=σ(Wf·[ht-1,xt]+bf),

(11)

it=σ(Wi·[ht-1,xt]+bi),

(12)

(13)

(14)

ot=σ(W0·[ht-1,xt]+b0),

(15)

ht=ottanh(Ct)，

(16)

(17)

(18)

LSTM遗忘门描述:

(19)

(20)

LSTM单元及描述:

(21)

(22)

LSTM输出门描述为:

(23)

(24)

单元输出:

(25)

基于BPTT反向传播更新过程描述:

(26)

(27)

反向传播LSTM单元输出描述:

(28)

反向传播更新过程中LSTM输出门描述:

(29)

(30)

计算单元、遗忘门及输入门:

(31)

(32)

(33)

式中，wij表示神经元i到j的连接权，用a、b分别表示输入和输出，l、φ、w表示输入门、遗忘门、输出门。wcl、wcφ、wcω分别表示从单元到输入门、遗忘门、输出门权重。sc表示神经元c的状态，f表示控制门激活函数，g和h分别表示输入和输出激活函数。I表示输入层的神经元，K表示输出层的神经元，H表示隐藏层的神经元。

2.2 视-触双模态反馈系统

本文提出了基于触觉感知-视触双模态反馈的遥操作机器人抓取系统，如图4所示。灵巧手作业状态为手指滑动 (FD)、手指稳定 (FS)、手指晃动 (FW)、手掌滑动 (PD)、手掌稳定 (PS)、手掌晃动 (PW)、手滑动 (HD)、手稳定 (HS)、手晃动 (HW)9种作业状态，电刺激反馈装置采用3个电刺激点布置在人手小臂处。

图4 遥操作机器人抓取策略Fig.4 Grasping strategies for teleoperated robots

3 实验

机械手角速度和驱动信号占空比标定曲线如图5所示，压力传感器相对阻力随压力变化曲线如图6所示。

图5 角速度和驱动信号标定曲线Fig.5 Relationship of angular velocity and driving signals

图6 压力传感器相对阻力随压力变化曲线Fig.6 Relative resistance change under increasing pressure

手势映射处于第一阶段，手势映射增益系数k1=1(式(5))。占空比T=10，机器人关节角速度为2.5 °/s。 机器人手接触目标物体，进入第二阶段，手势映射系数k2=0.25。占空比T=5，灵巧手关节角速度为1 °/s。食指指尖触觉传感器的响应曲线如图7所示。因此，当机器人指尖接触到目标物体时，关节的角速度开始减小如图8所示。实验对象被机械手成功稳定地抓取。主从手指关节角最大测量误差值小于2°，如图9所示，横坐标为时间序列，纵坐标为灵巧手角度相应。

图7 机器人指尖压力传感器响应Fig.7 Pressure sensor response of the robotic index fingertip

图8 食指关节自适应角速度控制Fig.8 Adaptive angular velocity control of index finger joint

图9 关节测量误差Fig.9 Error measurements of index joints angles

如图10所示，在连续事件之间仍有未标记的样本[29]，图中x轴、y轴、z轴分别表示感知序列、传感器序列和传感器输出。观测值可用于评价LSTM的跃迁和发射概率。训练的LSTM模型的转移和发射概率矩阵的示例如图11和图12所示。不同抓取状态下，对触觉序列进行处理和分析。每个样本组限定500个样本，得到900个触觉序列样本，500个样本。对每种抓取状态的50组样本，随机抽取30组样本作为训练集，其余20组作为测试集。

(c) 摆动

(d) 手指滑动

(e) 稳定和

(f) 摆动

(g) 手掌滑动

(h) 稳定

图11 LSTM模型转移概率矩阵Fig.11 Transition probability matrix of LSTM model

图12 LSTM模型发射概率矩阵Fig.12 Emission probability matrix of LSTM model

因此，共有480组训练集样本和420组测试集样本。采用准确性、敏感性和特异性3个性能指标并取平均值以评估整体性能。性能结果可以通过实验事件和预测事件之间的±n个样本的时间公差来计算。当采样率为100 Hz时，±1个样本的误差等于10 ms内的定时误差。在估计过程中，采用留一个交叉验证的方法[30]来估计LSTM模型的泛化能力。除一名参与者外，其余参与者的数据全部用于培训，其余参与者的数据作为测试数据。与N倍交叉验证相比，在验证过程中，主体间变异的混合效应最大化。每个参与者的每次试验都重复验证过程，以便最终使每个数据集便于使用。

如表1所示，实现抓取状态的编号及反馈，其中标签1、2、3为人手上的3个电刺激反馈点标签。表2展示了不同反馈方式下灵巧手抓取不同物体的遥操作性能及指尖平均压力大小，实验次数为20次。可以看出，基于视-触双模态反馈系统具有更好的遥操作抓取性能。表3展示不同用户使用此遥操作系统，同样具有较好的性能。

表1 电刺激反馈对应抓取状态表Tab.1 Corresponding grabbing states of electrical stimulation feedback

表2 遥操作抓取对比实验Tab.2 Comparative experiments of teleoperation grab

表3 系统性能Tab.3 System performance values %

4 结论

本文采用数据手套及压力传感器阵列作为机器人灵巧手作业信息的获取手段，结合视-触双模态反馈，采用上位机实时显示的方式解析机器人作业状态，同时构建了基于电刺激的力触觉临场感反馈模型，实现对机器人灵巧手的精准控制及抓握作业情况和握力的再现，增加操作者的本体感。针对不同的用户使用情况进行了实验。结果表明，基于视-触双模态反馈及触觉感知能够实现对触觉力的大小及遥操作机器人作业状态更优的反馈性能，普遍提高了主从手遥操作机器人盲抓取作业的成功率，实现了操作者在视觉受阻碍状况下对机器人灵巧手进行遥操作并完成稳定抓取的任务。