基于协同控制的手臂移动与抓取神经网络研究

张少白，施梦甜

(南京邮电大学 计算机学院，江苏 南京 210023)

1 概 述

在努力开发工作在未知环境的机器人控制系统的背景下，机器人专家和运动行为研究人员面临着共同问题。这些问题包括：计算机系统如何模拟并协调多自由度的肢体运动；如何将感官信息与运动行为相结合；手臂移动与抓取过程又如何与认知心理学相关联等。从这个意义上说，理解人类抓取运动已经成为了许多致力于开发灵巧拟人机械手的机器人专家的关注焦点。拟人机械手的实现除了要做到人手抓取的灵活性，即面对不同被抓物体和任务要求生成不同的抓取姿势，更重要的是根据手指的逆运动学预测目标关节状态，其中如何降低手指多自由度(degree of freedom，DOF)带来的高维特性便成了关键。

神经网络由于其强大的函数逼近能力被许多专家用于研究机器人逆运动学问题。Rezzoug和Gorce利用神经网络学习手指3D位置与抓取关节角度之间的非线性映射，简化了手指逆运动的处理过程[1]。文献[2-3]基于分步学习思想构建了一种面向抓取任务的模块化神经网络模型，提出首先学习手指的逆运动学，然后学习面向物体特征的抓取任务进而处理更多未知情况下的手势抓取任务。

近年来，手势协同效应的研究不仅吸引了神经科学领域专家，还被许多机器人专家用于解决拟人手设计与控制问题[4]。Santello等基于主成分分析法(principal components analysis，PCA)对真实人手抓取实验中数据手套采集的手指关节数据进行分析，提取出表示手部姿势的两个协同权值，结果表明利用两个成分组件即可解释超过80%的手部姿势，极大程度降低了模拟人手自由度控制器的计算量[5]。Ficuciello等从36种人类日常手部抓取姿势(包括精确抓取、中间抓取、稳定抓取)提取出三个主要手势协同权值用于表示不同抓取任务下的手指抓取形态，将手势表示程度提高至85%[4,6]。Geng Tap等利用三个协同权值和结合物体特征的协同系数神经网络实现了人类到机器人的抓取动作映射[7]。李顺冲等围绕再造人手的“灵”、“活”功能要求，将协同效应应用于欠驱动仿人机械手抓取模型，有效提高了设计效率、缩短了机械手研发的周期[8]。

考虑到人类手势抓取的灵活性与复杂度，某些情况下，异形物体可以采用同种模式抓取，同时同一物体也可对应多种抓取模式。机械手抓取模式规划大都采用基于知识或专家系统的方法[9]。然而专家系统知识库的建立是一个很长的过程，且不能保证后期规则是否会与早期规则矛盾，因此不少学者将目光转移到了具备快速学习归纳特性的人工神经网络上。文献[10-11]考虑通过被抓物体的几何特征、初始位姿以及任务要求，利用径向基函数(radial basis function，RBF)神经网络实现了物体样本特征和抓取模式之间的非线性映射。基于此，文中采用神经网络与手势协同相结合的方法实现面向任务和物体特征的抓取手势表示方法。目前学者对手势协同系数的研究大多集中于抓取过程的最终手部形态[12]，即手指目标抓取状态，而抓取运动涉及一系列手部姿势的完整演变，协同系数应随着动作进度的推进不断变化。基于文献[13]思想，文中通过计算抓取过程中手势最大抓取孔径时刻和最终时刻对应的协同系数，利用Bullock[14]的VITE (vector integration to endpoint)计算模型指导协同系数演变，实现手指从初始态到最大抓取孔径态，再到最终合拢态的完整演变过程。

上述对抓取手势的讨论均属手指预成型组件范畴。除此之外，手臂抓取运动还涉及手臂移动和手掌朝向的变化。Jeannerod提出的人类抓取概念性模型指出抓取运动涉及组件分别由相互独立的视觉运动通道构成，通过中央计时机制统一协调，从而实现组件间时间等效性[15]。Ulloa和Bullock通过设置中央门控信号和耦合神经元构建了一种应对扰动的手臂抓取时空协调神经网络模型[16]。在上述研究的基础上，文中提出并构建了一种面向任务和物体特征的手臂移动与手势抓取时空协调模型。该模型中的手臂移动组件能指导手臂生成点对点运动理想轨迹，并通过逆运动学和小脑逆模学习模块处理手臂动态逆，实现精确轨迹控制，很好地再现了单峰钟形速度曲线等手臂运动动力学关键特征。手指预成型组件的任务认知模块能帮助模型生成面向任务和物体特征的协同系数，并通过与手部形状的连续映射再现抓取手势的完整演变过程。

2 手势协同系数生成模型

2.1 手势协同效应分析

(1)

(2)

2.2 协同系数神经网络构建

针对人类抓取的灵活性，机器学专家希望构建具有学习能力、能识别目标任务意图自主生成理想抓取姿势的手势规划模型。Vilaplana在文献[18]中提出了一种“意图与任务约束”的概念来描述当前任务的抓取意图。文献[2-3,7,17]利用神经网络的泛化和学习能力描述不同抓取物体与任务要求和特定抓取姿势之间的非线性映射关系。不同于文献[2]训练模型直接生成手指关节姿势，文中基于协同效应构建了一种面向抓取任务的协同系数网络模型。该模型能根据不同的任务要求和物体几何特征生成理想协同系数，用于描述多自由度的手部运动以及相关对象的属性(如形状、大小以及应用状况等)如何与手势相互映射的问题，结构如图1所示。

图1 协同系数神经网络示意图

网络输入为物体的几何特征和任务的期望抓取类型(采用二进制表示，精确抓取取1，稳定抓取取0)，输出为协同权值的时间系数。模型采用Matlab神经网络工具箱，根据Nguyen-Widrow规则初始化网络层权值和阈值，并采用Levenberg-Marquardt算法优化求解。

3 手臂移动与抓取神经网络模型

文中构建的手臂移动与手势抓取神经网络模型结构如图2所示。

图2 手臂移动与抓取神经网络示意

基于Jeannerod提出的概念模型，将抓取动作细分为手臂运动、手指预成型和手掌朝向三个独立的视觉运动通道，通过特定的视觉输入启动GO信号并行激活，保证组件在关键时刻的时间协调性与可校正性。图中的VITE是Bullock和Grossberg根据点对点手臂运动动力学构建的一种描述手臂运动轨迹的计算模型[14]。新模型采用VITE模型实现组件通道的运动命令更新，指导手臂移动与手势抓取。图的左半部是有关手臂移动的计算模型，被抓物体在三维坐标系中的位置向量通过视觉系统传递给VITE作为目标位置，指导产生理想的手臂移动向量，再通过小脑实现手臂动态逆控制，指导生成实际手臂运动轨迹。图的右半部分将与抓取相关的视觉通道分为分别与手指结构和手掌朝向有关的两个子通道，以确保合适的手指预成型以及正确的手掌朝向。协同系数神经网络根据物体几何特征和抓取任务要求生成特定的协同系数，通过VITE模型不断计算再现手势预成型和合拢过程。参照文献[16]，手掌朝向组件同样采用VITE模型实现。

3.1 手指预成型组件

手指预成型组件的主要功能包括基于协同效应模拟全部手指的抓取变化过程，并通过连续映射的方式生成理想抓取手势的关节轨迹。文中采用三个协同权值时间系数(α1,i,α2,i,α3,i)来描述当前手部姿势，利用VITE模型不断更新协同系数，使之产生抓取过程中的各种手指形态，再现最大抓取孔径与合拢过程。基于VITE的手指预成型组件结构如图3所示。

图3 基于VITE的手指预成型组件

模型遵循式3～式5。

(3)

(4)

(5)

其中，ε是积分速率，取值30；GO是关于运动速度的比例因子。模型可以通过式1持续地将协同系数表示的当前手势映射为现实中的关节运动轨迹。

(6)

3.2 手臂运动组件

手臂运动组件的主要功能包括：(1)根据目标物体位置产生理想手臂移动方式；(2)学习实现机械臂运动轨迹控制，解决手臂移动的经典动态逆问题。Kawato在文献[19]中指出，小脑包含前向内模和逆向内模两种不同结构，前向模型负责预测感官运动或行为结果，逆模则提供完成预期动作或行为轨迹所必需的命令。通过将Kawato提出的基于反馈误差的小脑学习模型与VITE手臂运动轨迹计算模型相结合，组件可以很好地解决手臂在运动中的动态控制问题，包括小脑学习如何控制和协调多关节运动，如何调整运动命令等。手臂运动组件结构如图4所示。

图4 手臂运动组件结构

其中VITE模块同样遵循式3～式5。假设抓取动作均发生在横向平面，TPV表示目标物体在横向平面的视觉位置(X,Y)，PPV为当前手腕位置，PPV向TPV的不断变化构成了手臂移动的理想运动轨迹。轨迹通过VITE模型在笛卡尔空间孕育后，通过逆运动学和小脑控制模块，输出就是对关节间手臂状态的评估值，这与文献[20]的叙述是一致的。

手臂运动采用双关节机械臂小脑控制模型进行轨迹控制，机械臂分为肩肘两个关节(θ1,θ2)，具体结构参见文献[21]，关节的逆运动学表示如下：

(7)

(8)

其中，L1和L2为手臂连杆长度；d=x2+y2-(L1+L2)/2L1L2。

小脑运动控制学习模型结构包括一个固定的、能够确保系统稳定性的反馈控制器和一个能够提高控制性能的小脑逆模模块，类似于文献[21]中构建的逆向静态模块(inverse static module，ISM)与逆向动态模块(inverse dynamic module，IDM)。其中IDM作为一个可靠的在线学习小脑模型而被发现。前期反馈控制器作为手臂逆模的线性近似，作用是将期望轨迹θd与实际轨迹θ的误差转换为运动命令误差，并应用该命令作为教师信号训练小脑逆模。逆模则负责将手臂的期望轨迹转换成手臂运动所必需的运动命令。随着学习过程的深入，反馈运动命令趋近于零，小脑逆模将承担近乎全部的手臂动态逆映射。模型的具体学习过程参见文献[22]。

3.3 手掌朝向组件

随着手腕逐渐接近目标物体，手掌朝向必须到达目标配置，即帮助实现手指的正确抓取。VITE运动学模型被用来模拟手掌方向变化的神经通道。此通道中，手掌方向以一个三自由度的系统建模，包括表示手腕弯曲/伸展的α角度、前臂旋前/旋后的β角度，以及尺侧与手腕自由度的径向偏差γ角度[18]，运动过程中关节角度的自由度范围分别为[-90°，45°],[0°，180°]和[-30°，30°]。与手掌朝向相关的动作程序是单相的，可以用TPV={α,β,γ}直接表示，因此给定组件的目标朝向，即可生成机械手始末位置间的手掌关节角度变化轨迹。组件同样遵循式3～式5，且不存在与其他组件的相互作用关系。

4 实验与仿真

4.1 协同系数神经网络的仿真

为更好评估该方法的准确性，与Vilaplana的二协同权值手势表示方法进行对比。通过采集20次抓取过程中最大抓取孔径时刻和最终时刻对应的手部姿势C={ci|i=1,2,…,40}，人手抓取关节角度与神经网络协同系数映射的关节角度之间的平均关节误差采用式9欧几里得范数计算，20次抓取过程中二协同值与三协同值表示方法和实际抓取关节间的平均误差如图5所示。

表1 协同权值与零偏移向量的具体数值

图5 两种任务下二协同值与三协同值的 平均关节角度误差

由图可知，相较于二协同权值表示法，采用三协同权值的手势关节误差有所减小，且在稳定抓取任务中表现更加良好。模型生成的关节角度与实际抓取关节角度相差不大，具有较高的准确性。

(9)

4.2 抓取系统仿真

4.2.1 不同任务的抓取动作

文中对手臂移动与手势抓取神经网络模型进行了基本抓取动作仿真。同一圆柱体在两种不同抓取任务下的手臂运动与手势变化参见图6，第一行和第二行分别表示稳定抓取和精确抓取任务下的手臂抓取状态，每张子图对应抓取过程中三个关键时刻的组件状态，即运动的初始时刻(第一列)、最大抓取孔径时刻(第二列)和最终抓取时刻(第三列)。由图可见，两种抓取任务生成两种不同的抓取姿势，稳定抓取表现为全部手指的握合，而精确抓取只涉及到拇指与食指的夹取。同时手臂运动组件与手指预成型组件通过并行的运动通道协调发生，保证了组件间良好的时间等效性。实验具体仿真条件参见表2。仿真中，G1和G2为手指预成型组件的双相抓握动作程序，表现为最大抓取孔径时刻和最终时刻对应的理想目标手势TPV。α,β,γ对应手掌朝向组件的目标关节自由度。

图6 两种抓取任务下的基本抓取动作

表2 稳定抓取和精确抓取对应的仿真条件

4.2.2 不同速度的抓取动作

三种不同速度下的精确抓取运动仿真参见图7。任务中，组件运动速度可通过比例因子GO变换实现，GO=15对应低速运动的轨迹，GO=25对应于高速运动，GO=20则是上述两者之间的轨迹。由图可知，手腕运动速度呈现出一种点对点手臂运动特有的钟形、非对称速度变化曲线。抓取孔径变化曲线表明抓取过程中手指先是张开到最大角度，然后合拢收缩直至达到物体目标大小。随着GO输入强度的增大，手腕运动速度的峰值也逐渐增大，运动时间也相应变短。同时最大抓取孔径也随着手腕速度的增大而增大，这与A.Ulloa在文献[16]的表述相匹配。此外，最大抓取孔径时刻总是与手腕最大减速度时刻相关，且手臂运动与抓取通道间存在的这种时空协调是不随速度和任务需求变化而改变的。图8明确地呈现了手指预成型组件抓取孔径和手臂移动通道加速度间存在的时间一致性。

图7 三种速度下的抓取动作仿真

图8 组件间时间协调示意

4.3 模型的生物学似真性

文献[23]指出，VITE模型组件结构与抓取运动涉及脑区变化表现出较高一致性。对于手指预成型组件，初级运动皮层的手部区域和通道中的当前位置孔径(PPV)有关，后顶叶皮层则和孔径差向量DV相关。FMRI研究指明后顶叶皮层病变会造成手指抓取孔径与物体大小之间的预估错误。至于抓取过程的手腕方向组件，猴类后顶叶皮层V6A区域的病变也会造成手腕方向运动误差。VITE模型附加生理学支持来自于关于基底神经节的病变和电刺激实验。Horak和Anderson的实验表明，抓取过程中，内苍白球与VITE模型中的GO信号生成器性质一致，并解释基底神经节电路会生成一种与GO信号特性相同的时变门控信号。

对于手臂运动组件的小脑运动控制学习模型，许多研究表明，浦肯野细胞在运动学习中起着十分重要的作用。浦肯野细胞接收来自平行纤维和攀爬纤维的主要输入，然后传递小脑皮质的输出信号。大量理论提出，小脑代表着肌肉骨骼系统的内部逆模存在，不断计算理想轨迹信息所需的前馈运动命令。其中，攀爬纤维作为理想与实际运动性能误差检测部分，将运动命令误差传入小脑逆模，帮助调节神经突触效能进而指导逆模学习。浦肯野细胞则用于学习将平行纤维的输入转换成适当前馈运动命令。浦肯野细胞中，攀爬纤维激活的复合峰反映了这些误差信号，而平行纤维输入激活的简单峰则反映了输出运动命令[22]。

通过主成分分析法得到的简化控制策略促进了文中对抓取过程中手势协同控制方案的设计与建模。运动皮层的刺激与损伤研究和手部全局控制相一致。初级运动皮层(F1或4区)中一个部位刺激可引起手部几块肌肉的反应或是手指连续关节周围的运动。初始运动皮层和前运动皮层的单元记录也表明手部是作为一个统一体控制的。Schieber进行的猴子试验表明，F1区域的单个神经元通常会关于多个运动指令放电，而且不同手指运动激活的细胞分布呈现出普遍的重叠。

5 结束语

针对抓取过程中手势运动的时空协调，提出了一种新的计算神经模型。该模型通过构建视觉通道相互独立的手臂移动、手指预成型和手掌朝向仿真模块，建立中央统一定时的协调标志，采用手势简化控制策略，构建面向具体任务的协同系数神经网络以及添加具有输入输出连接的小脑逆模神经系统等方法，使得模型不仅能在认知层面上解决类似确定手势形状的有效自由度、提供单个手势的时空变化格局、识别手腕速度的时空不对称性以及保证手指间相互动作的高协调性等常见问题，而且还具有为手势跟踪模拟实验提供明确的预估值、对拟人手的神经控制系统进行准确预测、构建由运动基元组成的手势预成型手势库等功能。在拟人化手臂仿真系统上的实验表明该模型可以作为自治控制器来学习、规划和执行真实拟人化机械臂上复杂的抓取任务，为拟人化假肢或者机械手臂提供先进的神经形态学控制系统。任务认知模块中，提出增设协同系数神经网络的方法一定程度上考虑了抓取任务的客观外在因素，但如何模拟抓取任务中操作者的心理活动和抓取意图还值得进一步的研究与探讨。