刚柔耦合机器人综述

胡永赞 胡凯 吴佳胜 陈旭 黄志成

0 引言

随着科学技术的不断发展,机器人技术取得了非常显著的进步,己经被广泛应用于工业生产、家庭服务等诸多领域．当前实际应用中的机器人多为硬质机械结构,由刚体部件构建而成．刚性机器人一直是机器人发展的重点,它能够提高生产效率并且具有极强的可控性．但是,传统的刚性机器人不易在复杂的地形条件下运动且缺乏灵活性[1]．近年来,随着机器人应用领域的不断扩大,对机器人的柔顺性提出了更高的要求．国际机器人协会对软体机器人的定义[2]是:1)由某种特殊的柔软弹性材料制成的机械装置;2)由多个刚性部件构成,但能展现出类似软体机器人变形特性的机电装置．软体机器人本体采用柔性材料加工而成,从原理上具有无限自由度,弥补了刚性机器人在这一方面的不足．因此,很多科学家开始致力于由柔软材料或可变形材料制作的刚柔耦合机器人的研究工作．本文将从刚柔耦合机器人的国内外发展现状、内置驱动、机器人运动分析建模[3]、控制方法等方面进行综述,并对刚柔耦合机器人的发展趋势和研究方向做出展望．

1 概述

1.1 国内发展现状

近年来,由于医疗、地质勘察、野外探险、水质监测等领域的迫切需求,刚柔耦合机器人的发展速度相当迅速．2008年,河北工业大学的高铁红[4]研发了仿生水黾机器人,其本体用碳纤维材料,支撑腿和连接机构采用不锈钢丝,以三个微型电磁铁作为驱动器(图1),通过控制系统驱动机器人运动,实现仿生水黾的运动以及转弯.该仿生水黾在水质检测、水面巡检等领域有着广阔的应用前景．2017年,中国科学技术大学的张林飞[5]研发了仿生的章鱼腕足机械臂,并且以当下热门的驱动材料形状记忆合金(Shape Memory Alloys,SMA)作为驱动器,通过对SMA的电加热和冷却可以完成蜷缩和抓取动作,机械臂外部采用软性材料制作而成，可以实现抓取物体而无任何形态损害．这种对不同形态大小物体抓取的普适性,在工业制造、医疗康复[6]、海洋巡检等领域应用广泛．2018年,中国海洋大学的谭俊哲等[7]制作出了仿生的水母机器人,实现了在海洋中的运动,它同样采用了SMA作为驱动器,驱动器分为上下两段控制,分别完成收缩和扩张运动,在制作完成的样机中设置了冷却室,以达到快速冷却的目的，从而实现快频率的收缩扩张运动(图2)．2018年,东南大学宋爱国教授团队[8]以医疗辅助康复为目的,利用基于表面肌电图像的手势识别算法能自如控制假手完成8种手势动作(图3)．

图1 仿生水黾机器人[4]Fig.1 Bionic water strider robot [4]

图2 仿生水母机器人结构[7]Fig.2 Structure of the bionic jellyfish robot [7]

图3 东南大学与丹阳假肢厂联合研发的多指灵巧肌电假手[8]Fig.3 Multi-finger smart muscle electric prosthesis jointly developed by Southeast University and Danyang Prosthetic Factory [8]

1.2 国外发展现状

美国麻省理工学院(MIT)的RUS课题组[9]研发了一种自主游动的软体机器鱼(图4),用流体弹性驱动器(Fluidic Elastomer Actuator,FEA)作为鱼尾驱动,实现了水下自由游动和快速逃逸．2015年,哈佛大学的WOOD课题组[10]采用3D打印技术,研制了一种弹跳机器人,将不同刚度梯度的材料组合到一起.该机器人包含了刚性驱动部件的可靠性和柔性材料的自由度高等特性,因此提高了自身的跳跃性能(图5)．同时,该机器人采用爆破能来驱动,虽然不可控,但是摆脱了传统气缸驱动的束缚,为机器人的小型化设计提供了新的方案．2020年,北卡州立大学Tang等[11]因受到猎豹的脊背柔软且富有弹性,可以通过拉伸背部肌肉来控制脊背的快速弯曲以及伸长来实现高速奔跑的启发,设计了柔性脊背柔性机器人(图6),其速度达每秒2.7个身长(187.5 mm/s)．同时,它既可以实现水下软机器人的快速游动,速度达每秒0.8个身长(117 mm/s),又可以用于可调节抓力的柔性器人抓手(可抓取易碎的生鸡蛋，也可提起10 kg的哑铃)．

图4 软体机器鱼[9]Fig.4 Soft robotic fish[9]

图5 弹跳机器人[10]Fig.5 Bouncing robot [10]

图6 仿猎豹柔性机器人[11]Fig.6 Flexible robot imitating cheetah[11]

2 刚柔耦合机器人的驱动方式

驱动器是刚柔耦合机器人实现运动的必需的运动执行机构,因此研究适用于机器人内置驱动的驱动器至关重要．

刚柔耦合机器人本体的关键在于刚性材料和柔性材料的结合,柔性驱动器的设计[12-15]作为柔性机器人应用的关键技术,决定了柔性机器人的工作机理,如能设计出优良而顺滑的驱动方式,则会提高仿生机器人与人类的相容性．刚柔耦合机器人是模仿大自然中动物的肌肉组织或静水骨骼结构来建立它的驱动器结构的[16]．其驱动方式主要包括:气动驱动、电活性聚合物(Electro Active Polymer,EAP)驱动或者形状记忆合金(SMA)驱动等．

2.1 气动驱动器

气动驱动[17-18]是通过改变气体压强产生压强差,来驱动机器人从而实现变形运动的,它具有反应速度快、功率大、运动平滑、易于控制等优点．气动驱动的特点在于,它需要外部设备如空气压缩机来提供动力,通过压缩的气体释放到缸体内,从而为缸体运动提供驱动力．目前,应用较多的是气动人工肌肉,如文献[18]研制了人工肌肉气动驱动的仿生青蛙(图7),其外壳采用3D树脂打印,减轻了机器人机身的质量．在机器人躯干上安装了两个容积分别为2 L的可反复充气的气瓶作为驱动气源,并且通过滑模变结构控制进行测试实验,结果表明控制系统稳定可靠,实现了仿生青蛙在水中的游动．

图7 气动驱动仿生青蛙[18]Fig.7 Pneumatic driven bionic frog[18]

2.2 电活性聚合物驱动器

电活性聚合物(EAP)[19-20]一般将电源作为驱动源,它是一种新型智能高分子材料,在外部电场的作用下,电活性聚合物内部结构发生改变,在薄膜表面的导电层之间的静电引力促使薄膜发生压缩与形变．根据电活性聚合物的致动机理,一般将EAP分为离子型EAP和电子型EAP两类．因为电子型EAP如果想要发生形变,一般需要千伏级的驱动电压,而离子型EAP在较低电压下就可以发生形变(图8),在电流的作用下可以改变EAP的外观和大小,从左到右为初始状态变化到通电状态,它具有比较大的弯曲响应的特点.另外,电活性聚合物的应变高、质量轻以及柔软性好的特点,使其在仿肌领域得以飞速发展．EAP具有很好的机电性能以及较高的机电转换效率,被广泛应用在机器人领域．

图8 离子型EAP变形[19]Fig.8 Ionic EAP deformation[19]

由于能量更容易以电能方式存储,以电子电路的形式来计算,直接应用电能来驱动软体驱动器更为方便．因此,有大量的学者致力于开发由电活性聚合物组成的电激活软体驱动器．如文献[19]提出了由两个柔性杆组成“L”形软体机器人驱动器,针对驱动器的输入电压和输出位移,建立了由电化学和电动机械模型组成的多重物理量动态模型,应用瑞雷-里兹-迈罗维奇方法对软体机器人的控制方程进行了求解,应用拉普拉斯算子获得了软体机器人的传递函数,为精密控制奠定了基础．

2.3 形状记忆合金驱动器

形状记忆合金[21]是一种特殊的合金．通过人为作用,可以使其记忆任何形状,经过加热到某一温度,它就会变长,遇冷就会收缩回到它所记忆的形态,因此称之为形状记忆合金．根据形状记忆合金这种受热能伸缩的特点而制成的驱动器成为形状记忆合金驱动器．常用的记忆合金是Ti Ni合金．图9为意大利圣安娜高等学校Laschi等[22]研制的仿章鱼机器人．这种仿章鱼机器人采用形状记忆合金驱动,形状记忆合金可以在温度不同的情况下恢复设定的形状．Laschi等通过电阻丝热量来实现这种温度的变化,针对章鱼的不同运动姿态,可以设定形状记忆合金的不同初始姿态,实现仿章鱼机器人的不同的运动状态．

图9 仿章鱼机器人[22]Fig.9 A new robotic octopus tentacle[22]

形状记忆合金是利用合金的相变来进行能量转换的,记忆合金做成的驱动器具有以下优点:选择适当规格的记忆合金可以将驱动器体型最小化,特别是仿生体型较小的动物;结构简单、质量轻、柔顺性好．但是,形状记忆合金也有其存在的缺点:变形响应较慢、输出力较小,难以供给爆发的输出力,所以其工作效率较低,例如Laschi等[22]所设计的仿章鱼机器人,通过相变产生的驱动力,机器人确实是做到了仿章鱼的基本运动形态,但众所周知,海洋中的章鱼游行时爆发力十足,而由SMA驱动器制成的仿生机器人难以与其媲美．SMA驱动的机器人做到了机器人轻量化,占用空间更小,但是,如何使得SMA驱动器产生更高的能量爆发还需要进一步研究．

表1为三种驱动方式的优点及工作原理比较．

表1 驱动方式比较

3 机器人的建模

机器人的柔性部分的建模研究是一个难题,也是刚柔耦合机器人研究的重要部分．

软体机器人的运动学不同于传统的机器人,软体机器人变形连续且自由度高度冗余,对于它们的运动学描述只能采用连续体方程．基于软体机器人变形后各部分曲率恒定或者分段恒定的现象,学者们在传统的D-H变换的基础上研究出一套分段常曲率(Piecewise Constant Curvature,PCC)理论模型[23]．该模型用长度、曲率和偏转角来描述一条曲线在构型空间下的位姿,通过改进的D-H转换将曲线末端点映射到工作空间中,给出了从构型空间转换到工作空间的通用齐次矩阵．而从软体机器人的驱动空间到构型空间的映射因机器人本体的结构而异．通过变形后的几何关系可得到构型空间下的位姿参数和三条驱动线缆长度的关系[24];用系统辨识的方法可建立输入气压和构型空间参数的关系[25]．但是PCC模型只适用于固定曲率的运动学求解,对于变曲率的软体机器人运动学问题,需要新的方法,如将软体连续臂分为多段,每段近似曲率恒定[26-27]．对于流体驱动弹性体和纤维增强制动器等超弹性材料软体机器人,因其本构关系比较复杂,学者们多采用有限元分析来研究几何参数对运动学的影响[28-29]．从变形前后的几何关系来分析其变形机理,也是一个很好的尝试．

和刚体机器人相比,软体机器人的逆运动学问题(通过控制曲率使机器人到达指定位置)具有更多的挑战．机器人自动避障、非结构环境下作业、自动抓取和放置物体等任务都离不开逆运动学问题的求解．目前,对于这方面的研究也展开了一些工作．如MIT的RUS团队,在给定软体机器人的起始点、终止点和期望的姿态后,通过级联反馈曲率控制算法,迭代雅可比矩阵计算每一步需要的曲率并控制其达到期望值[30],并利用视觉反馈完成了二维平面内抓取[31]和在限制空间下运动规划[32]等复杂任务．RUS团队还建立了三维软体机械臂的动力学模型,并完成了空间抓持任务[33]．上海交通大学的Wang等[34]也利用视觉伺服控制软体机械臂定位目标物体．

表2为柔性机器人建模方法比较.

表2 柔性机器人建模方法比较

在研究机器人的刚柔耦合问题上,对机器人的建模是至关重要的.下面以形状记忆合金(SMA)驱动的机器人为例,分析其建模问题．因SMA材料质量轻、灵活性高,2019年,Liu等[35]设计了仿人柔性机器人单元,其设计灵感来自于脊椎的工作方式,设计了一个柔性机器人结构,机器人外观如图10所示．

图10 模型外观结构[35]Fig.10 Structure of the soft robot proposed in Ref.[35]

假设机器人以低速匀速运动，考虑建立其运动学模型.如图11所示，以机器人的两个单元为例，由SMA驱动的上下6个关节点(T1,T2,T3,B1,B2,B3)做共球面运动，6个关节点两两对应分为3组，B1T1为整个机器人其中一个机械分支，根据柔性机器人建模方法，B1T1数学模型可表示为

图11 形状记忆合金模型[35]Fig.11 Model of SMA[35]

(1)

B2T2分支的数学模型方程为

(rsinθ2cosφ2+rsin 0)2+(rcosθ2-rcos 0)2，

(2)

B3T3分支的模型方程为

(3)

其中，r为运动球面的半径,θ，φ为机器人的旋转角度.

然后根据机构的几何形状，可以推导出点与点之间的函数关系，最终建立完整的数学模型：

(4)

关于T2T3和T1T3的另外两个模型方程也可以用同样的方法得到.

根据未知数的个数与方程的个数之间的关系，方程组有唯一解.该模型上下共分为2个单元，SMA作为对人体肌肉的模拟，机器人本体单元则用于脊柱单元的模拟，各个单元之间关节被设计成骨骼的关节.各关节角作为模型的输入，因此，根据上述几何运动学关系，可以推导出对应于不同顶面位置的3个SMA弹簧的长度.

对机器人建模是机器人研究中非常重要的一环,特别是对于SMA柔性机器人,因为其具有无限多自由度,使得建模具有一定的难度,但通过适当的建模计算方法终究可以克服．

4 刚柔耦合机器人的控制技术

控制算法在机器人中也是不可或缺的．近年来,结合深度学习和强化学习的控制算法已经应用于刚柔耦合机器人,并且取得不少成果．为使问题简单化并且获得良好的控制效果,大多数机器人采用单回路闭环控制．在研究机器人的控制系统时,如何保证机器人有足够高的精度和系统的稳定性成为最大的难点,因此需要相应的控制算法才能实现对机器人运动的精确控制.常用的控制算法有PID控制、模糊控制、自适应控制、滑模控制和神经网络控制等．

4.1 PID控制

PID控制是线性系统理论中的控制算法,对于线性系统能够达到精确的控制效果,在工业中也应用最多．PID控制就目前来说是一种较为简单的控制方法,在小型的机器人系统中也是应用最为普遍的控制方法．Dehghani等[36]设计了一种PID控制器用于单连杆柔性关节机器人中,实现了具有柔性关节机器人的基本运动．为了实现低的超调值,他们又设计了FLST-PID(Fuzzy Logic Self-Tuning PID),FLST-PID是一种比较实用的系统优化方法,具有克服不确定性和改变系统参数的能力．结果表明,经此改进的单连杆柔性关节机器人控制速度快、超调量为零,使得柔性关节机器人的控制准确率有所提高．

4.2 模糊控制

模糊控制是一种智能控制方法,它本质上是一种非线性控制,适用于对难以建模的对象实施鲁棒性控制,最终控制形式简单、易于实现．此外,对于不确定的控制系统得不到它精确的数学模型的问题,模糊控制就可以解决．

Kha等[37]设计了一种自适应模糊PID控制器成功地应用于SMA驱动器的位置控制．实验结果表明,自整定模糊PID控制器能够较好地实现对不同输入信号的跟踪,从而补偿了SMA执行器的滞后现象．文献[38]采用模糊PID控制器对气动柔性球关节进行控制，克服了气动人工肌肉结构数学模型不精确的缺点,实验结果表明模糊PID控制基本可以满足对该柔性机器人弯曲关节的精确控制和响应速度的需求．王斌锐等[39]使用模糊控制结合PI控制器对气动肌肉肘关节(图12)进行控制,以提高位置精度为目标,使用模糊控制对气动肌肉肘关节的上、下臂角度比例K和PI参数进行实时调整．实验结果表明,相对于PI控制而言,结合了模糊控制的PI控制使得肘关节的转动角更大,而且跟踪精度更高,实现了气动驱动肘关节有效而且精确的控制．

图12 气动肌肉仿生肘关节[39]Fig.12 Pneumatic muscle bionic elbow joint[39]

4.3 自适应控制

自适应控制根据系统参数或运行指标的变化改变控制参数,从而使控制对象工作达到最优状态,多用于具有一定不确定性的非线性系统控制中．自适应控制不完全依靠数学模型,需要不断对控制模型的数据信息进行采集,然后不断去完善它的数学模型,最终达到控制系统的性能指标．此特点决定了自适应控制在运动控制方面的优越性．

一种典型鲁棒自适应PID控制算法流程如下:

基于局部学习的神经网络,因为其学习速度较快,有较好的逼近性能,在控制领域受到了广泛的关注,其逼近函数可以表示为

(5)

式中，w为可调权值向量，v为权系数选择向量.设计神经网络在线学习系统不确定性和非线性：

(6)

设计鲁棒自适应控制器为

u=upid+uad=

(7)

ATP+PA=-Q,

(8)

神经网络权值调整规则为

(9)

(10)

至此,得到最终的控制系统,之后即可构造李雅普诺夫函数证明系统的稳定性．

在控制领域中,经典的控制方法如PID控制等,智能控制如滑模控制、自适应控制、神经网络控制等,它们在单独应用在系统中,往往不能达到预期的控制要求,而多数情况下,两种控制算法或者几种控制算法结合,可以达到更稳定、更精确的控制效果．

在控制系统中,超调量较大会导致控制系统不稳定,达不到预期的机器人控制效果．为了降低控制系统的超调量,Wang等[40]在鲁棒自适应PID控制算法中加入了小脑模型关节控制器(Cerebellar Model Articulation Controller,CMAC)神经网络,CMAC是一种基于局部学习的神经网络,学习速度快,具有较好的逼近效果,控制结构是对气球的方位系统进行控制,结合PID控制循环反馈给控制器实现自适应方位控制,利用逼近效果减少系统的超调量,实现精确的方位控制．

4.4 滑模控制

滑模控制的优点是能够克服系统的不确定性,对干扰和未建模动态具有很强的鲁棒性,尤其是对非线性系统的控制具有良好的控制效果．由于变结构控制系统算法简单、响应速度快,对外界噪声干扰和参数摄动具有鲁棒性,在机器人控制领域得到了广泛的应用．滑模控制属于非线性的控制方法,它的优势是不需要精确的数学模型,可以估计出不确定的干扰因素.滑模控制具有以下优点:控制响应速度快、不需要模型的在线辨识能力、对参数变化及外界扰动不是很敏感以及结构实现简单．

针对人工肌肉驱动器模型控制策略较为复杂、控制参数较多、调节过程较为繁琐、通用性较差等问题，杨辉等[41]基于梯度法设计了无模型自适应滑模控制器,驱动器的动态方程可表示为

(11)

e=qd-q.

(12)

由人工肌肉驱动的柔性机器人系统是一种非线性系统，而滑模控制对非线性系统有着较好的控制效果，故取滑模控制器的滑模面函数为

(13)

其中c1,c2为常系数，e为误差.为保证运动点能够在有限时间内到达滑模面，且到达滑模面时避免出现抖振现象，故取指数趋近律为

(14)

Rsetam等[42]提出了一种分层滑模控制方法应用在柔性关节机械手.利用两个子系统对柔性关节机械手进行建模；根据非线性系统性质，构造了两个子系统的误差滑模面，位于第一级滑模态.对于柔性机械手，滑模面子系统S1的目的是控制由机械手的柔性引起的几何非线性项，滑模面子系统S2的目的是抑制滑模控制所带来的抖振项，从而提高控制系统的性能：

(15)

通过对柔性关节机器人的跟踪性能、减振效果等控制目标的比较研究，表明该方法具有优于传统滑模控制的性能.

提高跟踪性能、减小振动效果是滑模控制领域一直追求的性能.2019年,Wang等[43]基于李雅普诺夫函数设计了一种自适应滑模控制器来处理输入约束、模型不确定性和外部干扰．为了控制机器人的位置和姿态角,实现机器人的轨迹跟踪控制系统,所设计的控制算法在仿真中得到了广泛的验证．

滑模控制对系统动态的模型以及动态模型中不确定因素的要求较高．然而滑模控制的缺点是在控制轨迹到达滑模控制的滑模面时很难沿着滑模面向平衡点移动,而是在面的两侧来回穿梭,这一现象被称为抖振现象,所以在使用滑模控制时减少抖振现象是至关重要的．对于滑模控制中出现的抖振现象,较为常用的解决方法有:边界层法、趋近律法和遗传优化等．

4.5 神经网络控制

神经网络控制是智能控制的一部分,它主要是将人工神经网络理论与控制理论两者有机地结合起来.人工神经网络控制的实现主要是把神经网络作为控制系统结构中的辨识器或者主控器用于对数学模型不确定的控制系统．

多层感知器(Multi-Layer Perceptron,MLP)神经网络对非线性系统具有良好的直接控制性能．对于某些非线性动态系统的控制,采用神经网络控制器是有益的．彭济根等[44]在关节柔性较弱的情况下,对柔性关节机器人操作手的轨迹跟踪问题提出了一种基于奇异摄动理论的机器人神经网络控制设计方法,结果表明,基于奇异摄动理论的神经网络控制算法能够有效地克服参数未知、模型未知等不确定因素,使得跟踪误差可以任意地小,如此,柔性机械手便可以减少控制误差,使其控制更加准确．但该控制算法存在一种“微分爆炸”的现象．对于这一现象,刘金琨等[45]针对柔性关节机器人系统,提出了一种自适应神经网络动态面控制,在神经网络动态面控制的设计过程中,仿照反演控制的“递进式”设计方法,控制器设计分为4步,分别定义了4个误差表面,其中,第4误差面的输出作为控制器的输入,实现控制效果,而第3个误差面到第4个误差面的过程中使用低通滤波,其作用是在克服“微分爆炸”的同时克服外界干扰,第2个误差面是为第3个误差面提供经神经网络逼近后的状态输入,第1个误差面为第2个误差面提供带有一阶低通滤波的输入,作用是克服“微分爆炸”.

Si=xi-xid，i=1,2,3,4，

(16)

一般来说,神经网络控制中,不管是MLP网络还是径向基函数(Radial Basis Function,RBF)网络,其作用都是用来逼近计算,而RBF网络是近几年应用较多的网络,它是一种高效的前馈式网络,具有其他网络所不具有的最佳逼近性能和全局最优特性,而且结构简单、训练速度快．2017年,Wang等[46]针对柔性并联机器人参数的不确定性,采用RBF神经网络进行逼近计算,结合李雅普诺夫稳定性理论,分析了系统的稳定性,并且设计了控制律减小近似误差,柔性并联机器人运行良好,验证了方法的可行性和可靠性．2019年,Kim等[47]提出了一种神经网络动态表面控制算法用于柔性机器人的轨迹跟踪,相对于神经网络控制,结合了动态面的神经网络可消除微分项的膨胀,使控制器和参数设计简单,还能减少用于建模的神经网络及模糊系统输入变量的数目．

近年的深度学习(Deep Learning,DL)和强化学习(Reinforcement Learning,RL)不仅在人工智能领域是个热门,而且结合控制算法也将是全新的研究方向．在控制工程领域,强化学习是传统控制理论与自适应控制算法之间的桥梁．强化学习的基本思想是:智能体可以通过学习来解决不同的行为,而学习的结果对于特定的情形是最优的．由于RL是一种端到端的学习方法,不需要知道机器人的模型,因此控制算法的设计者可以节省大量的工作,只需要提供反馈形式的奖励函数即可．

为了验证强化学习可以解决SMA模型的柔性机器人位置控制问题,Liu等[35]提出了一种柔性机器人位置控制深度确定性策略梯度算法(Soft robot Position Control based on Deep Deterministic Policy Gradient,SPC-DDPG),应用在SMA驱动的柔性机器人中,将RL控制算法运用到SMA位置控制(图13)中,在RL控制问题上,使用了Q函数来表示奖励和期望值.Q函数的作用是通过智能体与环境之间的反馈进行学习并强化学习,Q函数使SMA机器人根据实时情况做出动态规划,Q函数表示如下:

图13 形状记忆合金扭转示意图[35]Fig.13 Torsional diagram of SMA[35]

(17)

SPC-DDPG算法是一种可行的控制算法,根据目标达成任务,设计奖励函数,该算法在不同的学习参数下都能很好地完成任务．

强化学习与控制算法的交叉融合逐渐发展成为一种新的风向标．Subudhi等[48]对在NIT Rourkela电气部门工业电子与机器人中心使用的quanser双连杆柔性机械手进行了仿真研究,结果显示,基于强化学习的直接自适应控制,其误差小于0.01%,远优于仿真结果显示的固定增益最优控制．尽管所采用的解耦模型减小了叶顶质量对整个系统的影响,与其他自适应控制相比,该自适应控制不依赖于系统动力学,计算复杂度较低,但是基于强化学习的控制算法不能进行机器人移动过程中的点稳定运动控制,限制了人工智能控制算法在运动控制中的应用．

为了解决点稳定的运动控制问题,2019年,Gao等[49]将深度强化学习应用到机器人点稳定的运动控制,他们建立了两个深度神经网络,并且复制为目标网络,分别由策略网络和值网络组成,当机器人的点稳定训练完成后,目标网络中的策略网络参数和值网络参数会分别随着实时网络中的策略网络参数和值网络参数进行更新.Gao等[49]提出的一种新的基于深度确定性策略梯度算法的点稳定控制律,使移动机器人能够通过移动机器人与环境的信息流成功地学习机器人的运动控制规律,该方法提供了一种新的运动控制方法．

手术机器人固有的非线性和模型的不确定性，使得柔性手术机器人的运动控制变得具有挑战性.针对这一问题,Chen等[50]提出了一种将演示编程与强化学习相结合的混合框架,采用高斯混合模型从人体模型中学习机械手的逆运动学模型,而强化学习通过实时最大化奖励函数来解决不确定环境下的最优决策,结合强化学习算法计算奖励函数,从而更新模型.设计过程中,采用基于E-M的强化学习算法,同时使用IK模型作为标准模型来计算柔性手术机器人机械手的输出轨迹.实验结果表明,结合了基于E-M强化学习的标准模型,可以解决非线性和模型不确定性的问题,而且对机械手的运动控制性能良好,所以强化学习是解决机器人轨迹控制问题的一种智能方法.人工智能算法用于机器人控制不仅可以解决模型不确定性的轨迹运动控制,而且从图像的角度来说,同样可以训练机器人的运动学习和高维状态动作空间中的位置控制问题．

Wu等[51]让一个机器人执行一次任务运动来获取电机和图像数据,然后使用卷积自动编码器从原始图像数据中提取图像特征,图像特征提取模块采用了卷积自动编码器(Convolutional Auto-Encoder,CAE),其结构如图14所示．将提取的图像特征与运动数据相结合,训练递归神经网络 (Recurrent Neural Network,RNN),通过对图像数据的深度学习来进行运动学习(图15),使得机器人能够获取环境信息,并利用自身被动适应的优势来完成需要考虑环境变化的任务．

图14 CAE结构[51]Fig.14 Structure of CAE[51]

图15 利用图像数据的运动学习系统[51]Fig.15 Motor learning system[51]

随着人工智能算法的发展,将其应用到控制算法中是一个新兴而热门的研究方向．机器人的设计思路是,先物理建模然后对模型设计控制算法,而具有智能算法的控制器将大大提高机器人的控制精度和工作效率．

5 总结与展望

本文首先介绍了国内外刚柔耦合机器人的研究现状和研究成果;其次根据机器人的驱动器类型,分别介绍了气动、电活性聚合物、形状记忆合金等驱动方式在刚柔耦合机器人上的应用;然后着重对机器人的控制方法进行了综述,从简单的PID控制到模糊控制再到滑模控制最后到神经网络控制,并重点介绍深度学习和强化学习在控制算法中的应用．

目前,传统的刚性机器人和柔性机器人是较为普遍的,而由刚性部件和柔性部件结合而成的刚柔耦合机器人则是一个新的研究方向,其包括两个主要研究内容:

1)刚柔耦合机器人的建模问题．刚性机器人结构固定,通过D-H模型和齐次变换可以建立各关节变量和机器人末端的运动学模型．虽然软体机器人通过模型可以建立其构型空间和操作空间的转换关系,但是因其本体的变形是非线性的,各驱动变量之间又相互耦合,建立驱动空间和构型空间的关系十分困难.柔性部件的逆运动学问题很难找到解析解,只能通过数值分析和非线性优化来求解,这对软体机器人的控制提出了更高的要求．

2)人工智能结合控制算法的问题．近年来,随着人工智能技术的发展,人工智能中的网络架构结合控制算法将会是一个在控制算法领域中的突破,传统的MLP网络、BP网络、RBF网络都已应用到神经网络控制中.深度学习和强化学习不仅在人工智能领域是个热门,而且结合控制算法也将是一个重要的研究方向.目前国内外将人工智能算法在机器刚柔耦合问题上的应用研究没有得到很好的发展,因此这将是一个新的研究热点．