面向薄皮果类抓取的柔性手前瞻力控方法
2024-03-13陈宵燕孙沂琳张秋菊何庆浩
陈宵燕,孙沂琳,赵 一,张秋菊,何庆浩
(1.无锡学院 自动化学院,江苏无锡 214105;2.江苏省食品先进制造装备与技术重点实验室,江苏无锡 214122;3.江苏集萃复合材料装备研究所有限公司 创新研发中心,江苏无锡 214174)
0 引言
薄皮果类是生活中常见的水果,如苹果、梨子和猕猴桃等,其共有特性是皮薄水分多,一旦外表皮受伤,不仅影响外观,更会导致其快速氧化而腐烂[1]。面对未知物体,抓取任务不仅要求准确识别物体的位置和方向[2-4],还需要稳定可靠地抓取[5]。对薄皮果类,还要考虑抓取力的柔顺控制[6]。
根据当前研究现状,具有硬手指的灵巧手通常需要复杂的传感和控制技术,才能获得高精度位置,以实现闭合抓取[7]。而柔性手具有较低的固有刚度,对动作和感知的不确定性具有较强的固有鲁棒性[8]。由于柔性手能够通过主动和被动变形,轻松适应复杂物体或非结构化环境,已经成为机器人抓取研究的一个关键领域[9]。
目前,一般灵巧手将硬度感知作为对未知物体抓取夹持力的控制依据[10]。例如,YUAN等[11]基于触觉传感器,通过接触表面形状变化等来估计抓取物体的硬度。WANG等[12]设计分布式触觉传感器,根据滑移情况调整抓取力。而对于薄皮果类,接触表面的形状产生变化时已经对其产生破坏,对水果的贮藏和质感都产生了不可挽回的损害。
因此,本文面向薄皮果类的柔顺抓取,针对当前机器手存在的主动顺应性不足、控制系统复杂等问题,利用柔性手轻型高效的结构优势及前瞻力控技术,优化对该类物体的柔顺抓取性能。
1 柔性手结构设计及弯曲性能分析
1.1 结构设计
参考人手和章鱼结构形式与变形机理,设计具有多臂结构的变形手掌,通过增加旋转自由度模仿翻转和摇摆,增加平移自由度模仿触手可在任意位置弯曲的特性。为了简化机器手结构,降低控制难度,柔性手结构共有4个平移自由度和2个旋转自由度,如图1所示。
图1 柔性手结构示意图Fig.1 Structural diagram of flexible hand
在初步构型下,利用Matlab软件进行仿真,分析柔性手工作空间,调整变掌机构设计参数以提升工作空间范围;然后基于控制变量法和Abaqus仿真对软体手指进行建模及受力分析,建立驱动气压与手指弯曲变形、末端位移之间的数学关系。
1.2 弯曲性能分析
基于有限元分析的软体手指弯曲变化过程如图2所示。随着驱动气压P的增加,曲率半径R呈逐渐下降的趋势,自由单向弯曲角度θ与单腔体驱动气压之间的变化呈近似线性的趋势。
图2 相对关系曲线图Fig.2 Relative relation curve
当单腔体软体手指充入的气压逐渐增大时,软体手指的弯曲过程如图3(a)所示。在相同的气压下,当改变手指的设计参数时,弯曲程度发生变化,末端位移也随之产生相应的变化,如图3(b)所示。
图3 单腔体软体手指弯曲特性Fig.3 Bending characteristics of single-cavity soft finger
深入分析各个参数对弯曲性能的影响,发现两者之间变化趋势呈非线性。因此,根据末端轨迹光滑性需求,对软体手指进行结构参数优化设计,加工并制作相应的软体手指。
2 基于前瞻预测的智能力控方法
根据前期研究工作,利用M-CNN模型获得目标物体的轮廓信息。对物体执行抓取操作时,需明确最佳的抓取点及抓取姿态。
2.1 柔性手抓取规划方法
根据物体外轮廓的形状特征提出如图4所示的4种构型规划。
图4 构型规划方法Fig.4 Configuration planning method
垂直交叉抓取规划(Cross grasp planning,CGP)方法适用于抓取形状呈中轴近似对称的物体,如类椭球体、类球体等,如图4(a)所示。当使用CGP方法抓取具有大纵横比的物体时,各手指所受的力矩之间会存在很大的差异,甚至会存在其中2个手指失去作用的情况。为了解决对这些物体的稳定抓取问题,提出一种基于等矩对称分布约束的等距最优抓取规划(Equidistant optimal grasp planning,EOGP)方法,如图4(b)所示。
针对类梯形体的不规则物体,提出综合指标最优抓取规划(Comprehensive-index optimal grasp planning,COGP)方法,该方法不仅考虑力矩平衡,还侧重考虑接触面积及抓取中心的偏置,如图4(c)所示。选取2个平行度较高的面作为固定臂的抓取对象,而其余2点则通过旋转臂调节到合适位置。当抓取对象为类三棱柱体时,提出三角等分抓取规划(Trigonometric division grasp planning,TDGP)方法,其中1条臂不参与抓取,采用3指方法来获得最优抓取点,如图4(d)所示。
当获得物体轮廓信息后,可根据其特征选取适合的位形规划方法,为柔性手抓取不同形状大小的物体提供灵活的操作空间。
2.2 抓取稳定性评估机制
根据机器手抓取经验,增加手指与物体表面的接触面积可大大提高手指的抗变形能力。考虑到接触面积较难计算,利用空间接触角与接触面积之间的高度相关性来进行替代,即将指尖接触力方向与物体接触面之间的空间接触角θc作为评估抓取性能的重要度量。
因此,结合人类手的常规抓取经验法以及基于最大内切球准则的稳定性分析法,提出基于最佳位形和力闭合混合方法的柔性手抓取稳定性评估机制。抓取稳定性评价因素中,除去θc影响摩擦力之外,每个手指的力矩平衡性也需要考虑。对于后者,根据抓取中心与被抓取物体形心的距离值lOC以及抓取角度均匀分布情况来衡量:当形心位于抓取中心或偏移距离较小时,抓取效果相对较好;当抓取点能均布在被抓取物体表面或两两之间间距较均匀时,抓取效果相对较好。
对于4种构型规划方法,稳定性评价的对象都是θc,lOC以及抓取角度均匀分布指数,后者与柔性手相邻两臂之间的夹角均匀性或对称性有关,以CGP方法为例,如图5所示。
稳定性评价指数如下式:
其中,k1,k2,k3为权重系数,且满足k1+k2+k3=1,根据试验经验设定k1=0.6,k2=0.2,k3=0.2;ζPiPj为被抓取物体形心与各个抓取点两两连线之间的夹角;为被抓取物体形心与抓取点连线之间的两两4个夹角的平均值;N为要评估的角度的数量,该数量随构型方法的不同而不同。
式(1)适用于COGP和TDGP 2种方法,而对于EOGP构型规划方法,要求两臂对称分布,因此其稳定性评价指数如下式:
首先根据物体形状轮廓信息对柔性手进行最优抓取位形规划;然后根据接触力和力平衡因素计算对应的抓取稳定性评价指数;最终形成基于混合方法的抓取稳定性评估机制,从而获得目标对象最佳的抓取点及位置分布。
2.3 非线性回归预测模型
手指接触力由软体手指内侧的薄膜压力传感器提供,根据力反馈结果实时微调输入气压。然而,在输入一定的气压后,软体手指有相对应的刚度,并且刚度随着弯曲程度和输入气压的大小变化,如图6所示。
图6 不同作用力下柔性手抓取物体的手指弯曲变形变化Fig.6 Changes of finger bending deformation of objects grasped by flexible hands under different forces
手指的弯曲状态不仅受到手指自身结构参数和材料性能的影响,还会受到输入气压与物体接触点的位置及分布的影响,从而在手指与物体表面的接触点产生不同的抓取力。
通过柔性手自身的力与弯曲传感器可直接获取的物理量是压力和弯曲角度,而手指的接触力并不能直接获得。因此,基于人工智能训练及非线性回归预测等方法,利用神经网络建立物理量与所求量之间的数学模型,通过软传感器技术预测当前手指接触点的受力状态,从而改善对柔性手的柔顺抓取控制。
利用自适应抓取规划方法获得所需的最佳抓取点Pci及物体类别,根据物体轮廓和类别信息计算获得目标物体的密度ρ和体积V,利用柔性传感器和电机编码器获得手指完整状态信息(弯曲角度Jfi和空间夹角θci)。对需要抓取的物体进行一系列测试,当获得最佳抓取配置信息后,输入气压Pr初始值0,然后不断提高Pr直至柔性手能稳定抓取物体。记录此时柔性压力传感器的数值,即为该物体的最小抓取力Fmin,对应的输入气压即为最佳输入气压Pbest。
根据采集数据,将物体的V,ρ,Pci,θci,Jfi,Pbest作为输入参数,Fmin作为输出参数,基于径向基神经网络,进行有监督的学习,训练获得抓取力预测模型(简称为RBF1),如图7(a)所示。在实际柔顺控制时,直接控制和调整的对象是Pr,当物体对象及抓取配置一定时,Pbest与Fmin存在某种确定的非线性关系。
图7 基于RBF的非线性预测模型Fig.7 Nonlinear regression models based on RBF neural network
在确定物体和抓取配置信息后,为了对物体进行抓取操作,需要对输入气压有一定的预判。为此,将物体的V,ρ,Pci,θci,Jfi作为输入参数,而Pbest作为输出参数,依旧基于径向基神经网络,进行有监督的学习,训练获得最佳输入气压预测模型(简称为RBF2),如图7(b)所示。
2.4 基于最小抓取力的前瞻力控方法
为了实现柔性手的柔顺抓取功能,提出基于最小抓取力的自适应控制算法。柔性手成功抓取物体的一般评判指标是,抓取物体到空中后稳定停留3 s以上而不滑落,因此柔性手需要有稳定抓取的性能。一般而言,力越大越稳定,而由柔性手自身弯曲特性和物体表面形状及摩擦力可知,超过一定压力会产生滑落现象。当提供的抓取力小于所需的摩擦力时,也会有滑落现象出现。
柔性手施加的抓取力不能过小或过大。在稳定抓取力的范围内,控制力趋向于最小值时,目标物体不但能被稳定抓取,还可以在最大限度内受最小的损伤。为此,提出的基于最小抓取力的前瞻智能力控方法,优化了柔性手柔顺抓取的性能。
根据指定任务实施柔性手物体抓取控制时,利用RBF2获得所需要的Pbest,控制柔性手抓取物体;抓住物体后,实时反馈柔性压力传感器的数值Freal给控制系统。同时,利用RBF1获得所需的Fmin,并与Freal进行比较。当前者小于后者时,加大输入气压,直至两者相等,从而实现自适应调节抓取力的大小。再根据此时的Pr对RBF1和RBF2进行修正。在操作过程中进行自主学习,不断优化驱动气压前瞻预测模型的精度,改善系统控制性能,控制算法如图8所示。
图8 基于最小抓取力预测的自适应控制算法Fig.8 Adaptive control algorithm of flexible hand predicted based on minimum grasping force
基于最小抓取力预测的智能抓取流程:根据采集信息及智能检测方法获得定位信息、轮廓信息和物体分类;利用反馈信息,基于自适应控制算法调节柔性手开合旋转自由度和驱动气压数值,达到所需的抓取位置和抓取力。自感知柔性手可预知在某一气压和弯曲角度下所能提供的最大负载能力,自适应地调节各个手指的气压来改变手指刚度,从而实现柔顺抓取控制。
根据柔顺抓取控制要求,设计分级模块化柔性手控制硬件系统,如图9所示。控制系统主要分为上下2层。上位机负责任务管理、图像检测、路径规划和视觉定位四大模块功能;下位机负责各种传感器反馈信息处理,对6个电机及2个气路实时控制,协调柔性手变掌规划及抓取力的响应。最终实现柔性手稳定可靠且灵活多变的抓取性能。
图9 分级模块化柔性手控制硬件结构图Fig.9 Structural diagram of hierarchical modular flexible hand control system
3 试验验证与分析
为验证前瞻力控方法的有效性,搭建柔性手性能测试平台。该平台除1套包含各种控制硬件的控制柜之外,主要由1台6自由度的UR机器人、1只带有4个柔软手指的柔性手、1个不失真的2D摄像头以及1台PC机组成。在工作中,摄像机固定在手部,并在手掌面中心设置合适大小的透明孔以进行图像采集。所有试验都在Windows 10系统的计算机上运行,配备2.2 GHz英特尔酷睿i7-8750H CPU和NVIDIA GeForce GTX 1050Ti(Maxwell架构)。此外,检测和控制系统通过使用OpenCV 3.4和Visual Studio 2015的图形用户界面(GUI)实现。
3.1 灵活抓取性能测试
为验证柔性手对不同形状大小的薄皮果类具有灵活的适应能力和可靠的抓取能力,选用常见的水蜜桃、火龙果、番茄、胡萝卜、柠檬和橙子等水果,利用CHEN等[2]提出的视觉检测算法识别并定位物体位置。
对于规则物体(近似球体或椭球体),利用CGP和EOGP可以得到适合稳定抓取物体的最优接触点。当物体不规则时,可以通过COGP或TDGP方法获得所需的抓取点。基于视觉检测方法获得如图10所示的形状轮廓信息,使用提出的规划方法获取物体最适合的抓取构型,基于抓取稳定性评估机制获得最佳抓取点。
图10 基于视觉检测的边缘轮廓提取Fig.10 Edge contour extraction based on visual inspection
基于M-CNN分类结果,得到目标物体对应的ρ,并结合轮廓信息得到对应的V。利用训练好的RBF1得到Fmin,再利用RBF2获得所需要的Pbest,控制柔性手抓取物体。
对不同种类的物体反复抓取100次,主要验证柔性手灵活多变的抓取空间及稳定可靠的抓取能力,可保证平均抓取成功率(稳定抓取住物体并提升到空中3 s以上)在95%以上。
3.2 智能力控性能测试
为进一步验证提出的前瞻智能力控在柔顺抓取上的作用,设计输入气压对比试验。对于抓取同一个物体,在同样的抓取点位下,利用相对较小的抓取力实现对物体的稳定抓取。相对于较大的抓取力,薄皮果类表皮受到的挤压和损害必然有一定程度的减小。因此,利用控制变量法,对比输入气压的大小,以验证智能力控在柔顺抓取上的改善能力。
以水蜜桃、苹果、番茄为试验对象,进行智能识别与抓取,对比不同输入气压的控制方法。基于前期研究工作的M-CNN模型辨识获得分级驱动气压,主要分40,60,80,100 kPa 4个等级;利用人工经验法,测试人员根据当前水果大小及质量预知所需要的驱动气压;基于智能力控方法,获得所需要最小抓取力对应的驱动气压。对3种水果采用每种方法反复抓取100次,抓取结果如图11所示。对100次抓取的驱动气压取均值进行对比,同时统计抓取的成功率,结果如表1所示。
表1 驱动气压与抓取成功率对比Tab.1 Comparison of driving pressure and grasping success rate
图11 三种水果测试试验Fig.11 Measurement and testing of three kinds of fruits used in intelligence control test
3种方法对3种水果的平均驱动气压分别为84.33,80.73,75.30 kPa,智能力控相对M-CNN和人工经验分别降低9.03,5.43 kPa,抓取力分别相对降低10.64%和6.91%。
3种方法在3种水果上的平均成功率分别为95.33%,93.00%,98.00%。智能力控法在降低抓取力的同时保证了较高的抓取成功率,因此可间接证明,其在提高可靠性的同时也改善了柔顺抓取性能。
对于苹果这种质量介于两级之间的物体,M-CNN不但抓取成功率不高,且对抓取力的控制也不理想。对于番茄这种表皮光滑的果类,人工经验法难以把握,过大或过小都会导致抓取滑落而失败。
测试结果表明,柔性手不仅提高抓取成功率,改善抓取稳定性及可靠性,还在保证高稳定性能的同时,尽可能地减小抓取力,从而避免薄皮果类表面的损伤,最终实现优化柔性手柔顺抓取性能。因此,采用基于最小抓取力的柔性手智能力控算法,在尽可能不破坏物体表面质量的前提下,可实现柔顺抓取。同时也验证基于混合方法的4种抓取规划和稳定性评估机制的可行性,以及基于最小抓取力的自适应算法的可靠性。
4 结语
(1)针对现有柔性手对薄皮果类的柔顺抓取问题,提出一种基于稳定性评估机制的最优抓取规划和基于最小抓取力的前瞻智能力控方法。
(2)根据柔性手的特点和人手抓取的经验,提出CGP,EOGP,COGP,TDGP这4种构型规划方案,同时建立基于最佳位形和力闭合混合方法的柔性手抓取稳定性评估机制,为柔性手最优抓取点选取提供科学依据。
(3)为实现柔性手柔顺可靠的控制性能,建立基于径向基函数神经网络的非线性回归预测模型(RBF1和RBF2),着重提出基于最小抓取力的智能力控算法。通过试验验证方法的可行性和有效性,证明其在机器人抓取未知物体方面的优势和潜力。
(4)抓取的质量还应考虑抵抗外界干扰的能力,如外部冲击力和机器人加速度等,这将是未来研究工作的重点。