基于模仿学习的气管插管机器人非结构环境作业策略
2022-08-19许德章
曾 海,许德章
(1.安徽工程大学 人工智能学院,安徽 芜湖 241000;2.芜湖安普机器人产业技术研究院,安徽 芜湖 241000)
气管插管术是由一组精确且复杂的动作组成,利用机器人插管需将喉镜、导管等用具置入咽喉中,在非结构且密闭的操作空间接力协同完成气管插管操作,对机器人的灵活性和安全性提出了特定要求。当前在临床上还需依赖专业医护人员完成插管操作,但在突发重大公共卫生事件中,难以应对大量的患者,因此采用机器人完成气管插管手术具有良好的应用前景。
2010年,Tighe等[1]利用达芬奇机器人,完成了机器人模拟人气管插管实验,开创了机器人气管插管的先例,但达芬奇机器人研发的初衷在于完成精细的微创手术,其体积庞大,结构复杂,价格昂贵,不适宜气管插管的专项作业需求。2012年,Hemmerling等[2]研制了一种气管插管机器人,命名为开普勒机器人(KIS),利用模拟人和动物开展了可行性实验研究,取得了初步成功,但单个机械臂的操纵能力难以完成复杂和精细的气管插管操作,在插管过程中缺少力和触觉感知,以及柔顺操作等功能,将导致患者气管的严重损伤,存在重大安全缺陷。2018年,潘铁文等[3]、王新宇等[4]研制了一款遥操作气管插管机器人系统,并申报了发明专利,但工艺简单,学生作品的痕迹明显,缺少伸入上呼吸道内完成复杂、精细操作的灵巧手,功能并不完善。
通过设计较传统6轴机器人具有更好灵活性和位姿多样性的七自由度的双臂协作插管机器人,利用改进DH参数法建立运动学模型[5-6],分析运动学正解,运用蒙特卡洛法,分析机器人双臂协作空间[7-8],满足双臂插管作业空间的需求;并通过搭建运动捕捉平台[9-20],准确获取医务人员插管期间手臂位姿变化数据,选用数值迭代逆运动学分析方法[13-16],求解各轴关节角变化,提出一种可面向多类型操作对象[17-20]的作业策略,通过对插管动作数据的模仿学习和更换不同规格的喉镜,实现对插管动作的模仿并适应不同的操作对象[21-22],旨在为机器人在非结构密闭环境中示教作业提供新方法。
1 机器人双臂运动学模型的建立
1.1 双臂机器人连杆和坐标系的建立
六自由度机器人理论成熟,控制方便,虽然能满足空间位姿控制,但末端位姿有限,操作灵活性不高,难以胜任在上呼吸道内的精细操作要求。为了开发满足气管插管作业的机器人,最好的方法是参照医务人员双臂动作(见图1),采用拟人操作技法,确定气管插管机器人的构型和功能。根据人体解剖学和仿生学原理,将人体手臂分为肩关节、大臂、肘关节、小臂、腕关节5个部分,设计了单臂具有七自由度,双臂共十四自由度的机器人。利用solidworks进行双臂机器人三维建模并建立坐标系(见图2)。
图2 双臂机器人三维模型及坐标系
1.2 插管机器人DH参数的确立
选用改进DH参数法,确立了插管机器人的DH参数(见表1)。使用MATLAB Robotics Toolbox建立运动学模型(见图3),奠定协同空间分析的基础。
图3 双臂机器人运动学模型
表1 双臂机器人DH参数
1.3 机器人正向运动学求解
两相邻连杆的位姿变换可表示为:
将DH参数表对应的参数代入(2)式,则可得到各个连杆的变化矩阵,其中,ci表示cosθi,si表示sinθi,cαi表示cosαi,sαi表示sinαi。
将每一个连杆的变换矩阵连乘,得到坐标{N}相对于坐标{0}的变换矩阵:
所以,从基座到机器人末端的变换矩阵为:
其中:
求解以上单臂七轴运动学正解,得到位姿方程,即在关节变量已知的情况下,可确定机器人任一瞬间的位姿。
2 机器人双臂协同空间分析
2.1 单臂工作空间的求解
利用蒙特卡洛法随机数法,求解双臂工作空间。Pl表示左臂末端位置,Pr表示右臂末端位置,(Plx,Ply,Plz)表示左臂末端位置坐标,(Prx,Pry,Prz)表示右臂末端位置坐标,θi表示关节角,θmin、θmax表示关节角变化范围。
左右两臂末端位置的空间可表示为:
2.2 双臂协同空间的求解
插管机器人左臂、右臂的末端,能共同到达点的集合,形成了双臂机器人的协同空间,考虑到双臂运动的实际情况,以及方便协同空间表达,双臂末端位置设定了一定的容许误差,即Δx、Δy、Δz,左臂、右臂末端位置差小于容许误差的点,判定为双臂协同空间中的点。
双臂协同空间可表示为:
双臂机器人协同工作空间如图4~图7,最大长度为1600 mm,最大宽度为1200 mm,最大高度为1200 mm,满足双臂插管动作范围。
图4 双臂机器人工作空间轴测视图
图5 双臂机器人工作空间的X-Z视图
图7 双臂机器人工作空间的Y-Z视图
图6 双臂机器人工作空间的X-Y视图
3 插管轨迹获取
3.1 气管插管手术技法分析
临床医学实践中,气管插管操作已形成一套成熟的技术规范,包括术前准备、手术步骤、术后护理和注意事项等,手术主要步骤如图8所示。
图8 气管插管手术主要步骤
3.2 气管插管动作捕捉平台搭建
如图9所示,动作捕捉平台由瑞典的Qualisys三维运动捕捉系统、工作台、气管插管手术套装、插管假人模型组成。其中,三维运动捕捉系统由6台高速相机和数据处理软件C3D组成。
图9 运动捕捉系统
气管插管对象为假人模型(见图10),气管插管手术套装用具包含喉镜、钢丝、导管、注射器、固定器、气囊。按照动作捕捉系统的要求,将标记小球贴到手臂及上半身指定位置,保证了所测手臂空间位置的准确(见图11)。
图10 插管假人模型及插管用具
图11 标记球位置
3.3 双臂插管末端位姿分析
插管过程中,置入喉镜、打开声门的步骤最为重要,三维运动捕捉系统只能获取空间位置,但要获取手臂末端的位姿,还需分析喉镜姿态,在医务人员置入喉镜时,分析了喉镜的关键帧姿态,如图12所示,得到关键帧双臂末端姿态的表达式。
图12 喉镜及手臂的位姿变化
如图13所示,在插管过程中,捕捉双臂末端位置变化,筛选手臂动作的关键帧,获取关键帧末端位置的三维坐标,结合上述双臂末端三维空间坐标及末端的姿态,得到双臂末端的位姿表达式及位姿变换矩阵,为求解关节角提供数据。
图13 手臂末端空间位置坐标的变化曲线
为方便计算,如图14所示,选取位姿1、位姿2、位姿3进行分析,表示喉镜的位姿变化。基坐标和喉镜的位置如图15所示,喉镜位姿的变换可视为绕Y轴旋转,位姿1相对于基坐标的夹角为θ1;位姿2相对于位姿1的夹角为θ2;位姿3相对于位姿2的夹角为θ3,(a1,b1),(a2,b2),(a3,b3)分别为位姿1、位姿2、位姿3在Z轴和X轴方向移动的距离。
图14 置入喉镜时手腕的位姿变化
图15 喉镜的位姿变化
确定基坐标系,位姿1表达式R1为:
位姿1到位姿2的变换矩阵可表示为:
位姿2到位姿3的变换矩阵可表示为:
相对于动坐标系的位姿变换,将变换矩阵右乘,得到位姿2表达式R2,位姿3的表达式R3。
由插管机器人各关节角关系可得式(20)。关节角求解模型如图16所示,采用数值解的方法,使用MATLAB Robotics Toolbox中的ikine()函数,适用于各种关节数目的机械臂,通过设定上述求解得到的位姿1、位姿2、位姿3,求得机器人左臂置入喉镜的运动学逆解,得到机器人左臂从位姿1变换至位姿3的各关节角随时间的变化。机器人各关节角的变化曲线如图17所示。
图16 关节角求解模型
图17 手臂关节角的变化曲线
3.4 作业策略分析
虽然不同人体的呼吸道内腔构型具有一定差异,但是由于人体呼吸道内腔具有较好的弹性,所以可将个体间呼吸道内腔的构型差异视为等比例缩放。因此,收集成人模型插管操作的动作样本,运用数值法求逆解,得到手臂的关节角变化,即可求解机器人运动学正解。面对不同操作对象的插管手术,只需更换末端不同型号的喉镜,将运动学正解运用到不同的插管对象,作业策略如图18所示。
图18 插管作业策略
本研究采用MATLAB软件的Robotics Toolbox进行仿真实验,以验证插管作业策略的可行性。如图19所示,更换小尺寸喉镜,改变机器人末端的工具坐标系,利用在插管模型上的样本数据,求解插管作业的动作,获取小尺寸喉镜的末端轨迹。比较两种类型喉镜的末端轨迹,得到两者趋势相同,整体尺寸符合小尺寸插管对象的呼吸道内腔尺寸。在现实插管作业中,人体的上呼吸道内腔具有一定的弹性和扩张,所以插管轨迹的微小尺寸误差不会对人体呼吸道内腔造成伤害。
图19 不同尺寸的喉镜
更换喉镜后,末端工具坐标系产生变化,机器人置入喉镜时,左臂的关节角变化如图20所示,角度变化曲线平滑,说明机器人在插管作业时动作平稳。
图20 手臂关节角的变化曲线
机器人左臂置入喉镜动作过程如图21所示,机器人动作与医务人员实际插管动作对应,实现了动作范围最优,关节角度变化最小的操作要求,更换喉镜后的的机器人末端轨迹如图22所示,符合人体口咽喉的通道轨迹,验证了上述作业策略的可行性。
图21 左臂插管动作仿真
图22 喉镜末端轨迹
4 结论
本文通过分析人的手臂,设计了一种七轴双臂机器人,其具有冗余的自由度,使得在同一位置下具有更多种位姿的可能,提高了机器人插管动作的灵活性,模拟了医务人员插管作业流程,缩短了插管作业时间。利用高速相机运动捕捉系统,获取了医务人员标准的双臂插管动作数据,运用标准的插管数据,配合不同尺寸的喉镜,实现了机器人可对多类型操作对象进行插管作业,为传统示教编程方法在呼吸道内腔环境难以示教的问题提供了新的解决思路。并借助仿真软件分析,验证了该策略的可行性。文中只选取了少量点进行轨迹规划,今后进一步研究中将利用视觉或CT等辅助工具,获取插管作业对象的呼吸道内腔构型,提高插管动作的精确度,降低机器人插管作业的风险,提高双臂插管机器人的通用性。