远程控制超声扫描的远端操纵系统
2020-03-25,,,,,,,
,,,,,,,
(1.上海交通大学机械系统与振动国家重点实验室,上海 200240;2.上海交通大学医学院附属瑞金医院,上海 200025;3.上海市瑞金康复医院,上海 200023;4.上海市宝山区大场医院,上海 200436)
0 引言
超声成像技术作为四大医学影像技术之一,由于其价格便宜、操作简便和成像安全等特点而被广泛运用[1],在脏器病变的诊断中提供了高价值的参考信息[2]。而且随着高频超声技术的发展,超声图像的质量正逐步逼近CT(电子计算机断层扫描)和MRI(核磁共振成像),愈发成为社会各界关注和研究的重点。
然而,超声扫描对操作员的技术依赖较高,只有经验丰富的操作员才能得到价值较高的超声扫描图像[3]。在一些二、三线城市或者更为偏远的地区,掌握这项技术的超声扫描操作人员非常稀缺[4]。为了解决这个问题,或是患者前往大医院就医,亦或是医师赶到当地出差就诊。不论使用哪种方式,都增大了医疗成本,给医患双方造成了许多不便[5]。如今,远程超声扫描技术的概念与发展,使得医患双方可以在异地执行超声扫描,解放了扫描操作的地域限制,极大减少了潜在的医疗成本。
国内外已开展了许多关于远程超声扫描的研究与探索。Sengupta等[6]利用鼠标键盘在远端控制七自由度机械臂来夹持超声探头对近端的患者执行超声扫描,验证了远程超声扫描在实时控制上的可能性;Seo等[7]改进了近端超声探头的夹持装置,使用并联结构使得探头可以在小范围内适应皮肤的曲率;Adams等[8]利用操纵杆在远端控制超声探头在小范围内的位姿,而在近端辅以另一位医师控制超声探头的大概位置和压力大小,增强了远程超声扫描的鲁棒性。在国内,华大智造[9]研制了一款远程超声诊断系统,利用六自由度机械手夹持超声探头扫描,并反馈实时超声图像供医师诊断;中国人民解放军总医院海南医院[10]则利用5G通讯网络,进行了首例基于5G的远程超声扫描演示。国内外的研究从不同的角度验证了远程超声扫描的可行性,并提出了有效的实施方案和改进措施。不过,目前远程超声扫描主要由远端传输控制信号,近端机械臂只能执行复现和防护的功能;而且远端操作设备相对简单,尚无将远端模拟超声探头上的压力实时反馈到近端患者的皮肤上,降低了医师操作的临场感,给实际的扫描工作带来了不便。
因此,本文研制了一种远端超声探头操纵系统,通过各种传感器实时反馈模拟超声探头的位姿和压力信息;在此基础上,使用阻抗控制的方式将垂直于皮肤表面的压力控制交由近端机械臂自主完成,其余5个自由度则由远端操作员控制,使得近端超声探头在复现远端操纵器位姿的同时,还能跟踪模拟超声探头的压力,以期为远程超声扫描的进一步优化提供参考。
1 远端操纵系统的设计
1.1 系统结构
远端操纵系统包括模拟超声探头和模拟皮肤平台2个部分。医师手持模拟超声探头在模拟皮肤平台上进行扫描动作,系统将实时采集扫描过程中模拟超声探头的位姿以及与模拟皮肤平台间的压力,并传输给近端机械臂控制器来完成远程超声扫描。
为了采集相应的数据,远端操纵系统采用了3种传感器,分别是红外线传感器、陀螺仪和压电传感器,如图1所示。其中,红外线传感器通过光线反射测距的原理,可以测量出指定平面内遮挡物的二维坐标xr和yr;陀螺仪随着模拟超声探头一同旋转,可以实时获取模拟探头的姿态,使用轴角方式可以表示为3个变量rxr,ryr和rzr;压电传感器分布于模拟超声探头前端,可以在探头处于不同姿态的情况下测得探头和皮肤平台间的压力FNr。这六维数据通过3种传感器实时采集到后,便可以作为控制参考值传输给近端机械臂的控制器。
图1 远程操纵系统采用的传感器
研制的远程操纵系统结构如图2所示,主要包括探头外壳、陀螺仪、压电传感器、仿人皮肤、红外线传感器,以及压板外壳。为了测量模拟超声探头的姿态,陀螺仪必须放置在探头内部才能随其一同旋转;而压电传感器用以测量表面间的挤压力,需要相对均匀地分布在模拟探头与模拟皮肤平台接触的表面上,如图2a所示。为了获取模拟探头在模拟皮肤上的位置信息,将红外线传感器放置在仿人皮肤上并用压板固定在一起,如图2b所示。
图2 远程操纵系统结构设计
1.2 数据传输
除了信号采集外,远端操纵系统还需要将采集到的信号发送给近端机械臂控制器来进行实际超声探头的控制。数据在传输层使用了TCP/IP协议来对目标主机进行寻址和可靠通讯,在应用层则需要自行设定通讯协议来完成整个通讯流程,如图3所示。
图3 远程超声扫描的通讯流程
该流程可以分为3个部分,分别为建立通讯、保持通讯和结束通讯。建立通讯阶段:远端系统发送建立通讯信号给近端控制器,控制器收到信号后确认通讯建立,并将RSA公钥发送给远端系统;远端系统接收到确认信号和RSA公钥后,利用RSA公钥加密AES密钥,同时利用AES密钥加密初始的位姿信息(xr0,yr0,rxr0,ryr0,rzr0)一并发送给近端控制器,近端控制器记录相关密钥和初始状态后等待后续控制指令。保持通讯阶段:远端系统以56 ms为通讯周期向近端控制器发送控制指令,近端控制器则以8 ms为控制周期对机械臂进行控制;每当近端控制器收到指令后便刷新实时控制指令下达给机械臂,否则保持前一次收到的控制指令状态。结束通讯阶段:远端控制器发送结束通讯信号给近端控制器,近端控制器接收到后立即停止双端通讯;如果在保持通讯阶段近端控制器持续1 000 ms未收到控制指令,则自动停止双端通讯。
2 阻抗控制器设计
为了使得近端真实超声探头和皮肤间的压力FN能够跟踪上远端传输过来的参考值FNr,需要对FN进行反馈闭环控制。
阻抗控制方法在机器人顺应性控制中有着广泛的应用。本文采用了阻抗控制的方法,来保证近端真实超声探头和皮肤间的压力跟踪效果。根据阻抗控制方法设计的控制器具有如下的一般形式:
(1)
M,B和K分别为控制器的惯性、阻尼和刚度矩阵;ΔX及其各阶导数分别为受控变量位置、速度和加速度误差;ΔF为受控力误差。
由于超声探头在扫描过程中,基本与皮肤保持法向垂直,因此可以将探头和皮肤间的压力FN看成是一维力信号,受控变量则为探头到皮肤间的距离l,那么式(1)可以被改写为
(2)
在实际控制中,由于机械臂不反馈末端加速度信息,因此在设计控制器时忽略式(2)中的m。此外,令超声探头到皮肤距离的参考速度为0,可以简化式(2)为式(3),其中lc为当前控制周期下达的指令:
(3)
根据尝试性实验可以定出较为合适的控制器参数k和b来达到力跟踪的目的。进一步,将控制指令lc与远端系统发送的位姿Tc相结合,并转换为超声探头的位姿Pr作为机械臂控制系统的输入,即可得到远程超声探头协作控制流程,如图4所示。
图4 远程超声探头协作控制流程
3 实验验证
3.1 实验平台
根据前几节的描述,搭建实验平台对超声探头的远程控制进行验证。实验平台主要包括远端控制系统、近端控制系统和网络传输构件3个部分,如图5所示。其中,平台构件包括模拟超声探头、模拟皮肤平台、远端控制主机、远端程序显示器、现场及超声图像显示器、串联机械臂、六维力传感器、近端控制主机及摄像头、近端程序显示器,以及实验用甲状腺体模。
远端控制系统包括远端操纵系统、远端控制主机和远端控制程序3个部分,如图5a所示。远端操纵系统如前所述包括模拟超声探头和模拟皮肤平台;远端控制主机包括远端控制计算机及其输入输出设备。近端控制系统包括六自由度机械臂及其控制系统,如图5b所示。网络传输构件包括远端和近端的控制主机以及中间路由器,其数据传输如图5c所示。
图5 远程超声扫描实验平台
3.2 远程人机协作控制
实验过程中,操作员操纵模拟超声探头进行扫描,近端机械臂则夹持真实超声探头在甲状腺体模上复现操作员的动作,如图6所示。
记录探头的实时位姿,同远端发送的指令进行对比就可以得到远程控制的效果。扫描过程中,某段时间内探头位姿的变化曲线如图7所示。由图7可知,模拟超声探头的位姿和真实探头的位姿基本一致,但存在一定的误差。误差一方面来自于网络传输延时,如图7a中远端发送和近端接收时刻曲线所示;另一方面来自于控制延时,如图7b至图7f中发送指令和实际位姿间误差所示。整体上,远程控制的位置误差大致保持在±2.0 mm以内,姿态误差大致保持在±1.5°以内,完全满足远程控制的要求。
图6 远程超声扫描实验过程
图7 远程控制超声探头位姿误差
3.3 压力跟踪效果
此外,实验过程中还记录了远端采集的模拟探头压力和真实探头实时压力来观察压力跟踪的效果,如图8所示。图8中的模拟探头的压力曲线由人为施加所得,可以看出:当所要跟踪的压力曲线呈现较为频繁的变化时,真实探头仍然能基本跟上其变化的趋势,保证误差大致在±0.5 N以内,能够满足力曲线跟踪的目的。
图8 压力跟踪效果
4 结束语
本文研制了一种由模拟超声探头和模拟皮肤平台构成的远端超声探头操纵系统,通过3种传感器实时采集模拟超声探头的位姿和压力信息,并用来远程控制近端机械臂进行实际超声扫描。操作员远程控制超声探头的5个自由度(3个旋转自由度和2个平行皮肤表面的平移自由度),而由机械臂通过阻抗控制方式自主完成垂直于皮肤表面的平移自由度来实现人机协作的总体控制模式,增强了远端操作员的临场感。实验表明:所设计的远端操纵系统完全可以胜任远程控制超声探头的任务,而由机械臂自主控制探头压力则具有远高于人手的精度,不但利于超声扫描成像,而且也更为安全。从远端操作员的角度来说,将远端模拟超声探头的手感远程传输到近端,并实时地施加到真实皮肤上,其临场感得到大幅提升,还进一步增强了远程超声扫描的安全性。