基于卷积神经网络的手术机器人控制系统设计

严 南，温爱红，王 琼

(成都理工大学 工程技术学院，四川 乐山 614007)

0 引言

当今一个国家的发展水平高低，在很大程度上取决于该国的医疗水平，人们对医疗质量的要求也随着社会生产力的发展和人民生活水平的提高变得越来越高[1]。在当前环境下，国际机器人领域的一个研究热点为医疗机器人技术，它作为一种新型的交叉研究领域，集医学、机器人学、机械学、生物力学、计算机技术等诸多学科为一体[2]。先进机器人技术已经在很多方面得到了非常广泛的应用，包括医疗方面的手术规划模拟、微损伤方面的精确定位操作、无损伤方面的诊断与检测、新型手术医学方面的治疗方法等。手术机器人的系统实时性和安全可靠性有着非常高标准的要求，主要原因是因为手术机器人的工作环境非常复杂并且需要和患者进行亲密接触[3]。

医疗机器人主要的工作是辅助医生来完成一些特殊、复杂、难操作的手术，因为它本身具有定位准确、运行稳定、结构灵活、工作范围大、不怕辐射、易于消毒等优点[4]。机器人的使用在很大程度上提高了手术质量与安全性，因为结合医生丰富的手术经验和机器人稳定、灵活等以上操作优点，可以有效缓解医生由于手术疲劳等导致的手部抖动等危险因素。如今，工业机器人要靠提前建立好的实际物体来进行模型的抓取，然后将其整理为数据库，但是建立准确的数学模型对于机器人在非结构化的环境中进行手术是很难实现的。通过结合机器人和手术技术，人类医学文明的发展在一定程度上起到了推进的作用，由于有了微创机器人，通过该类机器人的使用,传统的微创手术变得更加安全可靠，病人的术后痛苦和负担也随着得到了大幅度的减少。为了在不断移动的手术过程中，可以高效掌控器械的移动，一种基于卷积神经网络的手术机器人控制系统设计需要被设计提出。

1 基于卷积神经网络手术机器人控制系统总体设计

手术机器人卷积层的输入，末端执行器同相关目标位置的图像都要求作为输入内容输入到每个控制时刻里面,以确保机械爪手术的安全性[5]。为了获得执行器与目标之间的相对位置，需要调整网络权重与偏置，该调整是依靠卷积神经网络强大的图像处理能力并在在策略搜索算法的监督下完成[6]。在搭建卷积神经网络策略时，神经网络连接层输入关节角和角速度可以避免由于无法通过图像实时获取机械臂的各关节信息所带来的危害。基于卷积神经网络的手术机器人控制原理如图1所示。

为了使在构建卷积神经网络视觉层时图像特征与机械臂关节状态的数值相近，需要把图像特征的维度做降低处理，也要缩放其数值，那么就要在处理好所输入的图像后，在视觉层的最后加入一层全连接层，以确保可以及时重组图像中的特征[7-9]。将视觉层所输出的图像和关节的状态信息输入到两层全连接层中,接着将策略搜索的控制器进行对拟,电机的控制层同样由以上两部分组成，该时刻的关机控制量由卷积神经网络输出[10-11]。

组织层、协调层、执行层是结合手术机器功能要求和特性构成了机器人系统的三部分，组织层是由图像处理卡、上位机组成的，负责处理用户界面和任务规划；协调层是由采集卡、处理卡组成的，负责相应数据采集与希特调；执行层是由执行设备组成的，各个运动关节驱动是该层所执行的任务[12]。三者之间的关系如图2所示。

图2 控制系统总体结构示意图

机器人视觉系统是由双目视觉和图像处理卡组成，而双目视觉是由两个CCD组成；机器人的触觉系统由力、位移传感器和数码盘等组成;机器人的每个关节由电机控制和驱动器卡、驱动器等部分组成[13]。

2 系统硬件结构设计

手术机器人控制系统整体框架如图3所示。

图3 手术机器人控制系统整体框架

患者病痛部位的摄像工作由CT或MRI影像设备完成并展现给所对应的手术医师，患者的二维或者三维影像模型是在计算机辅助导航系统构建出来的。系统配套硬件不仅可以帮助医师判断并标注出患者的病灶点，还可以帮助医生在该模型上规划设计出合理的手术路线以及进行手术进程的模拟。负责机器人末端工具的定位，可以反馈给系统实时信息，控制机器人运动是系统设计的重点[14-15]。

2.1 CAN适配卡

上位机的PC机PCI插槽上直接内插凌华公司的CAN适配卡，内存地址和硬件中断号作为标准内存直接由计算机自动分配。C++编写的Lib库和DLL库是适配卡的驱动程序提供的，用户想要进行上位机用户界面的编程，需要调用驱动程序提供的函数，这时只要把头文件包含进来即可[16]。

下位机由3个节点组成，其中的一个节点负责采集、处理及分析传感器信号，接着把经过处理的信号进行量程转换,再进行越限判断，最后把相应的标志传输到控制运动的节点上。为使机器人运动到相应的位置和姿态，就需要另外两个节点，这两个节点主要控制机器人的关节驱动。即使在系统运行期间网络或主机发生故障，也能确保机器人不会失控，因为系统其他节点都能够进行独立的运动。图4是关节驱动节点结构框图。

图4 关节驱动节点结构框图

各节点为了满足系统要求和开发环境的选择，选用了飞利浦的80C592和82C250控制器,同物理总线间接口一起,把总线的差动和接受的能力通过高效快速的方式提供给相关控制器。为了使系统不受瞬态冲击信号的影响，总线的驱动能力和系统的抗干扰能力得到提高，系统节点的微控制器采用P80C250与CAN总线连接的方式。

2.2 持镜臂

手术的视野问题是手术操作最为重要的问题，需要最先解决。持镜臂提供了整个手术的视野，医生则是要对整个过程之中发生的视野变化做出合理的改变。同时为了使医生可以在符合最佳人机互性视觉反馈下进行便于常态思维下的习惯性操作，医生希望持镜臂可以在当前提供的视觉基础上进行上下、左右、前后的运动的手术视野。通过以上介绍，基于当前视觉通过移动持镜臂得到的期望视觉的运动方式如图5所示。

图5 持镜臂基于视觉的运动示意图

基于视觉的持镜臂视窗运动通过沿x，y，z轴移动的三类运动方式的矢量叠加即可实现，在该视觉的基础上，获得的运动模式是在相对运动的基础上提出的。所以，需要提出可以满足运动要求的持镜臂的运动方法。

2.3 传感器

2.3.1 力传感器

FN3002力传感器是一种电子元件，它可以把力信号转变为电信号输出。力敏元件(即我们所说的弹性体，最常见的材料是铝合金，合金钢和不锈钢)、转换元件(电阻应变片为最普遍的一种)和电路部分(多为漆包线，pcb板等)三部分组成。

FN3002力传感器具有结构紧凑的特点，它的标准量程是从10～2 000 kN，其输出为±20 mV；量程为 10 k～2 000 kN；高性能双螺栓作为其封装；-40～150 ℃的工作温度范围，并具有±5% F.S的精确度。

2.3.2 位移传感器

位移传感器属于金属感应的线性器件，又被称做线性传感器，将被测物理量转变成电量是传感器的作用。与物体位置在运动过程中移动有关的量称为位移，它的测量方式具有极其广泛的涉及范围。

电位器移动端的电阻变化是由物体的位移引起的，位移量值通过阻值的变化量显示反映，而位移的方向则是由阻值的增减表示。为了可以把电阻的变化转变为电压输出，一般把电源电压接到电位器上。线绕式电位器的输出特性呈阶梯形，是因为它的电刷移动时的电阻由匝电阻为阶梯变化。在制作电位器时要尽可能的减小每匝的电阻值，如果伺服系统中的位移反馈元件使用这种位移传感器，那么它过大的阶跃电压就会让系统产生振荡。位移传感器接线方式表1所示。

3 系统中软件系统设计与实现

控制系统的性能由软件部分的功能和可靠性决定，所以整个设计工作最不可或缺的则是控制系统的设计，因为它决定了整个机器人系统功能的实现和运行的可靠性。

CNN是先如今最为广泛应用的模型结构，它作为一种深度神经网络结构，建立在神经认知机模型之上。CNN在确定模型参数时需要通过前向传播和反向传播，获取和输出目标的误差需要通过前向传播来实现，而参数的确定则是需要通过高效的反向传播训练算法来实现。输入层、卷积层、池化层、全连接层和分类层构成了一般的CNN模型，在CNN中通过局部的进行连接卷积层和小同的卷积核，将由输入数据产生的特征输出，该输出经过池化层降维，接着全连接层和分类层会对目标的误差进行获取和输出，再反复地对新CNN中相邻层神经元之间的连接权值进行反向传播算法计算，进而达到输出目标误差缩小的目的，以实现整个模型参数的训练。

3.1 持镜臂运动控制

医生在手术进行过程中相对前视窗提出的位姿是医生所希望的目标视窗，也就是要求持镜臂要以当前坐标系为基系运动，而不是基座坐标系。为此需要将持镜臂的基本运动方法建立出来，且该方法需要建立于视觉运动之上，图6为其技术框图。

图6 持镜臂运动控制框图

该原理为持镜臂工具坐标系下的运动学逆解求解过程，即在已知末端位姿的情况下，进行求解不同关节的移动或转动所产生的变量。它与求解持镜臂在自身运动学下逆解还是有一定的区别的，主要区别为持镜臂末端的基座坐标系与持镜所在的工具坐标系相同，该基座坐标系为持镜臂末端在其本身原有的工具坐标系下运动的运动学模型坐标系。这就要求把持镜所在工具坐标系映射在持镜臂基座坐标系中，然后在持镜臂本身已有运动学逆解中输入末端位姿，这就得到了所需的各关节转动(或移动)量。

3.2 软件控制

软件是采用VC++6.0开发设计的，运行在 Windows2000 系统中，各子功能模块所需完成的主要任务有：1)发生由定时采集得到的主手信号或者是操作人员手工输入的信号，进行从手关节的运动控制命令和控制参量;2)对各个关节的运动状态进行周期性的读取，并在PC 主窗口显示相关工作区域的图像;3)对DSP软件通过切换所提供的工作方式进行引导和加载引导加载;4)为实现与MCU DSP的通讯，需对PCI驱动例程进行调用，随之需要将其封装成接口函数，以便其它软件模块使用。上层软件的主要核心部分为命令处理。要在得到命令源下达的命令之后，根据状态的反馈决定是否执行该命令。如果止向限位状态信号是由下位机发出的，所对应的一整条路上的止向运动命令全部都会被屏蔽掉;负限位同上所诉，只要故障信号一出现，不管什么运动命令都会被全部禁止。为了避免抖动或者误操作主手现象的出现，需进行主手信号进行门槛值的设置和规范化。

4 系统运行实验

基于卷积神经网络的手术机器人控制系统是一个复杂实时控制系统，影响系统正常运行因素较多，其安全稳定运行是首要条件。

4.1 机器人系统实验平台

手术机器人控制系统采用主从控制方式，在机器人帮助下观察病人体内图像，在实时控制系统下，以1 500 Hz控制周期实现异构主从操作的主从映射。

从操作手被动支架部分还处于手术操作过程中，课题采用卷积神经网络算法，根据手术步骤和患者术中的各项指标，设置了操作手各项手术动作控制程序，该程序通过机器人视觉的持镜臂视窗功能启动。为了防止机器人在错做过程中出现指令失败，影响术中患者生命安全，因此，设计的实验对象为主操作手、从操作手及末端工具。

4.2 关节角度曲线分析

分析两个关节轨迹规划前后角度变化曲线，如图7所示。

图7 两个关节轨迹规划前后转角曲线分析

由图7可知：经过轨迹规划后得到的持镜臂关节转角是以平滑曲线进行的轨迹运动，通过对比分析可知规划后的角度与规划前基本一致。

4.3 持镜臂轨迹规划曲线对比分析

假设Y轴轨迹点410-轨迹点450作为轨迹长度参照，在447位置设置期望规划路线。采用课题系统和传统系统规划路线，观测连中系统与期望规划路线的拟合度，结果如图8所示。

图8 两种系统轨迹规划路线对比分析

由图8可知：采用基于卷积神经系统与期望规划值基本一致，拟合度为100%，而采用传统系统与期望规划值相差较大，拟合度仅为20%。该实验结果证明了基于卷积神经网络的手术机器人控制系统研究的正确性，同时，也证明该系统可以有效提高持镜臂实际控制精准性。

5 结束语

由于手术机器人有着高精度、高灵活性的操作等特点，与传统手术相比，可以在操作上大幅度的减少医生由于过度劳累给手术带来的影响。所以在手术机器人的技术及本身的研究方面是有着实际的研究价值的。手术机器人的使用，在临床方面有着非常好的前景，因为它使CT或MRI设备的应用范围从原始的医学检查已经扩展到了临床治疗领域，不仅使已有的医疗诊治设备得到了更加充分的利用，也使我国现如今的微创技术得到了一定的推广，一方面降低了微创诊疗的成本，另一方面也在打开技术瓶颈上起到了一定的作用。通过上述方案，使得手术机器人多臂系统协调运动问题得到了解决，但是在手术机器人的实际操作中，还是有很多问题需要验证与完成：

1)在条件允许的前提下，需要对上述运动方案和轨迹的实际性与正确性进行结合样机的实验。

2)为了使医生可以对病灶区域的手术动作进行更好的操作，建立持械臂末端微器械与主手之间的力反馈系统。

3)为了可以更好地、科学地、方便地、智能地预测腹腔镜需要视野，提出了可以自动预测腹腔镜调整位姿的计算方法。