基于深度学习的静脉留置针穿刺点智能定位方法

贾海晶，郭克友

(北京工商大学 材料与机械工程学院,北京 100048)

1 引 言

静脉留置针[1]是临床医学上为减轻反复扎针给患者带来痛苦而设计的装置，目前的穿刺术中，护士眼观及手触确定穿刺靶血管，预估穿刺点位置和进针角度，手动穿刺。穿刺成功率取决于护士经验和患者血管条件，对于靶血管处脂肪较厚、水肿、靶血管较细或皮肤弹性较差等条件较差的血管，穿刺成功率难以保证，因此，智能静脉穿刺器的研究是医疗领域的必要课题。智能穿刺指运用图像识别技术自动定位超声图像中穿刺靶血管，结合留置针的穿刺角度，确定留置针在预穿刺患者皮肤表层上的穿刺点的物理位置以及留置针的进针距离，进针距离发送至机械手臂控制器，机械手臂驱动留置针自动穿刺。本研究将经外周静脉置入中心静脉导管(PICC)[2]穿刺术中的超声引导机制引入静脉留置针穿刺，提出一套智能定位穿刺点的解决方案。

2 超声图像中血管的自动定位

超声图像中血管定位指获取血管半径和深度信息。目前获得信息的方法有两种，一是护士通过超声系统提供的中心网格进行预估，见图1。二是手动标注出两点，超声系统给出两点的直线距离，见图2。前者存在较大观测误差，后者依赖护士辅助标注。超声系统尚未提供超声图像中血管的自动定位功能，并不意味着该功能无法实现。本研究基于深度学习算法Faster RCNN实现超声图像中血管的自动定位。

图1中心网格法示意图

Fig1Centralgridmethod

图2手动标注法示意图

Fig2Manuallabelingmethod

2.1 Faster RCNN

Faster RCNN[3]是基于卷积神经网络(convolutional neural network，CNN)的目标检测算法，由Fast RCNN[4]和RPN(region proposal network，RPN)两部分组成。RPN取代传统的选择查找算法[5]生成众多候选区域， Fast RCNN对候选区域进行分类和边框回归。Faster RCNN通过交替训练实现特征提取和候选区域提取网络的参数共享。本研究借助交替训练实现自然数据集到医学数据集的特征迁移，在有限训练样本情况下，实现超声图像中血管检测模型的训练。

2.2 血管检测器的训练

理论上Faster RCNN中的CNN可设计成任意数量的卷积、池化、RELU操作的组合，但医学图像获取较难，该领域使用的深层学习网络[6-8]通常比常用的CaffeNet要低2～5个数量级。静脉超声图像获取相对容易，故可使用较复杂的CNN架构。ZF[9]包含5层卷积+池化，其特点是卷积时用较小的卷积核对图像滤波，保留更多的原始像素信息。VGG-Net[10]增加现有CNN架构的深度。

本研究使用SonoStar公司线阵10.0 MHz无线超声系统，采集5000张上肢贵要静脉超声图像作为试验数据集，训练和测试样本各占50%。训练结果见图3，网络经过多次迭代后，ZF+原图模型的AP=0.7983，VGG16+原图模型的AP=0.8056。两种模型的AP值均较低，原因来自于样本标注环节：(一)穿刺过程中，穿刺点最终停留在穿刺中分线上(见图4中绿线)，在原始图像的标注过程中，主要关注了圆心位于中分线附近的静脉，导致边缘的静脉被忽略；(二)B超机设定的聚焦位置为深度1.5 cm，位置较深的血管成像条件较差，标注时疏于关注。

图3 Faster RCNN训练PR曲线图

Fig3PRcurvesusingdifferentCNNmodels

图4 穿刺中分线和感兴趣区域示意图

Fig4Puncturemidlineandregionofinterest

结合上述分析，截取超声图像中一定的感兴趣区域(ROI)进行标注，ROI的位置见图4所示白色矩形区域，大小为230×300像素。训练Faster RCNN，结果见图3，ZF+ROI模型的AP=0.891，VGG16+ROI模型的AP=0.896。去除原始图像的多余信息后，模型的AP值提高。

2.3 血管检测中的非极大值抑制

Faster RCNN检测过程中，RPN网络对230×300像素的样本提取17550个候选框，丢掉小于16×6像素的候选框后的17300余个候选目标并不需要全部送入Fast RCNN。非极大值抑制[11](non-maximum suppression，NMS)筛除置信度较低和重叠较大的候选框，避免不相关和相关度不高的候选区域在Fast RCNN过程中消耗时间。

NMS中，取RPN后生成的per_nms_topN个候选框送入NMS，NMS去除大于重叠阈值nms_overlap_thres的候选框，NMS后取置信度最高的前after_nms_topN个候选框送入Fast RCNN。per_nms_topN优化，nms_overlap_thres值应较小，令其为0.7，after_nms_topN的值等于NMS操作后剩余候选框的数量，试验结果见图5(a)，per_nms_topN=2500时，检测器对穿刺靶血管的召回已达到1，安全考虑，优化per_nms_topN为3000。nms_overlap_thres优化，per_nms_topN取上文的3000，after_nms_topN等于NMS操作后剩余候选框的数量，试验结果见图5(b)，nms_overlap_thres≤0.8时，检测器对穿刺靶血管的召回均为1，优化nms_overlap_thres为0.8。after_nms_topN优化，per_nms_topN取上文的3000，nms_overlap_thres的值应较小，取0.7，试验结果见图5(c)，after_nms_topN=100时，检测器对穿刺靶血管的召回达到1，安全考虑，优化after_nms_topN为200。

2.4 血管检测

基于VGG16的血管检测模型的AP稍高于ZF，但在上文优化的NMS下，基于ZF+ROI和VGG16+ROI的Faster RCNN对穿刺靶血管的召回均可达到1。考虑检测过程的时间消耗，基于ZF+ROI的血管检测器检测时间是15.6 FPS, VGG16+ROI为6.5 FPS,选择时间消耗小的基于ZF+ROI的血管检测模型作为最终的静脉超声图像中血管检测器。

3 静脉留置针穿刺点智能定位

图6为PICC人工穿刺示意图，本研究中的智能穿刺采用平面外穿刺，工作平面与PICC穿刺平面一致，为垂直于超声探头的最大截面的中分面，即图7中过点A垂直于探头最大截面的平面。不同的是智能穿刺中放弃使用限制穿刺点位置的固定角度导针器，由机械臂控制器保证穿刺针位于穿刺平面，并根据前文确定的穿刺靶血管位置在穿刺平面内调整穿刺角度，即图6中∠ABC。本研究主要关注如何根据血管检测器检测到的血管自动定位穿刺点C，换言之确定AC的距离。

图5 参数优化试验图

(a).per_nms_topN优化试验图， (b). nms_overlap_thres优化试验图， (c). after_nms_topN优化试验图

Fig5Parameteroptimizationtestchart

(a). optimization test chart of per_nms_topN，

(b). optimization test chart of nms_overlap_thres，

(c). optimization test chart of after_nms_topN

3.1 穿刺靶血管的自动定位

血管检测器检测到超声图像中所有的血管，其中只有一根血管是护士确定的穿刺靶血管(与超声探头的中分线的距离小于5像素)，穿刺靶血管的自动定位即获取穿刺中分线上血管的位置信息。系统通过判断血管的中心与超声探头的中分线的距离，确定血管是否为靶血管。系统对判断结果进行标注，计算穿刺靶血管的物理位置，且给出适当的提示。

图6 PICC人工穿刺示意图

Fig6PICCartificialpuncture

图7 智能穿刺示意图

Fig7Intelligentpuncture

图8 静脉留置针穿刺示意图

当某一血管的中心与超声探头的中分线在静脉超声图像上的距离小于5像素时，在人机交互界面上显示：“找到靶血管，且该靶血管符合穿刺要求”；当所有血管的中心与超声探头的中分线的距离均大于5像素，且若某一血管的中心与超声探头的中分线在静脉超声图像上的距离小于20像素时，提示：“找到靶血管，但该靶血管不满足穿刺要求，请移动超声探头，使血管的中心位于超声探头的中分线上”；若所有血管的中心与超声探头的中分线在静脉超声图像上的距离均大于20像素时，提示“未找到符合条件的靶血管，请移动超声探头位置以寻找靶血管”。

确定穿刺靶血管后，结合静脉超声图像的成像比例尺，计算穿刺靶血管的物理位置。

3.2 穿刺点智能定位

穿刺靶血管自动定位后，定位信息发送至机械手臂控制器，控制器调整穿刺角度。针对不同深度的靶血管，有3种固定的穿刺角度：靶血管深度位于0.5 cm附近，穿刺角度为55°；深度位于1.0 cm附近，穿刺角度为45°；深度位于1.5 cm附近，穿刺角度为35°。

图8为静脉留置针穿刺示意图，超声探头与靶血管轴线方向相切，已知留置针的穿刺角度，穿刺靶血管的物理位置，便可确定留置针穿刺点在皮肤上的位置(AC)以及留置针的进针距离，从而机械手臂驱动留置针自动穿刺。

4 试验

4.1 检测方法对比

为测试深度学习方法对血管识别的有效性，本研究将其与传统的基于机器学习的HAAR特征+级联Adaboost、LBP特征+级联Adaboost、HOG特征+SVM三种检测算法进行对比。

在相同训练样本的条件下，LBP+级联Adaboost的虚警率高，不利于后续筛选穿刺靶血管；HOG+SVM的虚警率较低，但对血管的定位不够精准，不利于量化管径和深度；HAAR+级联Adaboost虚警率较低，且对血管的定位较准确。从对穿刺靶血管的召回和IOU两方面对比基于HAAR+级联Adaboost和Faster RCNN的血管检测器的检测效果，其中IOU为检测框与人工标记框的交集比上两者的并集。结果显示，基于Faster RCNN的血管检测器在召回和IOU两方面的效果均优于传统的检测方法。

4.2 靶血管定位

基于深度学习的超声图像中靶血管自动检测效果见表1，偏离穿刺中分线的非穿刺靶血管用虚线标注，穿刺靶血管用实线框标注，并给出适当的人机交互提示信息。

4.3 智能穿刺试验

在血管超声训练体膜上反复进行穿刺试验，验证了智能定位穿刺点的可靠性以及智能穿刺的有效性。通过伦理答辩后，临床上进行了10例穿刺试验，试验对象是经历过一次人工穿刺失败的患者。智能穿刺成功8例，失败的2例中一位患者有晕针症状，扎针后血管收缩严重，另一位患者血管内成像条件较差导致进针后针尖显影不明显，虽有回血但无法判断针尖停留的具体位置。

表1血管检测器对不同条件血管的检测效果表

Table1Bloodvesseldetectoronthedifferentconditionsofbloodvesselsdetectionresults

成像描述原始ROI图像检测结果提示信息靶血管定位(R,H)血管内成像差找到靶血管,且该靶血管符合穿刺要求R:0.181 cmH:0.80 cm多根血管找到靶血管,且该靶血管符合穿刺要求R:0.154 cmH:1.72 cm血管壁不清晰找到靶血管,且该靶血管符合穿刺要求R:0.179 cmH:1.62 cm血管融合找到靶血管,且该靶血管符合穿刺要求R:0.160 cmH:0.51 cm血管偏离未找到符合条件的靶血管,请移动超声探头位置以寻找靶血管———

5 结束语

本研究基于深度学习算法设计一套静脉留置针穿刺点智能定位方法，进而实现智能穿刺。虽在体膜上反复试验证实方案有效，但智能穿刺有待于与人工穿刺进行大量的临床试验对比，此外可以考虑实时跟踪穿刺过程，保证穿刺成功率。