基于YOLOv4的手背静脉区域检测

马彩丰

DOI：10.16660/j.cnki.1674-098x.2103-5640-4258

摘  要：静脉穿刺是临床治疗的重要手段之一。为实现人体手背静脉血管的全自动化穿刺，首先需要实现自动化静脉穿刺的穿刺点选取模块;而要实现对穿刺点的选取，则需要能够自动识别出图像中手背静脉区域，从而去除掉非静脉区域对静脉分割的干扰。本文对开放式环境下采集的不同大小手背以及不同放置角度下的样本如何自适应检测静脉区域进行研究，提出了基于YOLOv4的手背静脉区域检测算法。与以往基于传统图形学方法检测手背静脉区域相比，本文提出的手背静脉区域检测算法对外界环境的抗干扰能力较高，不易受外界光线影响，且对不同放置方式下手背静脉区域检测鲁棒性较好。

关键词：手背静脉区域检测  YOLOv4  静脉穿刺  自适应静脉区域检测

中图分类号：TP391.41                      文献标识码：A文章编号：1674-098X（2021）05（a）-0158-08

Detection of Dorsal Hand Vein Region Based on YOLOv4

MA Caifeng

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi， Jiangsu Province， 214122  China）

Abstract： Venipuncture is one of the important means of clinical treatment. In order to realize the full automatic puncture of human dorsal hand vein， the puncture point selection module of automatic vein puncture should be realized firstly. In order to select the puncture point， it is necessary to automatically identify the dorsal hand vein area in the image， so as to remove the interference of non-vein area on vein segmentation. This paper studied how to detect the vein area adaptively from samples of different dorsal hand sizes and different placement angles collected in an open environment， and proposed a detection algorithm of the vein area of dorsal hand based on YOLOv4. Compared with the previous detection of dorsal hand vein region based on the traditional graphics method， the proposed detection algorithm of dorsal hand vein region has a higher anti-interference ability to the external environment， is not easy to be affected by the external light， and has a good robustness to the detection of dorsal hand vein region under different placement methods.

Key Words： Dorsal hand vein area detection; YOLOv4; Venipuncture; Adaptive venous area detection

以往靜脉区域检测的研究往往应用于身份识别认证领域，采集设备为避免外界环境光干扰，通常设计为封闭式结构，对手的放置位置和方式也较为严苛。但应用到医疗领域时，考虑真实场景应用中患者移动便捷性，手背静脉装置通常置于四周环境无遮挡的自然环境中，且拍摄高度固定。但由于不同患者手的大小不一，放置手背的方式和角度也各不相同，如果仍然采用以往传统图形学方法选取手背静脉区域，则往往使得静脉呈现不完整，进而导致静脉提取不完整。对此，本文采用基于YOLOv4的目标检测网络框架来训练手背静脉区域检测模型。通过使用手背静脉区域检测模型在各种手背样本图像中自动识别静脉区域，来减少外界因素对后续静脉处理的干扰。

1  手背图像采集及处理

1.1 手背图像采集

为了能够进行手背静脉区域的检测，前提条件是能够在影像中使得静脉血管与周围皮肤能够有不同的对比。通过查阅了静脉显影相关文献，一些应用研究表明：在波长范围在700～900nm的“医学光谱窗”[1]，该范围内的近红外光能够被表皮皮肤反射，而被位于人体浅静脉内的血红蛋白吸收，同时对肌肉和骨骼的穿透力比较强，从而使得在影像中人体浅静脉血管与周围皮肤有了一定的对比度呈现。自然光源下手背静脉图像呈现与红外光下手背静脉图像呈现对比图如图1所示，自然光源下普通摄像头拍摄的人体手背图像如图1（a）所示，无法通识别出静脉血管区域，图1（b）则是使用近红外设备拍摄手背图像，使得图像中周围皮肤与浅静脉血管有了明显的对比度差异。

以往静脉区域检测的研究往往应用于身份识别认证领域，采集图像设备为避免外界环境光干扰，通常设计为封闭式结构[2-4]，但应用于本文研究应用于实际静脉穿刺领域，考虑到后续机械穿刺及病患移动活动性等实际操作的便捷性，手背图像采集与拍摄必须在开放环境下，故采用手背正上方是含有红外滤波片的工业摄像头，手掌放置在下方红外光源上，呈自然握装置的姿态，来达到拉伸手背皮肤以及手背平面尽量与上方摄像头平面平行的目的。手背图像采集样如图2所示。

本文手背数据集中手背样本均为成年男女的手，剔除因拍摄不当导致图像模糊和没有静脉呈现的图像样本，共有834张图像组成本手背数据集，训练数据集由584张手背图片组成，测试数据集由250张手背图片组成。

1.2 手背图像处理

本课题的研究目标是将手背静脉区域检测应用到实际静脉穿刺领域，结合医护人员穿刺静脉选取范围的专家经验，大拇指侧和手腕附近以及掌指骨节处往往是常规穿刺操作中尽量避开的区域，也是静脉检测区域尽量避免的范围。这3处区域范围不做常规静脉穿刺点选取选择的原因有：大拇指侧区域是由于患者疼痛感较强;手腕附近区域穿刺往往影响患者手的活动性，往往会出现跑针鼓包等现象;掌指骨节处静脉则是不易操作者固定穿刺针头。因此，本文为实现根据不同人手放置自动检测静脉区域，制定手背数据集静脉区域标注规则为手背图像掌指骨节以上、手腕以下，二拇指到小拇指范围作为静脉区域选取。

本文数据集静脉区域标注采用LabelImg软件对手背图像静脉区域进行标注，具体操作流程如下：使用LabelImg软件打开样本图片，软件运行界面如图3所示：根据静脉呈现，和手背数据集静脉区域标注规则创建矩形框，并命名为veinarea，每张图像生成静脉区域的xml文件，生成的xml文件如圖4所示，手背静脉区域标注示例图如图5所示。

2  YOLOv4网络模型结构

对于近红外手背图像检测静脉区域而言，具有目标单一、静脉区域居主要位置、背景相对单一的特点，并且考虑到算法后期由于要用于实际产品中，在做静脉区域检测模块时，要求目标检测精度要高，检测速度快，网络模型在一般的硬件设备上即可以运行，且能够被并行优化。而这些需求，正是YOLOv4模型提出的主要解决方向。而以往传统图形学方法[5-7]选取手背静脉区域，则往往使得静脉呈现不完整，进而导致静脉提取不完整。因此本文将YOLOv4模型应用在手背静脉区域检测方向。

YOLOv4[8]是2020年AlexeyAB等人在YOLOv3[9]的基础上提出的目标检测模型。在并行计算上对神经网络进行优化，加快模型的运算速度，使得模型可以在常规GPU进行训练和检测是YOLOv4模型的设计初衷，与YOLOv3相比，模型的检测精度大幅度提高了。在YOLOv4的内容中对目标检测模型的改进方向进行了梳理，分为Bag of freebies（BoF）和Bag of Specials（BoS）。BoS指只增加训练成本或者改变训练策略的方法，目标检测中常用的符合BoF定义的方法有数据增强。BoF则是指通过增加少量网络的推理成本但能显著提高算法精度的模块和后处理方法。目标检测方法中常用的符合BoS定义的方法有引入注意力机制、扩大感受野（SPP）、增强特征之间的交流（如FPN）等。YOLOv4在BoS方向上使用了Mosaic数据增强、cmBN、和SAT自对抗训练，在BoF方向上使用了SPP[10]（Spatial pyramid pooling）与PAN[11]（Path Aggregation Network）网络结构相结合，来进一步增强主干网络提取的特征。特征提取主干网络结构上，YOLOv4利用了CSPNet[12]网络结构的思想在YOLOv3使用的主干网络DarkNet-53基础上进行改造，命名网络结构为CSPDarkNet53。其优势在于：一方面既增强卷积神经网络的学习能力，又使得网络结构在轻量化的同时保持准确性;另一方面降低了计算瓶颈，减少了内存成本的开销。YOLOv4模型结构框架如如图6所示。

2.1 主干特征提取网络

YOLOv4网络模型主干特征提取网络使用CSPDarkNet53网络，网络框架结构如图7所示。

即联合CSPNet[12]处理思想在DarkNet-53网络结构上做调整，具体做法是沿用DarkNet-53网络的滤波器尺寸和整体结构，在每组Residual block上加上一个Cross Stage Partial结构，并且取消了Bottleneck的结构，使得网络参数减少，减少计算量，模型更易训练。

2.2 损失函数

好的目标回归函数应该考虑3个重要的几何因素：重叠面积、中心点距离、长宽比。CIOU_Loss的提出正是为了解决以上3个问题。YOLOv4网络模型使用CIOU_Loss作为目标框损失函数。如图8所示，红色框代表目标真实框区域，绿色框代表预测框区域，紫色区域代表目标预测框与目标真实框的交集，蓝色框代表目标框与预测框的并集，则与计算如公式（1），公式（2）所示：

其中，IOU为预测框与真实目标框的交并比，是预测框与目标框中心点之间的欧几里得距离，是包含预测框与目标框的最小矩形的对角线长度，ν是衡量长宽比一致性的参数，计算公式为：

其中，、是真实目标框的宽与长，、是预测框的宽与长。

2.3 激活函数

激活函数是为了提高网络的学习能力，提升梯度的传递效率。CNN常用的激活函数也在不断地发展，早期网络常用的有ReLU、LeakyReLU、softplus等，后来又有了Swish、Mish等。YOLOv4在主干特征提取网络部分均采用Mish激活函数，Mish激活函数作为一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化，函数图像如图9所示。Mish激活函数公式为：

2.4 Mosaic數据增强

YOLOv4网络模型中，提出了Mosaic数据增强。如图10所示，Mosaic数据增强采用4张图片，随机缩放，再随机分布然后进行拼接成一张图像，不仅丰富了数据集，而且随机缩放产生的更多物体角度呈现，更提高了网络模型的鲁棒性。与传统方法对数据集样本进行缩放裁剪等数据增强操作相比，Mosaic数据增强训练时，可以直接在批量标准化过程中计算每一层4个图像的激活统计，从而减小了对mini-batch大小的要求，也就是一张图像中计算4张图片的目标，即同时对几张样本图像做出参数调整值，进行网络参数的调整。

3  实验结果及其分析

3.1 评价指标

3.1.1 Precision & Recall & F1-score

令手背静脉检测区域类别名为veinarea。若检测为veinarea类别与真实类别veinarea相符，则认为是True Positive（TP）;若检测为veinarea类别但真实类别不为veinarea，则认为是False Positive（FP）;若检测类别不是veinarea类别但真实类别为veinarea，则认为是False Negative（FN）;若检测类别不是veinarea类别真实类别也不是veinarea，则认为是True Negative（TN）。

precision（精确率）和recall（召回率）以及F1-score的计算如下：

3.1.2 AP（Average Precision）

由于本文实验数据集只有手背静脉区域一个检测目标，故采用AP（Average Precision）来判断静脉检测区域结果是否正确。设定固定阈值T，当静脉区域检测结果的IOU值大于等于阈值T，则判定检测结果为正确检测区域;若手背静脉区域检测结果的IOU值小于阈值T，则判断为错误检测。令某张手背采集图像中，真实手背静脉区域框选为个，令手背静脉区域正确检测的次数为，手背测试集中含有N个样本，且每张样本均含有手背静脉区域，则AP的计算公式为：

3.2 实验结果及分析

利用1.2节构建的手背静脉区域检测数据集，使用YOLOv4网络模型进行训练和检测。设置手背静脉区域检测的置信度阈值为0.25，IOU非极大值抑制阈值为0.5。根据实验室电脑Windows64位操作系统，8GB（CPU），GeForce GTX 1060 4GB（GPU）这些硬件条件，设置图像长宽为320×320像素，batch size为1，学习率值为0.001，动量momentum值为0.9，训练次数为3000，权重衰减weight decay为0.0005。利用自行构建的手背静脉区域数据集和以上相关设置参数值，使用YOLOv4对手背静脉区域检测进行训练。如图11所示，手背静脉区域检测模型训练过程中的loss值随着迭代次数不断下降，并在loss值为1.5～2之间，loss曲线趋于平缓。

我们对训练得到的手背静脉区域检测模型，在测试集上进行测试。如表1所示，我们设置不同IOU_thresh的值，来对比模型的检测精度。由表可知，当IOU_thresh低于0.7的时候，precision、recall、F1-score、AP的值均在95%以上，在IOU_thresh值为0.75时，precision、recall、F1-score、AP的值均在90%左右。证明了YOLOv4训练得到的手背静脉区域检测模型对不同手背样本能够较为准确地自适应检测手背静脉区域。

如图12所示，如图12（a）、图12（c）为手背静脉区域检测模型框选的静脉区域图像中其，紫色框选区域代表检测出的手背静脉区域，左上角veinarea表示类别;图12（b）、图12（d）为红色框为人工标注手背静脉区域图像。由图像可知，本文训练得到的手背静脉区域检测模型能够较高精度地根据不同大小手以及不同摆放角度，自适应检测出手背静脉区域。

4  结语

为实现静脉穿刺点自动选取任务，如何根据不同人手放置角度和不同手背大小的图像，自适应进行静脉区域检测是其中的一个重要挑战。本文提出的使用采集标注手背静脉区域数据集和YOLOv4网络模型，训练手背静脉区域检测模型，通过模型自适应检测不同样本的手背静脉区域。在本课题组采集的手背数据集上的实验结果显示，本文提出的方法能够有效地检测手背静脉区域，从而为下一步穿刺点选取做了重要铺垫。

参考文献

[1] Balter Max L，Chen Alvin I，Maguire Timothy J，et al.The System Design and Evaluation of a 7-DOF Image-Guided Venipuncture Robot.[J].IEEE transactions on robotics ： a publication of the IEEE Robotics and Automation Society，2015，31（4）：1044-1045.

[2] 张成浩.基于手背静脉的身份识别技术研究[D].哈尔滨：哈尔滨理工大学，2017.

[3] 许明.基于手背静脉血管的身份识别技术研究[D].哈尔滨：哈尔滨工业大学，2008.

[4] 王贺.基于特征融合的手背静脉识别算法研究[D].长春：吉林大学，2017.

[5] 桂青.多特征点融合的手背静脉身份识别算法研究[D].杭州：浙江大学，2020.

[6] 吕佩卓，赖声礼，陈佳阳.一种自适应的手背静脉区域定位算法[J].微计算机信息，2008，24（21）：209-210.

[7] Lin C L，Fan K C.Biometric verification using thermal images of palm-dorsa vein patterns[J]. IEEE Transactions on Circuits & Systems for Video Technology，2004，14（2）：199-213.

[8] Bochkovskiy A，Wang C Y，Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J].2020：1-8.

[9] Redmon J， Farhadi A.YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[10] He K ， Zhang X ， Ren S ， et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.

[11] Yang J ， Fu X ， Hu Y ， et al.PanNet： A Deep Network Architecture for Pan-Sharpening[C]//2017 IEEE International Conference on Computer Vision （ICCV）. IEEE，2017.

[12] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.IEEE，2020.