基于多尺度自适应的近红外手肘静脉提取算法

朱翔翔，郭永洪

基于多尺度自适应的近红外手肘静脉提取算法

朱翔翔，郭永洪

（中国计量大学机电工程学院，浙江 杭州 310018）

由于成像质量不高，光照强度不均匀，皮下脂肪较厚等因素，近红外手肘静脉图像对比度较低，不易提取到清晰的静脉结构。针对该问题，本文提出了一种基于Hessian算子的多尺度自适应静脉滤波提取方法。该方法通过改进的多尺度自适应滤波器从对比度限制自适应直方图均衡化（Contrast-Limited Adaptive Histogram Equalization，CLAHE）增强后的图像中提取静脉。新的滤波器结构能够根据输入图像自适应地确定滤波器参数，在提取静脉的同时抑制噪声。实验结果表明该方法可以有效地获得清晰完整的静脉结构，具有更强的去噪和增强效果以及更高的准确率。

手肘静脉图像；CLAHE；Hessian矩阵；多尺度自适应滤波；静脉提取

0 引言

手肘静脉是进行静脉穿刺、注射药物、临床抽血化验的最常用静脉之一。一方面不同的患者皮下脂肪厚度不同，静脉粗壮程度不一，医务人员穿刺经验少，容易造成静脉穿刺失败；另一方面随着自动化产业的发展，自动化注射将成为可能。因此能够提取到脉络清晰的静脉图像至关重要。本文利用血管中的血红蛋白对850nm左右的近红外光具有良好吸收的特性[1]，通过波长为850nm的近红外光照射手肘表面，利用带有红外滤光片的摄像头采集手肘静脉图像。

皮下脂肪较厚，成像质量不高等问题，使得静脉与皮肤之间的对比度不高，静脉边缘轮廓不明显，为了更加有效地获取可靠的静脉信息，静脉血管图像增强，结构提取成为研究热点。朱丛虎[2]等人通过加权叠加的方式，将形态学处理和对比度限制自适应直方图均衡后的图像分别乘以不同的系数之后叠加，对手背静脉图像进行增强。郑均辉[3]等人使用改进的Niblack算法对CLAHE增强之后的手指静脉图像进行分割，提取到了清晰脉络的指静脉图像。Chakraborti T[4]等人提出了一种自适应匹配滤波器，用于提取眼底血管，并取得了一定的效果。尽管这些方法都能够在不同层度上对血管进行提取，但这些方法没有考虑到血管直径大小不一，即这些方法只进行了单一尺度的操作,具有一定的局限性。Hessian矩阵方法在数字减影血管造影（Digital Subtraction Angiography，DSA），电脑断层血管摄影（Computed Tomography Angiography，CTA），磁共振血管造影（Magnetic Resonance Angiography，MRA）等医学血管造影图像中有着广泛的应用[5-7]，结合线性多尺度空间理论[8-9]和Hessian矩阵特征值与不同几何形状的对应关系，构建适当的滤波器，对血管进行增强滤波，能够有效的增强血管结构[10-11]。其中Frangi[12]等人提出的多尺度滤波方法是目前应用最为广泛的基于Hessian矩阵的血管图像增强方法之一。

在研究近红外手肘静脉图像特征基础上，本文提出了一种基于Hessian矩阵的多尺度自适应滤波的静脉提取方法。

1 多尺度血管滤波器

CLAHE[13-15]是常用的用于提升图像对比度的方法之一，对采集到的图像使用该方法增强对比度。如图1所示为经过CLAHE处理前后的图像及其灰度直方图。

图1 对比度限制自适应直方图均衡化处理图像

静脉提取的目的是增强图像中的血管部分，抑制非血管区域特征，从而能够得到清晰完整的血管结构。多尺度血管增强算法基于多尺度空间理论，在多个不同的尺度因子作用下，计算图像中每个像素对应的Hessian矩阵，通过其对应特征值的特性，构建血管滤波器，使滤波器的参数与尺度因子相适应，进而对图像进行滤波使血管区域得到增强，削弱甚至去除非血管区域。

Hessian矩阵能够用于分析图像中特定的形状，检测图像方向特征，还可以根据特征值和特征向量的大小和方向计算曲率的强度和方向。对于二维图像中某点的Hessian矩阵，较大特征值和其对应的特征向量反应出了该点领域内二维曲线最大曲率的强度和方向，较小特征值对应的特征向量反应最小曲率的强度和方向。因此可以根据Hessian矩阵特征值的大小来建立合适的滤波器，用于提取管状结构的血管，过滤掉非管状的结构。

由于手肘静脉图像中，静脉直径存在变化，不适合采用在单一尺度下的增强方法。多尺度空间理论可用于表示同一空间不同尺度的信号特征。在该理论基础上，将Hessian矩阵的差分运算与高斯函数结合，即求解Hessian矩阵的二阶微分运算转换为原始图像数据与高斯函数二阶导数的卷积：

式中：为输入图像矩阵；偏导矩阵；二元高斯函数为：

式中：为高斯函数的标准差，同时也是尺度空间理论中的尺度因子。

二维图像中像素点()的Hessian矩阵定义为：

式中：I，I，I，I分别为图像的高斯二阶导数，其中I＝I，利用其特征值1,2，（|1|≤|2|）可以构建增强滤波器。其中，滤波器的局部特性分析窗口的半宽为3，若血管的直径小于窗口的宽和高，那么具有管状的血管结构的Hessian矩阵特征值为|1|≈0，|1|≪|2|。特征值与图像中不同的几何结构中的对应关系如表1所示。

表1 两个特征值与图像中不同几何结构的对应关系

(Note: H=high, L=low, N=Noise(generally small values), +/- sign for eigenvalues and they were sorted by|1|≤|2|)

借由表中的对应关系Frangi等人给出了两个用于定义特征值的算子：

进而提出了血管增强滤波函数为：

式中：滤波器响应为(,;)，其取值范围为0≤(,;)≤1。，为影响B和的比例因子。

对于线性管状结构，当尺度因子与血管直径相等的时候，滤波器的响应最大，因此要使得血管部分被加强，尽量使得尺度因子与想要被增强的血管直径相匹配，通过迭代尺度因子获得该尺度下滤波器的最大响应，然后筛选出同一像素点在不同尺度因子作用下的最大响应作为最终的输出，如式(6)所示：

2 多尺度自适应血管滤波器

在对图像进行CLAHE增强之后，图像中血管部分得到加强，但同时由于该操作将图像中的灰度拉伸使得噪声被放大。通过Frangi滤波器增强之后，尽管能够提取到血管图像，但依然带有较多的噪声（灰度值翻转后的图像中更加明显）。如图2所示为不同参数作用下Frangi滤波后的效果。

Frangi滤波器中的比例因子和没有标准的取值协议，大多数情况下根据应用背景经过反复的实验给出。由文献[5]给出的结果当中，可取固定值0.5，而比例因子需要根据进行滤波的图像灰度范围得到。通过改变比例因子的值，可以使得滤波器的滤波半径发生变化，对比图2(a)，图2(c)，图2(e)可以发现随着取值的增大，滤波器的输出变小，血管结构逐渐变的模糊，对比图2(b)，图2(d)，图2(f)可以观察到随着取得的值逐渐增大，图像中的噪声慢慢减少。因此在多尺度滤波过程中，将设置为某一固定值是不合适的，这会限制滤波器的带宽，在不同图像输入的情况下无法得到较好的滤波增强效果，因此需要一个能够随着输入图像灰度范围以及在多尺度迭代过程中自适应改变的比例因子。针对Frangi滤波器应用于近红外手肘静脉图像存在的这些不足，本文提出了一种改进的多尺度滤波方法，滤波函数为：

在血管区域上，沿着血管方向上的像素灰度值变化不明显，相对应的该方向上的特征值的绝对值|1|为较小值（接近于0），相反垂直于血管方向上的灰度值变化较为明显，因此|2|为较大值。近红外血管图像中，血管通常是明亮背景下的较暗结构，因此根据表1中的2＜0，对应的是较亮的结构，此时将滤波器响应设置为0，能够有效地去除图像背景，同时可以将手肘上的皮肤和肌肉组织等图像去除。

对于式(7)中2≥0的部分，第一项用于增强血管结构，其中B＝|1|/|2|，当在血管区域时B取得较小值，第一项整体取得较大值，利用两个特征值在不同的几何形状上对应的数值大小关系，通过其比值所构成的算子B可以用于增强血管区域，削弱非血管部分，使得整体的血管结构更加清晰。

第二项中的＝(12＋22)为Hessian矩阵的二范数，即为Hessian矩阵在当前尺度因子作用下的模，并且随着尺度因子的变化，也会发生相应的变化。当为较小值时，高斯函数的滤波半径较小，对应的为较小值，滤波器对直径较小的血管有着较好的增强效果；当为较大值时，高斯函数的滤波半径较大，对应的为较大值，滤波器对直径较大的血管有着较好的增强效果。并且在相同尺度因子作用下，的值随着不同几何结构所对应的特征值发生变化，在非血管位置取得相对较大的值，能够有效地抑制非血管结构。

第二项中的为能够自适应调整的比例因子，可以控制滤波器对不同尺度下的输出大小，值越大，滤波器对该部分的抑制强度也就越大。参数的取值与输入图像的灰度范围有关，灰度范围越大，相应的值就为一个较大的值，反之，灰度范围越小，取一个较小的值。通过统计原图像灰度直方图中像素点在各灰度级中的分布来获得该图像的灰度范围，即统计直方图中像素个数不为0的灰度级个数rank，且0≤rank≤255，则参数为式(8)所示：

＝rank/(7)

式中：为当次迭代的尺度因子，值随着每次迭代取得不同的值；当为较小值时，能够取得相对较大的值，可以加强滤波器在滤波尺度较小时对小尺寸形状的抑制作用，即加强对非血管部分的噪声的抑制。在近红外血管图像中，通过CLAHE增强之后的血管的直径比噪点的直径大的多，因此并不会对较小尺寸的血管产生影响。随着迭代次数的增加，值逐渐增大，也随着减小，使得直径较大的血管得到更好的加强。

第三项内容主要用于加强在血管位置上滤波器的响应，提高滤波器输出血管结构的对比度。其中＝(22－12)1/2，当输入像素点为血管位置时，能够取得相对较大的值；输入像素点为非血管区域时，取得相对较小值，可增大血管区域与背景区域之间像素值的方差，用于增强血管结构与非血管结构的对比度，为比例因子用于控制算子在滤波器输出中所占的比例。

3 实验结果

本文所述近红外手肘静脉图像滤波增强算法实现流程如图3所示，在该算法中，尺度因子的迭代范围为[1,10]，迭代步长D＝2比例因子设置为0.5。

实验所采用的计算机硬件配置为英特尔i7-7700hq，CPU频率为2.8GHz，8GB内存，1TB＋128GB硬盘，4GB显存gtx1050显卡，开发环境为Visual Studio Ultimate 2013。图像通过850nm近红外光照射，用带有红外滤光片的摄像头在实验室内拍摄，其中滤光片中心波长为850±10nm，峰值透射率＞86%。采集到的图像为640×480的8位图像。

比例因子由输入图像的灰度范围与每一次迭代的尺度因子的比值得到，通过该参数能够使滤波器在每一次迭代过程中，增强该尺度下的血管区域，抑制噪声。如表2所示为迭代过程中比例因子取值的变化。

图3 静脉提取流程图

表2 不同尺度因子作用下d的取值

对于比例因子为一经验值，其取值为20，50和80的图像如图4所示。

对比图4(a)，图4(b)可以发现当的取值过小时，血管中心会出现空洞，影响血管图像质量；对比图4(b)和图4(c)，当的取值过大时，血管部分清晰度降低。对于不同的图像实验中采集了15人左右手各5幅一共150幅手肘静脉图像进行测试，当和设置为固定值即＝0.5，＝50均可取得较为理想的结果。如图5所示为本文算法在不同手肘静脉图像上运行的效果。

图4 w取不同值时算法输出图像

图5 不同图像上算法运行效果

如图6所示为本文算法与Frangi算法的对比图，图6(a)为Frangi算法结果图，图6(c)为本文算法结果图。在图6(a)和图6(c)中可以观察到与Frangi算法相比本文算法能够增强像素点在血管位置的输出从而提高静脉结构的清晰度。图6(b)和图6(d)为对两种算法处理后的结果图像采用阈值分割后的图像，其中阈值分割方式为自适应阈值分割，自适应方法为领域加权和，领域大小为25×25，权重为一个高斯窗口。对比图6(b)与图6(d)可以发现，图6(b)中在静脉周围依然存在着较多的噪点，以及非血管区块，图6(d)中的噪声得到抑制。

图6 本文算法与Frangi算法对比图

如图7所示为本文算法与其他静脉提取算法的对比图像，其中图7(a)为手肘静脉图像原图，图7(b)为原图像经过CLAHE增强之后的图像。图7(c)为文献[3]中静脉分割提取方法，其中Niblack分割的窗口为25×25。观察图7(c)可以发现图像中存在大量的噪声，并且有部分静脉丢失。图7(d)为文献[16]中所述方法，根据静脉的灰度值特征对图像进行分割提取静脉，可以发现该方法容易导致静脉段的缺失。图7(e)为本文提出的多尺度自适应增强滤波经过阈值分割之后的图像，能够提取到完整的静脉。

利用上文中所述的图像采集方法，在实验室中采集了30幅共15人（其中男性10人，女性5人，年龄在20～45之间）左右手肘部位的近红外图像，通过labelme图像标注工具将静脉及手臂轮廓进行标注并将其填充为黑色，其余部分填充为白色。如图7(f)所示为图7(a)手动提取的静脉图像。将手动提取的手肘静脉图像作为标准进行对照实验。对比了几种血管增强方法和本文采用的多尺度自适应增强滤波方法，以算法耗时，准确率，过分割率，欠分割率，在这部分样本中进行实验取其平均值进行评估。准确率表示静脉提取图像中正确提取到的静脉像素与标准静脉图像中的重叠像素面积和标准图像中准确的面积相除。过分割率表示静脉提取图像中存在但标准图像中不存在的这部分像素面积和静脉提取图像中静脉像素面积相除。欠分割率为标准图像中存在但静脉提取图像中不存在的这部分面积和静脉提取图像中静脉像素面积相除[17-18]。表3所示为几种算法的对比结果。

表3 几种血管图像增强效果对比结果

(Note: Method 1 is an improved NIBLACK method, which is derived from reference[3]. Method 2 is a vein gray value feature segmentation method, which is derived from reference[16])

从以上结果中分析可知，本文方法有更高的准确率，较低的欠割率，能够将静脉结构提取完整，但在算法耗时上稍逊于Frangi算法，过割率上略高于文献[16]中静脉灰度值特征分割的方法，后续还需对算法耗时进行优化，同时增强算法的去噪能力。

4 结束语

为了能够获得更加清晰的手肘静脉图像，辅助临床穿刺治疗以及对未来能够实现自动化注射的美好展望，本文提出了一种基于Hessian矩阵的多尺度自适应近红外手肘静脉滤波提取算法，首先对手肘静脉图像使用对比度限制自适应直方图均衡方法改善近红外手肘图像低对比度的特点，但与之而来的是大量的噪声，增加了对静脉血管提取的难度。在此基础上，本文构造了基于Hessian矩阵的多尺度自适应滤波器对肘部静脉图像进行滤波增强。新的算法通过结合输入图像自身的灰度范围以及当次迭代的尺度因子能够自适应的调整滤波器参数，避免了对不同输入图像采用同一固定参数，在增强血管的同时有效地抑制了噪声。并且针对滤波器响应与图像背景区分不够明显的问题，在滤波器中增加了对比度增强的设计。由实验结果得出，本文算法有较高的提取准确率，能够提取到更完整的静脉结构。

[1] 李威, 苑玮琦. 不同波长近红外光下手掌静脉图像质量分析[J]. 计算机工程与应用, 2011, 47(30): 15-18.

LI Wei, YUAN Weiqi. Image quality analysis of palm veins under different wavelengths of near-infrared light[J]., 2011, 47(30): 15-18.

[2] 朱丛虎, 王华彬, 陶亮. 低对比度手背静脉图像的增强和分割[J]. 计算机技术与发展, 2011, 21(5): 52-55+59.

ZHU Conghu, WANG Huabin, TAO Liang. Enhancement and segmentation of low-contrast dorsal vein image[J]., 2011, 21(5): 52-55+59.

[3] 郑均辉, 甘泉. NIBLACK 改进算法在手指静脉识别中的应用研究[J]. 微型电脑应用, 2015, 31(5): 36-38.

ZHENG Junhui, GAN Quan. Research on Application of Improved NIBLACK Algorithm in Finger Vein Recognition[J]., 2015, 31(5): 36-38.

[4] Chakraborti T, Jha D K, Chowdhury A S, et al. A self-adaptive matched filter for retinal blood vessel detection[J]., 2015, 26(1): 55-68.

[5] YANG J, MA S, SUN Q, et al. Improved Hessian multiscale enhancement filter[J]., 2014, 24(6): 3267-3275.

[6] SUN T, SUN N, WANG J, et al. Iterative CBCT reconstruction using Hessian penalty[J]., 2015, 60(5): 1965.

[7] ZHU C, WANG X, CHEN S, et al. Automatic centerline extraction of cerebrovascular in 4D CTA based on tubular features[J]., 2018, 63(12): 125-129.

[8] LIU J, FANG N, XIE Y J, et al. Scale-space theory-based multi-scale features for aircraft classification using HRRP[J]., 2016, 52(6): 475-477.

[9] WANG H, JIANG Y, JIANG X, et al. Automatic vessel segmentation on fundus images using vessel filtering and fuzzy entropy[J]., 2018, 22(5): 1501-1509.

[10] 丘立, 蒋先刚, 熊娟. 基于Hessian算子的多尺度视网膜血管增强滤波方法[J]. 计算机应用与软件, 2014, 31(9): 201-205.

QIU Li, JIANG Xiangang, XIONG Juan. Multi-scale retinal vascular enhancement filtering method based on Hessian operator[J]., 2014, 31(9): 201-205.

[11] 张新红, 张帆, 崔延斌. 基于多尺度自适应滤波的DSA血管增强[J].计算机工程与应用, 2015, 51(14): 179-185.

ZHANG Xinhong, ZHANG Fan, CUI Yanbin. DSA vascular enhancement based on multi-scale adaptive filtering[J]., 2015, 51(14): 179-185.

[12] Frangi A F, Niessen W J, Vincken K L, et al. Multiscale vessel enhancement filtering[C]//, 1998: 130-137.

[13] Gonzalez R C, Woods R E.[M]. Publishing house of electronics industry, 2002: 72-73.

[14] 张平. Opencv算法精解：基于Python与C++[M]. 北京: 电子工业出版社, 2017: 118-119.

ZHANG Pin.:++[M]. BeiJing: Electronic Industry Press, 2017: 118-119.

[15] Singh R P, Dixit M. Histogram equalization: a strong technique for image enhancement[J]., 2015, 8(8): 345-352.

[16] 王定汉, 冯桂兰, 王雄, 等. 基于静脉灰度值特征的图像分割算法研究[J]. 光电工程, 2018, 45(12): 15-21.

WANG Dinghan, FENG Guilan, WANG Xiong, et al. Research on Image Segmentation Algorithm Based on Vein Gray Value Feature[J]., 2018, 45(12): 15-21.

[17] Pont-Tuset J, Marques F. Supervised evaluation of image segmentation and object proposal techniques[J]., 2015, 38(7): 1465-1478.

[18] Jyothirmayi T, Rao K S, Rao P S, et al. Performance evaluation of image segmentation method based on doubly truncated generalized Laplace Mixture Model and hierarchical clustering[J]., 2017, 9(1): 41-45.

Near-Infrared Elbow Vein Extraction Algorithm Based on Multiscale Adaptive Filter

ZHU Xiangxiang，GUO Yonghong

(College of Mechanical and Electrical Engineering, China Jiliang University, Hangzhou 310018, China)

A near-infrared elbow vein image has low contrast because of low image quality, uneven illumination intensity, and thicker subcutaneous fat. Therefore, it is difficult to extract a clear vein structure. To address this problem, a multiscale adaptive vein filtering enhancement method based on the Hessian operator is proposed. The method extracts veins from an image enhanced by contrast-limited adaptive histogram equalization with the use of an improved multiscale adaptive filter. The new filter structure can adaptively determine filter parameters based on the input image and suppress noise while extracting veins. The experimental results show that the method can effectively obtain a clear and complete vein structure, and it has stronger denoising, better enhancement effects, and higher accuracy.

elbow vein image, CLAHE, Hessian matrix, multi-scale adaptive filter, vein extraction

TP391

A

1001-8891(2020)05-0494-07

2019-04-24；

2020-04-13.

朱翔翔（1994-），男，浙江金华人，硕士研究生，研究方向为图像处理、模式识别。E-mail:zhuxiangxiang6144@gmail.com。

郭永洪（1967-），女，副教授，博士，研究方向为检测技术、信息管理与信息系统。E-mail: guoyonghong@cjlu.edu.cn。

国家重点研发项目（2018YFF0214700）。