一种基于近红外-可见光映射的快捷静脉提取算法

唐超颖

(南京航空航天大学自动化学院，南京　210016)



一种基于近红外-可见光映射的快捷静脉提取算法

唐超颖

(南京航空航天大学自动化学院，南京210016)

摘要:针对可见光图像开发了一种快捷的静脉提取算法．采用可见光－近红外同步相机拍摄一组皮肤图像，利用限制对比度自适应直方图均衡化方法调整近红外图像的对比度．采用Gabor滤波器自动提取其中的静脉信息，在此基础上获取可见光－近红外图像中静脉及普通皮肤的对应像素值．以此作为样本，训练一个三层前向神经网络，模拟可见光到近红外像素值的映射关系，实现对可见光图像中静脉的提取．针对入射光强度变化对可见光图像中像素值的影响，提出一种图像亮度自适应调节算法．实验结果表明，该方法对于不同条件下拍摄的图像具有良好的鲁棒性，对于不同时间拍摄的图像也具有较好的稳定性．运算过程简单快捷，有助于开发应用于医疗的低成本便携式静脉显像仪．

关键词:静脉提取;可见光图像;近红外图像;神经网络; Gabor滤波器

引用本文:唐超颖．一种基于近红外－可见光映射的快捷静脉提取算法［J］．东南大学学报(自然科学版)，2016，46(1) : 35－41．DOI: 10．3969/j．issn．1001－0505．2016．01．007．

静脉穿刺是医学界广泛采用的一种治疗手段．目前，临床使用的定位静脉方法主要有目视法和触摸法．有些患者的皮肤不利于寻找静脉，如肤色较深、皮下脂肪较多、体表毛发较多等;有些患者则静脉较细，如儿童，这就给治疗带来很大的困难，反复穿刺也给患者带来很大的痛苦．近年来，研究人员研制出了检测静脉位置的仪器，但这些仪器均依赖于附加设备，如近红外成像、多光谱相机、超声波技术等，这就增加了仪器的体积、重量和成本．Prabhu等［1］和Kavitha等［2］都利用红外光源照射皮肤，利用近红外成像设备获取静脉图像．周雅等［3］利用红外光源发出一种或多种近红外光照射在被检测区域，2个摄像机可采集到不同角度的皮肤图像，经计算处理后可得到静脉的位置与深度图．Wieringa等［4］采用立体成像技术提取皮下浅表静脉，利用3D显示设备观察静脉．Shahzad等［5］将人体皮肤分为4类，利用多光谱相机针对每一类皮肤寻找最优近红外波长，使静脉图像的对比度达到最大．屈学民等［6］把几兆至十几兆的高频超声脉冲发射到人体，利用发射脉冲与回波脉冲之间的时间间隔决定皮肤表面和静脉的距离．王薇等［7］利用显微超声的断层成像方法将血管变化以图像的形式表现出来．

本文针对可见光图像开发了一种快捷的静脉提取算法，不需要额外的装置和设备，利用可见光和近红外同步图像中的像素对应关系，采用前向神经网络实现二者之间的映射，进而实现对静脉的提取．

1　近红外－可见光图像数据库

1．1近红外图像的预处理

采用JAI-AD080CL相机拍摄了一组手臂图像．该相机同步获取可见光－近红外的光谱，可见光和近红外光通过同一镜头进入2个感光芯片，2幅图像完全同步．在近红外光源的照射下，拍摄的近红外皮肤图像中可以看到静脉的位置．采集了20人前臂内侧图像(每人1组可见光－近红外图像)，然后选择其中8组质量最好、静脉位置最清晰的图像．尽管近红外图像中可以看到静脉，但具体位置并不很清晰，因此，利用限制对比度自适应直方图均衡化(CLAHE)方法对近红外图像进行预处理，每幅图像被划分为8×8像素的区域，将均匀分布作为目标直方图［8］．图1(a)为一幅前臂的近红外图像，图1(b)为采用CLAHE方法对图像进行预处理的结果．由图可见，该方法在抑制噪声的基础上提升了图像的对比度．

图1　Gabor滤波及静脉提取结果

1．2近红外图像中静脉的提取

Gabor滤波器与人类视觉系统的纹理认知机制一致，能很好地表达纹理的方向特征，因此被广泛应用于计算机视觉的许多领域，如纹理分割、边缘检测等［9］．本文利用Gabor滤波器自动提取预处理后近红外图像中的静脉信息，由于近红外图像中静脉为黑色线条，故采用16个含有不同尺度和方向的Gabor滤波器的实部对图像进行处理［10］，其空域数学表达式为

式中，x' = xcosθk+ ysinθk，y' =－xsinθk+ ycosθk;θk= kπ/8为滤波器方向角;λmk为正弦分量的波长; σm为椭圆形高斯窗口沿x'方向的标准方差;γ为空域中的比例; m∈{ 1，2}为滤波器的尺度集合; k∈{ 1，2，…，8}为滤波器的方向集合．为了提高对图像亮度变化的鲁棒性，去除滤波器的直流分量，得到滤波器GDC．设N(x，y)为一幅近红外图像，利用下式对该图像进行Gabor滤波:

式中，*表示二维卷积运算．通过式(2)计算共得到16幅滤波结果图．

由于每个滤波器能感受到特定方向和尺度的信息，因此在每一个像素位置，选用响应最大的滤波器的方向和尺度来表示该位置的方向和尺度信息．静脉具有连续性，因而可从滤波结果图中观察到静脉位置．为了消除光照和拍摄角度对滤波的影响，将点(x，y)附近的局部图像能量Pm从Fλmk，θk，σm，γ中除去，即用Fλmk，θk，σm，γ/Pm(x，y)来估计图像中的局部信息［10］．因此，Gabor滤波得到的方向图和能量图分别为

图1给出了一组Gabor滤波的结果图，其中，图1(c)和(d)分别为对图1(b)进行Gabor滤波后得到的能量和方向结果图．从图中可以观察到静脉的位置．

在Gabor滤波的基础上，进一步对静脉位置进行增强［10］．为了自动提取静脉像素，采用Otsu阈值分割算法对结果图进行二值化处理，结果如图1 (e)所示．对二值图进行细化，得到静脉的线状表示图，如图1(f)所示．

2　近红外－可见光映射模型

将静脉线状图叠加于近红外图像上，沿着黑色线条提取9×9像素的近红外像素块;同理，将静脉线状图叠加于可见光图像上，沿着黑色线条提取9 ×9×3像素的可见光像素块(RGB三个颜色通道)．得到一组可见光/近红外对应像素块，这些像素块表征了含有静脉的皮肤在可见光和近红外图像中像素值的对应关系．针对图像库中的每一组可见光/近红外手臂图像，提取100组对应像素块．仅有静脉像素的特征还不能构成有效的训练数据，为此，在静脉线状图的空白区域(对应了非静脉位置的普通皮肤)提取了同样数量的可见光/近红外对应像素块．最终得到1 600组像素块，构成了训练数据库．

采用一个三层前向神经网络来模拟可见光到近红外像素值的映射关系，输入层包含3个神经元，以训练数据库中的可见光像素值作为输入;输出层包含1个神经元，以近红外像素值作为输出;隐含层包含5个神经元．隐含层和输出层分别采用tan-sigmoid和线性函数，利用Levenberg-Marquardt反向传播法进行训练［11］．对于一幅待测可见光图像，将其RGB三个通道的像素值输入给训练好的神经网络，从其输出的映射图像中即可实现对静脉的提取．

3　图像亮度自适应调节算法

可见光图像中RGB三个通道的像素值是由入射光、皮肤反射率和相机响应函数共同决定的，即

式中，R，G，B分别为RGB三个通道的像素值; I(λ)为入射光光谱; R123(λ)为皮肤反射率; SR(λ)，SG(λ)，SB(λ)为数码相机的响应函数．可见，入射光的强度变化对可见光图像中的像素值有很大的影响．在不同光照条件下，相同的皮肤和相机会产生不同亮度值的图像，这将影响静脉提取的结果．设I(λ)和aI(λ)为2个具有相同光谱但是不同强度的光源，根据式(5)～(7)，由这2种光源产生的颜色值分别为和，其中τ= { R，G， B}．本文采用一种图像亮度自适应调节算法来降低光照强度的影响，即

式中，V为待测的可见光图像; a为图像亮度调整算子; f为神经网络映射函数; C为神经网络输出的映射图像．当映射图像的局部方差最大时，静脉的位置也最为清晰，因此，通过调整映射图像的局部方差求得a的最优值，即

式中，A为算子待选值集合; Cb，i为映射近红外图像中第i个5×5像素的邻域; M为邻域总数; (x，y)为像素的位置; Sb，i为Cb，i中皮肤像素的集合．

4　实验结果和讨论

4．1近红外图像中静脉提取方法的比较

在建立近红外－可见光训练数据库时，本文利用Gabor滤波器自动提取预处理后近红外图像中的静脉线条．首先对这种提取方法进行比较验证，通过简单的阈值方法分割静脉．图2(a)～(c)分别为对图1(b)采用Otsu方法、区域增长法和水平集法进行分割的结果图．对比图1(f)可见，这些简单的阈值分割方法无法有效地提取近红外图像中的静脉．

4．2静脉提取算法的主观评价

用一批可见光皮肤图像对本文所提算法进行验证．首先对图像亮度进行自适应调节，然后将其输入神经网络进行静脉提取．所有实验图像的采集对象均不在训练数据库人员中．前臂内侧图像的部分实验结果如图3所示，图中的近红外图像用于对提取结果进行验证．利用限制对比度自适应直方图均衡化方法对结果图像的对比度进行了调整，同时采用了双边滤波对噪声进行平滑．第1组实验图像的采集对象为中国人，其皮肤黑色素含量较少，皮下脂肪层较薄，所以其静脉位置较浅，尽管如此，用目视法还是不容易从可见光图像中寻找全部的静脉(见图3(a) )．用本文所提算法可以得到很好的提取结果(见图3(b) )，与近红外图像(见图3 (c) )比较后发现，从图3(b)中可以清晰地看到所有静脉的位置，包括一些细小的静脉．第2组实验图像的采集对象为伊朗人，其皮肤上有浓密的毛发，严重影响了目视法对静脉的观测效果(见图3 (d) )．第3组实验图像的采集对象为印度人，其皮肤黑色素含量较高，肤色很深，目视法几乎无法找到静脉(见图3(g) )，这2组实验近红外图像中的静脉都不是很清楚(见图3(f)、(i) )，但在图3 (e)、(h)的提取结果中可以看到静脉的位置．

图2　静脉提取方法的比较验证

图3　前臂的静脉提取实验结果

本文所用的训练数据采集自前臂内侧的图像，为了验证该算法的通用性，用不同相机拍摄的不同部位的皮肤图像对其进行实验，部分结果见图4．第1组实验图像采集自上臂的外侧(见图4(a) )，第2组实验图像采集自大腿的前侧(见图4(d) )，第3组实验图像采集自小腿的前侧(见图4(g) )，其中可见光图像是由Nikon D70相机拍摄的(与近红外图像非同步对应)，相机型号和光照条件都与训练数据有很大差别．3组实验中，由提取结果可以清晰地找到静脉的位置(见图4(b)、(e)、(h) )，部分静脉甚至比近红外图像还要清晰(见图4(c)、(f)、(i) )．从上述实验结果可见，本文所提的静脉提取算法对于不同人种、不同身体部位、不同光照条件和不同特性相机拍摄的图像都能有较好的提取结果．

4．3静脉提取算法的客观评价

为了对本文算法进行更好的验证，设计了如下的客观评价方法．首先针对一幅可见光手臂图像(见图5(a) )获得提取结果图(见图5(d) )，接着利用前述Gabor滤波器提取静脉位置二值图(见图5(g) )．同时，针对与可见光图像对应的近红外图像(见图5(b) )也提取其静脉位置二值图(见图5(e) )，进一步可以得到该近红外图像与提取结果中静脉位置的交集(见图5(h) )．作为对比，选取另一幅手臂的近红外图像(见图5(c) )，提取其静脉位置二值图(见图5(f) )，并得到其与提取结果中静脉位置的交集(见图5(i) )．观察2幅交集图像可以发现，提取结果与对应的近红外图像有着很高的重合度，而与其他近红外图像的重合区域极少．将交集图像与近红外图像中静脉的面积之比定义为静脉重合度，作为算法性能的客观评价．图5 (h)的静脉重合度为49．88%，而图5(i)的静脉重合度只有8．81%．具体步骤如下:

图4　其他身体部位的静脉提取实验结果

图5　提取结果的客观评价

1)对一个含有20幅手臂图像(不包含采集训练图像的人员)的测试图库进行了实验．分别求出结果图像与对应近红外图像及其余近红外图像的静脉重合度．图6(a)为实验结果．可见，用本文算法得到的静脉位置与对应近红外图像的重合度远高于与其余近红外图像的重合度，利用该算法可以较为准确地找到可见光图像中的静脉．

2)验证本文算法的鲁棒性．对另一个含有22幅手臂图像的测试图库进行了实验，该图库的图像是在不同拍摄条件下获得的，光照及拍摄角度都有较大差异，图6(b)为实验结果．可见，对于不同拍摄条件下的图像，用本文算法得到的静脉位置与对应近红外图像仍有较高的重合度．

3)验证本文算法的稳定性．对一组含有15人手臂图像的测试图库进行了实验，其中每人拍摄了2次，平均时间间隔为2周，2次拍摄的光照、拍摄角度均不同，部分图像如图7所示，图6(c)为2次测试的平均结果．可见，对于不同时间拍摄的图像，本文算法具有较稳定的提取效果．

图6　静脉重合度测试结果

图7　2次拍摄时段获得的测试图像

以上的多组实验结果证明了本文算法的有效性．另外，该算法运算简单，利用Matlab7．11软件对一幅1 024×768像素的可见光图像进行测试，运行时间仅为0．338 s．

5　结语

本文针对可见光图像开发了一种快捷的静脉提取算法．首先采集了一组可见光－近红外的同步皮肤图像，通过预处理和Gabor滤波器提取静脉及普通皮肤的对应像素值，作为样本训练一个三层前向神经网络，模拟可见光到近红外像素值的映射关系．采用了一种图像亮度自适应调节算法来降低入射光强度变化对可见光图像的影响．实验结果表明，该方法对于不同人种、不同身体部位、不同光照条件和不同特性相机拍摄的图像都能有较好的提取结果，并且运算简单快捷，易于实现．另外，该方法在实际使用中不需要任何辅助装置和设备，将基于该算法的软件植入医护人员的智能手机中，即成为小巧便携的静脉显像仪．该方法能显著提高首次静脉穿刺成功率，提高了医护人员的工作效率，有望为中西部偏远落后地区的患者提供帮助．

参考文献(References)

［1］Prabhu V，Mohanavelu K，Sundersheshu B S，et al．Vein identification and localization for automated intravenous drug delivery system［M］/ /Wireless Networks and Computational Intelligence．Heidelberg，German: Springer Berlin，2012: 270－281．

［2］Kavitha R，Flower L．Localization of palm dorsal vein pattern using image processing for automated intra-venous drug needle insertion［J］．International Journal of Engineering Science＆Technology，2011，3(6) : 4833 －4838．

［3］周雅，胡晓明，林俊清，等．一种多光谱三维静脉图像显示装置:中国，CN102813504A［P］．2012-12-12．

［4］Wieringa F P，Mastik F，Cate F J，et al．Remote noninvasive stereoscopic imaging of blood vessels: First invivo results of a new multispectral contrast enhancement technology［J］．Annals of Biomedical Engineering，2006，34(12) : 1870－1878．DOI: 10．1007/s10439-006-9198-1．

［5］Shahzad A，Walter N，Saeed M A，et al．Multispectral venous images analysis for optimum illumination selection［C］/ /IEEE International Conference on Image Processing．Melbourne，Australia，2013: 2383－2387．

［6］屈学民，卞正中．静脉血管超声定位检测仪的研制［J］．中国医学物理学杂志，2000，17(1) : 32－33．Qu Xuemin，Bian Zhengzhong．The design of ultrasonic location for vein vessel［J］．Chinese Journal of Medical Physics，2000，17(1) : 32－33．(in Chinese)

［7］王薇，曹宏梅，周鹏，等．基于显微超声成像的脉搏波检测研究［J］．中国生物医学工程学报，2010，29(4) : 531 －537．DOI:10．3969/j．issn．0258-8021．2010．04．009．Wang Wei，Cao Hongmei，Zhou Peng，et al．Pulse wave detection for ultrasound imaging microscopy［J］．Chinese Journal of Biomedical Engineering，2010，29 (4) : 531－537．DOI: 10．3969/j．issn．0258-8021．2010．04．009．(in Chinese)

［8］Zuiderveld K．Contrast limited adaptive histogram equalization［C］/ /Graphic Gems IV．Burlington，USA，1994: 474－485．

［9］Daugman J G．Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression ［J］．IEEE Transactions on Acoustics，Speech＆Signal Processing，1988，36(7) : 1169－1179．

［10］Zhang H，Tang C，Kong W K，et al．Matching vein patterns from color images for forensic investigation ［C］/ /IEEE Conference on Biometrics: Theory，Applications and Systems．Arlington，USA，2012: 77－84．

［11］Haykin S．Neural networks: A comprehensive foundation［M］．New York: Macmillan Publishing，1994: 183－189．

A fast vein detection algorithm based on near infrared-visible light mapping

Tang Chaoying
(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

Abstract:A fast vein detection algorithm is proposed for visible images．Pairs of skin images are captured by using a visible-near infrared (NIR) synchronized camera．The contrast of the NIR images is adjusted by the contrast limited adaptive histogram equalization method．Gabor filters are adopted to automatically detect veins information．Based on it，the corresponding pixel values of veins and general skin are exacted from the visible-NIR images and used as samples to train a threelayered feed-forward neural network，which approximates the mapping from RGB (red，green and blue) values to NIR intensities．Veins can be observed from the mapped images．To eliminate the influence of illumination variations on pixel values in visible images，an image intensity adjustment algorithm is proposed．The experimental results show that the proposed algorithm is robust to images taken from different people under different illumination and camera conditions．It also has a stable performance on images taken at different times．The computation is simple and fast，and it is helpful to develop low-cost portable vein imaging device for medical treatment．

Key words:vein detection; visible image; near infrared image; neural network;Gabor filter

基金项目:国家自然科学基金资助项目(61403196)、教育部博士点基金资助项目(20133218120018)、江苏省自然科学基金资助项目(BK20140837)．

收稿日期:2015-07-15．

作者简介:唐超颖(1979—)，女，博士，讲师，cytang@ nuaa．edu．cn．

DOI:10．3969/j．issn．1001－0505．2016．01．007

中图分类号:TP391．41

文献标志码:A

文章编号:1001－0505(2016) 01-0035-07