基于树莓派的便携式静脉投影仪的研制
2022-02-23王国徽卫洪涛
王国徽,马 竞,卫洪涛
(郑州大学力学与安全工程学院,郑州 450001)
0 引言
静脉穿刺是常规的医疗手段。即使是经验丰富的护士,在面对血管不明显的婴儿、黑人以及肥胖群体时,初次扎针的成功率也会大幅降低[1]。另外,患者的血管条件也是影响静脉穿刺成功率的一大因素。老人由于器官老化,易出现血管硬化、不充盈等现象[2],有些重症患者由于长期治疗会出现血管壁薄弱、修复能力减弱的问题[3]。这些特殊情况都需要医护人员深入了解血管形态和走向,以便找到最适合进行穿刺的静脉。随着静脉显像技术和可视化仪器的不断发展,上述难题已经得到改善和解决。
Zeman等[4]早在1999年就提出将静脉识别技术运用到医疗领域,利用静脉图像辅助医护人员进行静脉穿刺。美国Christiemedical公司的VeinViewer系列产品[5]是近些年国外相关领域最为知名的产品之一,该系列产品的静脉成像效果好,但售价高达2万美元。2013年,美国伊凡娜公司推出Eyes On智能医学眼镜[6],通过发射X射线,使使用者看见血管的位置。由于X射线对人体健康有一定危害,故难以普及。
国内静脉显像及定位技术研究虽然稍晚于国外,但是近几年也获得巨大的进步和丰硕的成果。2006年,静脉识别首次成为国家自然科学基金资助项目[7],随后更多国内高校开始从事静脉显像相关研究。同济大学研究人员设计了红外静脉辅助定位系统[8],该系统是把人体静脉显示在LCD显示屏上,不够直观且无法满足临床上的需求。王庆源[9]申请了“一种用于红外静脉血管显像的光学机构”的专利,通过一个分光镜使红外摄像头入射光路和投影仪出射光路重合,实现浅层静脉血管等比例显示的效果。董丽丽等[10]设计了基于神经网络的自动穿刺机器人,采用超声技术对血管进行定位。中科微光医疗器械技术有限公司研制了投影式血管显像仪,其最新的型号V800P是嵌入式静脉投影仪[11],亮度具有4挡,带有若干种可调模式,如不同颜色的投影模式。值得注意的是,该产品还可以对血管进行深度估计,可以评估0~2 mm、2~4 mm以及4 mm以上3种深度,但是该产品系统闭源,不能远程通信,同时售价昂贵,影响其在医院的使用规模。博联众科(武汉)科技有限公司研制了VeinSight系列血管显像仪,其最新型号VS500具有深度探测功能[12],可以通过软件把储存在显像仪中的照片下载到计算机中,同时具有距离感应装置,可随时测量显像仪与皮肤之间的距离,提示下针位置及送针路径。
得益于静脉显像技术的快速发展,国内外市场上已有多种类型的产品在售,但价格普遍高昂,系统不开放,没有远距离传输功能,且尚未大范围推广应用。本文研制的静脉投影仪可实现静脉的原位置投影,节省光学元件的同时也减小了体积,并且所选用的元件设备价格低,易于推广和普及。
1 硬件设计
1.1 原理
静脉投影仪的原理是静脉中脱氧血红蛋白对红外光的吸收强度高于静脉周边组织[10],通过人为增加红外光照射皮肤表面,用带红外滤光片的摄像头拍摄皮肤,静脉的位置在影像中的亮度相较于其他部位更暗,这就得到了人体静脉的分布特征和静脉大致的形态。将得到的图像用图像处理技术处理,以放大、增强静脉特征,再把图像实时传输给投影仪,并投影在皮肤上,就能直观地看到静脉血管的分布情况。通过调整拍摄角度并结合图像处理,消除拍摄区域和投影区域的位置偏差,实现静脉的原位置显示。静脉投影仪工作流程如图1所示。
1.2 结构设计
静脉显像设备最理想的效果是能够实现静脉图像在皮肤表面的原位置投影,真正方便使用者直观地看到静脉所在位置。一些静脉显像设备通过光路复用结构来实现这一效果[13],即通过分光镜片使投影仪出射光回到原来的垂直于皮肤的光路上。光路复用方案的结构示意图如图2所示。
本文设计的静脉投影仪由树莓派、微机电系统(micro-electro-mechanical system,MEMS)激光扫描投影模组、加装红外滤光片的红外摄像头、电池、壳体和支架构成。静脉投影仪壳体主体外形与枪式测温计相似,电池置于手柄内,树莓派叠放在MEMS激光扫描投影模组下方。摄像头夹持装置设计成可旋转式,通过转动摄像头的拍摄角度改变拍摄位置,结合图像处理算法消除拍摄区域和投影区域的位置偏差,使投影区域处于图像中央位置。对拍摄的图像进行裁切、放缩矫正后由投影仪投射到皮肤,从而实现静脉血管的原位置等大投影。原位置投影原理如图3所示。
图2 光路复用方案结构示意图
图3 原位置投影原理
这种方案不必使用光学镜片,在一定程度上缩小了静脉投影仪的尺寸。但投影仪距离皮肤的远近会影响投射画面的大小,因而使用时需限定在一定的距离范围内才不至于使静脉的大小有较大的偏差。为此本文设计了一个辅助使用的支架,使用时需要把静脉投影仪放在支架指定位置,手臂平放在桌面上。静脉投影仪三维视图如图4所示。
1.3 核心部件选型
图4 静脉投影仪三维视图
静脉投影仪采用开源树莓派平台,CPU为博通BCM 2711,由5 V/3 A USB-C供电。尽管树莓派官方操作系统Raspbian是32位,但经过实际测试,64位的系统在运行流畅度和稳定性上都优于32位系统,故本文使用的树莓派安装了64位Raspbian操作系统。树莓派为开源系统,可以安装自己的程序,并接入很多其他应用,使得静脉投影仪有较大的可拓展性和开放性。在研制阶段,通过网络和VNC Viewer软件实现静脉图像的远程传输以及静脉投影仪的无线控制与调试,使静脉投影仪能够成为终端产品,助力远程医疗的发展[14]。
投影装置选用MEMS激光扫描投影模组,其尺寸为95 mm×65 mm×18 mm(长×宽×高),功率为2.5 W,质量为82.5 g,解析度为720P(1 280像素×720像素),亮度为23~33 lm。其原理是通过静电力驱动MEMS镜片,反射红、绿、蓝3束激光,逐行扫描成像[15]。因此,该投影模组成像无需调焦,能在曲面上投影出清晰的画面,非常适用于在人体皮肤表面投影。另外,MEMS投影模组这种成像方式在图像像素为黑色时,激光源就不再扫描该像素点所对应的位置,使得亮光区域面积减小。照射范围的缩小,减弱了皮肤反射的亮光对摄像头采集图像的影响。与普通投影模组相比,MEMS投影模组这一特点可以避免因完全出射光线导致画面过曝的问题,能得到更佳的拍摄效果。
图像采集设备选用与树莓派相适配的红外摄像头,支持接入2个红外补光灯。感光芯片是OV5647,具有500万像素;红外补光灯工作功率为3 W,可以发出850 nm的近红外光,其穿透能力以及还原型血红蛋白的吸收能力都处在较好的水平[16]。
静脉投影仪的外壳和支架由3D打印制作而成,材质为聚乳酸(polylactic acid,PLA)。另外配有一块定制的锂电池为设备供电。因为树莓派和MEMS激光扫描投影模组尺寸小,所以静脉投影仪也足够小巧,作为终端设备具有方便携带的优点,更能够满足门诊医生的多样化使用需求。
2 程序设计
2.1 图像增强
静脉投影仪软件程序采用Visual Studio Code编写,由树莓派内置的Python解释器运行,通过OpenCV图像处理算法完成图像对比度的增强及其他操作。图像增强方法有直方图均衡化、线性变换、伽马变换、局部自适应直方图均衡化、分段线性变换等[17]。经过多次实验,发现使用局部自适应直方图均衡化,能够达到效果和处理速度的平衡,基本不存在卡顿现象。
灰度直方图是将数学中直方图的概念迁移到图像上,统计0~255之间每个灰度级对应的像素个数。图像对比度可通过灰度级范围来度量,灰度级范围与对比度呈正相关[18]。直方图均衡化是一种增强图像对比度的有效方法,一般而言是在图像全局进行的。而局部自适应直方图均衡化将图像按预设大小划分成多个网格,在每个方格内进行直方图均衡化,每个方格的灰度直方图被限制在设定的灰度级范围内。但是如果某一方格内有噪声,反而会降低图像质量[19],因而有必要在进行图像增强之前进行图像模糊处理以去除噪声。这种与对比度增强背道而驰的做法会丢失一些边缘特征,所以需要合理控制预处理时卷积核的大小。实验结果表明,卷积核的大小设为5×5时,这种微弱的模糊处理收益是正向的。手臂图像经过去噪和局部自适应直方图均衡化处理后的效果如图5所示。
2.2 程序优化
对程序进行优化的目的是提高处理速度和增强设备易用性。具体方法如下:(1)裁剪图片提取感兴趣区(range of interest,ROI),去除部分背景信息,减小后续图像处理的计算量。ROI最后会被放大以便在一定的投影距离实现等比例投影。(2)给图像添加黑色边界,扩大为1 280像素×720像素。MEMS激光扫描投影模组不会显示黑色像素,以降低亮光对摄像头的干扰。而通过调整4个边界的宽度可以改变相对位置,使其能投射到正确部位。(3)图像二值化处理,使人体周围较暗的区域变成黑色,进一步缩小显示范围。带有黑色边界的二值化图像如图6所示。(4)改善显示效果,把ROI灰度图像拓展为三通道,即把R、B通道置为0,便可呈现绿色效果。
3 实际测试效果
采用制成的样机(如图7所示)进行测试,尺寸为169 mm×101 mm×173 mm(长×宽×高)。
图5 手臂图像处理效果
图6 带有黑色边界的二值化图像
图7 样机示意图
实际测试的环境为室内且有日光灯照射,测试时静脉投影仪放在一个高约7 cm的转台上,实际投影显示效果如图8所示,可见手背较粗的血管能够清晰显示。由于程序中的图像模糊处理会去掉图片中细小孤立的部分,所以细小血管在皮肤表面难以观察到。投影的图像分辨力大小可以通过程序控制进行调节,图8中显示的图像分辨力为1 322像素×1 612像素。对于普通静脉穿刺而言,仅仅看到浅层或较为粗大的血管就能实现目的,因而目前程序设置的参数显示为这种效果,即只突出显示较为粗大的血管。图9是测试者手背图片,图像分辨力为636像素×726像素。为了能凸显血管位置以便于比对验证,拍摄时仿照临床静脉穿刺的做法用橡皮筋扎紧手臂。
图8 投影显示效果
图9 手背图片
为了对照检查血管投影位置是否与真实位置重合,在图8中选择红色方框部位中的血管分叉处进行验证,图9中也对应标出血管分叉处大致位置。将图8和图9在Windows 10系统内置的画图程序中打开,在2幅图像上选择关键点,画水平的直线并进行测量。由于手掌在2幅图像中的尺度不同,因而选择食指的宽度作为参考,即把2幅图像中各自测得的像素长度进行比较。其中L1、L3是在食指对应位置标记的直线,L2、L4是从手掌边缘到血管分叉处标记的直线。软件显示L1、L2、L3、L44条线段的像素值分别是101、276、78、214。因为是同一只手,计算食指宽度之比便可作为比例尺计算出在图9尺度下从手掌边缘到血管分叉处的直线的理论长度,即L4′。以像素为单位进行下列计算:
L4′-L4=-0.85像素
L4′与图9实测长度L4的差值-0.85像素即计算得到的误差,基本可以忽略。而且即便是考虑了标记线段端点时产生的偶然误差,最终反映出的血管投影画面与血管真实位置的偏差也会在人可以接受的程度。
同类产品中,V800F成像效果图如图10所示,对比图8与图10可知,2款产品的投影效果都比较好。
4 结语
本文研制了一种基于树莓派的便携式静脉投影仪,实现了静脉的原位置投影,制成的样机经实际测试,实用性较好。借助树莓派的系统优势,设计的静脉投影仪能够拓展成为便携式医疗辅助设备,而且对比在售的静脉显像产品其在制造成本上具有显著的优势。
本文研制的静脉投影仪未来可以在很多方向优化升级。硬件上可以换用算力更高的设备和电量更大、电压更稳定的电池;在算法上可开发更有效的图像增强算法,如把图像模糊和图像增强组合到一起,设置不同的参数,以神经网络“层”的形式进行多次处理;功能设计上可以试用超声波获取血管深度信息、与人工智能推荐算法结合在线评估血管状态,以推荐适宜静脉穿刺的血管,还可与虚拟现实(virtual reality,VR)技术结合,进一步提升可视化的体验。
图10 中科微光V800F成像效果