RGB图像高光谱重建的组织血氧饱和度评估

王雨晨,孔令琴,3*,赵跃进,3,董立泉,3*,刘 明,3,惠 梅

1. 北京理工大学光电学院,北京 100081 2. 精密光电测试仪器及技术北京市重点实验室,北京 100081 3. 北京理工大学长三角研究院(嘉兴),浙江 嘉兴 314019

引 言

组织血氧饱和度(tissue oxygen saturation,StO2)是指组织微循环中的血氧饱和度,反映身体实时氧气输送和消耗情况,其范围从静脉血氧饱和度的60%到动脉血氧饱和度的98%。临床上,StO2是血液灌注和血液氧合变化的重要指标,因此用作血管疾病或各种组织的血氧状态监测。如对肺和心血管功能的监测,中枢低血容量和低血容量休克症状的评估,以及糖尿病足溃疡的创口评估等。测量StO2的传统方法要求探测器直接接触被测组织,这对于临床上多数有受伤创面的皮肤而言是不现实的,且在空间上不能对区域StO2信息有完整描述。

高光谱成像(hyperspectral imaging,HSI)作为一种新型的、非接触式的光学诊断技术,兼具空间与光谱高分辨率的特点,在高精度生理参数测量以及相关疾病诊断方面具有明显优势[1-2],其对StO2的测量结果可以以StO2空间分布图的形式呈现。HSI结合成像和光谱的混合模式,在二维检测器阵列的每个像素处收集光谱信息,产生空间和光谱信息的三维数据集。其丰富的图像信息和光谱信息为临床医学提供了一种有效的辅助诊断手段,具有巨大的发展潜力。

由于生物组织中的含氧血红蛋白、脱氧血红蛋白、黑色素等生色团对不同波长光的吸光度不同,导致其漫反射光谱存在明显的光学特性差异。高光谱成像技术通过采集其高光谱图像,采用特定的评估方法建立合适的高光谱成像人体皮肤组织评估模型可以得到组织区域中含氧血红蛋白、脱氧血红蛋白等人体组织发色团的含量从而得到特定区域的StO2空间分布图。Zuzak等利用高光谱成像系统可视化特定皮肤组织区域中氧合血红蛋白和脱氧血红蛋白百分比的空间分布[3]。Jakovels等使用多光谱成像系统Nuance 2.4(美国剑桥研究与仪器公司)进行活体皮肤的光谱成像并分析得到含氧、脱氧血红蛋白和黑色素相对浓度的二维图谱[4]。然而高光谱设备通常结构复杂,价格昂贵,且操作繁琐,影响了其临床推广以及日常监测的普及。

传统工业相机获取皮肤组织的RGB图像空间分辨率高、但其光谱分辨率低,若能提高光谱分辨,则其实现高精度生理参数测量成为可能,因此很多学者展开了针对RGB图像的高光谱重建方法的研究。RGB图像可以看作高分辨光谱图像在光谱维度上的积分。若已知高光谱图像,则可以计算唯一与之对应的低分辨光谱图像,而已知低分辨光谱图像,则可得到多个满足条件的高分辨光谱图像,高光谱重建是一个欠定问题。Kim等利用RGB图像采用多元回归的方法实现了高光谱图像重建,并实现了区域血红蛋白浓度的可视化[5]。Sang等基于统计学习的方法,从眼睑区域RGB图像中重建高光谱图像,实现无创评估血液中的Hgb浓度[6]。但该研究重建的眼睑部位特殊,其不受黑色素影响且图像空间变化单一,同时采用浅层学习构建的重建模型表达力有限,无法适用于空间变化复杂的其他皮肤区域。深度学习拥有强大的泛化能力和表达能力,随着CNN(convolutional neural networks)在高光谱图像的重建中的成功应用,众多团队尝试使用多种网络结构来实现高光谱重建,如使用生成对抗网络[7]、深度残差网络[8]、自适应加权注意力网络[9]等,这些研究使得深度学习在高光谱重建上的表现越来越强大。基于深度学习神经网络的皮肤组织区域光谱重建进而实现生理参数评估的方法也被提出。Sharma等利用深度学习的方法对手臂皮肤区域RGB图像在近红外光谱波段进行重建用以实现静脉可视化[10]。Jolivot等利用人工神经网络为从皮肤区域多光谱数据到高光谱信息的重建提供了结合二维空间信息的皮肤光学反射光谱数据[11],但并没有针对重建的反射光谱开展后续的生理参数评估,同时其输入是多光谱数据,成像系统也较为复杂。目前,使用深度学习方法将RGB图像重建为高光谱图像用于区域StO2成像方面的研究报道较少。

基于此,我们提出了一种基于RGB图像高光谱重建的区域StO2测量方法。该方法通过不同固紧时长控制手指的StO2状态,采集不同人在不同血氧含量状态下的手部RGB和高光谱图像对作为训练集,基于深度学习构建了RGB图像到高光谱图像的重建模型,获得了高物理可靠性皮肤组织高光谱图像,并利用改进的朗伯比尔模型,最终实现了区域StO2评估。

1 理论与方法

1.1 RGB三通道到高光谱的重建

实现人体组织RGB图像的漫反射光谱重建,首先需要明确低维RGB图像与高维高光谱图像关系。工业相机所拍摄的手部三色图像中的某点(x,y)的光谱与高光谱图像中该点的光谱有如式(1)关系

r(x,y)3×1=S3×Nt(x,y)N×1

(1)

式(1)中,r(x,y)3×1代表了该点R、G、B三通道的颜色强度值,r(x,y)3×1=[I(R),I(G),I(B)];S是一个3×N矩阵,它来自于三色传感器的光谱响应;t(x,y)N×1是光谱反射强度随波长变化的N×1向量,其中N代表了高维反射光谱的离散光谱通道数。因此,由R,G,B三通道获取N个光谱通道反射光谱的过程可以用如式(2)模型表述

t(x,y)N×1=XN×3r(x,y)3×1

(2)

式(2)中,XN×3=(S3×N)-1。

基于上述分析可知,只要求得变换矩阵XN×3,就可以实现RGB到高光谱图像的转化,但X的求解是一个欠定问题,即一组RGB值对应多组可能的光谱数据。同时不同光谱成分和不同光线入射角度的变化,使得从RGB三通道值计算反射光谱成为一个十分困难的问题。深度学习方法以良好的表达能力和较强的泛化能力,在高光谱重建的求解上表现出更好的性能。具体而言,深度学习方法通过采集大量RGB—高光谱数据对的集合,将该欠定方程转换为可通过回归方法求解的超定问题,即

TN×m=XN×3R3×m

(3)

式(3)中,TN×m和R3×m是通过将m个不同测量值tN×1和r3×1(即训练数据集)叠加而成。通过训练神经网络模型求解该映射关系,即可从新的RGB信号r中预测出其对应的皮肤漫反射光谱t。

HRNet(hierarchical regression network)模型是一个4层分层回归网络[12],其中像素混合层作为层间交互。采用剩余密集块去除真实世界RGB图像的伪影,并采用剩余全局块建立注意机制来扩大感知场,可被用于室外大场景可见光波段数据集的RGB图像光谱重建。而皮肤组织的光谱特性有别于室外可见光场景,重建的光谱模型在皮肤发色团的特征光谱区域需要具备更高的精确度才能基于重建光谱实现生理参数的准确检测。因此,适用于人体皮肤组织的模型建立是更为复杂的。本工作基于HRNet模型采集并处理得到了适合于非接触成像评估StO2的皮肤组织RGB-HSI数据集,训练了新的重建模型。

为了评估整个数据集的测量反射光谱和重建反射光谱之间的相似性,使用拟合良好度指标平均绝对误差(mean absolute error,MAE)和均方误差(root mean square error,RMSE)来评价重建模型的性能:

MAE是计算生成的光谱图像Yr和真值Ygt的所有光谱通道之间的平均绝对值误差,表示网络的构造质量。

(4)

式(4)中,N表示光谱图像的不同光谱通道数。在此N取31。

RMSE是真值和重建光谱图像在N个光谱通道之间的均方根误差。

(5)

1.2 基于重建的高光谱图像评估StO2

从重建后的高光谱图像中提取StO2信息,现有的方法主要有蒙特卡洛仿真[13]、高斯叠加[4]、模糊聚类[14]、最小二乘[15]等,本研究中采用了基于朗伯比尔模型的最小二乘算法,该方法相对于其他StO2评估方法,处理高光谱数据的计算量较小且限制条件较少,适用场景广泛,被较多用于StO2的非接触监测[15-16]。朗伯比尔定律如式(6)所示

A=εceff

(6)

式(6)中,ε是材料的摩尔消光系数(cm-1·mol-1·L-1),ceff是吸收剂的有效浓度(10-3mol·cm-2),代表每单位面积吸收剂的摩尔浓度。可见光至近红外范围内(400～1 000 nm),人体皮肤组织的主要发色团有脱氧血红蛋白、含氧血红蛋白、黑色素。故式(6)展开为

A=εHbCHb+εHbO2cHbO2+εmelanincmelanin

(7)

由于光子在被散射到非均匀人体组织内的不同路径中其中一些光子在多次散射后丢失,只留下一小部分光子沿着路径被探测器收集。因此基于改进的朗伯比尔定律,则吸光度A被进一步表达为

A=εHbcHb+εHbO2cHbO2+εmelanincmelanin+G

(8)

本工作中,高光谱相机采集的各个波长对应的含氧血红蛋白、脱氧血红蛋白和黑色素的摩尔消光系数εHb,εHbO2,εmelanin均来自之前研究者测量的标准数据[17-18]经过插值后得到。G是由于散射而损失的光子部分,是一个常数,与波长无关。每一像素点中各个波长的吸光度A(x,y,λ)由高光谱相机测得

(9)

式(9)中,R(x,y,λ)是被测组织在实验照明系统下的反射光谱,It(x,y,λ)是被测组织在实验照明系统下的高光谱图像,B(x,y,λ)是镜头完全关闭下的高光谱图像(黑板),Ic(x,y,λ)是标准反射率白板在实验照明系统下的高光谱图像,其在250～2 500 nm的光谱范围内反射率为0.98,x和y是像素坐标,λ是波长。高光谱图像都是以14-bit数据超立方体的形式存储。

通过使用最小二乘法(the least mean squares method)解等式(6)从而得到各发色团的有效浓度ceff和常数G

cmod=(E′E)-1E′A

(10)

式(10)中,cmod是一个模拟的有效浓度矩阵,包括发色团的有效浓度(cHb、cHbO2、cmelanin)和散射常数(G),E是摩尔消光系数矩阵,A是高光谱相机得到对应的各个光谱通道下的吸光度集合。StO2最终由式(11)计算得出

(11)

综上所述,我们提出的基于RGB图像高光谱重建的StO2评估方法流程如图1所示。利用高光谱相机与可见光相机,通过手指不同固紧时长下的固紧实验获得不同血氧状态下的RGB-HSI数据对,将其作为数据集。构建基于深度学习的RGB到皮肤反射光谱的重建模型,进而获得皮肤漫反射光谱。然后通过改进的朗伯比尔模型最终获得区域StO2空间分布图。

图1 基于RGB图像高光谱重建的StO2评估方法流程图Fig.1 Flow chart of StO2 assessment method based on hyperspectral reconstruction from RGB images

2 实验部分

2.1 仪器与样本

图2展示了整个RGB-HSI双成像实验装置示意图以及实物图。卤素灯光源照射至受试者手部,经手部漫反射后的光由高光谱仪(Gaiafield Pro-V10中国双利合谱)与普通工业相机(BFLY-U3-23S6C-C,FLIR)同时采集,采集到的数据经数据线传送至计算机(personal computer,PC)进行处理。其中高光谱相机的光谱分辨率为3.5 nm,扫描速度为15 s·cube-1,有效光谱通道数为360个,光谱波长范围387～999 nm。

图2 (a) 获取高光谱和RGB图像数据的双成像系统示意图;(b) 获取高光谱和RGB图像数据的双成像系统实物图,它包括一个实验台、RGB-HSI双成像装置、一台PC机、一个朝着拍摄区域照亮场景的卤素灯Fig.2 (a) Schematic of a dual-imaging system for acquiring hyperspectral and RGB image data;(b) a physical image of a dual-imaging system for acquiring hyperspectral and RGB image data,including a test bed,an RGB-HSI dual-imaging device,a PC,and a halogen lamp to illuminate the scene toward the shooting area

实验中,采集了49名健康受试者的高光谱图像,其中男性28名,女性21名,年龄在20～30岁之间。受试者均为亚洲人,可忽略肤色差异。实验中,高光谱相机与可见光相机置于离受试部位30 cm处。受试者被要求尽量保持受试部位(手部)静止,同时,采用卤素灯作为探测光源。每位受试者均采集受试部位、白板及镜头关闭后黑板的高光谱图像。

我们采用橡皮筋固紧手指的方式,通过固紧时长来控制手指的含氧量,以获得不同含氧状态下的图像数据,拓展数据集中StO2含量的多样性,提高模型的泛化能力。具体为在食指第一指关节部位捆绑橡皮筋以切断静脉回流。对于中指,将橡皮筋通过向下挤血的动作使之固紧在中指第三指关节部位。其他手指则不做操作用作健康的参考手指。共采集了49位受试者处于4种不同状态下(正常状态、固紧30 s,固紧90 s,固紧150 s)共188组手部高光谱和RGB图像有效实验数据。该实验方案符合相关伦理规程,并经过北京理工大学医学和实验动物医学伦理委员会批准,批准代码为2021-004。

2.2 高光谱重建模型的构建

2.2.1 高光谱图像预处理

高光谱相机采集到387～999 nm数据光谱,含360个光谱通道,数据量较大,这将为神经网络模型的训练带来巨大的运算量,且原始光谱中噪声较多。为降低数据冗余度并减小运算量便于后续重建,在考虑原有发色团光谱特征的基础上,对原始高光谱数据进行降采样,最终降维获得该波段范围内的123个光谱通道数据。针对图像中椒盐噪声较多的问题,我们采用了3×3模板的中值滤波器对高光谱图像进行滤波。

在理论与方法一节中提到,基于改进朗伯比尔模型以及最小二乘法拟合来从高光谱数据中提取StO2信息。为此选择一个合适的波段子集尤为重要,不同的波段子集会对最小二乘法的拟合影响较大。已有研究结果表明,脱氧血红蛋白(deoxyhemoglobin)与含氧血红蛋白(oxyhemoglobin)两个发色团有不同的光谱吸收特征,两者的标准消光系数曲线存在差异,这一差异在500～600 nm波段最为明显,如图3(a)所示。本工作通过手指捆绑实验验证了这点,如图3(b)为实验中食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、其余指为正常状态下的可见光图片。鉴于活体皮肤漫反射光谱受脱氧血红蛋白、含氧血红蛋白发色团的调制,正常状态与缺氧状态下的漫反射光谱存在差异。如图3(c)分别对应图3(b)中A、B、C三点的反射光谱。正常手指A(normal)处组织含氧量较高,其500～600 nm的反射光谱特征与含氧血红蛋白的吸收光谱特对应,存在明显的“W”峰,如图3(c)中红色曲线。缺氧指B(abnormal1)、C(abnormal2)处组织含氧量较低,其500～600 nm的反射光谱与脱氧血红蛋白的吸收光谱特征相对应,无明显“W”峰,如图3(c)中蓝、绿色曲线所示。

图3 (a) 脱氧血红蛋白(deoxyhemoglobin)和含氧血红蛋白(oxyhemoglobin)的标准消光系数曲线[19];(b) 手部可见光图片(食指第一指关节与中指第三指关节通过固紧产生缺氧,其余指正常);(c) 图3(b)中A、B、C三点对应的皮肤漫反射光谱Fig.3 (a) Standard extinction coefficient curves of deoxyhemoglobin and oxyhemoglobin [19];(b) visible-light pictures of the hand (the first finger joint of the index finger and the third finger joint of the middle finger are hypoxic by fastening,and the other three fingers are normal) ;(c) the skin diffuse reflectance spectra of the parts A,B and C at fingers as shown in Fig.3(b)

基于脱氧血红蛋白、含氧血红蛋白的特征反射光谱在500～600 nm这一事实,为了尽可能包含更多皮肤组织光谱信息,同时考虑到450 nm以下的光可能无法穿透皮肤组织足够深以到达血管,而600 nm以上皮肤组织的光反射率急剧上升[如图3(c)],在这个波段提取血氧浓度信息对实际测量精度要求较高,因此选择450～600 nm波段(含31个光谱通道)作为重建波段实现StO2的评估,即可减小模型拟合的误差,同时有效减少数据量,提高重建速度。

将高光谱相机采集获得的不同含氧状态下的手部高光谱图像,利用改进的朗伯比尔模型,可以生成该波段下(450～600 nm)的StO2空间分布图。图4为正常状态(normal hand)以及不同固紧时长状态下的手部RGB图像[图4(a)]及利用高光谱图像生成的StO2空间分布图[图4(b)]。从图中可以明显看出随着捆绑时间的增加,被束缚手指部位StO2值逐渐下降,其最终缺氧状态值接近经验估计值(30%左右),其余正常手指部位含氧量正常(90%以上),该实验表明,证明了本文选取的450～600 nm波段下高光谱图像可有效评估StO2。

2.2.2 模型实施及训练

共采集了188组手部高光谱和RGB图像有效数据。为避免背景区域对皮肤区域重建效果的影响,通过阈值处理的方法对图像进行预处理去除背景噪声。同时,为了减少网络的过拟合,得到泛化能力更强的网络,进行了数据集增广,通过在空间上对RGB和高光谱图像分别进行镜面、旋转90°以及镜面组合旋转90°的三种空间处理方式来扩充数据集,将数据集扩展到原来四倍。将获得的188×4=752组RGB-HSI数据对随机划分训练集和测试集,其中训练集含有720组样本,测试集含有32组样本,每组样本含有一张RGB图像和与其区域对应的31个光谱通道的高光谱图像。

在神经网络的训练配置上设置batchsize为16,初始学习率0.000 1,epoch=3 000,学习率衰减系数为0.5,每1 000轮衰减一次。该模型在Pytorh中实现,并在4个具有12 GB内存的NVIDIA TITAN GPU上进行训练。

3 结果与讨论

3.1 高光谱重建模型性能评估

首先对总体高光谱重建模型进行了验证分析,对测试集中的32组测试集样本进行了评估。32组样本的平均MAE为0.009 38,平均RMSE为0.014 81。

之后对重建特征点的光谱细节进行了评估。如图5所示,其中图5(a)为测试集中某一组样本的RGB图片,其中食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、其余指为正常状态。图5(b)为选择手部3个手指对应了3个不同含氧状态的位置(A,B 和C)的重建反射光谱(Reconstruction),与3点真值的反射光谱(ground truth,GT)进行比较。两者在数值和趋势上都大致相同,从图5(b)中可以看出,蓝色对应区域的重建光谱整体有少量偏移,主要原因是这一区域亮度较高,而重建模型对于光强整体亮度的变化并不敏感所致,这在今后的重建模型中有待改进。

图5 (a) 食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、其余指为正常状态下的手部可见光图片;(b) 选择手部不同手指对应不同含氧状态的三点的重建反射光谱(Reconstruction)以及真值的反射光谱(GT)进行比较(450～600 nm)Fig.5 (a) The visible light image of a hand in the test set. It shows the first knuckle of index finger and the third knuckle of middle finger being hypoxia by fastening and other three fingers being normal;(b) Reconstructed reflectance spectra of three parts of hand with different levels of oxygen in blood and their measured reflectance spectra (GT) for comparison (450～600 nm)

为进一步说明重建光谱准确性,对三个不同位置(position)点的重建光谱与真实光谱之间的MAE和相关系数(correlation coefficient)做了评估,如表1所示,可知两者在相关性(相关系数)与数值(MAE)上都十分接近,验证了模型的可靠性。

表1 根据图5(a)中(A、B、C)三个位置处重建光谱与真实光谱数据计算得到的两者之间的MAE和相关系数Table 1 MAE and correlation coefficients between the reconstructed spectra and the real spectra at the three positions (A,Band C) in Fig.5(a) are calculated

3.2 两种成像装置生成的StO2空间分布图对比

在评估两种成像装置生成的StO2空间分布图之前,首先分别对脱氧血红蛋白和含氧血红蛋白的重建进行了评估,图6为由高光谱数据直接得到与RGB数据重建后得到的脱氧血红蛋白含量分布图(deoxyhemoglobin map)以及含氧血红蛋白含量分布图(oxyhemoglobin map)。由图6(a)高光谱图像直接得出的脱氧血红蛋白以及含氧血红蛋白含量分布中可以看出,食指上部由于橡皮筋阻止了血液流动造成了血瘀和组织高吸氧,这使得局部区域脱氧血红蛋白含量大幅上升(0～0.5之间),含氧血红蛋白含量降低(0～0.4之间),整体血氧饱和度降低。而中指固紧150秒后,脱氧血红蛋白含量有少量增加(0～0.3之间),含氧血红蛋白含量则几乎完全消耗殆尽。这是由于将血液排空并阻断静脉回流。但考虑到实验中用橡皮筋并未能完全排空血液加之局部氧合现象导致该区域脱氧血红蛋白含量略有增加。而这些现象在图6(b)由RGB重建图像得到的脱氧血红蛋白、含氧血红蛋白含量分布中也有明显体现。

在此基础上,对比分析了RGB重建高光谱图像与直接采集到的高光谱图像生成的StO2空间分布图。图7为某一受试者手部在正常状态、捆绑30 s、捆绑90 s、捆绑150 s下,原始RGB图像[图7(a)]、直接采集的高光谱图像生成的StO2含量分布图[图7(b)]与经过RGB图像高光谱重建后生成的StO2含量分布图[图7(c)]。对比图7(b)与图7(c)可以发现,RGB图像与高光谱图像获得的StO2图一致,StO2随捆绑时间变长而降低。

图7 某一受试者手部在正常状态、捆绑30 s、捆绑90 s、捆绑150 s下的RGB图像和StO2空间分布图(a):RGB相机拍摄到的图像;(b):由高光谱数据得到的StO2空间分布图;(c):RGB图像光谱重建后生成的StO2空间分布图Fig.7 RGB images and StO2 spatial distributions of a subject’s hand in normal state,fastened for 30 seconds,90 seconds and 150 seconds(a):Image taken by an RGB camera;(b):StO2 spatial distribution map from hyperspectral data;(c):StO2 spatial distribution map based on spectral reconstruction of RGB image

同时,通过计算32组测试样本的StO2空间分布图的二维相关系数(2D correlation coefficient)对二者的相似性进行了定量评估,其结果如图8所示,图中横坐标表示二维相关系数区间,纵坐标表示该区间下的样本数。从图中可以看出样本重建均处于可靠范围内(大于94%)。上述结果表明了本文提出的基于可见光重建的StO2评估方法具有较高的准确性。

图8 针对测试集(32组手部RGB-HSI数据对)中原始高光谱图像生成的StO2空间分布图与RGB重建高光谱图像生成的StO2空间分布图的二维相关系数直方图Fig.8 The two-dimensional correlation coefficient histogram of StO2 spatial distribution map generated from original hyperspectral images in the test set (32 sets of hand RGB-HSI data pairs) and the StO2 spatial distribution map generated from RGB reconstructed hyperspectral images

4 结 论

提出并实验验证了基于RGB高光谱重建的区域StO2测量方法。基于深度学习方法构建了RGB图像到皮肤组织高光谱图像的重建模型,获得了高物理可靠性皮肤组织高光谱图像,并利用改进的朗伯比尔模型,实现了区域StO2评估。手指捆绑实验结果表明,该方法可获得不同血液灌注状态下的StO2空间分布图。同时对比实验结果表明,本文提出的RGB高光谱重建的区域StO2测量与高光谱相机测量结果一致。该研究利用普通彩色相机实现了区域StO2评估,为各种疾病的临床诊断和监测提供了一种简单低成本的StO2监测方法。在未来的工作中,作者将进一步分析探测光源光强和入射角度变化对光谱重建以及StO2可视化所带来的影响,提高StO2测量的精度及系统的稳健性。