一种人体体表三维温度场的融合重建方法

杨炎龙，徐 超

一种人体体表三维温度场的融合重建方法

杨炎龙，徐 超

（北京理工大学 光电学院光电成像技术与系统教育部重点实验室，北京 100081）

重建人体体表三维温度场能够为包括诊断在内的多项人体医学分析提供可靠数据。由于红外成像具有温度测量精度低、成像分辨率不足以及显示效果较差等缺陷，导致重建的目标三维温度场的可靠性存在不足。针对这些问题，提出一种针对人体体表的三维温度场的融合重建方法。即首先采用黑体测温标定的方法，对红外热像仪的测温结果进行误差修正；其次对红外图像进行对比度增强处理；之后进行超分辨率处理，使红外图像在空间分辨率上匹配三维数据；最后在数据融合阶段，基于不同图像中提取到的靶标特征点对应空间中相同位置的事实，对标定得到的系统结构参数进行误差修正。实验表明，该方法使三维温度场的测温精度达到0.26℃以下，温度场的三维分布结果得到提升，显示效果也得到了增强。

三维温度场重建；热像仪测温标定；多波段光学标定；红外图像处理；人体皮肤特性

0 引言

随着红外成像技术的成熟，红外热成像设备的应用逐渐深入各个行业。利用红外热成像进行人体体表组织炎症的探测是医疗行业较为典型的应用之一。生物体组织在发生炎症之后，该部位血流速度加快，细胞新陈代谢加速，会出现发热等现象[1]，利用红外热像仪能很好地进行医疗辅助检测，判断病患部位的状态。另外，红外成像还能检测人体体表组织的肿瘤病变[2]，进行早期的肿瘤预防和筛查。但红外二维图像无法准确定位温度异常区域，并且降维的投影成像会导致测温不准。建立被测目标的三维温度场能还原目标的三维空间温度分布，提升其温度的信息丰富度。因此，研究温度场三维重建技术对人体热成像检测技术具有重要意义。

三维热成像系统常见的实现方案是采用红外热像仪配合三维相机，来还原三维物体的表面温度分布[3-6]。该方案的好处在于能够得到物体的稠密三维点云，再对点云进行温度信息的投影映射，得到视觉和测量效果更好的目标三维温度场分布。但目前该方案的研究主要集中在三维点云的配准算法[7]、热像仪与三维成像系统的时间与空间对齐策略[8]以及系统作为感知设备的组合定位算法等[9]，并未考虑到红外成像存在的影响三维温度场重建结果的缺陷。

首先是热像仪的测温精度问题。在使用热像仪进行测温之前，都需要对其进行辐射定标。虽然热像仪机芯厂家会在手册中给出测温曲线，但是一般都存在较大误差。而且，人体测温与其他工业测温相比具有量程小和测温精度要求高等特点，提升热像仪测温精度有助于得到温度精度更高的三维温度场模型；其次，虽然前人研究了热像仪与深度相机之间的位姿计算方法，但是缺少对结果的误差评价与修正的分析，不准确的位姿关系将导致温度场的三维分布出现偏差；最后是热红外图像显示效果问题，从红外相机得到的原始图像存在对比度低和分辨率低等问题，直接采用该图像进行模型的纹理赋值得到的效果不佳。考虑到设备作为医疗辅助手段，关键在人眼观察，提高三维温度场的显示效果非常必要。

基于以上问题，本文研究了在人体体表三维温度场融合重建的红外数据以及红外与三维融合的优化方法。实验表明，该方法重建的人体目标三维温度场的温度精度达到0.26℃以下。温度分布结果和显示效果得到了明显的增强。

1 成像系统与数据处理流程设计

1.1 硬件系统设计

考虑到系统成本及性能指标，本文选择了非制冷红外热像仪搭配深度相机，组成三维热成像系统（如图1）。使用FLIR公司非制冷红外焦平面热像仪Tau2-640，图像分辨率640×512，NETD为50mK，成像视场32°×26°。采用焦距为13mm，F数1.25的红外锗镜头。热像仪自带非均匀性校正挡板，定期对探测器进行遮挡；选用Intel Realsense-D415深度相机获取场景三维信息，相机由两个近红外相机组成双目来测距，中间为近红外激光点阵投影仪。图像分辨率1024×720，成像视场63.4°×40.4°，深度精度为0.1mm，满足人体目标大小的三维测量要求。

图1 人体体表三维温度场成像系统实物图

三维热成像实验系统用铝支架固定，上方为热像仪，下方为深度相机，以光轴平行向前的朝向固定；深度相机视场大于热像仪视场。目标位于系统拍摄范围中心，热像仪和深度相机同时对其成像，完成双通道的数据采集。

1.2 数据处理流程

系统图像数据输入源分别为红外热像仪与深度相机。如图2，为了使红外图像能够满足要求，对红外图像进行了以下处理：1）使用黑体辐射源进行辐射定标来消除测温偏差，在目标温度范围内通过拟合测温曲线来修正测温结果；2）为了提升模型的视觉效果，在分析系统应用场景之后采用直方图增强算法，对14 bit到8bit局部线性映射后的热红外图像进行增强处理；3）针对红外图像分辨率低的问题，对红外图像进行超分辨率处理，以提升温度场模型的纹理图质量；4）针对热像仪图像与三维数据配准存在的误差，提出了一种评估和修正方法：采用靶标圆孔圆心在两相机图像中的位置偏差进行误差的评估，并修正温度信息在三维空间的映射分布，提高温度场温度分布的准确性。

图2 数据处理流程图

2 三维温度场融合重建方法

2.1 热像仪测温标定方法

为了确定非制冷热像仪图像灰度与目标温度之间的关系，需要得到热像仪在不同温度时的图像灰度。在测温模型[10]的基础上，使用黑体源对热像仪进行辐射定标。假定测量数据在真值附近服从高斯分布：

如式(1)：(i)为概率密度函数；定义测温函数为二次多项式曲线(1,2,;i)，其中1，2为自变量一次和二次系数，为曲线偏置量，i为黑体温度；i为测量灰度。构造似然函数：

上式取到最大值的条件是下式取到最小值：

采用梯度下降的方法，对系数进行更新，寻找Loss函数的全局极小值，进而确定测温修正函数。

2.2 红外图像处理

为了将红外图像进行显示，需要将图像进行14 bit到8 bit的灰度映射。对于以人体为目标的应用，14位原始红外图像灰度等级中有效信息仅占小部分，直接的线性映射会导致图像的细节以及对比度严重受损。因此，采用如下的局部灰度级的线性映射方法：

式中：in为输入图像；out为输出图像；为可调参数，可防止映射过程中图像的区域性过曝的情况。

由于除人体目标外的背景区域为包含噪声的常温区域，若采用数字细节增强算法（digital detail enhancement, DDE）将放大背景区域的噪声。因此，我们采用了对比度限制的自适应直方图均衡[11]（contrast limited adaptive histogram equalization, CLAHE）算法进行图像对比度增强。在将原始红外图像进行局部线性映射到[0,255]空间之后，采用CLAHE算法进行直方图增强，得到：

＝CLAHE[CLAHE()] (5)

式中：为输入的红外14bit原始图像；为最终得到的输出图像。

图像超分辨率处理能够进一步提高红外图像质量。采用卷积神经网络超分辨图像处理（super resolution convolutional neural networks, SRCNN）方法[12]对原始图像处理。使用在灰度图像训练集下得到的网络，对输入的红外图像进行二倍分辨率重建处理。该神经网络超分辨率处理算法的重要特点是将原始图像先进行双三次插值的预处理，使其达到目标分辨率大小之后，再对该图像进行三层操作：图像的块提取和编码、编码向量的非线性映射以及高分辨率图像的计算。采用该网络对分辨率640×512的红外图像进行处理，设置超分辨倍率为2，得到分辨率1280×1024的输出红外图像。

2.3 红外与三维的融合方法

红外与三维点云的融合，使得每个三维点都有一个温度值与之对应。由于系统几何结构的参数决定了红外与三维融合的准确性和精度。因此需要对相机进行标定，以得到系统结构参数；再确定相应的融合策略，以保证得到的三维模型具有准确可靠的温度信息。

在标定得到了相机的内、外参后，可以进一步计算两个相机之间位姿关系。使用OpenCV的函数来估计摄像机相对于标定板的旋转和平移矢量，如图3所示，系统中有3个坐标系：W、1以及2坐标系，分别为世界坐标系、热像仪坐标系和深度相机坐标系；点为深度相机坐标系下目标的三维坐标。

图3 系统中相机坐标系的示意图

通过标定，可以得到两个相机坐标系相对于世界坐标系的位置和旋转参数，分别为1、1和2、2。要获取点对应的温度值，需要将该点向红外相机像素平面投影。首先将点从深度相机坐标系变换到世界坐标系：

¢＝2－1×＋2(6)

然后，将′点从世界坐标系变换到热像仪相机坐标系：

²＝1(¢－1) (7)

得到的′′就是经过变换之后，热像仪坐标系下的点的新的三维坐标。再将该点向热像仪像素平面投影，可找到点对应的红外像素点(,)：

由于采用的红外图像为超分辨处理之后的图像，分辨率变为原来的二倍，原图像的任意像素点(,)坐标扩大了二倍，到达(2,2)点。要使投影方程继续成立，必须将内参矩阵各项也乘2：

在实际计算时，三维点的投影点无法恰好对应整数像素格点，因此，采用了双线性插值方法，计算投影点的灰度值。经过上述操作，就完成了红外信息与三维点云对应关系的求解。

在无外界强辐射源的条件下，由于人体皮肤发射和吸收特性稳定，人体皮肤定向辐射率特性表明[13]：人体皮肤面元法向角与拍摄角度在60°以外时，热像仪探测器积分得到的强度值将不能代表该点真实的辐射量。因此，这里采取的策略是去掉法向角大于60°的三维点，以牺牲单帧点云密度的方法来保证模型温度的准确性。皮肤发射率在这里取0.976。

2.4 系统结构标定误差的评估与修正

使用标定的两个相机位姿参数1、1和2、2进行三维点的温度赋值会出现配准偏移的情况，需要对误差进行再修正，补偿偏移量。

假设红外与深度图像对应特征点为(1,1)和(2,2)。将两个对应点转换到同一坐标系计算二者的偏差，能反映标定得到的参数的误差。

首先，使用小孔相机模型方程，将深度相机图像中的标定靶标特征圆心(1,1)，重新还原到深度相机坐标系的三维空间：

＝/f(1－c)

＝/f(1－c)

＝(10)

这里尺度因子（空间点与相机之间的距离）应该在计算之前指定。然后，点(,,)将被平移和旋转到红外相机坐标，并被投影到红外像素平面：

式中：′为红外相机内参矩阵；分别为红外相机坐标系相对于深度相机坐标系的旋转矩阵和平移向量。理想情况下，(′,′)能够与从红外图像中提取的对应点(2,2)重合。因此，通过简单地计算它们之间距离的均方差，可以评估标定误差：

通过式(12)可以间接反映标定结果的误差，也能够用其结果来修正三维点在红外图像上的投影位置，提高模型的温度分布精度。另外，深度相机能够给出其与靶标板的距离，使尺度因子得到确定。

3 三维温度场融合重建实验及结果分析

3.1 热像仪测温标定实验

实验采用美国ISDC公司IR-2100面形黑体进行测温标定。方形黑体靶面尺寸为2.5英寸，IR301控制器将黑体的温度稳定在±0.1℃。对于人体目标的测温，仅需对人体温度段的热像仪测温进行标定修正。取标定温度范围从35℃到45℃，每隔0.1℃进行黑体温度与热像仪测量灰度的记录。如图4所示，其中横轴为黑体温度，该温度为真实温度，纵轴为热像仪测量到的对应灰度值。散点为热像仪的测量值，蓝色线为测温标定曲线，拟合得到的测温曲线最大偏差为0.1140℃，平均偏差为0.0662℃。可以看出，测量值基本均匀分布在拟合曲线周围，采用该曲线进行热像仪的测温修正，理论上的误差为0.1140℃。

图4 热像仪测温标定曲线

下面对校正结果进行验证。使用该校准后的热像仪对人体目标进行测温实验，对比热电偶的测量结果（以接触式热电偶的测温结果为真值），来体现测温修正实验的效果。

表1列出了图5中的5个区域测量点的测温修正结果。其中为热电偶的测量值，0与t是修正前后的热像仪温度测量值，0和t是修正前后的测量误差。

可以看出，修正后的温度与热电偶的测量值更接近，达到0.25℃以下。该实验表明了黑体辐射测温标定对热像仪测温修正的有效性。对该阶段的热像仪测温进行了修正，也就保证了后期的三维温度场重建的温度精度。

表1 手背部分区域测温修正结果

图5 测量点的位置

3.2 红外图像处理实验

3.2.1 线性映射与增强

在红外图像灰度线性映射阶段，通过来控制映射过程中的图像灰度范围，避免出现区域性的过曝情况，这里取20。

图像线性映射曲线如图6所示，横轴为原始图像的灰度范围，为[3450,3920]，纵轴为[0,255]的8位显示空间。可调参数值保证了不出现区域性的过曝现象。映射后的图像灰度范围为[10, 245]。经过CLAHE处理后的结果如图7所示。其中上方为增强前后的红外图像，下方为图像对应的灰度直方图。

图6 红外图像映射曲线

图7 红外图像及直方图增强前后结果：增强前（左），增强后（右）

可以看出，在原图中（左），鼻子的轮廓显得不太完整，整个人脸部分处在较高灰度级，其中对温度细节分布的观察存在困难。增强处理后的图像（右）背景灰度提高，但目标人脸灰度降低，对比度增加，脸部细节相比原图像得到了更加清晰的展示。

3.2.2 超分辨率处理

图像超分辨率处理是一个低成本的成像质量提升的解决方案。图像预处理的综合处理流程如图8所示。

如图8，原始图像(a)经过映射和对比度增强后，得到图像(b)，将其输入超分辨率卷积神经网络中，输出二倍分辨率的红外图像(c)，再进行伪彩色化处理，得到最终的彩色红外图像(d)。可以看出，灰度图像(b)中人脸部分的对比度相比(a)图得到了提升；超分辨率处理提高了图像分辨率；伪彩色化处理之后，观察效果得到了进一步提升。

为了验证该图像对三维视觉效果的提升作用。采用预处理前后的红外伪彩色图像，分别作为模型的色彩纹理来重建三维人脸温度场。采用三维深度滤波器去除无关的三维数据，仅保留人脸部分，将三维数据与红外图像进行融合，得到了人脸三维温度场融合重建结果。

图8 红外图像预处理过程

如图9所示，左、右两图分别为采用预处理前、后的红外图像进行融合的三维人脸温度场。可以看出，预处理前的融合结果（左）表现出一定的模糊，低质量的红外图像影响了对于模型细节的观察。右图的结果则更加清晰，模型的显示效果更好。可见，采取该图像预处理方法有利于提升三维温度场重建结果的观察效果。

图9 红外图像预处理前（左）后（右）的三维温度场重建结果

3.3 标定误差的修正实验

由于红外热像仪和深度相机的工作波段相差较大，标定板需要同时为两个相机提供可观测的目标。通常，圆形目标标定板的标定精度比棋盘目标的精度高，因此考虑使用圆形靶标。

标定板由HALCON生成，采用了7×7的对称圆形靶，孔板如图10(a)所示。正方形靶板边长300mm，圆孔均匀分布，直径为18.75mm，圆孔间距为37.5mm。靶板的缺角代表靶标方向，是确定对应关系的重要信息。针对热像仪对温度成像的特点，使用电阻灯丝白炽灯来加热校准目标。针对深度相机，使用了中心波长940nm的近红外激光器作为成像照明光源，实验场景如图10(b)所示。

将标定板放置在成像装置前面，均匀加热后关闭加热灯，保持激光器照明。收集热像仪图像和深度相机图像进行离线校准，靶标特征点提取结果如图图10(c)，图10(d)所示，图10(c)为热像仪图像，图10(d)为深度坐标参考相机（左侧相机）的图像。通过OpenCV进行计算，分别校准两个相机，热像仪和深度相机的平均重投影误差在0.17和0.35个亚像素。使用2.4节提到的计算方法，使用靶标孔圆心作为特征点，进行标定误差的计算。得到在[,]方向，漂移的均方误差为[1.166,2.147]像素。

图10 标定靶标与场景以及标定图像

对被加热的标定靶进行三维温度场的重建实验，结果如图11所示，(a)为修正前的红外三维对齐结果；(b)为修正后的对齐结果；(c)为黑框所示的靶标区域内，点云的空间位置与温度分布的曲线图。(c)中，黑色线为靶标点云的空间位置，绿色和红色线分别为图11中(a)与(b)的温度分布曲线。

如图11所示，未修正的融合结果（图11(a)）存在肉眼可见的偏移，模型右侧出现无温度信息的蓝色原始点云。误差修正处理后（图11(b)），三维点与温度对齐的精度得到了提升。图11(c)红色曲线显示出2的对齐结果优于绿色曲线1。

3.4 人体三维温度场融合重建结果

采用上述方法，分别对人体的脸部、手臂和小腿进行了三维温度场融合重建实验。采用红外伪彩色图像作为模型的表面色彩纹理，经过多角度的三维点云融合、网格化和纹理贴图，得到最终的三维温度场如图12所示。

三维模型采用的红外伪彩图像，温度变化表现为从低温蓝色到高温红色。三维网格模型在进行彩色纹理贴图之后，表面温度分布变得直观。人脸部分有额头以及太阳穴等区域是高温区域，手臂的高温区域则出现在手肘，而小腿的膝盖区域则是相对的低温区域。针对模型的部分区域，可以进行数值上的测量，分析其与真实值之间的差别。

表2给出了人脸温度场数值分析结果，包含了左右眼的宽度、鼻翼宽度和嘴宽度以及相应区域的温度值与真实值的对比结果（如图12脸部数字所指出的区域）。其中0和0为温度场三维尺寸测量值和温度测量值，与为对应真实值，D与T分别为模型三维尺寸测量值和温度的测量值与真实值之间的误差。从表中的结果可以看到，该重建结果与真实值之间的最大三维误差为0.247mm，平均误差0.184mm；最大测温误差为0.26℃，平均误差为0.175℃。目前市面上大部分的人体测温热像仪的测温误差为±0.3℃，用深度相机实现的三维重建设备的精度为0.5mm。可知本方法除了实现了温度信息的三维扩展，精度也分别都达到了市场标准。

图11 修正前后的靶标三维温度场与空间分布曲线

表2 人脸三维温度场融合重建结果分析

4 总结

本文对现有三维温度场重建方案的几个不足进行了研究，提出了改进的方法。从温度数据出发，首先针对热像仪测温的低精度问题，采用了黑体辐射定标的方案，拟合了测温曲线，提高了热像仪的测温精度；其次，针对红外图像对比度低和分辨率低的问题，采用了CLAHE对比度增强算法和SRCNN超分辨率处理的方法，提高了红外图像的质量，并设计实验验证了其对三维温度场重建结果的提升；另外，设计了标定靶和照明方案，完成了系统几何结构参数的标定，提出了三维点云与红外融合的误差分析与修正方法，并制定了去掉法向角大于60°的点云的红外三维融合策略，进行了人体体表三维温度场的重建。得到的结果在空间精度和温度精度上分别达到0.247mm和0.26℃，为热成像在医学上的进一步应用打下基础。

[1] 陈丙瑞. 红外热像仪在医学中的应用与测量误差的研究[D]. 秦皇岛:燕山大学, 2009.

CHEN Bingrui. Application of Infrared Thermal Imager in Medicine and Research on Measurement Error[D]. Qinhuangdao: Yanshan University, 2009.

[2] Kennedy D A, Lee T, Seely D. A comparative review of thermography as a breast cancer screening technique[J]., 2009, 8(1): 9-16.

[3] YANG R, CHEN Y. Design of a 3-D infrared imaging system using structured light[J]., 2011, 60(2): 608-617.

[4] Vidas S, Lakemond R, Denman S, et al. A mask-based approach for the geometric calibration of thermal-infrared cameras[J]., 2012, 61(6): 1625-1635.

[5] Rangel J, Soldan S, Kroll A. 3D thermal imaging: fusion of thermography and depth cameras[C/OL]//, [2014-01-20], 2014: https://www.researchgate. net/publication/269984262_3D_Thermal_Imaging_Fusion_of_Thermography_and_Depth_Cameras.

[6] AN Y, ZHAG S. High-resolution, real-time simultaneous 3D surface geometry and temperature measurement[J]., 2016, 24(13): 14552-14563.

[7] CAO Y, XU B, YE Z, et al. Depth and thermal sensor fusion to enhance 3D thermographic reconstruction[J]., 2018, 26(7): 8179-8193.

[8] XU B, YE Z, WANG F, et al. On-the-fly extrinsic calibration of multimodal sensing system for fast 3D thermographic scanning[J]., 2019, 58(12): 3238-3246.

[9] Schramm S, Rangel J, Kroll A, et al. Data fusion for 3D thermal imaging using depth and stereo camera for robust self-localization[C]//, 2018: 1-6.

[10] 张晓晔, 徐超, 何利民, 等. 非制冷红外热像仪人体表面温度场测量及误差修正[J]. 红外与激光工程, 2016, 45(10): 46-52.

ZHANG Xiaoye, XU Chao, HE Limin, et al. Measuring and error correcting of human surface with uncooled infrared camera[J]., 2016, 45(10): 46-52.

[11] Zuiderveld K. Contrast limited adaptive histogram equalization[C]//IV,1994: 474-485.

[12] DONG C, Loy C C, HE K, et al. Image super-resolution using deep convolutional networks[J]., 2015, 38(2): 295-307.

[13] Polyanskiy M N, Refractive index database[EB/OL]. [2019-10-18]. https://refractiveindex.info.

Fusion Reconstruction Method for 3D Temperature Fields on the Human Body Surface

YANG Yanlong，XU Chao

(,,100081,)

Reconstruction of 3D temperature fields on the human body surface can provide reliable data for a number of human medical analyses, including diagnoses. Based on the limitations of infrared imaging, such as poor temperature measurement accuracy, insufficient imaging resolution, and poor display effects, the reliability of the 3D temperature field collected using infrared imaging is low. To overcome these problems, we propose a fusion reconstruction method for 3D temperature fields on the human body surface. First, the blackbody temperature measurement and calibration method is used to correct the errors in the temperature measurement results of an infrared thermal imager. Second, contrast enhancement processing is applied. Third, super-resolution processing is used to make the infrared images match the 3D data in terms of spatial resolution. Finally, in the data fusion stage, based on the fact that the target feature points extracted from different images correspond to the same position in the space, the system structure parameters obtained through calibration are corrected. Experimental results demonstrate that the temperature error of the 3D temperature field is less than 0.26℃, the 3D distribution of the temperature field is improved, and the display effect is enhanced.

3D temperature field reconstruction, temperature calibration of thermal camera, multi-band optical calibration, infrared image processing, human skin characteristics

TN219

A

1001-8891(2022)01-0033-08

2020-02-28；

2020-05-20.

杨炎龙（1995-），男，硕士研究生，主要从事三维重建与红外图像处理方面的研究。E-mail：164579504@qq.com。

徐超（1979-），男，讲师，主要从事光电图像处理和光电成像技术与系统方面的研究。E-mail：rockyxu@bit.edu.cn。