基于手机的液晶热成像方法及其医学应用

【】黄硕，刘静＊,2

1 清华大学医学院生物医学工程系，北京，100084 2 中国科学院理化技术研究所，北京，100190

基于手机的液晶热成像方法及其医学应用

【作 者】黄硕1，刘静＊1,2

1 清华大学医学院生物医学工程系，北京，100084 2 中国科学院理化技术研究所，北京，100190

介绍了在以手机为核心的医学成像新模式下，将热色液晶热成像技术与手机相结合，借助手机摄像头获取热色液晶的图像的方法。并基于实验中建立的温度-色调校对曲线，采用数字图像处理方法重建出定量化的人体体表温度分布热图。进一步将该方法用于手部测温及热动力学检查，并根据人体生物传热模型获得了与人体温度分布密切相关的热学参数。本文方法可望发展成为一种泛在的获取人体体表温度图谱的低成本影像技术。

热色液晶；手机；热医学图像；低成本医疗；生物传热

0 引言

近二、三十年来，采集人体体表温度分布的热成像方法被用于多种疾病诊断，如神经功能紊乱、血管疾病、烧伤、皮肤病和肿瘤早期检测（特别是乳腺癌）等[1]。人体体表温度分布与其生理热参数、生物传热机制密切相关，健康人体的体表温度一般呈对称分布，若出现不规则性，则可能预示着患病风险[2]。表1比较了常用的点/面温度获取方法的优劣，其中远红外成像和热色液晶热成像均能定量测取温度的2维分布，显示温度的变化过程并识别人体体表上微小区域的异常冷/热点。与远红外成像相比，热色液晶热成像的优点在于价格便宜，适合用于社区、家庭健康评估和普遍的疾病早期排查[3]。

当前，随着移动通讯工具的快速普及应用，以手机为载体的移动健康技术（Mobile Health）正逐步得到关注，代表了一大类崭新的生物医学工程发展前沿[4,5]。移动医疗的目标在于将健康监护带给最大多数人群[5]，符合未来个人医疗的发展模式，有助于促成疾病的早期发现，从而改变过去那种患者单纯在医疗中心接收被动治疗的不足，而实现在社区、家庭中接受对健康主动的长期监护等需求。家庭健康监护和疾病诊断一般涉及到生理电学、热学检查和生化检查等多种检测手段，而医学影像是其中重要的信息获取方式。目前的手机支持了一系列技术功能，除最基本的语音和文字通讯外，许多手机还集成有高分辨率的摄像头，从而可用于拍摄图像或者短视频，并提供影像处理、显示以及高速无线数据传输（如蓝牙，WiFi）等功能。随着前端便携式信息采集技术的进步，手机数据处理与存储能力的提高以及GSM和3G网络的普及，将给个人医疗应用中新的医学成像模式提供技术上的支持[4]。

表1 常用温度传感器比较Tab.1 Comparison of sensors commonly used in temperature measurement

本文旨在发展出以手机为核心，利用热色液晶作为温敏传感器的热成像新模式，并尝试将其用于个人的健康评估。

1 热色液晶热成像技术

图1 典型的热色液晶反射光波长（颜色）/温度相关曲线[5]Fig.1 Typical reflected wavelength (color)/temperature response of a thermochromic liquid crystal mixture

热色液晶是随温度变化而产生不同颜色的特殊温度敏感材料。由于液晶材料的分子间距与其反射光的频率密切相关，当温度变化时，液晶层状分子结构的间距会相应改变，导致反射光频率随之改变，于是液晶表面呈现不同颜色。在周围环境条件确定的情况下，液晶表面颜色与其温度值存在特定的函数对应关系（图1）[6]。为保护材料的温敏特性，热色液晶通常被包裹在5-10 μm的球形微胶囊中，并悬浮于水溶液内，但裸露的热色液晶能产生更鲜艳的颜色，其对温度变化也更敏感。在实际的测温应用中，直接将热色液晶涂抹于干净的目标表面，或者先在目标表面涂抹一层黑漆背景后再涂覆以热色液晶，此时即使用肉眼观察颜色变化，也能得到定性的温度分布。但若要读取定量精确的温度值，则需借助RGB三原色相机获得颜色信息并根据已知的液晶标定曲线，才能反算出准确的温度值。不同热色液晶的测温范围从-30oC到120oC不等，温度分辨率则从0.1oC到30oC，但其对温度变化的响应时间均在10 ms左右。医学检查应用中热色液晶的测温范围一般选在20-40oC之间，温度分辨率则选择为0.1oC左右，显然，较短的温度响应时间已足以反映人体温度变化的动态过程。热色液晶在测温范围的下限温度显示红色，在上限温度则显示紫色，而用于反算温度的颜色区间（Color-Display Interval）需要在颜色之间平滑过渡，因而颜色区间一般定义为首次出现的红色和末次出现的蓝色（图2）。

图2 热色液晶的颜色区间Fig.2 Color-Display Interval of thermochromic liquid crystal

2 基于手机的热色液晶热成像技术

2.1手机型热色液晶热成像新模式

热色液晶热成像系统包括3个主要部分：数据采集模块、数据处理模块和图像显示模块。一套完整的热色液晶真彩色图像处理和控制系统包括了RGB相机、HIS色帧抓取器、辅助帧处理器、RGB转换器、记录器和个人电脑[7]。这种传统模式的医学成像系统在物理结构上包含所有的3个部分，其价格昂贵，对使用者操作敏感、保养维护不方便且不够便携。基于手机的热色液晶热成像模式则将数据采集、处理和显示在物理结构上分开，并借助手机这种随处可见的移动通讯工具将整个系统在逻辑上连成一个完整的鲁棒性好的整体，在此模式下用户无需专门的操作培训、节省了用户端的占用空间，降低了用户的花费，满足了个人健康评估的随时泛在性需求。热色液晶作为人体表面温度的传感器在用户端涂抹于需要检测的身体部位，带有高清摄像头的手机拍摄到相应的光学图像后，将所获原始图像数据通过GSM移动网络发送到医疗中心移动数据服务器上，或者通过Bluetooth等短程通讯方式传输到个人PC或者社区医疗服务站上，进行目标热图的重建和疾病诊断，反算得到的热图和诊断结果通过同样的传输方式反馈给用户手机（图3）。手机在新的热色液晶热医学成像模式中处于核心位置，起到获取原始数据、传输数据和接受反馈结果的作用，对其计算能力和存储能力没有特殊的要求。与传统远程医疗方式不同的是，新模式下原始数据的处理、控制不在客户端而在数据处理中心完成。这样，一方面简化了客户端的设备，降低了其花费和操作难度，另一方面也扩展了系统应用范围。实际上，除了热色液晶热成像外，其他需要大计算量的医学成像，如电阻抗断层成像（Electric Impedance Tomography，EIT）、超声（Ultrasound Imaging）[8]甚至如CT成像等，在便携式的数据采集模块实现后也有可能得到应用。此模式用于实际时，原始图像数据在个人PC、社区医疗服务器和医疗中心的数据处理中心分别得到处理，根据不同需求调用适合的远端硬件资源及医疗服务，就地处理或者传送到上一级的医疗服务器进行数据的处理和反馈，使得数据处理灵活方便，且性价比较高。

图3 基于手机的热色液晶热成像系统框架图Fig.3 System framework diagram of mobile phone based liquid crystal thermal imaging

2.2热色液晶的色调-温度标定曲线

2.2.1 HIS颜色坐标系

普通CCD相机拍摄的可见光图像的颜色采用RGB3原色坐标系，不适合对热色液晶颜色作定量分析。热色液晶分子间距的改变，会导致不同温度下反射光波长的变化，继而反映出颜色的不同，呈现出从红色到蓝色的变化过程，而与该变化过程相对应的特征量是其颜色的色度值，与其强度和色饱和度两个参数无关。因此，可引进HIS（Hue-Saturation-Intensity）坐标系，表述热色液晶图像的颜色变化，图像中单个像素点的R(Red)、G(Green)、B(Blue)信息转化成像素点的Hue色调信息，其变换数学表达式如下：

2.2.2 热色液晶色调-温度标定实验设计

(1) 实验材料 热色液晶材料采用台湾金利公司出厂的TJL-308型可喷涂热色液晶，其测温范围为24oC—34oC，颜色区间为红色到蓝色。

(2) 实验方法 采用平整的大面积铜板作为传热表面，铜板背面用导热胶粘连可控温的电加热片进行加热，调节加热片电流的大小控制加热速率，缓慢均匀提高铜板表面温度。在用喷枪喷射热色液晶到铜板正面之前，先喷涂一层黑色底漆以吸收透射光，以增强液晶的色彩分辨率，提高实验的精度，后在黑漆上均匀喷涂一层热色液晶。使用FILR A40型远红外相机和普通的CONAN 可见光单反相机在0度拍摄视角处，同时对加热的液晶材料分别拍摄远红外图像和可见光图像，以作对比。

(3) 实验步骤

① 待铜板和周围环境达到热平衡状态后，电加热片通以恒定的电流，利用单反相机和远红外相机同时抓拍热色液晶的图像。

② 在铜板温度均匀上升的过程中，使用远红外相机监控液晶温度的变化，每隔0.2oC抓拍图像，得到整个测温区间内液晶薄膜的远红外图像和可见光图像。

③ 使用FLIR公司提供的远红外图像分析软件ThermaCAM Researcher Pro.2.9（http://www.flir. com），选取远红外图像上某点或者小区域内的平均温度；使用MATLAB计算对应温度下可见光图像相同位置上的点或者小区域的Hue平均值。

④将得到的温度数据T和色调数据H u e在MATLAB中做数据拟合，从而获得液晶的标定曲线。

(4) 实验结果

图4 TJL-308型热色液晶的温度-色调曲线，温度区间24oC-34oCFig.4 The temperature-hue response curve of the TJL-308 thermochromic liquid crystal whose temperature range is from 24oC to 34oC

图4给出了TJL-308型热色液晶的色调与温度的对应关系曲线，与前人实验得到的阶梯状规律一致，说明试验设计的合理性。由此，在借助手机拍摄到待测体表的液晶图像后，即可反算出对应的温度数值。

3 基于手机的液晶热成像方式在医学中的初步应用

3.1人体表面温度图谱的拍摄标准

人体体表温度分布容易受环境温度、湿度、热源和仪器误差等非自身因素的影响而发生变化，因此在临床上使用热成像方式诊断疾病时，热图的标准化主要决定于3方面因素：环境变量的控制、病人热状态的控制及热图拍摄过程的统一化。标准拍摄的人体体表温度分布图像最小化了环境变量的影响，提高了测量的可靠性和可重复性，让在不同时间、不同空间下和采用不同方式获得的人体体表热图具有可比较性[9-10]。

医用热图拍摄标准的主要内容如下：

(1) 拍摄的周围环境温度控制在25oC左右，湿度控制在50%左右，病人在这样的环境下能维持自然舒适的状态，同时要避免空气流通以及因日光或灯光照明带来额外的热辐射。

(2) 病人在拍摄图像之前要保持稳定和安静的精神状态，避免药物、咖啡和茶等对神经系统的刺激以及化妆品对皮肤温度的影响，将拍摄图像的身体部位曝露于空气中10-20 min，使人体与周围环境达到充分的热平衡。

(3) 病人会根据需要采用不同的姿态（站姿、坐姿、躺倒）拍摄图像，无论何种姿态，均要保证病人拍摄的身体部位处于自然的位置上，防止由于阻碍血液循环导致皮肤温度发生变化。此外，拍摄图像时的角度、距离和高度也需统一并记录。

(4) 对于热色液晶的热成像，涂抹于人体表面的液晶厚度要均匀一致。若使用液晶薄膜，则其要与被测部位紧密贴合。拍摄的角度不可过大，最佳的拍摄角度是0o。拍摄液晶的光学图像时，周围环境光照需要适中，以保证拍摄图像的质量和清晰度。

3.2基于手机的热色液晶热成像用于家庭医疗的实验研究

(1) 实验材料 SamSung i780智能手机，摄像头的最大像素值为200万，拍摄静态图像的最大分辨率为1600*1200。可喷射热色液晶材料的测温区间在 24oC—34oC 之间，显示的颜色为5色，并已得到其温度-色调曲线。USB蓝牙适配器，DELL台式计算机。

(2) 实验目的 手背测温及其热动力学检查

(3) 实验内容 使用喷枪将热色液晶均匀涂抹于手背，液晶层的厚度在1-3 mm之间。等待20 min左右，使得液晶溶液中的水分蒸发完全能够显示出颜色的变化。拍摄图像时的环境温度是23oC，湿度为46%。采用风冷的方式给手部降温，之后使用手机摄像头连续拍摄手部温度恢复过程中的热色液晶图像。通过蓝牙无线数据传输的方式，手机将拍摄的图像发送到个人PC上处理。在可见光的图像处理过程中，首先分割出手背涂抹液晶的区域，然后根据已知的温度-色调曲线反算出区域的温度分布数据，并将区域打上伪彩色显示温度的分布情况，最后将伪彩色图像与原始的可见光图像融合，即得到人体生理位置对应的温度分布图谱。之后，同样借助蓝牙无线传输方式，PC将得出的结果发送到手机上显示。

(4) 实验结果 手机拍摄的原始图像、PC机处理后得到的图像及其在手机上的显示结果如图5、图6所示。图5 中手背的平均温度为26.4oC，温度分布的标准差为0.4oC。图 6中手背的平均温度是26.8oC，温度分布的标准差为0.2oC。可见，用手机及热色液晶，能成功地实现了对体表温度的定量测定。

3.3手机型热色液晶热成像在人体体表热流定量分析中的应用

图5 时刻1手机拍摄到的手背热色液晶图像及处理后得到的热图在手机上的显示，手背的平均温度为26.4oCFig.5 The visual image of the hand painted with thermochromic liquid crystal captured at the moment 1 by the camera of the mobile phone and its relative thermography displayed on the mobile phone. The average temperature of the hand is 26.4oC

图6 时刻2手机拍摄到的手背热色液晶图像及处理后得到的热图在手机上的显示，手背平均温度为26.8oCFig.6 The visual image of the hand painted with thermochromic liquid crystal captured at the moment 2 by the camera of the mobile phone and its relative thermography displayed on the mobile phone. The average temperature of the hand is 26.8oC

根据3维Pennes生物传热方程，人体体表热流计算的是一段时间中整个身体组织空间内的所有产热，组织内出现的任何异常的热行为能反映在体表的热流异常变化中[11]。对人体体表热流定量分析得到的组织功能估计包含了更多人体健康的信息，增加了热图对疾病诊断的特异性，在一定程度上避免了环境因素的影响，对热色液晶热图像进一步处理后，可更好地评估人体健康。

人体体表定量分析中通过计算3类人体与周围环境主要的传热量，来得到人体体表热流量的估计值，即Q0=Qr+Qc+Qe，其中，Q0是人体体表的总热流量（W/ m2），Qr、Qr、Qe分别是人体体表的辐射散热量、对流散热量和蒸发散热量。对3类散热量的估计可以得到人体体表热流量的计算公式[12]：

其中，ε为人体表面发射率（约为0.99），σ为波尔兹曼常数，Ts为人体体表温度，T0为周围环境温度，Wrsw为皮肤湿度，Pa为周围空气的蒸汽压。

这样，基于热色液晶热成像得到的人体体表温度分布及式(4)，可以定量计算出人体体表的热流量分布情况。经过计算，可得到图5中手背热流量的平均值为69.2 W/m2，标准差为7.0 W/m2；图 6 中手背热流的平均值为76.1 W/m2，标准差为2.8 W/m2。

4 讨论

4.1手机热色液晶热成像的应用前景

热色液晶材料性能的改进可以提升所拍摄到的热图质量，其中若液晶测温范围更宽，会确保覆盖常见疾病所涉及的体表温度变化范围；液晶温度分辨率更高，则有助于能检测出早期肿瘤导致的微小温差和热点；此外，液晶显示颜色的色调与温度若有更好的线性对应关系，将减少系统的误差。总之，这些性能的提高，使热色液晶热成像能用于更多种类疾病的诊断，从而提供更可靠的体表温度分布，有助于实现对健康状态的准确评估。

手机型热色液晶热成像作为低成本易推广的功能性医学成像，一方面需要发展标准化的热色液晶传感器产品，如采用气垫式液晶薄膜的形式可以避免液晶涂抹过程中厚度不均匀，增加实际应用中的方便性。用户只需按照要求拍摄液晶的图像并将数据上传服务器，就能得到诊断和评估的结果。另一方面通过建立医用网络热色液晶热图数据库收集各类疾病热图，在大量数据分析的基础上建立起解读图像的方法、诊断疾病标准以及获得评估健康状态的参数，可望实现基于网络热图数据库的电脑自动疾病检测和健康评估。同时，根据人体的各类传热模型计算热色液晶热图，可获得更多与人体健康相关的生理参数，如文献[13]中提到根据人体热平衡状态下的4层传热模型，可得到浅表血流速率和相应位置体表的温度关系，于是，借助人体体表热图有望获得人体体表的血流分布图。

4.2基于手机的各类医学成像的技术及道德问题

各类廉价、便携式、高性能和高可靠性的前端图像传感器技术是手机医学成像技术的发展重点，成熟实用的微型图像传感器将为基于手机的家庭医学影像中心的建立提供坚实的基础。同时，手机本身的硬件处理速度与存储能力，基于嵌入式系统的软件技术，多媒体数据管理和微型化的投影技术发展，也是未来该技术能得到广泛普及的重要因素。

需要注意的是，手机医学成像在家庭应用过程中会涉及到几个方面的安全风险和道德风险，包括采集医学图像时的人体安全风险、手机中存储的个人医学信息的隐私泄露风险以及手机与网络传输过程中的数据安全和完整性风险。这些都需要在今后的研究中逐步解决。

5 小结

本文引入手机自带的相机功能拍摄人体体表的热色液晶图像，通过数字图像处理方法获得了人体体表解剖学部位对应的温度分布，并在以手机为核心的医学成像新模式下，将这种新的低成本热图成像技术应用于家庭健康评估中，展示了新方法的现实意义。本文工作是对以手机为应用平台的远程医学成像的一种有益尝试。致谢：

本文工作得到清华-裕元医学科学研究基金及中国科学院创新基金支持。

[1] F. Jones. A reappraisal of the use of infrared thermal image analysis in medicine [J]. IEEE Transactions on Medical Imaging, 1998, 6(17): 1019-1027.

[2] M. Gautherie. Improved system for the objective evaluation of breast thermograms [M]. Biomedical Thermology. New York: Alan R Inc, 1982: 897-905.

[3] 张克勤. 乳腺癌的简易诊断方法-液晶热图诊断及图谱[M]. 天津: 天津科技翻译出版公司, 1994.

[4] Q. M. Xie, J. Liu. Mobile phone based biomedical imaging technology: A newly emerging area [J]. Recent Patents on Biomedical Engineering, 2010, 3(1): 41-53.

[5] H. Wang, J. Liu. Mobile phone based health care technology [J]. Recent Patents on Biomedical Engineering, 2009, 2(1): 15-21.

[6] HallCrest Inc. Handbook of Thermochromic Liquid Crystal Technology [M]. Glenview: HallCrest Inc, 2005.

[7] J. Stasiek, A. Stasiek, M. Jewartowski, et al. Liquid crystal thermography and true-colour digital image processing [J]. Optics & Technology, 2006, 38(2): 243-256.

[8] W. D. Richard, D. M. Zar, R. Solek. A low-cost B-mode USB ultrasound probe [J]. Ultrasonic Imaging, 2008, 30(1): 21-28.

[9] E. F. J. Ring, K. Ammer, A. Jung, et al. Standardization of infrared imaging[A]. Proceedings of the 26th Annual International Conference of the IEEE EMBS[C], 2008, 1183-1190.

[10] A. D. Nicholas, D. B. Joseph. Medical Infrared Imaging [M]. New York: CRC Press, 2007.

[11] Liu J, Zhou Y X, Deng Z S. Temperature sensor array system for thermal diagnostics on human disease[A]. Proceeding of the 23rd Annual International Conference of the IEEE EMBS[C], 2001, 3188-3191.

[12] 刘静, 王存诚. 生物传热学[M]. 北京: 科学出版社, 1997.

[13] F. L Wao. Converting far infrared image information to other physiological data [J]. IEEE Engineering in Medicine and Biology, 2000, 12(5): 71-85.

上海神经电生理与康复技术创新战略联盟

上海神经电生理与康复技术创新战略联盟是上海市科委批准的产学研合作组织，整合医院、高校科研单位、企业的资源，建成一个成果、技术、经济利益共享的开放性平台，以实现可持续发展目标。该创新战略联盟是由复旦大学附属华山医院、 上海市儿童医院、 上海交通大学、 上海理工大学、上海诺诚电气有限公司等单位发起的，联盟的理事长为上海诺诚电气有限公司茆顺明总经理。

该联盟自2010年8月6日在上海正式启动以来，已签订了二个合作项目。一项是由复旦大学附属华山医院、上海理工大学、上海诺诚电气有限公司合作研发的“基于光学运动捕捉的步态分析与康复评价系统”；另一项是由复旦大学附属华山医院、 上海市儿童医院、 上海交通大学、 上海理工大学、上海诺诚电气有限公司合作研究的“脑电生理数据存储标准-CDF的制定与相关产品”。

为加快研究进度， 联盟成员利用这一新的交流平台，围绕上述合作项目积极开展活动。

2010年8月13日、9月1日在复旦大学附属华山医院花园大厅会议室举行了“基于语音/肌电混合控制的上肢功能康复训练系统”项目讨论会。8月26日在上海理工大学医疗器械与食品学院三楼会议室举行了“基于光学运动捕捉的步态分析与表面肌电”的项目讨论会；9月13日在复旦大学附属华山医院综合楼会议室举行了上海市2010年生物医药领域重点科技攻关项目“集成多信号检测分析和反馈电刺激的交互式康复评定和治疗系统”项目讨论会。与会期间，各与专家紧紧把握项目的临床应用可行性、技术实现可行性和产业化可行性，从各自专业领域进行深入讨论，并确定项目下一步的分工安排和项目时间节点，明确下一次讨论的时间和议题。

通过学术交流活动，拓宽了思路，加强了联系，有利于应用产学研用资源，加快项目的产业化进程，它将为上海市的生物医药产业发展作出更大的贡献。

（本刊讯）

Mobile Phone Based Liquid Crystal Thermal Imaging Method and Its Medical Implementation

【Writers】Huang Shuo1, Liu Jing＊1,2
1 Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing, 100084 2 Technical Institute of Physics and Chemistry, Chinese Academy of Sciences, Beijing, 100190

thermochromic liquid crystal, mobile phone, medical thermal imaging, low-cost healthcare, bioheat transfer

】In this paper, a new medical imaging strategy based on mobile phone is developed to obtain the quantitative temperature mappings of human skin. The visual images reflected by the TLC pre-painted on human skin are captured by the camera of mobile phone and transformed to the thermographies of human skin through digital image processing method according to the Temperature-Hue curve pre-estabished in the calibration experiment. The mobile phone acquired imaging is then applied to reconstruct the temperature distribution of dorsal hand and for thermodynamic check. Additional thermal parameters related to body health status are calculated based on the bioheat transfer model of human body. The present method is expected to be developed as a pervasive and low cost way to map the skin temperature imaging of human body.

1671-7104(2010)05-0317-06

2010-05-06

刘静，教授，E-mail: jliubme@tsinghua.edu.cn

R445.7

A

10.3969/j.isnn.1671-7104.2010.05.002

【