手机显微辅助拍摄望诊系统的研发及应用

2020-10-26徐彬锋陈梓健马晓嫒胡亚荣

广东职业技术教育与研究 2020年5期

徐彬锋陈梓健马晓嫒胡亚荣

（广东食品药品职业学院，广东广州 510520）

现代社会生活节奏快，竞争激烈，工作繁忙，使得大多数人的身体都处于亚健康状态。因此，每个人对身体健康都非常关注，但因为工作繁忙、看病开销大、病情涉及到隐私问题（如尿液、粪便、精液等检测化验）等原因，使很多人都没办法或者不想去医院进行检查，只是根据以往的经验来进行治病，导致误判而错过了最佳治疗时间，一些隐私问题也无法得到解决。而同时，智能手机却在人的生活中扮演了越来越重要的角色，手机硬件性能的提升以及网络技术的飞速发展使得手机的应用范围越来越广。利用手机实现便携式医学诊断也逐渐成为可能。中医学在医学诊断方面有“望、闻、问、切”4个方面。本项目团队聚焦于“望”这个环节，利用创新显微技术结合智能手机平台强大的图像处理能力，设计出一种基于智能手机的“望诊系统”。经过应用，该系统可以实现对使用者病情的初步诊断并同时对病人的病情进行监控，在亚健康控制方面有深远的应用意义。

1 望诊系统的结构设计

本系统主要由硬件系统和软件系统两部分组成，如图1所示为本系统的结构框图，硬件系统借助高倍的显微镜采集图像数据送入智能手机，软件系统对采集的图像与数据库中的图像作比对，给使用者给出可能的诊断建议。

2 硬件系统的设计

硬件设计主要由两部分组成：一部分是显微镜系统，另外一部分是智能手机部分。根据系统的设计要求，项目团队使用高倍的显微镜并对其进行改进，外加装置可以将显微镜轻松安装固定在手机上，手动调节装置，便可以实现通过手机前置摄像头和后置摄像头的数据采集。如图2所示为显微镜固定装置结构图。该装置利用金属滑轨可以调节显微镜镜头的位置，从而可以适应不同品牌的手机来使用。为了避免装置将手机闪光灯的光线挡住，本装置设计了光源在显微镜旁边，电池供电。

光学部分采用了优质的非球面镜片，其镜头畸变微不可察，而且它还拥有极高的分辨率，通过对测试图纸的观察得出，最微小的测试线条之间的间隔仅为3微米。本系统光学部分设计结构图如图3所示。

由于现在主流的智能手机配置已经达到了很高的标准，性能相当于小型电脑，本系统另外一部分硬件系统直接采用智能手机平台来完成，加快了开发速度，同时降低了用户的使用成本，便于推广。

3 软件系统的设计

图1 系统框

望诊系统设计了基于Android平台的软件系统，软件系统上从功能上主要分为两部分，一个是图像拍摄，一个是诊断分析，分别对应软件中两个按键，由用户根据自己需求选择合适的功能。图像拍摄部分主要是调用智能手机的摄像头，采集由显微镜获取的数据，使用者可以直接对放大400倍的图像进行分析，得出诊断分析结果。诊断分析部分主要由系统对所获取的图像数据进行分析，给出参考的诊断意见。如图4所示，用户打开软件后，选择合适的功能，按照系统提示便可完成测试。

图2 显微镜固定装置结构

图3 系统光学部分结构

医学图像处理部分是本项目的关键部分，如图5所示为本系统的图像处理过程。在初步诊断研究中，我们使用了中医图像的诊断技术。

在系统采集到图像后，我们对图像进行预处理，去掉一些干扰信息，使得图像更容易进行图像分割和特征提取等步骤。在图像预处理环节，本系统主要使用了常见的图像降噪、图像平滑、图像增强以及伪彩技术等，对图像进行滤波降噪处理，提高图像的对比度和色彩，为下一步图像处理做准备。图像分割是整个系统中定量化分析最重要的步骤。由于所采集的图像具有不规则的结构，如舌体、面部等，如果采用矩形的图像采集方法必然会包含很多无用的图像区域，需要使用图像分割算法将感兴趣区域（ROI，Region of Interest）提取出来。本系统所运用的算法是将所采集的RGB图像映射到HSV空间，从而生成对应的灰度图。对灰度图像使用拉普拉斯、Canny算子与Sobel算子相结合的梯度边缘检测算法进行梯度较强边缘的提取，然后根据滤波生成的轮廓区分边缘像素点，获得ROI像素点的色调范围。然后，对H通道图像设定一个色调阈值范围，使整个H通道图像中在色调阈值范围的区域为保留区域，将其他的色调区域删除。最后，通过轮廓搜索与区域连接，从而得到精确的ROI轮廓。得到诊断图像ROI后，需要对其进行特征提取，本系统所涉及的特征提取主要包含两个方面：一个是ROI颜色特征提取，因为根据中医诊断学理论，不同的颜色代表不同的病理，例如舌色和脸色等。第二是ROI的几何特征，不同的几何外观和外形也代表不同的病理。对于颜色特征提取，使用RGB颜色空间的通道值直接作为颜色取值；而对于几何特征提取，同样使用如上所述的边缘检测算法，对ROI的面积、偏斜角、长度、宽度、圆形度和矩形度等参数进行获取，得到ROI的外观和外形特征。最后，根据软件所获取的特征数据，与已有数据进行对比，得出相关诊断建议给使用者参考。

图4 软件使用流程

图5 图像处理算法设计思路

4 望诊系统的应用

该系统设计完成后，进行初步应用，如图6所示为本系统的软件界面。

图6 望诊系统软件界面

中医经过整体观念与辨证论治形成最终一个重要理论—中医诊断学。经过古代人民的经验总结，中医诊断主要包括“望、闻、问、切”4个诊断疾病的方法。望诊，作为4诊之首，就是通过观察病人的外在形、神、色等诊法来诊断疾病。望诊的主要内容是面诊和舌诊。望面是指通过观察病人的面部的五官色泽变化来判断整个人及体内相应内脏的健康情况，以此作为诊断和治疗的依据。本系统的应用主要有两个方面：一个是对被测器官做细菌方面的分析，一个是结合中医理论，针对被测器官的测试图像，给出诊断学方面的相关建议。

4.1 细菌分析

本系统在该应用时选择拍摄毛发作为测试对象，经显示，测试效果良好。使用本系统拍摄时，主要关注点在4个部分的形态结构，即：毛干、毛囊、皮表和毛细血管，采用非接触的方式来拍摄。图7为使用本系统拍摄的头发显微图片。利用本系统自动诊断功能可以得出，该样本显示志愿者的毛发健康，颜色暗红表明该头发有染色情况发生或者头发营养不足导致，毛发上白点为头皮屑，建议该志愿者加强营养并及时洗头。

4.2 病情诊断

图7 毛发显微

本系统该功能部分，软件主要是结合中医诊断学理论，使用面诊和舌诊两个方面测试结果进行分析诊断。面诊是中医辨证诊断中的重要内容。面部是全身经络血脉汇聚的地方，人脸的面色、光泽、眼神、色素沉着、口唇颜色等特征能反映人体五脏的病变状态。很多重要的临床诊断信息都存在于人体的面部图像，根据中医理论，人体的五脏对应面部的物种色泽，即青赤黄白黑。观察面部的变化对于人体脏腑病变情况的判断有着重要的作用。青、黑色可提示疼痛，赤、黄色可提示热证，白色可提示寒证。在面诊测试时，本系统同时结合了皮肤镜技术。皮肤镜技术是一种观察人体皮肤微结构及其病变的显微图像分析技术，它的观察范围从表皮一直到真皮的深部。由于这项技术对实现了在不必要损伤皮肤的前提下对肉眼不可见的部位进行观测，具有很高的临床应用价值和潜在的试验研究空间。人体皮肤并非绝对光滑，大量皮沟和皮脊对光线的散射是观测皮肤最主要的障碍，因此必须处理如吸收系数、反射系数等光学相干的问题。皮肤镜的观察范围从表皮一直到真皮深部。镜下所观察到皮肤颜色是由皮肤中的不同层次与深度所含的黑色素反射光线后形成的。由角质浅层的黑色向真皮深层的蓝色逐渐过渡，当皮损的多层均含有色素，重合叠加之后也可呈黑色。血管数量的增多或扩张则显示为红色。组织退化或瘢痕区域显示为白死。图8为系统拍摄分析面诊皮肤图像。经过自动诊断，系统给出面部局部有痤疮的主要原因可能是皮脂分泌过多等导致。

图8 面诊皮肤图像

舌诊是中医诊断中最重要、应用最广泛的诊断方法之一，在临床应用和自我诊断中也有很高的价值。舌诊的优势在于它的简单性和即时性。每当有一个复杂的疾病诊断充满矛盾时，检查舌头往往可以迅速澄清主要的病理过程和证型分型。舌象通常反映患者的真实情况。中医舌诊理论中，舌象的变化反映身体五脏的健康状况在改变。传统中医理论将人的舌体可分为五个部分，分别与人的五脏相对应。如图9所示。由于我们舌体表面的结构较为复杂，因此舌象主要包括舌苔和舌质两部分，舌象的苔质主要靠颜色进行区别，常见的舌苔颜色有灰色、白色、黄色和黑色，舌质颜色主要有红降色、红色、紫色、白色和淡红色等。根据所拍摄的舌尖图像，系统给出结论，该被测试者舌质颜色为淡红色，表明该被测试者身体处于健康状态。