深度学习红外成像睑板腺分割处理系统

【作 者】张贺童 ，姚康 ，丁上上 ，裴融浩，付威威

1 中国科学技术大学，合肥市，230000

2 中国科学院 苏州生物医学工程技术研究所，苏州市，215000

0 引言

睑板腺位于眼部眼睑的睑板内，属于皮脂腺的一种，其主要功能是实现脂质的合成和分泌，并形成泪液的脂质层，从而有效防止泪液的过度蒸发，以保护眼部的生理环境[1-2]。睑板腺的腺体位于上下睑结膜下，开口于睑缘，所排出的脂质分泌物成为睑脂。人眼泪液的最表层就是睑脂，泪液的稳定性很大程度上依赖于睑脂。科学研究表明[3]，睑板腺的功能与其形态相关，并且睑板腺堵塞、炎症、激素水平等都会影响睑板腺的形态，降低睑板腺的油脂分泌功能，最终导致睑板腺功能障碍（meibomian gland diease，MGD）[4-5]。

睑板腺障碍是蒸发过强型干眼症的主要原因[6-7]。临床研究发现，大约55%的干眼症是由睑板腺功能障碍导致的。与正常人饱满充实的腺体不同，干眼症患者的睑板腺存在腺体缺失、堵塞、扭曲等异常形态。因此观察睑板腺形态成了干眼症筛查和眼表质量分析不可或缺的步骤。通过提高睑板腺图像的质量，增强病灶区域特征，可以有效地辅助医生进行病情的判别。

下面拟开发一种适用于干眼检测仪的睑板腺分割处理系统，对干眼检测仪采集到的图像进行睑板腺区域的分割并进行图像增强，以突出病灶区域特征，达到辅助医生诊断的目的。

1 干眼检测仪设计

本研究提出的睑板腺分割增强系统基于中科院苏州医工所影像室开发的干眼检测仪，该仪器除了上面提到的睑板腺分割增强功能外，还可完成泪膜破裂时间、泪河高度和脂质层的检测[8]。检测仪整体结构方案，如图1所示。仪器中心的placido圆环用于实现该机器的其他功能，如检测泪膜破裂时间等。

图1 干眼检测仪整体结构和外观Fig.1 Overall structure and appearance of dry eye detector

进行睑板腺分析增强的原理如图2所示。用于睑板腺拍照照明的灯位于placido圆环的中心，在睑板腺增强功能开启之后，位于盘上的照明光源发出850 nm红外线光照亮睑板腺。使用850 nm红外光的原因是在红外光照明下，眼睑位置的脂肪和腺体由于对红外光的吸收率不同，相比于白光照明要更加清楚，并且还能降低患者的不适感，并减少泪液挥发。

图2 检测原理Fig.2 Detection principle

2 基于深度学习的睑板腺图像分割

2.1 数据准备

本系统分别在苏州大学附属第二医院、上海市某眼镜店、中科院苏州医工所进行实验。实验对象为100名患者，年龄分布在15～80岁，且男女比例均衡。采集到的样本有200张，为后续的算法学习提供了较好的数据基础。详细数据信息如表1所示。

表1 数据信息Tab.1 Data information

2.2 样本的处理和扩增

数据集由专业医生与受训的科研人员进行标注，并对这些数据进行数据增强，以扩充出各种形态的睑板腺图像用于训练，从而增加模型的鲁棒性与泛化性。常用的数据增强方法有：随机角度旋转、随机概率翻转、随机裁剪等，并且随机抽取了一部分样本进行模糊操作，将模糊后的结果输入网络。上述操作保证了训练样本的多样性。经过采集过的原图像有200张，选择其中的30张用于测试，170张用于训练。用于训练的170张，使用数据扩增方法扩增至1 700张，研究按照二八原则进行拆分，选择80%即1 360张图像进行训练，20%即340张图像进行验证。

3 语义分割网络设计

近些年，深度学习技术发展迅速，并且已经在目标检测、分类、图像分割领域取得了显著的成果，在计算机辅助生物医学工程领域也被广泛应用。比如FU等[9]提出的端到端的深度学习网络，可以用于进行视网膜血管的分割；李富豪等[10]使用基于可变形卷积改进的D-Unet的神经网络进行鼻腔鼻窦肿瘤分割；PASSERA等[11]提出了一种用于肠癌的半自动分割方法，得到了较高的准确率。

对于本系统处理的睑板腺图像，图像语义简单，结构单一，若使用参数量大的网络则不利于在低性能设备上进行部署。综上，为了满足本系统的分割情景，基于U-Net进行改进，本研究提出了Mobile-U-Net这种轻量级网络结构，更能适应睑板腺这个场景的分割。经过实验对比，达成了更好的分割效果。

3.1 U-Net模型

U-Net是一种U型对称网络[12]，左侧是编码部分，右侧是解码部分。在左侧采样的时候，一共进行了4次的下采样，整个下采样过程就是通过不断的卷积和池化来增强卷积核的感受野，用于增强局部信息提取的能力；而在右侧的解码部分主要是恢复图像的细节和空间维度，通过反卷积和上采样过程将特征图逐步放大，最终恢复到和输入同样大小的特征图。U-Net结构中还存在着跃层连接，在左侧和右侧之间存在连接，事实上，在每次下采样过程中，每一个特征层都保存了自身的特征向量用于和解码部分进行融合和补充，为语义分割提供了更精细化的分割标准。

3.2 改进的U-Net模型

为了提升检测系统的准确率和效率，我们通过对U-Net的网络结构进行研究并且结合睑板腺分割这一实际应用场景，提出了如下改进方法。

3.2.1 适用于U型网络的block结构

在网络中添加了一个block结构用于连接编码和解码部分。增加这个结构后，可更直观地进行特征的提取，此外可以大幅减少运算量，有效提升了U-Net网络结构的精度和运算速度。

在这个block层中，我们使用了1×1的卷积层，这样可以大幅度地减少参数的数量，通过降维之后可以更加有效直观地进行数据的训练和特征的提取。此外，1×1卷积层还为这一过程加入了非线性激励，提升了网络的表达能力。

3.2.2 可分离卷积块

深度可分离卷积将卷积分解为两个更小的操作：深度卷积和逐点卷积。这种方法在进行卷积的时候不会进行通道的融合，而是采用深度卷积和1×1卷积的方法进行分解卷积。整体效果和一个卷积相近，但是会大大节省计算量和模型的参数量。上文中提到的深度可分离卷积，就是Mobile-Net的基本结构[13]，在网络中实际使用的时候，会进行归一化和激活过程。

本研究将Mobile-Net网络和U-Net网络相结合，提出Mobile-U-Net网络。将Mobile-Net移植到U-Net网络的编码部分，根据不同编码部分的位置进行多层次的特征提取。一般来说，这个层数越深，提取到的特征越高级[14-15]。最后再将提取到的特征进行特征融合。本研究提出的网络结构如图3所示。

图3 本研究提出的网络结构Fig.3 Network structure proposed in this study

4 网络训练

4.1 优化器

优化器用于在网络训练中更新模型参数，使损失函数降到最低。本研究使用的是Adam优化器，这种优化器结合了RmSprop梯度下降法和Momentum梯度下降法，收敛速度快，效果好。

4.2 学习率下降和早停

训练时，每次输入网络中的图片为4张，训练的迭代次数初始设置为500次，初始学习率为0.001，并且设置了学习率下降和早停。当验证集的loss三次不下降就调整学习率为之前的10%；此外，当loss相比上一个epoch持续10次没有下降就停止训练。

4.3 网络训练

将训练集输入本研究提出的网络结构中，训练过程如图4所示。从图4中可以看出：在0～20 epoch中，训练集的loss在随着epoch的增长而下降。最终，在第20个epoch时，网络达到稳定，并且在第50个epoch时，网络触发了早停。因此本研究提出的深度学习网络可以准确地对睑板腺区域进行分割。

图4 训练过程中loss变化曲线Fig.4 Change curve of loss during training

5 深度学习实验

5.1 数据集和平台

实验在Win10系统下进行，网络模型通过Keras2.0环境进行搭建。测试使用的计算机采用GTX1060ti图形处理器，RAM16.0 GB，CPU为i7-8700。

5.2 评价指标

本研究提出的睑板腺分割增强系统，根据其应用场景，从不同的指标上进行评价以验证其准确度、速度、可靠性。

在语义分割层面，在评价的时候常用的指标有：均交并比mIOU、准确率Ac、召回率Pr和相似系数F1。

5.3 睑板腺分割结果分析

为了进一步验证本研究所提出的网络结构的性能，选用了传统U-Net、SegNet-Mobile、基于可分离卷积的U-Net进行对比实验。使用均交并比mIOU、准确率Ac、召回率Pr和相似系数F1作为评价指标，对比结果见表2。

由表2可知，传统U-Net网络在此情境下的分割效果并不理想且速度较慢，原因是参数量过大的U-Net网络并不适合本情景。由于可分离卷积使得网络能够从通道中提取特征，比传统卷积提取特征的能力更强，所以加入可分离卷积使得网络的性能有所提升。使用SegNet的网络结构由于其网络的参数量更小、网络更加轻量化，但是在一些参数上则略低于本研究方法。本研究使用Mobile-Net网络进行深层特征提取，对传统U-Net网络进行了改进，最终的网络结构F1达到了92.71%，较之传统U-Net网络提升了24.64%，准确率也提升了13.66%，并且在速度上也有不俗的表现。

表2 不同深度学习网络效果评价（%）Tab.2 Effect evaluation of different depth learning network

用于验证的部分图像的指导分割效果如图5所示。图中灰色的部分即为分割处的睑板腺的位置。黑色部分即为非睑板腺的位置。经由本系统处理，睑板腺区域预测准确率高达96.74%，mIOU达到了86.14%，模型有着良好的分割性能。

图5 语义分割效果Fig.5 Semantic segmentation effect

6 神经网络后处理

6.1 处理流程

经由神经网络处理后，会得到一张指导分割图。为了进行有效的局部增强以增加病灶特征的显著性，还需要对指导分割图中分割出的睑板腺区域进行处理。处理步骤如下：

（1）我们将分割图resize到和原图一样的大小。为了平滑边缘，综合考虑，本研究使用了椭圆形的22×22的像素块对图像进行膨胀。

（2）形态学处理过后，通过逻辑操作得到只有睑板腺的图像并且其他区域均为0。

（3）对于提取到的睑板腺区域，对其使用对比度受限的直方图均衡化，可以获得被增强的睑板腺。

（4）对上述处理过的腺体进行锐化。

（5）对锐化过的图像进行中值滤波，再与原图像进行叠加。

通过对比图6可以明显看到：处理后的图睑板腺纹路清晰，可以清楚地看到腺体的状态，对比度较原图有了明显升高，为医生判断病情提供更有力的支撑。

图6 原图与处理结果对比Fig.6 Comparison between the original image and the processing result

6.2 睑板腺增强结果分析

在图像清晰度层面，本研究将增强系统输出结果进行清晰度函数的评价，主要采取了基于熵度量、基于平均梯度的度量和基于图像灰度分布的离散程度的度量三种方法。详情如下：

（1）表示图像所包含的平均信息量的多少，熵值越大则所含信息量越多。

（2）平均梯度QAVG：也称为清晰度，反映了图像中的微小细节反差与纹理变化特征。QAVG的值越高，表示图像的质量越好。

（3）Variance函数表示图像灰度分布的离散程度。离焦图像灰度值变换范围小、离散程度低、方差小；正焦图像灰度值变换范围大、离散程度高、方差大。

本研究开发的处理系统在领域内主要对标欧克路仪器。由于欧克路仪器算法不开源，在对比增强结果时，使同一受试者先后分别使用欧克路仪器和本研究方法进行处理，结果如图7所示。可以看到，本系统处理结果对于细节和噪声的处理更好，睑板腺区域对比度较高，噪声较少。并且，分割针对性处理也使整张图片对比度更高。最终使用清晰度评价指标进行对比，结果见表3。

表3 清晰度评价函数对比Tab.3 Definition evaluation function contrast

图7 处理结果对比Fig.7 Comparison of treatment results

7 结论

本研究提出了一种睑板腺分割增强系统，使用深度学习网络进行睑板腺区域的分割，再进行图像增强，来突出病灶区域特征辅助医生诊断。具体结论如下：

（1）本研究提出了一种基于U-Net基本结构的改进型Mobile-U-Net的网络结构进行眼部睑板腺分割，Mobile-Net主要进行特征的提取并于解码部分进行融合。较之传统U-Net网络，本研究提出的网络提升了特征利用率，进而提升了网络的分割性能。并且有实验表明，本研究提出网络的mIOU较U-Net、基于可分离卷积的U-Net、SegNet-Mobile均有提升。

（2）此外，本研究提出了一种新的图像增强方法，并且将增强图像与市面上欧克路品牌干眼仪的增强图像进行对比，熵值比欧克路仪器提升了0.339，平均梯度提升了0.139 8，Variance指标提升了581 443 983。

本系统有效解决了当前医院眼科睑板腺检查方法主观、不便观察的问题。但是本系统只做到了睑板腺的分割增强显示，并没有对于腺体的形态和缺失进行自动判别[16-17]，这是未来课题研究的方向。