早产儿视网膜病变智能筛查系统

王一帆，龙彬

（四川大学计算机学院，成都 610065）

0 引言

早产儿视网膜病变，又称ROP，是一种易发于早产儿和低体重儿的增生性血管疾病，目前，随着医疗护理水平的上升，早产儿的存活率随之上升，与之相应地早产儿视网膜病变的发病率也随之提升，ROP 逐渐成为了新生儿的流行病症。

ROP 的成因主要在于早产儿由于其孕周较短，过早接触外界环境，其眼底视网膜血管还未发育完全，其未血管化的视网膜发生纤维血管瘤增生、收缩，并进一步引起牵拉性视网膜脱离和失明。

目前ROP 已经成为了早产儿致盲的主要病症，据统计，在全球范围内，大约有50，000 名婴儿由于ROP致盲[3]。但目前ROP 筛查工作面临着以下挑战：①ROP 诊断较为以来眼科医生的主观诊断，由于缺乏精确的量化标准，导致不同眼科医生的诊断具有较高的不一致性[1，2]；②眼科医生存在疲劳等因素导致ROP漏诊和误诊；③医疗资源不平衡，导致落后地区的新生儿无法得到充分的诊治。

近年来，随着深度学习不断取得令人惊讶的成就，从AlphaGo 击败世界顶尖围棋高手到微软语音识别超越人类水平，深度学习的概念逐渐从学术界走向普罗大众的眼前。深度学习在多个领域均表现出极高的适应性，并很快做出了重大的进展。在医学图像处理领域，研究者们也尝试使用深度学习的方法对医学图像进行处理，并取得了一些成果。

本文的主要工作是提出一种基于深度学习的算法进行自动化的ROP 筛查，并在此基础上构建基于B/S架构的面向医生的ROP 智能筛查系统，展现了使用深度学习技术进行ROP 筛查的巨大潜力。

1 相关技术综述

（1）卷积神经网络

卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（Deep Learning）的代表算法之一。

卷积神经网络最早由LeCun 等人[4]提出用于进行手写体数字识别任务，作者提出的LeNet-5 网络在0到9 的10 个手写体数字识别任务上达到了99%的准确率，展现了CNN 在图像处理上强大的能力。

卷积神经网络的两个基础操作为卷积和池化。卷积操作主要目的是对输入数据的特征进行提取，卷积层是CNN 的核心，在图像识别里我们提到的卷积是二维卷积，即离散二维滤波器（也称作卷积核）与二维图像做卷积操作，简单的讲是二维滤波器滑动到二维图像上所有位置，并在每个位置上与该像素点及其领域像素点做内积。卷积操作被广泛应用与图像处理领域，不同卷积核可以提取不同的特征，例如边沿、线性、角等特征。在深层卷积神经网络中，通过卷积操作可以提取出图像低级到复杂的特征。

池化操作主要目的是在尽量不丢失信息的条件下对数据进行降维。并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。池化包括最大池化、平均池化等。其中最大池化是用不重叠的矩形框将输入层分成不同的区域，对于每个矩形框的数取最大值作为输出层。

（2）Inception 网络

在原始的CNN 网络中，随着网络层数的增多，参数量增大，通常能得到更好的效果。然而，随之而来的是问题是：①更深的网络需要更多的数据进行训练，网络容易造成过拟合现象；②网络的参数量增大，导致计算内存增加，不利于实际的应用。Inception 模块通过增加网络的宽度，增强了网络对不同尺度的适应性。图1 展示了Inception-v1[5]模块的初始结构。

图1 Inception模块的初始结构

Inception 模块通过使用不同尺度的卷积核将1×1、3×3、5×5 的卷积核和 3×3 的最大池化，堆叠在一起，一方面增加了网络的宽度，另一方面增加了网络对尺度的适应性。在 3×3 和 5×5 的卷积核之前增加 1×1 的卷积核可以降低网络的参数量，在Inception-v1 的基础上，Google 的研究者们又相继提出了Inception-v2、Inception-v3[6，7]的网络结构，持续改进了 Inception 的内部结构。改进部分如下：①加入了Batch Norm 层，使每一层输出的数据分布符合高斯分布为N（0，1）；②把5×5卷积核分解为串行的两个3×3 的卷积核，既降低了参数量，也提升了运算速度；③使用分解的思想，把n×n的卷积核分解为1×n 和n×1 的卷积核，这样做可以降低参数量，使得网络深度进一步增加，增强网络的非线性。

2 实验方法和结果

（1）数据收集

本文收集了2668 例带标签的病例，其中每一例中带有4 到12 张不等的早产儿眼底图片，图2 展示了一例病例，从图中可以看出每一例病例中包含的图片是从不同角度拍摄，在诊断时需要综合多张图片得出最终的诊断结论。表1 展示了本文使用的训练集、验证集和测试集划分。

图2 病例展示

表1 数据集划分

在输入到神经网络之前，本文使用预处理方法对输入数据进行预处理。首先，对图片进行色彩归一化，公式如式（1）所示。

其中，mean( R )、mean( G )、mean( B )分别对应当前图片 R 通道，G 通道和 B 通道的平均像素值，r*、g*、b*对应整个数据集 R 通道、G 通道和 B 通道的平均像素值，这是一个超参数，预先可以计算出来的。通过色彩归一化，对图像的像素进行微调，加速模型的训练，其次，尝试数据增广方法，本文采用的数据增广方式包括平移、剪切、旋转、缩放和翻转。通过使用图像增广的方法，增加数据集中图像的多样性，增强模型的泛化能力。

（2）实验方法

本文设计的网络模型如图3 所示。输入图像的大小为 320×240×3，图像为 RGB 色彩模式，所以是 3 通道。特征提取器使用Inception-v2 的网络结构，输出1024 个大小为 10×8 的特征图（Feature map），对于多张图片（图片1，…，图片m），我们使用相同结构的特征提取器，且它们的权值参数是共享的。然后，我们对来自于不同图片的特征图进行融合，我们尝试使用了取max 和取 mean 的方式。

图3 网络结构图

取max 的方式为在特征提取器的最后一层，输入的m 张图片获得了对应的m 组特征图，假设每组特征图的大小为（w，h，c），则对应这个三维矩阵，对同一个位置上的m 个值取最大值，最后组合为一个大小为（w，h，c）的特征图，然后输入到网络中进行分类。取mean 与取max 的不同之处在于对同一个位置的m 个值不是取最大值，而是取平均值。

在融合的特征输入到分类网络中后，使用全局平均池化在10×8 大小的特征图上进行求平均，输出为1×1×1024 的特征图。使用flatten 操作展开，形成1024个神经元。我们使用一个简单的全连接网络对经过特征提取和融合的特征向量完成分类，考虑到1024 直接输出二分类结果，网络输入的参数远远大于输出参数不能直接连接，同时为了保证参数量在一个适合的范围内，本文在它们中间设置了一个64 个神经元的隐层。在输出层后接入一个Softmax 层，把输出值归一化到0 到1 之间，作为对应类别的预测概率。在训练时，我们使用交叉熵为损失函数。

（3）实验结果

本文使用多个网络作为特征提取器在数据集上进行训练，得到的各模型的准确率如表2 所示。

表2 各模型在数据集上的准确率

从表中，Incption-v2 作为特征提取器，取max 作为特征融合方式获得了最高的准确率，同时，Inception-v2相比其他模型，无论使用哪种特征融合方式均能够获得最高的准确率，说明Inception-v2 具有较强的对早产儿眼底图片进行ROP 筛查的能力。其次，实验结果表明取max 的特征融合方式相对于取mean 的方式，其具有较好的提取典型特征的能力，原因可能是在特征融合时，由于病灶特征并不是十分明显，如果使用取mean 的操作，特征可能会被抵消，而使用取max 的操作可以达到锐化特征的作用。

3 系统描述

本文在提出基于深度学习的ROP 智能诊断算法的基础上，设计并构建了基于B/S 架构的ROP 智能筛查系统，系统实现了上传病例，智能诊断以及生成诊断报告等一系列的功能。简单介绍下系统的主要模块。

系统的核心模块为诊断模块，对输入的病例进行诊断并返回诊断结果，诊断结果包括图片的成像质量，是否患有ROP，及其对应的可能性；系统的上传模块，提供用户登录，并接受用户上传的病例并存储到数据库中；系统的修正模块，用户对于自己上传的病例可以给出自己的诊断结果，系统所使用的模型可以获得用户的诊断结果用于模型参数的微调，通过不断更新模型的参数，来提高模型诊断的准确性，增强其泛化能力；系统的打印模块，用户可以打印病例对应的诊断报告，同时该模块提供用户对诊断报告修改的权限，用户可以选择自己的诊断结果或诊断模块智能诊断的结果打印到诊断报告上，供患者参考。

图4 展示了用户上传并进行诊断的流程。

图4

4 结语

本文针对目前ROP 筛查工作遇到的困境，提出了一种基于深度学习的ROP 自动筛查算法，算法使用基于CNN 的Inception 网络作为特征提取器，经过特征融合后输入到分类网络中得到最终的分类结果，以此来判断输入病例是否具有ROP。并通过实验验证该方法具有较高的准确率。在此算法的基础上，本文设计并构建了面向医生的ROP 智能筛查系统，以帮助医生开展ROP 筛查工作为目的，具有较大的现实意义。