基于深层卷积神经网络近视性黄斑病变筛查系统的研究

史春生 刘磊 王亚茹 王泽飞

1安徽省第二人民医院中古友谊眼科中心，合肥 230041；2中国科学技术大学精密机械与精密仪器系，合肥 230026

随着全球近视患病率逐年攀升，近视性黄斑病变(myopic maculopathy，MMD)已成为世界普遍关注的公共卫生问题[1]。病理性近视(pathological myopia，PM)是一种以屈光度进行性加深、眼轴不断增长、视网膜脉络膜组织进行性损害引起视功能障碍为特征的眼病[2-3]。MMD是PM不可忽视的眼底并发症，主要表现为脉络膜视网膜萎缩、漆裂纹、Fuchs斑、脉络膜新生血管相关黄斑萎缩、后巩膜葡萄肿等[4-6]。有研究表明，高度近视占成人近视患病人群的20%～24%[7-8]。研究显示，日本地区40%的高度近视患眼在平均12.7年的随访期间发生MMD[6]。北京眼科研究所一项针对40岁以上人群的纵向随访研究中也发现了类似的进展模式[5]。及时诊断是预防和控制MMD的有效手段，其中高质量的眼底图像及经验丰富眼科医师的临床分析起着关键作用。目前，眼科医生数量仍严重不足[9]，无法实现MMD筛查；且现有的MMD分级多为临床医生的主观判断。建立一种精准的人工智能识别系统来辅助MMD筛查并定量分析其严重程度对预防和治疗PM具有十分重要的意义。深层卷积神经网络(deep convolution neural network，DCNN)是目前广泛应用的深度学习算法，可直接实现对图像、视频、文本或音频的学习并执行分类任务。DCNN可对图像进行分类，部分替代了手动提取图像特征的步骤，产生比简单的卷积神经网络更先进的识别结果，也可以在现有的模型基础上进行新的特征学习以实现更细化的分类[9]。本研究拟建立一种基于DCNN的MMD筛查系统，以期实现对MMD的筛查及严重程度评估。

1 材料与方法

1.1 材料

收集安徽省第二人民医院6 068张眼底图像作为训练集，主要应用眼底照相机(TRC-NW6S，日本Topcon公司)获得50°眼底后极部彩色眼底照相(包含视盘和黄斑)，且图像的分辨率为2 366×1 746。另选取目前已经公开的眼底数据集作为测试集，包括Messidor-1[10]、Messidor-2[11]、PALM-Training 4001和PALM-Validation 4002数据集。本研究中数据采集遵循《赫尔辛基宣言》，研究方案经安徽省第二人民医院医学伦理委员会审核通过[批文号：(L)2019-013]。

1.2 方法

1.2.1彩色眼底图像的预处理及扩增 为了减少因图像分辨率、光照条件、图像颜色以及视场方向等不同导致的差异，首先对采集的图像进行裁剪，去除黑边，然后对尺寸进行归一化，将分辨率统一为640×640，并对归一化后的结果进行标准化。整个预处理流程如图1所示。运用神经网络中常用的增大数据规模和提高泛化能力的方法，提高检测模型对眼底图像在整体方向、亮度、尺度、饱和度和对比度等方面的鲁棒性，即识别稳定性。具体来说，对每张训练图像执行随机垂直翻转、随机水平翻转、随机定向旋转、随机尺度缩放、随机亮度调节、随机对比度调节和随机饱和度调节，其中随机垂直翻转、随机水平翻转的概率为0.5，随机定向旋转的角度取值范围为(-180°，180°)。随机尺度缩放的比例范围为(0.9，1.1)。随机亮度调节、随机对比度调节和随机饱和度调节的范围为70%～130%(图2)。

图1 眼底图像数据预处理框架Figure 1 Data preprocessing framework for fundus images

图2 图像数据扩增 A:眼底彩色照片原图 B:图像垂直翻转 C:图像水平翻转 D：顺时针旋转45° E:放大10% F:缩小10%G:亮度增强30% H：对比度增强30% I:饱和度增强30% Figure 2 Image amplification A:Original color fundus image B:Vertically flipped image C:Horizontally flipped image D:Image rotated by 45° clockwise E:Image zoomed to 110% F:Image zoomed to 90% G:Image with brightness increased by 30% H:Image with contrast increased by 30% I:Image with saturation increased by 30%

图3 不同MMD等级眼底典型图像Figure 3 Typical fundus images of different grades of MMD

1.2.2彩色眼底图像分类及标注 采用国际近视META研究小组提出的MMD分类国际标准[3]：0级，无近视性视网膜病变；1级，仅存在豹纹状眼底；2级，弥漫性脉络膜视网膜萎缩；3级，片状脉络膜视网膜萎缩；4级，黄斑萎缩。漆裂纹、近视性脉络膜新生血管和Fuchs斑被识别为附加病变(图3)。挑选3位有5年以上临床经验的眼底病专家对收集的所有眼底图像进行标注，在训练集中共标注MMD 0级图像3 145张，1级图像2 466张，2级图像274张，3级图像92张，4级图像91张；在公开数据集中共标注MMD 0级图像2 569张，1级图像652张，2级图像167张，3级图像40张，4级图像78张(表1)。将MMD 1级的眼底图像定义为轻微病变，MMD 2级及以上的眼底图像定义为严重病变。

表1 不同数据集MMD等级分布情况Table 1 Grades distribution of MMD in different datasets数据集总数不同MMD等级图像分布0级1级2级3级4级训练集6068314524662749291Messidor-11200110192610Messidor-2175613094281234PALM-Training 40013019371941033PALM-Validation 40022496661552641 注:MMD:近视性黄斑病变 Note:MMD:myopic maculopathy

1.2.3数据清洗 为了避免医生主观偏好及数据异常对该系统的影响，我们对自建数据集和公开数据集的数据进行了清洗。删除存在严重过曝、渗出、出血等眼底图像，同时删除3位眼科医师标注不一致的图像。根据上述方法行数据清洗后，选取数量相匹配的MMD图像和正常图像，同时选取数量相匹配的严重病变图像和轻微病变图像构成MMD-C数据集(表2)。

1.2.4MMD自动筛查系统的建立 参考糖尿病视网膜病变(diabetic retinopathy，DR)筛查和早产儿视网膜病变(retinopathy of prematurity，ROP)筛查系统进行网络结构设计。MMD检测和MMD严重等级识别任务存在递进的关系，故该网络由两级网络结构组成，第一级网络结构用于检测是否存在MMD病变，即将眼底图像分为正常和MMD病变眼底图像，第二级网络结构用于进一步识别MMD病变眼底图像的严重等级，并将病变图像分为轻微病变和严重病变(图4)。本研究应用VGG-16[12]、Inception-v3[13]、ResNet-50[14]和Densenet[15]这4种网络结构模型在ImageNet上进行预训练并采用迁移学习技术，比较并筛选最优网络结构用于本筛查系统的构建。

表2 MMD检测及病变严重程度识别数据集构成(n)Table 2 MMD detection and disease severity identificationdata set composition (n)MMD检测数据集MMD严重程度识别数据集正常MMD轻微病变严重病变训练集31452923450457测试集900937250285总数40453860700742 注:MMD:近视性黄斑病变 Note:MMD:myopic maculopathy

图4 MMD筛查和严重程度识别的网络框架 MMD：近视性黄斑病变Figure 4 Network framework for MMD screening and severity identification MMD:myopic maculopathy

1.2.5网络结构模型的性能评价指标 在MMD病变筛查及病变程度识别的任务中，首先选择合适的网络模型在MMD-C的训练集上执行训练。然后，在测试集上评估模型的整体性能。采用准确率、特异性、敏感度、精确率、F1值、曲线下面积(area under curve，AUC)、Kappa系数综合评价模型性能(表3)。

Kappa系数是一种根据混淆矩阵来综合评价分类精确率的方法。0

1.2.6DCNN网络的特征提取可视化 采用引导反向传播算法[16]进一步分析DCNN网络结构模型的特征提取能力。使MMD严重程度识别任务中softmax层输入的梯度可视化，将生成的梯度图像二值化，并与原始眼底彩图相比较。

表3 各种性能评价指标的计算公式Table 3 Calculation formulas of various performanceevaluation indexes评价指标公式准确率TP+TNTP+FP+TN+FN特异性TNTN+FP敏感度TPTP+FN精确率TPTP+FPF1值2×精确度×敏感度精确度+敏感度Kappa系数p0-pe1-pe 注:TP:负样本被识别为负样本的数量;TN:正样本被识别为正样本的数量;FP:负样本被识别为正样本的数量;FN:正样本被识别为负样本的数量;敏感度为真阳率,特异性为真阴率;p0:模型准确率;pe:假设概率 Note:TP:the number of negative samples being identified as negative sam-ples;TN:the number of positive samples being identified as positive samples;FP:the number of negative samples being identified as positive samples;FN:the number of positive samples being identified as negative samples;The sen-sitivity was the true positive rate and the specificity was the true negative rate p0:probability of model accuracy;pe:probability of the hypothesis

2 结果

2.1 不同网络结构下MMD筛查和MMD严重程度识别性能比较

4种经典网络结构模型在MMD筛查任务中和MMD严重程度识别任务中的准确率均在0.86以上，Kappa系数均在0.72以上，其中Densenet网络结构模型在MMD筛查任务中表现出了最优性能，Inception-v3网络模型在MMD严重程度识别任务中表现出了最优性能(表4)。Densenet网络模型在MMD筛查任务中的敏感度、特异性、精确率和F1值分别为0.898、0.918、0.919和0.908。Inception-v3网络模型在MMD严重程度识别任务中敏感度、特异性、精确率和F1值分别为0.839、0.952、0.952和0.892。

VGG-16、Inception-v3、ResNet-50和Densenet网络结构模型在MMD筛查中AUC值分别为0.959、0.956、0.960和0.962，ROC曲线非常接近，Densenet网络结构模型性能稍好于其他3种网络模型(图5A)。VGG-16、Inception-v3、ResNet-50和Densenet网络结构模型在MMD严重程度识别任务中AUC值分别为0.960、0.965、0.946和0.968，ROC曲线相互交织，其中Densenet网络和Inception-v3网络性能均较好，且2者网络性能较接近，但Inception-v3在假阳率和真阳率平衡点附近(ROC曲线左上角)表现出稍优的性能(图5B)。

表4 4种网络模型的MMD筛查和严重程度识别任务性能评价指标Table 4 The MMD screening and severity identification taskperformance evaluation indexes of four network models网络结构模型MMD筛查MMD严重程度识别准确率Kappa系数准确率Kappa系数VGG-160.8610.7220.8730.748Inception-v30.8890.7780.8950.784ResNet-500.8990.7980.8560.714Densenet0.9070.8150.8760.755 注:MMD:近视性黄斑病变 Note:MMD:myopic maculopathy

图5 不同网络模型在MMD筛查和MMD严重程度识别任务中ROC曲线 A：在MMD筛查任务中ROC曲线 B：在MMD严重程度识别任务中ROC曲线Figure 5 The ROC curve of different network models in MMD screening and MMD severity identification tasks A:ROC curve in MMD screening task B:ROC curve in MMD severity identification task

2.2 提取特征的可视化

MMD严重病变图像中不同位置和形状的弥漫性脉络膜萎缩病灶、广泛的局灶性视网膜脉络膜萎缩区域均被准确表征(图6)。通过将眼底图像与对应特征提取可视化结果进行对比，可以说明本研究所采用的网络结构模型具备有效识别MMD严重程度的能力。

图6 提取特征可视化 A～C：不同特征脉络膜萎缩可视化结果 其中A、B为MMD-2级，C为MMD-4级，表明图像特征可被准确识别 D：模型误判视盘周围存在脉络膜萎缩 E：图像质量模糊产生类似于弥漫性脉络膜萎缩的图像，导致模型误判 F：模型误判严重的眼底豹纹为弥漫性脉络膜萎缩 每幅图的上图为眼底图像，下图为模型提取特征图Figure 6 Visualization of feature extraction A-C:The visualization results of choroidal atrophy with different characteristics A and B were grade MMD-2,and C was grade MMD-4,indicating that the image features could be identified D:The model misjudged there was choroidal atrophy around the optic disc E:Blurred image seemed to be similar to diffuse choroidal atrophy,which led to the misjudgment of the model F:The model mistakenly identified the severe fundus leopard spot as diffuse choroidal atrophy The fundus images and model extraction images were shown from top to bottom in every picture

3 讨论

目前基于彩色眼底图像的眼底病自动辅助诊断已经在DR和ROP中被广泛研究和应用，且取得了显著成效。Pratt等[17]在EyePACS数据集[18]上用3个全连接层和10个卷积层的卷积神经网络网络，对DR严重程度进行分类，准确率达75%。基于2015年制定并更新的彩色眼底图像MMD统一标准[2-3]，Xu等[19]提出了一种检测豹纹状眼底的特征分类方法，通过提取颜色和纹理特征来表示眼底图像中的豹纹严重程度。Lyu等[20]构建了3个卷积神经网络模型来识别正常眼底及豹纹状眼底，结果表明这些卷积神经网络模型均具有较强的豹纹状眼底检测性能。受DR和ROP自动诊断研究的启发，本研究构建一种网络结构模型，不仅能识别眼底图片是否存在MMD，还可进一步判断其严重程度。

MMD是近视患者视力损害和盲的主要原因，因此提出一种自动MMD检测方法对早期预防和后期治疗PM引起的眼底视网膜病变有重大意义。全自动MMD筛查系统的建立主要面临以下挑战：(1)眼底图像的采集视角难以保持一致，而识别系统对图像视角要求较高。(2)成像条件不一致，导致眼底图像在光照和颜色上表现出较大的差异。(3)缺少有关高度近视眼底病变，尤其是MMD领域标注数据和公开数据集，使该领域的研究受到限制。针对第1个挑战，本研究应用了具有强大表征能力的DCNN。DCNN被广泛应用于计算机视觉的各个领域，已经被证明能从数据中抽象提取高维特征。迁移学习是一种非常有效的技术，并且比从头开始训练的模型表现更好，可用于小数据集训练模型，并广泛应用于医疗图像识别领域[20]。针对第2个挑战，本研究对所有眼底图像采用了最小池化滤波[21]的标准化处理技术，以尽量减少光照和颜色的影响；另外为了进一步提升模型对亮度、饱和度及对比度的鲁棒性，本研究中还应用了数据扩张技术。针对第3个挑战，本研究中挑选了3位有5年以上经验的眼底病专家，标注了近视性黄斑病变数据集。MMD分级数据匮乏，目前还没有公开的数据集。为了解决这个问题，经过数据收集、数据标注、数据清洗，我们建立了一个可靠的近视性黄斑病变诊断和病变严重程度识别数据集，且测试集和训练好的模型已经公开在GitHub3(https://github.com/FundusResearch/MMD.git)以推动本领域研究。

本研究没有直接采用单网络结构模型来判断识别MMD病变及其严重程度。因为MMD严重病变眼底图片的数据较匮乏，直接训练易造成模型偏好，从而影响模型的精准度。从数据本身分析，正常眼底与MMD病变眼底存在明显的特征差异，特别适合DCNN自动学习，从而提取识别特征。而MMD轻微和严重病变的区别主要在于眼底是否出现视网膜脉络膜萎缩导致的弥散性或局灶性病灶，如果将MMD眼底图像与正常眼底图像混在一起让DCNN学习不同MMD病变程度特征，DCNN网络结构就容易被严重不平衡图像数据干扰，所以本研究采用2个网络结构模式。

本研究采用的基于DCNN的MMD筛查模型具有高效判断MMD疾病及识别MMD严重程度的能力，探索了VGG-16、Inception-v3、ResNet-50和Densenet 4种经典网络模型。VGG-16是经典的深度卷积网络，由13个卷积层和3个全连接层组成，其主要特点是拥有较深的网络深度。与VGG-16不同，Inception-v3网络通过增加宽度来实现不同尺度特征的捕捉。ResNet-50基于残差网络来实现，使得比VGG-16更深的网络也能得到有效优化，提高了模型的精确度。Densenet由稠密结构组成，通道不断聚集。在前向传播时，深层网络能获得浅层的信息，而反向传播时，浅层网络能获得深层的梯度信息，这样最大程度地促进了数据在网络间的流动，提高了模型的性能。

在测试中，Densenet网络结构模型表现出最优的MMD疾病识别能力。Inception-v3网络模型表现出最优的严重程度判别能力，其准确率和Kappa系数分别为0.895和0.784。上述2个任务的最优模型的Kappa系数均超过0.78，达到了高度一致。通过全面比较各项性能指标可以发现在病变筛查任务中最优模型的敏感度和F1值比严重程度识别任务中的最优模型分别高5.9%和1.6%，而特异性和精准率比严重程度识别任务的最优模型分别低3.4%和3.3%。每种网络结构模型在MMD检测及严重程度识别任务中表现出不同的性能优势，此现象符合计算机网络里没有免费午餐的原则，即不存在一个特定的网络模型在所有识别任务上均表现出最优性能。在MMD检测和MMD严重程度识别任务中，4种网络模型的ROC分析曲线及较高的AUC值，均充分说明了本研究中设计的方法具有优异的性能和较高一致性。可视化结果表明，本研究所采用的DCNN网络结构可以自动学习MMD严重等级判断的临床特征，准确识别弥漫性和局灶性脉络膜萎缩区域。

由于公开数据集并非接近临床真实情况，本研究采用公开数据集作为测试集具有明显的不足之处。后续的工作中，我们将采集更多的临床数据作为测试数据集，将现有测试数据集调整为验证集，邀请3～5名医生进行人工诊断及人机对比实验，以验证该方法是否达到人类医生的诊断水平。另外，因视盘周围的脉络膜萎缩与视网膜其他区域的脉络膜萎缩特征一致，本研究中设计的分类网络模型不具备区分这2种局灶性脉络膜萎缩的能力。MMD轻微病变图像因视盘周围存在脉络膜萎缩、图像模糊或严重的弥漫性豹纹状眼底等原因导致模型误判其已经进入MMD 2级弥漫性脉络膜萎缩，即出现假阳性结果。本研究受限于MMD 3级和4级的数据过少，直接实现MMD细化分级任务是困难的，故本研究侧重MMD病变轻微或严重的识别。未来的研究中，我们将在上述基线方法的基础上，增大数据集的同时提出一种性能更优的针对性模型，减少模型判别误差，更加准确地标识病灶区域，并识别出MMD病变的严重等级，以进一步辅助临床预防和控制MMD。

利益冲突所有作者均声明不存在利益冲突