糖尿病视网膜病变眼底彩照人工智能研究标准数据库的建立规范

于伟泓，张 潇, 吴 婵，陈 欢，杨治坤，贺 峰，张枝桥，张碧磊，巩 迪，王月麟，杨景元，李 冰，孙燕媛，马亚静，陆慧琴，夏 蔚，周 伟，张东磊，潘庆敏，杨 宁，王淑娜，孙晓蕾0，遇 颖，苏 畅，万 博，汪明启，王 敏，陈有信

1中国医学科学院 北京协和医学院 北京协和医院眼科 中国医学科学院眼底病重点实验室，北京1007302中日友好医院眼科，北京 1000293西安市第一医院眼科，西安 7100024苏州大学附属第一医院眼科，江苏苏州 2150065天津医科大学总医院眼科，天津3000526山西医科大学第一医院眼科，太原0300017山东第一医科大学第二附属医院眼科，山东泰安2710168徐州医科大学附属医院眼科，江苏徐州 2210049潍坊医学院附属医院眼科中心，山东潍坊 26103510山东第一医科大学附属眼科医院(山东省眼科医院)，济南 25002111哈尔滨医科大学附属第四医院眼科，哈尔滨 15000112承德医学院附属医院眼科，河北承德 06702013北京市通州区潞河医院眼科，北京10119914平顶山市第一人民医院眼科，河南平顶山46709915咸阳市第一人民医院眼科，陕西咸阳 712099

糖尿病视网膜病变(diabetic retinopathy, DR)，是糖尿病的主要眼部并发症，属于不可逆的致盲性眼病。目前我国有DR患者3000余万，DR的早期筛查与治疗是目前急需解决的问题。近年来，随着人工智能识别技术的兴起，为解决DR筛查工作量大但眼底专科医师短缺的矛盾，DR的人工智能辅助诊断技术逐渐成为研究的热点[1]。目前已有多个DR人工智能研究团队公开了旗下筛查系统，并自认为性能较好。例如，美国IDx团队研发的DR人工智能筛查系统，该系统于2018年4月获得了美国食品药品监督管理局(Food and Drug Administration，FDA)的首个批准文件[1- 2]，其研究成果主要基于Kaggle (https://www.kaggle.com/)、MESSIDOR 2(https://www.adcis. net/en/third-party/messidor/)等数据集[3]，但此类数据集未充分考虑测试集设计与临床适用性的适配度，测试集中数据质量参差不齐，缺乏规范的标准管控。国内也有多个团队研发了DR人工智能系统，其中3家顺利获得了我国FDA器审中心的审核批准(https://www.nmpa.gov.cn/ylqx/ylqxjgdt/2020081009 3435157.html)，但这些成果的研发与验证主要是基于研发团队自行建立的数据集,均未公开，因此无法对不同的软件性能进行“头对头”比对。

基于实际临床应用场景的DR测试集在我国乃至全球尚属空白，北京协和医院眼科基于真实世界数据，构建了DR眼底彩照人工智能研究标准数据库，并于2019年7月将数据库中1.5万张图片发布于人工智能医疗器械创新合作平台，可作为人工智能研究的开发和验证(http://www.aimd. org.cn/newsinfo/615994.html? templateId=506998)。本文从该标准数据库的数据构成、建库规范、初建规模、审核管理、更新规则、使用规则、日常管理等进行全方位阐述。

1 数据库数据构成

考虑到数据库应具有代表性，因此图像采集来源于真实世界，覆盖目前临床常用的眼底彩照相机型号，且眼底图像的内容考虑到各DR分期的分布以及图像质量、合并其他病变等混杂因素。

标准数据库最终纳入来自全国8个省/直辖市(陕西省、山东省、江苏省、天津市、黑龙江省、河南省、河北省、山西省)14个地区真实世界连续采集的糖尿病患者后极部眼底彩照1.5万张，每只眼一张后极部眼底彩照。照相机涵盖了目前市场主流的眼底照相机机型，包括Canon CF- 1、Canon CR- 2、Daytona P200T、Kowa Nonmyd D7、Kowa Nonmyd WX 3D、Kowa Nonmyd α-DⅢ、SUOER SW- 8800、Topcon 50IX、Topcon TRC- 50IX、Topcon TRC-NW300、Zeiss FF450、Zeiss VISUCAM 500。

标准数据库包含无DR、轻度非增殖性DR、中度非增殖性DR、重度非增殖性DR、增殖性DR、激光治疗后DR等各个病程的眼底彩照，同时结合真实世界数据采集情况，纳入了图像质量差、不适合标注的眼底彩照，以及合并其他眼底疾病的DR图像。

2 数据库建库规范

2.1 图像采集规范

数据库对图像质量进行了明确要求，包括图像采集部位、覆盖范围、分辨率等。图像采集部位要求40°～55°拍摄的眼底后极部(包括视盘和黄斑区)眼底彩照一张，以黄斑与视盘连线中点为中心的图像最佳；以全分辨率保存数字图像，图像文件要求为无损压缩的JPG/JPEG/BMP/PNG等格式，像素要求不低于30像素/度。

2.2 数据脱敏和预处理

图像收集后需对图像进行数据脱敏和预处理，数据脱敏时去除数据中的敏感信息，预处理则为减少数据中的缺失值、噪音及无关信息的干扰，提高数据质量。本研究中心采用ImageMagick软件进行完全脱敏(100%脱敏)，删除图像文件命名与图像中的敏感隐私信息，保证数据安全(图1)。

图1 数据脱敏过程

数据预处理是指对所收集的数据进行分类或分组前的审核、筛选、排序等处理。本研究中心采用OpenCV软件进行预处理，裁剪时，仅对图像的尺寸进行统一化，并未对图像进行压缩或处理，对图像质量无影响。眼底图的有效影像内容在一个圆形视野内，通过Python工具读取图像三通道信息确定视野的圆心和直径，按照圆形外接正方形截取图像，把圆外部分全填充为黑色，并把处理结果保存至新的目录且采用新的名称，以减轻后续标注和模型训练的人工干预及编程工作量。

2.3 图像标注

2.3.1 标注人员资质及分组

本数据库数据由北京协和医院眼科阅片中心眼底阅片团队进行标注。考虑不同环节的工作量和人员资质差异，标注工作由标注医师(眼底专业研究生学历、住院医师及以上职称且从事眼底病相关工作至少2年)、评估医师(主治医师及以上职称且从事眼底病相关工作3～5年)和仲裁专家(副主任及以上职称且从事眼底病相关工作至少8年)3级医师参与。对标注团队人员进行统一培训，所有医师经考核合格后方可进入正式标注环节。

标注以小组方式进行，即一张图片由小组中多人阅片。每小组应由奇数阅片人员组成(如3人、5人、7人)。以3人为一组的标注模式通常采用以下方案：(1) 2名标注医师相互独立标注，标注结果一致的图像直接入库；标注结果不一致时进行分歧讨论，讨论后结论达成一致则图像入库，若无法达成一致，则引入第3人(仲裁专家)再次进行讨论，讨论达成多数一致则图像入库，讨论无法达成一致，则剔除图像。(2)3名标注医师相互独立标注，标注结果达成多数一致的图像直接入库；完全不一致时进行分歧讨论，讨论后结论达成一致则图像入库，若讨论无法达成一致，则剔除图像。(3)3名标注医师相互独立标注，标注结果达成多数一致的图像直接入库；完全不一致时进行分歧讨论，讨论后结论达成一致则图像入库，若无法达成一致，引入第4人(仲裁专家)，图像结论以仲裁结果为准。本数据库采用前2种方案。

2.3.2 标注设备要求

数据标注所用显示器的相应要求：彩色显示器，分辨率大于1366×768，使用尺寸大于15英寸，标注时将屏幕调至最大亮度，标注界面背景为黑色。

2.3.3 标注标准的制定

图像标注内容一般包括：(1)图像质量判定标注；(2)病灶标注(可选，若数据库不要求则可不标注，根据任务需求决定)；(3)DR分级标注。

本中心数据库图像质量级别的定义符合谷歌采用的图像质量分类标准。DR与病灶的分级标注依据2003年美国眼科学会提出的国际临床DR严重程度分级及糖尿病黄斑水肿严重程度分级标准。

2.4 数据质量控制

数据库建库过程的各个阶段均要求对参与人员进行先期培训，考核合格者方能承担相应工作。

数据采集阶段，要求图像收集人员是接受培训并考核合格的眼科工作人员(技师或眼科医生)，持有技师资格证书或医师资格证书。

数据标注阶段，标注医师首先独立观察图像质量是否合格：若不合格，则在图像上标注相应分级(5或6)，即完成标注；若合格，则首先标注相应分级(1～4)，然后再对图像进行DR分级，且在图像上根据DR分级标出相关病灶。每完成一个标注时段，由评估医师对此时段所有独立标注的结果进行标注质量评估：先以所有标注医师DR分级标注结果的中位数作为标准，然后计算每个标注医师的Kappa值。Kappa 取值于闭区间[-1, 1]，但通常落在[0, 1] 上，一般可用以下6个等级衡量其一致性：[-1, 0]视为不一致，(0, 0.2]视为一致性极低，(0.2, 0.4]视为一致性一般，(0.4, 0.6] 视为一致性中等，(0.6, 0.8] 视为高度一致，(0.8, 1]视为几乎完全一致。Kappa值为(0.6, 1]视为标注合格，[-1, 0.6]视为标注不合格，需重新标注，同时标注人员也应重新培训，考核通过后方能继续标注任务。

3 数据库审核

当数据库新建或更新时，需要进行数据库审核，通常包含内审和外审。

本数据库内审人员为北京协和医院眼底专业副主任医师及以上资质人员。外审人员为来自全国10家三级甲等医院具有丰富阅片经验的眼底专业主任医师，1人担任审核组长，9人参与阅片。按8%～10%的比例随机抽取数据库的图片，进行分组独立阅片，数据库既有的标注结果与专家审核结果的Kappa值为审核标准。

本数据库国际分期标注结果与专家标注结果一致性的Kappa值为0.968，一致性等级为“几乎完全一致”。

4 数据库测试与使用

人工智能软件除满足临床试验研究要求外，还需遵守国际标准化组织制定的人工智能研究标准化规范[1,5]。配合各人工智能软件的不同预期用途，数据库可排列组合成不同的子数据库，以满足各种DR人工智能系统的测试需求。

本数据库的不同排列组合列举如下：(1)有/无DR；(2)DR需要转诊/无需转诊；(3)DR国际分期(0期、1期、2期、3期、4期)；(4)有/无激光治疗的DR；(5)合并/不合并其他病变的DR；(6)图像质量良好可以进行标注/质量差无法标注；(7)上述分类的各种组合。

5 数据库日常管理

5.1 安全管理

数据库安全管理需符合统一标准原则、全程管控原则、安全共享原则，确保数据库的真实性、完整性、时效性。数据存储、数据传输与数据使用由授权的指定人员操作并及时记录。

5.2 更新管理

数据库采用动态更新的方式以保证数据库的科学性。根据真实世界研究结果及临床实际需求，每年将动态更新通过国内同行专家外审的1000张图片。

5.3 文件管理

数据库从计划执行到搭建至今，陆续形成了一套体系文件和记录，规范了标准数据库全生命周期的各项活动，如数据采集、数据脱敏、数据预处理、数据标注、标注培训、数据安全、数据库管理、数据库审核等过程，并要求如实、及时完成相关记录。

作者贡献：陈有信为项目总负责人和总策划；于伟泓负责数据库的策划与具体落实；张潇、吴婵、 陈欢、杨治坤、贺峰、张枝桥负责阅片与质量控制；张碧磊, 巩迪、王月麟、杨景元、李冰负责数据标注；孙燕媛、马亚静负责数据库管理与建库过程记录；陆慧琴、夏蔚、周伟、张东磊、潘庆敏、杨宁、王淑娜、孙晓蕾、遇颖、苏畅、万博、汪明启、王敏负责真实世界数据收集。

利益冲突：无