基于大规模临床数据深度学习的口腔疾病人工智能预防与诊断平台的构建

孟凡皓 田瑜 乔波 臧小漪 赵继志 殷卫红 李纯明 王小英 黄爱萍 迟颖 朱艳春 石玉英 朱鹏 高美琴0 石雪 成宏 张海钟

(1 中国人民解放军总医院口腔颌面外科，北京 100853； 2 中国医学科学院北京协和医院口腔科；3 首都医科大学附属北京同仁医院口腔科； 4 成都电子科技大学； 5 华北电力大学； 6 新疆克拉玛依中心医院；7 阿里达摩院； 8 腾讯医疗健康有限公司； 9 苏州市华夏口腔医院； 10 南通市口腔医院； 11 连云港成宏口腔医院)

2018年第四次全国口腔健康流行病学调查报告显示，5岁儿童乳牙患龋率高达70.9%，12岁儿童恒牙患龋率为34.5%，中老年人患龋率已经接近90%[1]，各个年龄段的患龋率均在一个高位水平。另外牙周病在中老年人群中的患病率也超过了90%[2-3]。近几年，口腔癌的发病率呈急剧上升趋势。据统计2017年我国口腔癌的年龄标准化发生率为2.44/10万[4-5]。另外我国口腔医生数量严重不足，全国注册的口腔医师和口腔助理医师大约有21.7万人。而且我国医疗资源分布严重不均，大约80%的三甲医院集中分布在大、中城市，西部偏远山区等的医疗资源极其匮乏[6]。口腔医生的紧缺和医疗资源的分布不均更加剧了患者看病难的问题。不仅患者需要承担口腔疾病带来的各种痛苦以及经济负担，而且国家医疗保障系统也承受了相当大的经济压力。

口腔疾病的预防和早期治疗对于疾病的发展、转归和结局至关重要。如窝沟封闭可以有效预防儿童龋齿，有文献报道，窝沟封闭后24个月的患龋数量为5颗，患龋率仅为2.2%[7]；龋病的及时发现和早期干预可以避免形成牙髓炎，而牙周炎的早期干预可以避免出现牙齿松动、脱落等更为严重的后果。在中共中央国务院印发的《健康中国2030规划》中对口腔健康提出了相关要求，指出“12岁儿童患龋率应控制在25%以内”。说明国家对于口腔健康问题也相当重视。

面对如此严峻的国内口腔健康形势，并针对国家对民众口腔健康提出的要求，本研究拟建立基于大规模临床数据深度学习的口腔疾病人工智能预防与诊断平台，利用人工智能和大数据分析等辅助诊断技术的优势[8-10]，以缓解医生的工作压力，解决患者看病难的问题，使偏远地区的居民也能享受到便利、优质的口腔疾病问诊服务，满足全民口腔健康的需求。基于此，本文从海量口腔多模态影像大数据收集及初步处理、口腔疾病的协同推理和智能分析、口腔疾病知识图谱的构建及口腔疾病演化预测等3个方面，探讨基于大规模临床数据深度学习的口腔疾病人工智能预防与诊断平台的构建。

1 口腔疾病人工智能预防与诊断平台简介

该平台汇集了理、工、医多学科专家，围绕科学与工程计算、大数据与人工智能等国家重大战略需求中的关键技术问题，进行了多学科交叉融合研究。通过人工智能对大数据进行分析处理及自主学习，以口腔图像的共性问题为核心，依靠图像分割、检测和分类等技术构建具有非凸、非线性性质的多模态医学图像数据处理模型，建立深度学习理论框架下的函数空间的学习理论和最优算法；基于新型口腔内窥镜采集到的口腔图像，构建大规模临床数据深度学习的全民口腔疾病智能预防、诊断平台；同时以成熟的阿里云服务平台为依托，实现对用户口腔健康状况的实时监测与预防指导，并对口腔疾病做出预警与诊断，推荐个性化的治疗方案，引导患者尽早干预治疗。该平台对患者全流程的口腔检查数据进行跟踪，建立患者口腔健康演化图，通过深度学习网络构建口腔疾病预测系统，实现个性化治疗方案的推荐(图1)。

2 海量口腔多模态影像大数据的获取及初步处理

海量多模态数据的收集是构建平台的第一步，多模态数据主要包括以下3种：从医院PACS系统导出的DICOM格式CT和X线影像数据；由临床医生或用户使用无线智能内窥镜(图2A)拍摄的照片，照片可以清晰地显示出色素沉积(图2B)、窝沟龋(图2C)、牙石(图2D)、牙龈肿物(图2E)等；患者的病历以及平台的问卷调查形成的文本数据。另外，通过与多家国内知名综合医院或口腔专科医院等医疗机构合作，在我中心现有医疗数据的基础上扩充口腔龋病、牙周病和口腔癌方面的数据。构建平台的第二步即是对收集的数据进行处理加工，涉及到的核心技术主要为知识加工、深度搜索和可视交互等。由于原始数据的多元性，因此需首先由医生筛选出高质量的图像数据，并完成疾病标注，再对数据进行清洗整合，判断其完整度，同时依据相应的标准进行初步鉴别及诊断信息标注，为后续的深度分析及知识图谱构建建立基础。海量影像数据收集与处理流程详见图3。

图1 口腔疾病人工智能预防与诊断平台示意图

A：自主研发的第二代智能内窥镜，B：色素沉积，C：窝沟龋，D：牙石，E：牙龈肿物

另外，该平台依托阿里云服务强大的大数据管理能力，使用对象存储、表格存储等方案实现对数据的存储，采用物联网套件实现数据通道及一站式数据采集、存储托管服务，以此来保障平台信息在存储、传输、管理方面的安全性。同时平台还对问诊的用户信息进行匿名化处理，以保护用户隐私，并且采用统一的传输标准，进行多中心间的数据传输。

图3 海量影像数据收集与处理流程示意图

3 口腔疾病智能分析系统

目前龋病和牙周病的临床诊断主要是根据患者的临床症状、探诊检查和影像学检查等进行综合评判。然而，这一综合评估非常依赖于临床医生的个人经验，不同临床医生之间诊断的差异导致了口腔疾病治疗的方案不同。本系统利用人工智能、大数据、深度学习、跨模态分析的核心技术算法，对龋病、牙周病和口腔癌等口腔疾病进行智能诊断、识别以及分期/分级，以实现口腔疾病的智能筛查。首先对收集到的数据进行清洗、标注等加工整理后，采用降噪、自适应灰度值颜色归一化、位置大小归一化等方法将图片位置、颜色标准化，通过模板匹配方法或深度学习目标检测方法，如FPN、SSD、Yolo、Faster-RCNN等，实现牙齿的自动定位。再采用卷积神经网络，结合人工预先设计的灰度、形状、纹理等特征(如从灰度共生矩阵、灰度直方图、轮廓等方面提取图像特征)，最终可以应用分类器实现对口腔疾病的分类或分期/分级[11-13]。通过深度学习结合传统方法实现口腔疾病的定位和分类，并将机器自动生成的诊断结果与数据库中的病历诊断结果进行对比，不断进行算法模型的训练与优化，使其更适应口腔内龋病、牙周疾病和口腔癌等疾病特征，达到对口腔疾病级别或类别进行划分的目的(图4)。

4 构建口腔疾病知识图谱，实现对疾病演化的预测

利用概念识别、实体发现、属性预测等技术提取患者主要症状，基于深度学习数据挖掘和协调推理技术，结合疾病的自然演变特征及规律，构建口腔疾病演化进程的知识图谱。通过人工智能自动检测和分级技术实现对口腔不同部位、拍摄角度不同牙齿的疾病分级。采用结合协同滤波和深度学习方法的协同深度学习模型(CIDL)作为口腔疾病治疗方案推荐算法[14-15]。具体为使用卷积神经网络、SIFT、LBP、HAAR等技术提取图像特征，将图片映射到特征空间，应用分类器检测口腔疾病特征并分析口腔疾病分级/分期，获得口腔中不同部位牙齿的龋病等级或口腔癌原发灶临床分期。同时还建立了同一患者的口腔健康演化图，分析口腔疾病不同维度、不同阶段的表征，推理该患者的疾病易感因素，以及预测疾病演化趋势，构建口腔疾病预警系统。最终将分级结果输入到预测预警与推荐模块中，给予患者口腔疾病的预测和治疗方案的推荐；并构建治疗方案评价函数，优化风险系数，结合医生的临床经验推荐个性化治疗方案。

图4 人工智能自动检测和疾病分期/分级系统结构图

5 全民免费服务平台应用

运用上述算法针对常见且具有明显特征的口腔疾病，如龋病、牙周病和部分口腔癌等疾病，人工智能平台可以自动回复，并提供初步建议，指导用户如何进行治疗。而对于人工智能平台无法直接识别判断的疾病，平台筛选后提交给后台的专家医生团队，经专业口腔医生评估后，形成初步意见，再通过平台回复给用户；同时平台还会根据本次专家使用的影像资料和给予的诊断结果再进行学习，通过智能筛查比对优化迭代算法模型，以此不断完善智能诊断结果，当再次有用户提交类似的影像资料时，平台便可以直接自动回复。总之，平台可以将智能推荐的诊断治疗方案与口腔医生给予的诊断治疗方案相结合，从中选择最佳的治疗建议。治疗咨询结束后，患者和口腔医生均要对治疗的效果进行评估，评估的结果同样再存储于数据库，进一步丰富数据库内容，也再次优化该人工智能模型[16-17]。该平台不仅仅只是针对患者，对临床医生来说，也可以实时、可靠、全面地提供诊断和治疗方案[18-19]。

本平台目前已经注册了腾讯微信公众号——赛牙(图5A)，初步实现了远程咨询会诊。例如当有用户通过内窥镜拍摄了牙齿照片，并上传给“赛牙”进行问诊时，平台会自动解答疑问，给予初步诊断结果及治疗建议。用户的咨询及回复内容详见图5B。

6 总结与展望

该平台为患者提供了便捷的远程诊疗系统，降低了患者的就医时间和经济成本，特别是对于偏僻山区居民、边防战士等均可以进行实时口腔问题的咨询，获取口腔预防保健的相关知识以及相应的预防和诊断建议。满足了全民迫切的口腔健康需求，也积极响应了《健康中国2030规划》战略方针。下一步平台的发展规划为，在现有大数据的基础上，进一步扩大数据量；不断优化迭代算法；拓展适用范围，使其不仅仅局限于口腔疾病，期望能扩展至包含皮肤疾病等的全身性疾病；在口腔癌方面，未来希望能借助于口腔拭子的基因检测结果，实现口腔癌的早期筛查和诊断。最终期望该平台发展成为全民免费的牙齿保健和口腔癌预防的人工智能平台。另外，该平台还考虑将以多语种形式呈现，实现多种语言环境的应用，不断扩大受众范围。