人工智能在产前超声领域的应用进展*
2023-01-03雷婷谢红宁
雷婷, 谢红宁
中山大学附属第一医院超声科(广东广州 510080)
智能的概念最初被描述为计算机程序执行与人类智能相关的过程的能力,如推理、学习、适应、感官交互理解。19世纪50年代Turing[1]在一份研讨会论文中提出测试机器是否具有智能的方法,如机器能够与人类展开对话而不被评估者辨别出其机器身份,那么称这台机器具有“智能”。随后McCarthy等[2]提出“人工智能(artificial intelligence,AI)”这一特指名词。传统的计算机算法(如电子计算器)设置好既定的规则,每次都执行相同的功能,AI算法则自动从训练数据中学习规则(函数)。当今AI作为人脸识别技术、虚拟助手语音识别(如亚马逊的Alexa、苹果的Siri、谷歌的Assistant和微软的Cortana、汽车自动驾驶等)的基础,已广泛应用于我们的日常生活中。人机对弈的里程碑事件包括1997年“深蓝”电脑击败了国际象棋世界冠军Gary Kasparov、2016年击败了中国职业围棋手李世石(9段)[3]。在医学领域,AI因其具有从大数据中获取规律的能力,可用于筛查、预测、分诊、诊断、药物开发、治疗、监测和影像识别等,目前已在新药研发[4-5]、临床决策[6-8]、医学影像判读[9-10]等各方面发挥着助力作用。已获得美国食品和药物管理局批准的AI图像分析软件呈指数递增,如检测心律失常的智能手表、自动提取关键诊断图像的智能软件等。产前超声是医学影像AI领域的难点,受孕周、胎位、超声特有的声衰减等影响,图像标准化程度低、特征描述困难,从而导致机器学习的特征工程准确性低。深度学习是先进AI技术的代表,在图像模式识别方面表现尤其出色,通过模仿人脑的结构设计,可自动提取底层特征,避免了人为图像分割导致特征工程准确性低的影响。因此,借助深度学习技术极有可能在这项劳动密集型任务中突破瓶颈,为智能化图像识别提供更为深远的帮助。本文整合这两个领域的基本理论知识,介绍AI基本概念,探讨AI与产前超声领域结合的研究进展、机遇与挑战、未来趋势。旨在加强产前超声领域与AI领域专业人士之间的跨学科交流,进一步挖掘AI在产前超声领域发展的巨大潜力。
1 AI基本概念
广义的AI指机器具备任何与人类相似的思考、学习、推理的能力,即机器从数据和经验中学习规律,从而达到可提供新的数据和经验的能力。狭义的AI是机器执行特定任务的能力,如图像检测、翻译、国际象棋等。
机器学习是AI的一个分支,可理解为随数据量增多而逐渐改进统计方法,以获得最佳模型(函数/规律),最终达到预测未知状况的目的[11]。换而言之,大数据支持是机器获得智能的基础,而医学影像在常规临床实践中积累的大数据库为机器学习提供了丰富的资源。根据学习方式不同又可分为:监督学习、无监督学习和强化学习。监督学习中训练数据是具有标签的,机器根据已有的数据标签,找到输入和输出结果之间的关系;无监督学习中训练数据是不需要标记的,机器通过聚类的方式从数据中寻找某种内在共性,从而分类数据;强化学习不直接给出解决方案,通过试错、激励的方式以达成回报最大化。
深度学习是机器学习的另一分支。在深度学习中,输入和输出由多层隐藏层连接,也称为卷积神经网络(convolutional neural networks,CNN),是一种受生物神经网络启发的计算算法。深度学习神经网络含有多层隐藏层,可自动提取底层特征,使人眼无法分辨的抽象信息得以保真学习[12-13]。因此,其应用于医学影像AI识别时,可以有效避免人为图像分割导致的特征工程准确性低。
2 AI在产前超声领域研究进展
随着人们对先天性畸形产前筛查重要性的认知逐步加深,产前超声筛查需求持续增长,而要达到专业产前超声筛查所需能力的培训时间长,导致产前超声工作者的工作负荷急剧增加。因而,提高产前超声筛查效能的迫切需求成为了AI在产前超声领域发展的主要驱动力。目前,产前超声AI领域的研究进展主要呈现在以下方面:产前超声筛查切面识别与定位、生长指标与解剖结构的自动测量、鉴定图像的标准化程度、部分标准切面的正常异常的分类识别等。
2.1 产前超声筛查切面智能识别与定位 产前超声筛查切面智能识别是指计算机通过大量学习已知数据的类别标签,实现超声图像输入后切面的自动分类,如图像是腹围切面还是头颅切面,这是进一步测量、诊断异常的基础。而筛查切面的定位是指机器能在视频流或众多扫查切面中定位到所需的诊断切面。
早在2017年,Yu等[14]借助深度学习CNN的结构优势,配合迁移学习策略和针对性的数据增强技术,实现了胎儿颜面正中矢状面、双眼水平面、鼻唇冠状面的分类识别,经测试该模型的受试者曲线下面积达0.979~0.999。同年,Chen等[15]应用卷积和递归神经网络的新型复合框架实现在图片和视频集中对腹围切面、双眼横切面、四腔心切面的自动分类识别。英国帝国理工学院Baumgartner等[16]通过深度学习弱监督学习模式,建立了CNN模型SonoNet,实现了自由扫查时13个胎儿标准切面的自动识别,图像召回率达90.9%。
该项技术的实现将有利于引导经验不足的操作人员获取胎儿筛查的标准切面,全面提高产前超声医师培训效能,缓解全球范围内专业产前超声工作者短缺的压力。甚至在紧急情况下,非产前超声专业医疗工作者基于AI辅助也可获取筛查切面进行基本的产前超声筛查。
2.2 胎儿生长指标及解剖结构的自动测量 计算机自动测量的基础是根据超声图像中不同区域所展示的回声强弱、空间纹理、结构形状、边缘连续性等特征,把目标图像中特征性解剖结构从其周围的背景中抽离出来。将深度学习自动分割优势应用于标准切面自动测量,展现出良好的性能。目前很多的超声仪器都配备自动测量AI软件,包括颈项透明层、生长发育指标、侧脑室等的测量。如Chen等[17]基于CNN对胎儿颅脑侧脑室的像素级分割,实现了侧脑室宽径准确测量,误差仅1.8 mm。荷兰拉德堡德大学团队[18]基于VGG-Net的网络,自动分割胎儿颅骨光环,再通过U-Net网络来自动测量胎儿头围,最后以参考头围的Hadlock曲线来确定孕周,实现孕周的自动估算。Kagan等[19]对比了人工与半自动测量颈项透明层厚度在不同经验医师间重复性的差异,发现自动化测量技术有利于经验不足的操作人员对颈项透明层进行更为准确的评估。
基于自动分割特征图像,AI技术准确的自动测量将简化所有超声工作者平时的操作步骤,节约检查时间而将更多的注意力专注于特征性结构或病灶。
2.3 产前超声筛查切面的标准化程度质控 产前超声筛查切面的标准化程度质控是指判断超声图像是否显示了标准切面所必须显示的结构,是避免误诊与漏诊的基础,也是培训专业的产前超声工作者的关键。
通过将医学逻辑转化为计算机语言进行图像的量化质控,我国深圳大学团队产出了出色成果。其中,Wu等[20]将AI检测技术应用于胎儿腹围切面的标准化程度质控。首先基于CNN定位图像中胎儿腹部横切面,再基于标准的腹围切面需显示胃泡、脐静脉等关键结构,对关键结构的显示进行量化评分。该研究所研发的FUIQA网络对腹围切面的质控评分与3名专家的主观评价相接近。Lin等[21]提出基于候选区域快速卷积神经网络多任务学习框架MFR-CNN对颅脑横切面内的丘脑、外侧裂、脉络膜丛,侧脑室后角、透明隔腔、第三脑室进行分类及定位检测,结合图像放大程度对切面进行量化评分。以交并比>0.7为定位准确,该模型对切面中结构定位准确率达80%以上,平均分析时间为0.5 s。Dong等[22]建立的胎儿四腔心切面质控评分的神经网络综合考虑了图像的增益、放大程度以及图像所必须显示的关键结构等因素。如果同时检测到:4个腔室、肺静脉回流角,心尖、乳头肌、两侧各显示1条肋骨,且增益及放大程度合适,机器则判断为标准四腔心切面。其定量质控胎儿四腔心切面内部验证精度93.52%,外部验证精度达81.2%。
2.4 正常与异常产前超声图像的自动分类识别 胎儿异常的诊断是AI在产前超声领域的最难点:首先胎儿畸形的产前诊断通常需要多切面联合诊断,单一平面信息量少,AI算法需要解决动态、联想、立体识别等方面的难题。此外,胎儿畸形的病变种类很多,每种畸形变化不一,相对来说单一病种数据量少,AI识别也面临数据量不足的困境。
近两年,研究者们开始尝试于胎儿心脏及颅脑的正异常分类或部分异常类型诊断方面作出突破。2020年,Gong等[23]在建立胎儿先心病AI筛查模型中,首次引入了异常四腔心切面的图片训练,验证结果表明AI在分类正常与异常四腔心图像的表现超过了低年资及中年资医师,仅次于高年资医师。Arnaout等[24]建立的神经网络在识别5个胎儿心脏标准切面基础上,实现了正常与16种先心病的智能分辨,曲线下面积为0.99,敏感度为95%[95%置信区间(CI)84%~99%],特异度为96%(95%CI95%~97%)。Xie等[25]基于深度学习卷积神经网络对胎儿颅脑超声图像进行正异常分类,该分类系统测试结果显示正常与异常颅脑横切面分类准确率达96.31%,明显超过既往文献报道的80%。热力图病灶定位结果显示61.62%达到精确定位,24.65%定位到与病灶紧邻的位置。同一课题组Lin等[26]通过分割和标记超过21 500张胎儿颅脑超声图像进一步提出了胎儿颅脑异常实时AI辅助诊断系统,该系统可以在常规超声扫查中自动识别胎儿颅脑横切面及切面内特征性解剖标志,并根据图像检测9大种不同颅内异常。该系统的受试者工作特征曲线下面积为0.81~0.95。
上述研究成果表明,基于机器视觉中的多项任务(分类、分割、检测),AI技术在产前超声领域的研究已逐渐从正常切面的定位识别过渡至异常声像的分类诊断,并有望模拟经验丰富的产前超声医师,权衡多种图像参数的同时辨别伪影,指导正确的临床决策。
3 产前超声AI的挑战与趋势预测
AI技术在产前超声领域的研究进展充分展现了AI技术的优势及有望减轻产前超声工作者负荷的潜能。然而,将AI引入临床实践仍然面临诸多挑战,特别是对AI模型普适性的考证及一些目前尚无法避免的伦理问题的解决是将研究成果转化为生产力的必要准备。
首先,AI模型的普适性问题:(1)单一中心获取的训练数据所建立的模型能否适用于不同的产前筛查与诊断的场景;(2)为中孕期设计的AI模型很难适用于早孕、晚孕的超声检查;(3)大多数AI模型是通过“监督学习”推导出来的,这意味着医师标注的准确性将影响模型的准确性。人类参与不可避免地在学习过程中引入主观偏差,得到的模型也可能受标注偏倚影响。因此,未来的AI模型无论是针对训练集的标注、还是验证数据集的底层标签,均需考虑制定合适的准则对质量进行把关。AI的适用性也需根据训练及验证数据制定严格规范,未来开展大规模多中心的临床研究将成为AI进入临床实践的必经之路。
此外,真实场景的临床思维不仅考虑图像的特征,还会根据年龄、家族史、既往史、其他指标进行多因素整合分析,而AI模型只针对训练过的特征进行预测,不考虑其他因素。因此,未来医疗AI领域的研究重点将是构建AI集成图像和电子病历的“个性化影像诊断”。
另外,AI在产前超声的应用,或者说在医学的应用,不可避免地会遇到一些伦理问题,例如AI应用到临床需要达到多高的准确率、AI所产生的医疗风险将由谁承担,需要研究者们进一步建立行业标准来规范这些问题。
4 总结
AI在产前超声领域的研究进展,提示其有望改善筛查与诊断的工作流程、增加产前超声诊断者诊断的信心、提高产前筛查效能。未来的AI开发者和产前超声专业人员需进一步加强跨学科交流,将潜力转化为生产力,并联合多学科共同制定标准化的行业规范,规范这一新兴领域的行业标准。
利益相关声明:本文作者无相关利益冲突。
作者贡献说明:谢红宁负责提出选题及论文设计,并对论文进行修改;雷婷起草了本论文。