胸部疾病一体化AI辅助诊断及影像云新型服务模式探索

曹晓欢，王升平，薛忠

1.上海联影智能医疗科技有限公司，上海 200235；2.复旦大学附属肿瘤医院 放射诊断科，上海 200032

引言

随着并行计算能力的提升和医疗大数据的发展，人工智能（Artificial Intelligence，AI）辅助诊断得到越来越快的开发和应用，例如，肿瘤辅助诊断的准确率较传统方法有了较大提高。目前，肺结节检测的敏感性超过了90%[1-2]，结节分类准确性超过80%[3]，良恶性判别准确性接近70%[4]。AI深度学习使用多层卷积结构的非线性变换进行数据处理，是机器学习的重要组成部分。这些模型通过建立与人脑相似的神经网络[5-8]，用监督或无监督学习和分层特征提取方式来替代手工特征提取，实现医学影像自动分析，辅助医生对疾病完成高精度诊断[1,3-4,9-10]。

胸部CT由于具有较高的空间分辨率、扫描速度快等特点，被广泛应用于临床诊断，已经成为胸部疾病诊断的首选影像学方法。在肺癌及肺结节筛查、肺炎、阻塞性肺疾病、气道疾病、纵隔疾病、肺实变、空腔、纤维条索影、钙化及心血管疾病等方面[1-2,4,9-11]，AI在检出、分期及疗效评估中都已经起到了无法替代的作用。但是胸部CT阅片工作量大，一个三甲医院一天的CT检查量可达到上千例，按每个病例的薄层CT图像300幅计算，每天需要医生阅读的就有十几甚至几十万层图像。由于影像科医生工作量不断攀升，持续过度负荷导致影像科医生视觉疲劳，可能存在潜在的漏诊及错诊隐患。

目前，深度学习在胸部疾病检查中主要用于肺结节检测、良恶性鉴别、肺癌分期以及治疗疗效评估等[1-2,4,9-10]，最近也有学者用深度学习构建评估阻塞性肺疾病及肺间质性疾病严重程度的模型[12]。然而这些关于胸部CT的AI辅助诊断应用任务相对单一，不能满足临床全面阅片需求。因此，需要将目前主要集中在单一病种的AI算法扩展到多病种。胸部检查需要观察胸部、支气管、纵隔、横膈胸壁、骨骼、软组织以及心血管等多种器官有无病变，仅就肺部组织而言，就有上百种疾病或异常。因此，多任务、全病种AI模型才能更符合临床使用场景。

本文以胸部CT检查为主线，探讨AI技术对胸部CT影像进行多种重要疾病辅助诊断的解决方案，包含但不限于肿瘤（肺结节）、纵隔和腋下肿大淋巴结、乳腺肿块、肺炎等智能检测和随访分析。随访是指通过对胸部CT影像进行多时间点纵向比对，在单时间点病灶检查的基础上，实现病灶的自动纵向匹配和量化对比。本文还介绍了医学影像云平台的服务模式，即通过云平台上的多疾病智能辅助诊断和评估模块实现多医学中心智能影像辅助诊断服务。该平台有利于整合专家对数据的标注，实现AI模型的迭代训练，进而更好地辅助医生阅片，提高工作效率，改善阅片一致性。

1 胸部CT影像处理关键AI技术

1.1 检测模型

影像病灶检测任务是自动找出不同形态不同大小的异常或病变区域，或确定其位置，进而在影像中提示医生。检测模型根据不同框架可分为one-stage和two-stage，Anchor-based方法和Anchor-free方法。其中one-stage直接输出目标类别概率和坐标位置，two-stage首先通过区域候选网络（Region Proposal Network，RPN）生成候选区，然后再对每个区域进行分类和回归。Anchor-based模型通过不同形状的Anchor-box来完成不同形状目标的检测，Anchor-free模型则不预设Anchor-box形状，检测自由形状，但需要更多的平衡样本。

本文以特征金字塔网络（Feature Pyramid Network，FPN）[13-14]目标检测框架为例简述其在CT影像病灶检测中的实现。如图1所示，通过在不同尺度上对不同形状的Anchor-box进行回归，综合输出每个病灶的概率图，完成对病灶的检测。网络输入为三维图像，采用与U-Net[15]相似的结构进行多分辨率卷积检测。同一分辨率的跳层链接通过融合细尺度与粗尺度特征，更好地增强特征空间的精确性，提升对小型病灶的检测敏感性。多尺度检测网络在不同尺度都输出检测结果，可以对不同大小的病灶进行分层检测，在不影响检测敏感性的同时检测不同大小的病灶，解决当前单一尺度检测网络所存在的问题。由于三维影像尺寸较大，在训练与应用中，通常对原始数据切块，将图像块作为模型的输入而不是采用完整图像数据，进而避免显存占用过多。

图1 基于FPN的目标检测框架

1.2 分割模型

图像分割任务是完成器官及病灶掩模的自动提取与量化，通过病灶勾画与测量，获得更多病灶特征，如形态学、病灶成分信息等，是医学影像量化分析的关键步骤。如图2所示，常规AI分割模型大多基于U-Net或V-Net框架[15]，但应用中面临着模型大、参数多等问题，需对不同区域采用多个网络模型实现。而串行计算又需较长时间，因此，需对现有模型结构进行裁剪，减少存储空间，提升计算效率。

图2 AI分割经典模型框架U-Net

通过在网络结构中加入bottle-neck层引入模型压缩，将原来三层由3×3×3卷积核组成的卷积层改用第一层使用1×1×1的卷积核、中间层使用3×3×3卷积核、第三层使用1×1×1的卷积核来实现。这样第一和第三卷层模型参数量显著降低，运行效率加快，且能保持相似的处理精度。通过这样的方法，可大大压缩模型参数，模型加载速度更快，便于模型部署在不同类型的设备上使用。

1.3 分类模型

在影像的辅助诊断中，AI分类模型可完成病灶类型检出与临床分型分类，例如良恶性判别、癌症转移判别与预测、预后及疗效预测等。传统机器学习方法通过提取病灶形态学和灰度分布信息，采用支持向量机或随机森林等机器学习方法进行分类或回归分析。近年来，影像AI应用中的分类任务也越来越多地采用卷积神经网络或者网络与临床信息相结合的方式处理。因此，在多层卷积后，通常使用全连接层来将高维特征降维，进而实现分类。也可通过全连接层引入其他临床信息完成多源特征融合，进一步对病灶进行分析。图3展示了一个结合AI神经网络特征、影像组学和病人临床信息特征对肺结节进行良恶性分类的示例框架。事实上，如何将有效临床信息与图像信息进行融合，采用结合机器学习和深度学习方法实现多模态信息融合和分类也是AI分类需要研究的一个重要方向。

图3 机器学习与深度学习融合的分类框架

1.4 配准及匹配模型

随访评估通过纵向影像对比实现诊疗跟踪。全自动智能随访有助于快速监测病人病情进展、实现精准疗效评估与预测。随访主要是针对同一病人不同时间点数据的对比，因此多时间点影像配准与病灶的自动跟踪匹配是实现精准随访评估的关键。以三维影像刚性配准模型为例，将同一病人不同时间点图像记为和，则图像可以根据刚性配准变换到的空间，变换后的图像计算如公式(1)所示。

其中，R为旋转变换，xo为图像原点，t为平移向量。

图像配准求解是一个典型的优化问题，目标是求解变换参数，使得变换之后的图像I1'与I2相似。影像相似度可采用最小均方误差、互相关系数、互信息等测度。采用CUDA并行计算，能够将通常需要几分钟的配准时间降低至秒级。配准得到图像间的变换关系可用于在随访应用界面实现不同时间点图像的联动阅片，方便医生快速精确对比。

在配准的基础上可实现对不同时间点病灶全自动匹配，便于跟踪、量化对比与分析。对于病灶量少（例如肿瘤等）的情况，可直接采用配准后病灶距离进行匹配；对于病灶量多的情况，可结合病灶位置和形态学特征，通过模糊匹配方法确定病灶纵向对应关系[16]；对于匹配度不明显的病灶，则确定其属于新发病灶或消失病灶。

2 胸部CT多疾病辅助分析

利用AI检测、分割、分类及配准评估模型作为基础计算模块，根据胸部CT临床实际阅片需求，可构造不同疾病的辅助诊断与分析应用。和胸部CT检查相关的AI模块包括但不限于肺结节和肿瘤检测分析[17]、淋巴结检测分析、骨异常检测分析、肺炎检测分析、冠脉钙化积分分析及随访评估分析等，由于这些应用种类较多，本文仅选择几个典型应用进行简要介绍。

2.1 基于胸部CT的肺结节检测与随访

采用级联多尺度检测网络，即将AI检测网络进行级联，并在多尺度上对结节进行检测，使得第一层级的网络具有较高的灵敏度，而后续层级的检测网络具有较高的特异性。后续层级的训练是建立在前面层级的输出基础之上的，这样有助整体上保持较高的灵敏度和较小的假阳性率。为同一病人不同时间点CT影像的肺结节检出界面实例如图4所示，在此基础上，使用1.4的配准和匹配方法，能够对图像进行同步对比并自动确定病灶的对应关系。关于病灶的量化测量可以通过AI分割模型得到，进而在随访模块中实现精准的纵向对比。肺结节检测和随访能显著提高医生阅片和比对速度，实验表明，不仅阅片敏感性得到提升，医生阅片效率也提高了25%左右。

图4 胸部CT肺结节检测及随访

2.2 基于胸部CT的淋巴结检测与随访

淋巴结是一些圆形和豆形腺体，遍布在全身各处软组织间隙和血管旁边。淋巴结中的淋巴细胞属于免疫细胞，这些细胞能攻击使人生病的细菌、病毒。当淋巴细胞工作时，身体会产生更多免疫细胞，从而导致淋巴结肿胀。淋巴结肿大通常和受伤、感染或者附近肿瘤所关联。胸部淋巴结肿大通常预示肺结核、癌症（例如白血病）、霍奇金病、淋巴瘤、肺癌、结节病等。在胸部CT检查时，采用与2.1相似的AI检测、分割、配准及分类评估模型作为基础计算模块，对胸部CT中淋巴结进行分析和随访量化对比，主要的功能包括淋巴结的检测、分割、量化测量、纵隔14分区精准定位、随访对比分析等，见图5。其主要优点是可辅助医生快速发现具有临床诊断意义的淋巴结，并实现精准定位。随访评估功能可通过观测淋巴结的变化完成进一步精准的诊断与分析。

图5 胸部CT淋巴结检测及随访

2.3 基于胸部CT的乳腺检测和随访

虽然胸部CT不是专门检查乳腺的首选模态，但是对已经扫描胸部CT的病人，乳腺病变也需要及时发现。研究表明胸部CT对乳腺肿瘤大小的测量与病理测量结果具有较强相关性，且对较小肿瘤（<20 mm）或浸润性导管癌的测量一致性具有更高相关性[18]。因此，实现乳腺分割、肿块检测以及对具有历史数据的影像进行随访对比也是胸部CT阅片时的一个必要的任务。一位病患进行乳腺检查和随访的实例如图6所示。通过对乳腺和腋下淋巴结的精准检测分析，可极大地降低阅片漏诊率。

图6 胸部CT乳腺肿块检测及随访

2.4 基于胸部CT的肺炎辅助分析与随访

由于新冠肺炎疾病进展迅速，临床上建议每3～5天对患者进行一次CT扫描，以评估治疗效果。但由于缺乏准确量化感染区域及纵向量化对比工具，传统影像报告仅能提供定性评估，导致随访CT扫描中病灶的细微变化经常被忽视。针对这个问题，本应用可通过影像配准和量化技术，实现自动随访与智能分析，为疾病进展、治疗效果评估以及治疗方案决策提供依据。

通过CT影像配准实现精准的随访分析，对同一患者不同时间扫描的CT影像进行对比，对患者治疗期间的疗效进行量化评估，对不同肺段出现的感染区域进行对比，对相同感染区域的密度变化进行随访跟踪，实现患者的病情进展实现智能量化的分析。一位新冠肺炎患者CT影像病灶分割及随访对比分析如图7所示。通过智能配准与分割量化技术还能够对不同类型患者感染区域的群体分布进行评估和分析。

图7 胸部CT肺炎检测分析及随访

3 基于影像云平台的AI服务模式

影像云平台是指对医联体/医共体进行互联，医生通过浏览器终端随时随地对本院和远程患者进行影像调阅和诊断。该平台支持常规影像阅片、报告、会诊、讨论等服务。更重要的是，影像云平台通过服务器端的影像分析计算，在支持传统阅片服务的同时为医生提供智能量化分析工具及在线修改与标注工具，提升临床阅片效率，更好地赋能基层医院，实现远程诊疗。

影像云平台中涉及AI应用部署部分的基本框架如图8所示。系统首先通过影像云服务连接不同医疗机构的PACS或成像设备，将上传的影像数据存入影像数据库。为实现影像云平台数据管理智能化，在服务器端根据影像DICOM参数和影像内容对数据自动归类，然后将数据送到适用的AI应用计算引擎进行处理。在本例中，我们将识别到的胸部CT图像进行多种疾病辅助检查计算，然后将结果存入数据库。当医生调用某病患的影像数据时，系统能够将所有涉及到胸部CT扫描检查的结果连同影像本身送到前端浏览器，实现AI辅助阅片服务。该服务也可通过前端界面实现交互标注和修改，支持医生对AI分析结果（例如检测和分割结果）进行修正，并将相关修改结果存入数据库。这些数据有利于系统的进一步迭代和更新，增强AI辅助诊断应用的泛化能力。系统可对操作医生、操作历史等进行记录，满足数据安全标准。

图8 影像云平台智能服务的基本框架

基于影像云平台的AI服务也可以单独部署在医院内网中实现影像的智能计算。AI算法通过学习基于专家共识的标注数据及专家组经验，对新输入图像进行计算，其结果对医生阅片具有参考意义，有利于提高医生的阅片效率，提升不同医生间及不同医疗机间诊断的一致性和精准性。

总之，从以上基于影像云平台的智能服务以及胸部多种疾病的AI分析来看，未来影像AI的发展方向可以总结为：① 实现AI云计算和云端影像数据库的深度结合，并增强影像和其他临床数据的存储、处理和融合能力；② 在AI辅助诊断方面实现一扫多查，全面辅助医生诊疗，融入阅片工作流，为提高阅片效率、降低差异性、提高精准性提供有力支持；③ 在AI模型研发方面，实现针对多种病灶处理的多任务神经网络，形成一扫多查的AI模型[19-20]。

4 结论

AI数字化影像辅助诊疗获得了科研院所、医疗机构以及工程应用等方面的高度重视，基于影像AI辅助诊断应用不断增多。然而这些AI应用仅仅针对某个疾病现象，无法实现全面的、结构化的辅助诊断。本文探讨了如何利用AI技术进行一种扫描多种疾病的辅助诊断，尤其是结合了自动配准和随访评估功能，并将这些应用集成在影像云平台上，实现AI辅助诊断新服务模式。该模式有助于医院或者医联体资源共享，并可通过学习专家对数据的标注及AI结果的修改，在线优化迭代模型，进而更好地满足不同机构不同医生的阅片需求，提高阅片效率与一致性。