计算病理学应用研究进展与挑战

焦一平，王向学，徐 军

南京信息工程大学 1智慧医疗研究院 2人工智能学院(未来技术学院)，南京 210044

人工智能(artificial intelligence,AI)是病理学诊断和研究的重要新兴方法，其不仅可用于病理形态数据分析，还可整合免疫组化、分子检测数据和临床信息，得出综合的病理诊断报告，为患者提供预后信息和精准的药物治疗指导[1]。计算病理学是病理学与AI、计算机视觉等信息技术交叉形成的细分研究领域，其概念形成于2014年[2]，并迅速成为医学图像分析领域的研究热点。计算病理模型可批量化分析活检样本、突显细微的异常模式，减小观察者组内与组间差异性，并在基础研究中帮助理解疾病背后的生物学机制[3]。

计算病理学应用范围极为广阔，相关模型的开发不仅涉及应用背景，也涉及计算机视觉、机器学习、深度学习等诸多领域，具有较高的研究与应用门槛。目前相关综述主要从特定的器官、疾病或具体的建模技术、训练方式等计算机科学的视角展开[4-6]。然而，计算病理的研究方法具有一定的普适性，在大部分情况下并不局限于特定的器官或疾病；另一方面，计算病理分析需求日益复杂，各项分析任务的技术边界逐渐模糊。在此背景下，有必要对当前的计算病理学应用范畴与分析技术进行归纳总结，以厘清其中存在的问题与挑战。

1 计算病理学应用研究进展

计算病理学是利用图像处理与AI技术对病理图像进行分析，以实现结构单元的识别与定量化。根据切片类型，计算病理学研究可分为组织病理图像分析、免疫组化图像分析和细胞病理图像分析。总体而言，计算病理的最终目的是通过自动图像分析技术辅助诊断、定量评估以及决策。为实现上述目的，计算病理学研究对象的粒度可从图像的单个像素到患者预后、治疗响应等宏观信息，具有不同的信息抽象程度。因此，笔者以组织病理图像分析为例，将计算病理研究分为图像预处理、癌灶检测、组织学成分识别、细胞检测、分子亚型预测以及预后预测等方面，其亦可用于免疫组化图像与细胞病理图像分析，如图1所示。

图1 计算病理学应用现状

需要指出的是，计算病理模型的功能逐渐丰富，分析对象日渐复杂。在此背景下，前述各研究分支正在互相交融，不再存在明显的边界。例如，癌灶检测通常作为后续亚型分类、分子病理标签预测、预后预测的前置步骤，组织病理图像与免疫组化图像之间也已通过配准或虚拟染色等技术建立桥梁，以实现肿瘤切片感兴趣成分的精准量化与综合分析。目前，计算病理的研究热点已从癌灶检测、分级等自动诊断，转向更深入的对肿瘤微环境(tumor microenvironment,TME)、肿瘤免疫微环境(tumor immune microenvironment,TIME)的定量化分析，精确地揭示肿瘤的个体特性，并发掘蕴含在图像中的亚视觉特征与临床结局、治疗响应等重要临床事件之间的联系。

1.1 组织病理图像分析

癌灶检测是组织病理图像分析最经典、应用最多的领域。以乳腺癌前哨淋巴结转移灶检测竞赛Camelyon[7]为代表的大型切片数据集的公开极大地促进了组织病理图像分析领域的发展，吸引了AI、信息技术以及医学研究人员的广泛兴趣。

1.1.1 图像预处理

全视野数字图像(whole slide image,WSI)常含有大量的无信息空白区域，可在较低分辨率下识别出有效的组织区域，以提升后续分析步骤的速度。早期方法多基于图像纹理算子，近期研究则多采用轻量级的卷积神经网络(convolutional neural network,CNN)。除玻片背景外，WSI中还常包含因记号笔、组织折叠产生的伪影，或因对焦失败产生的低质量区，这些区域也可在预处理步骤予以识别和滤除。

染色标准化可将待分析的切片进行转换，使其具有相对固定的颜色风格，以缓解数字切片外观差异导致的模型性能下降。早期方法多基于对染色矩阵的估计，以Macenko标准化为代表，近期研究开始使用深度学习模型自动进行颜色转换，亦称为“染色迁移”。

超分辨率技术可在不影响诊断质量的前提下降低远程或在线会诊的网络传输数据量，该类方法以深度学习模型为主。

1.1.2 癌灶检测

癌灶检测模型可识别WSI中可疑的恶性区域，既可用于癌灶辅助定位、批量分析活检标本，也可作为下游应用(如组织学亚型和分子亚型分类)的前置环节。目前，基于深度学习的癌灶检测模型已具备与专业病理医师相近的诊断能力，并可辅助医师提升诊断准确性、对微转移灶的灵敏度，缩短微转移灶和阴性样本的评估时间[8]。目前我国已有成熟的AI模型用于发病率较高的胃癌病灶检测，显著提高了诊断的准确性，降低了误诊率[9]。

亚型分类/分级是癌灶检测领域的进一步细化。亚型分类较多应用于肺癌研究，包括肺腺癌、肺鳞癌的分类[10]，以及肺腺癌各生长模式的比例定量评估[11]。肿瘤分级方面的工作以前列腺癌活检Gleason评分居多，相关模型分类/分级能力已超过参与试验的病理医师平均水平[12]。除针对特定肿瘤的检测与分析外，近期研究还建立了原发灶不明的肿瘤识别与分类模型[13]。

1.1.3 组织学成分识别

现代计算病理模型开始关注TME中的多种成分，如肿瘤基质、肿瘤浸润淋巴细胞(tumor-infiltrating lymphocytes,TIL)等。相关研究集中于结直肠癌病理图像分析，通过识别其中的肿瘤上皮、间质、淋巴细胞、坏死等成分，可对肿瘤间质比(tumor-stroma ratio,TSR)等指标进行量化，辅助预后风险分层[14]。在TIL方面，一项基于TCGA项目的泛癌分析显示，基于CNN估计的淋巴细胞相关指标与分子估计具有显著一致性[15]。在肺癌等特定肿瘤中，TIL的空间分布结构与复发风险显著相关[16]。其他常见的组织成分识别目标包括肿瘤出芽、微血管增生、三级淋巴结构(tertiary lymphoid structure，TLS)、肿瘤神经侵犯等。

1.1.4 细胞检测

细胞检测的目标是在较细的细胞粒度下实现单个细胞(核)的分割或分类。Hover-Net是目前最先进的细胞检测与分类方法[17]，利用PanNuke[18]、Lizard[19]等大型公开数据集训练的模型可准确识别切片中的肿瘤上皮细胞、非肿瘤上皮细胞、免疫细胞、结缔组织细胞、凋亡细胞等。在细胞检测的基础上，量化细胞核的异型性[20]，或根据细胞空间位置关系构建亚视觉图像标志物，在肺癌等肿瘤中预测新辅助化疗疗效[21]。此外，细胞检测的结果也可与瘤区识别等结果结合，实现基质TIL与瘤内TIL的精确量化[22]。组织病理图像分析中的细胞检测与分类方法也可直接用于有丝分裂检测、多核细胞检测以及细胞病理图像和免疫组化图像中的细胞检测与计数。

1.1.5 分子亚型预测

基于组织病理的肿瘤分子亚型预测、突变预测等已成为近期计算病理的研究热点。根据组织病理切片，可预测乳腺癌患者的雌激素受体、孕激素受体、人表皮生长因子受体2状态[23]，以及GNAS、FASN、DDX5、XBP1、ACTG1等基因的空间表达情况[24]；在结直肠癌中，可实现微卫星不稳定性(microsatellite instability,MSI)以及BRAF突变状态预测[25-26]；在肺腺癌中，可预测肿瘤突变负荷(tumor mutation burden,TMB)[27]以及常见的几种基因突变[28]；在胶质瘤中，可预测异柠檬酸脱氢酶突变状态以及1p19q共缺失情况[29]。此外，还有涉及染色体不稳定性、分子通路、miRNA、同源重组缺陷、错配修复缺陷以及特定基因突变情况等预测目标的广泛工作。

1.1.6 预后预测

目前临床已开展多项针对TSR、TIL、TLS等指标进行精确量化的工作，基于此患者可获得更好的生存风险分层方案。根据预后标志物的建立方法，此方面的工作可分为两个分支。第一分支基于病理学先验知识构建生存标志物，常考虑TSR、TIL水平等指标，具有良好的可解释性；第二分支则通过端到端的深度网络直接构建预后模型[30]，或通过传统的“特征提取+特征选择+分类/回归”方案构建预后预测模型。需要指出的是，治疗响应预测可视为一种特殊的预后预测问题，所使用的建模技术与普通预后预测无异。目前的研究主要涉及乳腺癌以及结直肠癌的新辅助化疗响应预测[31-33]以及黑色素瘤的PD-1治疗响应预测[34]等。

1.1.7 非肿瘤切片分析

计算病理在非肿瘤切片分析中的应用也较为广泛，代表性的工作包括阿尔茨海默症的β-淀粉样蛋白量化评分[35]、心脏移植排异分级[36]、肝脏移植中脂肪变性量化[37]以及生精管与精子成熟状态分级[38]等。

1.2 免疫组化图像分析

免疫组化图像分析是计算病理学的另一重要应用领域。相比于组织病理，免疫组化图像分析更侧重细胞检测、分类，其方法与组织病理具有共通性。

1.2.1 细胞计数与染色分类

作为免疫组化图像分析的基本任务，细胞计数与染色分类可实现免疫组化指标的客观、可重复评分。早期研究通常基于色彩通道转换与形态学运算，近期深度学习模型开始广泛用于免疫组化图像分析，分割其中的细胞核并对染色强度进行分类。利用自动评分系统，可实现TIME的精确分析，例如在乳腺癌的瘤心与瘤周区域分别量化CD8+细胞的密度[39]、计算PD-L1免疫浸润评分[40]等。相关方法同样适用于多重免疫组化等图像，以精确刻画特定细胞群的交互。

1.2.2 免疫组化热点检测

热点检测可作为计数的前置环节，通过标识强染色区域、上皮区域或肿瘤区域，可实现更准确的免疫组化评分。在一项涉及乳腺癌Ki-67指数评分的研究中，最初被判定为低增殖的病例，经修正计数区域后被重新划分为高增殖组[41]，表明利用免疫组化热点检测模型可优化治疗决策。

1.3 细胞病理图像分析

细胞病理图像分析方法与组织病理、免疫组化图像分析中的相关方法一致。从应用的视角，该领域关于宫颈细胞的工作较多。目前，多中心、大规模的试验研究已表明AI具有比人类(医师)更高的敏感性和特异性[42]。在宫颈细胞之外，涉及肺癌、膀胱癌、甲状腺癌等肿瘤的细胞病理图像分析工作正在进行中。

2 计算病理学面临的挑战与解决途径

深度学习模型是目前标准的医学图像分析方案，已涌现大量研究成果。然而，作为一种数据驱动方法，其性能依赖于训练数据的规模、质量和多样性。如何保障模型在应用阶段的稳健性仍是计算病理领域的主要挑战。此外，由于深度学习模型网络层级较多、结构复杂，这种黑箱特性在临床研究与应用中易产生信任危机。

2.1 来自数据的挑战

数据收集是计算病理模型开发的基本问题，病理图像标注对标注者的专业知识要求较高，高质量数据的缺乏已经成为当前计算病理研究的主要瓶颈。缓解标注成本与标注需求之间的矛盾是计算病理的重要研究方向，主要包含标注策略、特征学习、训练策略等具体研究课题。

常见的标签收集策略包括：(1) 使用稀疏注释，只标注图像的部分区域，多用于组织类型语义分割问题；(2) 以免疫组化图像为金标准，通过退染复染或图像配准为HE图像指派标签，已有工作使用CK8标记上皮成分[43]、使用PPH3标记有丝分裂像[44]等；(3) 采用人在环(human-in-the-loop)或主动学习(active learning)技术，可利用少量的标注建立初始模型，并通过标注者与模型的迭代更有效地收集大规模的数据，该方案常用于细胞轮廓的注释，在PanNuke与Lizard数据集的构建过程中即使用了该策略。

特征学习通过改进模型或训练方法，可优化模型的特征空间。预训练是其中最常用的技术，利用ImageNet等自然图像数据集训练的模型进行初始化，可加快训练速度、提升模型在小样本数据集上的表现。此外，也可通过对抗生成训练、引入对比学习任务、进行多任务学习等方式，利用辅助任务优化模型。

在训练策略方面，比较有代表性的研究方向为半监督学习和弱监督学习。半监督学习利用少量有标注的样本以及大量无标注的样本构建模型，伪标签是其中最常用的技术。利用弱监督学习，可仅使用切片级的标签(例如是否含有癌灶)构建模型，多示例学习(multi-instance learning,MIL)是其中最有代表性的方法，但通常需要较多的数据(如>10 000张WSI)用于训练[45]，如何将其有效拓展到多分类任务仍尚待探索。

2.2 来自异质性的挑战

病理图像的异质性是指图像数据在外观、内容、空间分布等方面的差异性。模型在未得到充分训练的图像模式上性能往往会下降，这种现象亦称为域偏移[46]。因此，如何提升模型对异质性数据的处理能力是计算病理的重要研究内容。

数字病理切片制备的每一个步骤均会对最终切片外观产生影响，并可能进一步影响辅助诊断模型的性能。为了缓解该问题，可采用前述的染色标准化或染色迁移预处理方法，也可在训练阶段人工模拟图像色彩的变化，使模型学习到对颜色变化鲁棒的特征。

数字病理图像内容的异质性主要体现为其内复杂多变的组织学成分。通过建立组织学成分语义分割模型与细胞分割、分类模型，获取组织学成分与细胞图谱，可刻画组织学成分方面的异质性，支持进一步的量化分析。

病理诊断不仅依赖于组织学成分与细胞，其所处的空间位置与上下文也具有重要的意义。扩充模型的有效视野可引入更多的语义上下文，提升模型准确度，但终将受到设备容量的限制。多分辨率模型可充分利用不同分辨率下的图像信息以兼顾视野广度与细节。切片信息整合的目的是综合局部分析结果，形成切片级的诊断结果。常用的整合方式包括平均值、类别比例、最值、百分位数等，也可结合空间连续性或基于统计量引入额外的机器学习或深度学习模型。

2.3 来自可解释性的挑战

深度学习模型通常结构极为复杂，目前对其机理的理解尚不透彻。因此，如何提升模型的可解释性并增强其可信度是计算病理领域的重要话题，对于计算病理模型在临床的推广具有重要意义。

2.3.1 预测结果可视化

模型在切片局域的预测结果可完整拼接后，通过热力图、标签图等形式直观呈现给终端用户。癌灶检测模型的预测结果常以热力图蒙板形式叠加显示，以辅助医师对关键诊断区域的快速定位；标签图常用于组织类型语义分割和细胞分割结果的可视化，因此基于细胞类型与距离等的图像标志物也具有较好的可视性与可理解性[47]。

2.3.2 关键区域可视化

关键区域可视化主要包括类别激活图(class activation map，CAM)、Grad-CAM等技术，可标识一幅输入图像中与深度学习模型决策相关的关键区域，提升模型的可解释性。一项研究使用恶性间皮瘤患者的预后作为预测标签，并利用CAM技术分析训练的深度模型，发现与预后相关的关键区域位于肿瘤间质，主要包括炎症、细胞多样性和空泡化等特征[30]。

2.3.3 特征空间可视化

特征是图像的抽象表示，不仅可用于构建机器学习模型，也可用于在大规模切片集中快速检索相似切片[48]。利用主成分分析、t-SNE、UMAP等技术，可将图像特征投影到低维空间以观察各类样本在特征空间的分布情况，这些方法也常用于基因组数据的分析。

3 小结与展望

计算病理领域迅速发展，其应用范畴已从组织成分、细胞类型等组织学层面迅速深入到分子病理、预后、治疗响应预测层面。同时，多组学、空间转录组、光片显微镜、非线性多模态成像等先进检测与成像技术亦开始应用于计算病理学，为研究与应用赋予了新的潜能。由此可见，计算病理具有极其广阔的应用前景，并可促成对TME、TIME更深入的理解，为基础研究引领新的方向。目前，计算病理与基础诊断任务相关的技术已趋成熟，但在临床应用之前必须经过大规模、多中心试验加以验证。在进行脱敏的前提下倡导研究数据公开，将深刻促进计算病理的研究、应用与推广进程。

作者贡献：焦一平负责文献调研、初稿撰写；王向学负责文献整理、论文修订；徐军负责论文修订、终稿审核。

利益冲突：所有作者均声明不存在利益冲突