小数据下医学影像智能应用的研究

张政

（上海体素信息科技有限公司 上海市 201114）

攻坚小数据下的医学图像算法难题。近年来，深度神经网络的出现给医学图像分割领域带来了革命性的发展，但他们的成功需要大量的高质量标注图像进行训练。然而现实情况中，一方面罕见病和疑难杂症的数据收集较为困难，另外一方面，医学图像的标注过程成本较高，对于不同的标注内容往往需要开发特殊的标注工具并交由有经验的医生进行。这两方面的原因导致对于某些医学图像问题，高标注质量的医学图像数据集非常稀缺。体素科技在近些年一直在探索如何从不同科研角度来解决这个难题，已有部分成果。

1 基于位置先验信息解决小样本下的器官分割

人类擅长通过极少的样本就能辨别新的事物，机器学习领域中小样本学习（few-shot learning）领域的目标就是模仿人类的这种能力。模型在学习了一定类别的大量资料后，对于新类别仅通过极少量数据便能快速学习。小样本学习的关键是在算法中纳入合适的先验知识。很多医学图像模态中广泛存在器官的位置先验信息，例如CT 图像中肝脏主要位于腹腔的右上位置，而脾则在腹腔的左上部分，显然这些位置先验信息对识别特定类别的器官有非常大的帮助。

体素科技在医学顶级会议ISBI2021 上发表了论文《Location Sensitive Local Prototype Network For Few-shot Medical Image Segmentation》，提出了一种基于位置先验信息的局部原型网络（location sensitive local prototype network，见图1）。一旦模型在训练集上完成训练，借助非常少量的新器官的标注，即可用于没有出现在训练集中的新器官的分割任务（例如训练集器官类别为肝和脾，而测试集中新的器官类别为肾）。在公开的CT 器官分割数据集Visceral 实验结果表明，论文提出的新框架比目前的最好方法在Dice Score 指标上提高了10%，显著推进了小样本下的器官分割这一领域的技术进展。

2 利用极端变化一致性来提高数据不足情况下医学图像分割的鲁棒性

医学图像的拍摄设备和拍摄环境和方式多样，各个医院和体检中心之间的人群分布差异明显，因此很难收集和标注足量的训练数据充分涵盖不同来源的图像特征。训练数据多样性不足导致模型在实际使用中，由于训练数据和实际测试数据的分布差异（domain shift）而使模型性能变差。

图1：基于位置先验信息的局部原型网络框架

图2：左边是基于极端一致性的半监督学习方法的伪代码，右边是网络结构示意图。

针对以上问题，体素科技在医学顶级会议MICCAI2020 上发表了论文《Extreme Consistency: Overcoming Annotation Scarcity and Domain Shifts》。该论文提出了极端一致性（extreme consistency）的概念，核心思想是在训练数据中加入极端的图像变换（比如大量强烈的亮度，对比度，旋转，尺寸变换）来增加训练数据的多样性。并且假设这些极端的图像变换并不影响图像的语义含义。举例来说，眼底图像中的血管在经过极端的旋转和亮度对比度等变换后，依然能够对应血管本身。该论文提出了一种半监督算法（semi-supervised learning，见图2），迫使模型遵守极端变化前和变化后的语义一致性这一约束，来提高模型对于分布差异的鲁棒性。该论文在皮肤病变分割数据集(ISIC)和两个眼底血管分割数据集 (HRF 和STARE)上进行了测试，展现了在数据不足和分布差异较大时算法的鲁棒性和准确性的优势。

3 综述文章总结了少标注和弱标注情况下医学图像分割领域的现有研究成果

医学影像中图像数据标注非常昂贵，尤其是像素级别的医学图像分割标注，人力成本十分巨大。近期大量的研究工作试图解决不完善医学图像分割数据集中的两类典型问题：

（1）标注稀缺。数据集中只有极稀少的图像数据有分割标注。

（2）弱标签。数据集中的图像数据只有部分标注、或者标注带有噪声、或者只有图像级的类别标签没有逐像素的分割标注。

体素科技在发表到医学顶级期刊《Medical Image Analysis》的文章《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》中，针对这两个主要问题，系统性的对现有的方案进行了详细的回顾和分类总结（见图3 所示）。在运用中，根据医学图像分割数据集的不同问题和数据量需求的多寡，论文对这些方案的选择给出了实际的指导建议。

4 体素公司参与医学图像竞赛的案例

体素公司和交大科研团队合作参与了多个医学AI 挑战赛并获得佳绩。体素公司团队在ISBI2020 学术会议上举办的ADAM 比赛黄斑定位任务上获得了第三名的成绩。ADAM 比赛是由百度灵医智慧和中山大学中山眼科中心联合举办，包含了黄斑定位等四个任务，吸引了来自20 多个国家的近400 支参赛队伍。

黄斑区域是眼底的一个特别重要的功能区域，精确定位黄斑对于进一步的辅助诊断很有帮助。该任务一大难点是，很多严重影响视力的眼底疾病都发生在黄斑区域，使其外观和正常黄斑相比有较大变化，导致现有常见深度学习模型对于病变黄斑的定位不够鲁棒。体素科技团队创新性的设计了一个双流网络融合眼底图像和对应的血管分割信息，可以借助于眼底血管形状和走向信息来估计黄斑的位置，大大提高了严重病变的黄斑区域定位效果。该模型在ADAM 比赛决赛中平均黄斑定位误差为25 个像素（≈0.07mm，排名3/11)，体现了一定的临床可用性。

5 结语

体素科技所发表的几篇论文，提高了大家对可用于处理不完整医学图像分割数据集的技术的认识，本文介绍的一系列小数据学习方法以模仿人类的判别能力为目标，尝试通过减少需要的数据量，实现特定目标图像的识别，最终克服医学领域数据量少、标准缺乏的问题。