基于深度学习病原微生物形态学检测方法的研究现状及展望

孔令敏，刘恰，姜廷帅，卫娜，田越，崔骊，云庆辉

中国人民解放军空军军医大学第一附属医院 器材设备科，陕西 西安 710032

引言

病原微生物是指能够引起人或动物感染疾病的微生物，主要包括病毒、细菌、寄生虫和真菌等。这些病原微生物可在短时间内通过气溶胶、体液、食物以及身体接触轻易传播，会导致各种传染病甚至死亡，对全球公共卫生构成巨大威胁[1-2]。预防传染病作为公共卫生措施极其重要，主要有3 个基本策略：① 控制传染源；② 切断传播途径；③ 保护易感人群。这些策略中，控制传染源因其方便且成本低，被认为是最关键的策略。早发现、早诊断和早治疗是控制传染源的有力措施，在进行及时诊断和治疗感染者的过程中，需要快速、敏感和准确的病原微生物检测方法[3]。病原微生物的准确快速检测是诊断和预防疾病的关键，不仅在公共卫生方面至关重要，而且在食品安全[4-5]、环境污染监测[6]、临床诊断[7]及反生物恐怖主义[8-9]等方面也具有重要意义。目前，传染病临床诊断中病原微生物的分析方法可分为4 类：化学方法、物理方法、生物分子学方法和形态学检测方法[6]。

（1）化学方法。酶联免疫吸附试验（Enzyme Linked Immunosorbent Assay，ELISA）是基于特异性抗原识别和酶的高效生物催化特性，该酶与抗体或抗原结合，催化显色底物转化为可见比色输出并放大信号，利用该原理可对微生物进行检测。由于其简单、易于操作和高通量，ELISA 常用于临床诊断、食品安全和环境检测等[10]。但ELISA 使用的化学试剂成本高且会造成二次污染。

（2）物理方法。研究表明光谱技术是一种快速、廉价和无损的病原微生物鉴定工具，如拉曼光谱技术根据不同的病原微生物表型以独特的分子组成，导致其相应的拉曼光谱存在差异，对病原微生物单个细胞的拉曼光谱信号进行采集，可以识别病原微生物的种类[11]。高光谱成形技术可同时采集病原微生物样本的一维空间信息和二维光谱信息，从而生成三维数据立方体，通过分析病原微生物数据立方体的光谱信息和空间信息对其鉴别[12-13]。此外，光谱技术往往需要昂贵的设备。

（3）分子生物学方法。通过基因组序列分析区分微生物，如聚合酶链式反应（Polymerase Chain Reaction，PCR），是一种核酸扩增技术，这一方法相比传统的基于培养和平板计数的方法具有检测速度快、灵敏度和特异性高等优点，但其检测过程中需要特定的仪器和专业的人员[1-2]。

（4）形态学检测方法。最直接和简单的方法，在显微镜下观察病原微生物，并根据其细胞形状手动识别。如在显微镜下观察细菌，可根据其形状特征、排列方式和革兰氏染色等形态学特征对细菌进行鉴别和分类[14]。形态学方法是上述方法中成本最低的，但该方法较为繁琐和耗时。此外，对显微镜下的图像人工分析存在客观不稳定性，结果的准确性往往取决于检验人员的水平。

以上研究表明，将图像处理方法引入到病原微生物形态学检测中具有重要意义。近几年，人工智能（Artificial Intelligence，AI）技术发展迅速，特别是在计算机视觉、图像处理方面取得了重要的成就。AI 在病原微生物显微镜下形态学检测中也显示出了潜在优势。

1 人工智能

AI 发展经历了三次浪潮，从1956 年AI 概念的首次提出，到20 世纪80 年代基于机器学习的专家系统的应用，以及2010 年以来深度学习和大数据兴起带来的AI 爆发（图1）[15]。AI 在众多领域都表现出了卓越的性能，如自动驾驶、人脸识别和疾病诊断等方面。AI 在微生物图像分析中可以承担繁重和耗时的工作，快速地从图像数据中提取有价值的信息，具有强大的客观分析能力，可避免人工分析造成的主观差异。因此，AI 在一定程度上，可以减少微生物学家的误判，提高诊断效率[6]。

图1 AI的发展趋势

基于深度学习的AI 使计算机能从大量数据中学习，复制人类技能。深度学习是一项新兴的技术，在生物医学应用中表现出了先进的性能。多项研究表明，深度学习在自动医学图像分析的性能上可与专家相媲美[16-17]。例如，Esteva 等[16]利用卷积神经网络（Convolutional Neural Network，CNN）完成了皮肤损失图像的自动分类，获得了与皮肤科医生相当的测试结果，从而证明了AI能够将皮肤癌进行分类。另外，深度学习算法应用于病理切片图像上也可以提高癌症诊断的准确性和效率[17]。然而，深度学习在微生物学中的应用尚未充分发挥其潜力。微生物研究中产生了大量的生物图像数据，传统的计算方法在处理这些数据时较为缓慢，相比之下，深度学习往往在准确性和速度方面表现优异。微生物学家通过深度学习将微生物的研究带来新应用，随着AI 驱动的微生物显微图像检测的显著进步，深度学习在微生物图像识别和分类中的应用迅速增长[18-21]。

2 AI技术在病原微生物检测中的应用

研究人员通过使用显微镜成像能够识别和监测病原微生物，并用于临床诊断和发病机制研究[22-23]。尽管显微镜被广泛使用，但受限于显微镜精度以及需要训练有素的技术人员，人为操作显微镜的过程是繁琐复杂的。因此，在许多资源有限的地区，传染病的诊断仍然是一个具有挑战性的过程。为了应对人为操作显微镜所存在的挑战和困难，目前已有研究提出了基于深度学习的病毒、细菌、寄生虫和真菌等多种微生物的显微图像分析方法[24]。在显微镜成像领域，深度学习所表现出的潜力是巨大的，研究表明，将深度学习应用于微生物自动检测的显微成像将显著提高诊断的准确性和效率[25-26]。

2.1 AI技术在病毒检测中的应用

病毒是一种可以传播和感染其他生物体的微生物，通过释放并整合宿主细胞基因组的遗传物质和自身基因组的自我复制进行增殖[27]。宿主生物免疫系统通过产生特异性抗体方式，中和病毒和被病毒感染的细胞。然而，病毒遗传物质的不稳定使其可以快速进化以适应不断变化的生态环境[28]。随着新病毒不断地出现，病毒性大流行对全球公共卫生构成了严重的威胁[29-30]。电镜观察病毒形态差异一直被用作病毒检测的标准，随着ELISA和PCR 等技术的发展，诊断性电镜逐渐被取代。但电镜鉴定病毒简单快速，特别是在紧急状况或再次出现传染源的病原体诊断中发挥关键作用[31]。迄今为止，几乎所有的病毒形态诊断都是由熟练的专家进行，电镜图像的手动分析较为耗时，且需要大量的关于病毒形态的知识。因此，基于AI 自动准确的病毒识别方法对于分析大量病毒电镜图像至关重要。

与传统的图像处理方法相比，CNN 显示出了更好的分类和检测能力，但该方法需要大量的图像训练数据并进行手动注释才能更好地执行。然而，在电镜领域，训练数据的可用性非常有限，因为这需要耗时的样本准备、图像采集和手动标记。Devan 等[32]开发了一种基于CNN 的迁移学习方法，可自动从原始图像中学习鉴别特征，从而实现自动检测电镜中的人类巨细胞核衣壳，与现有深度学习技术比较，该方法不需要耗时的手动定义图像的结构特征，表明迁移学习方法可以高特异性地检测电镜图像中的病毒衣壳。Ito 等[33]引入全卷积神经网络（Fully Convolutional Neural Network，FCN）方法用于检测电镜图像中的病毒颗粒，该方法属于监督学习，需要电镜输入图像和进行注释的参考图像馈送到CNN以获取有效特征，基本上用于检测已知病毒，在含有猫杯状病毒颗粒的电镜图像数据集评估了所提出方法的检测性能，对比现有几种病毒检测方法，该方法展现出了最新性能，对比结果如图2 所示。Devan 等[34]通过使用生成对抗网络（Generative Adversarial Network，GAN）生成的合成标记图像来增强训练数据，在电子显微镜图像中区分人巨细胞病毒核衣壳包膜的3 个阶段。Xiao 等[35]提出了一种用于病毒分类的残差混合注意网络（Residual Mixed Attention Network，RMAN），并通过透射电镜病毒图像数据集进行了验证，该方法在12 个病毒类上的Top-1 错误率为4.285%，超过了其他先进的AI 方法甚至是人类专家。表1 对上述基于AI 病毒检测方法的论文进行了总结和分析。

表1 基于AI病毒检测方法的总结和分析

图2 电镜图像中病毒颗粒检测结果的比较[33]

2.2 AI技术在细菌检测中的应用

细菌是人体微生物群的重要组成部分，定植于包括肠胃和皮肤在内的组织。虽然大多数细菌是无害的，有些菌株甚至在消化和与机会病原体竞争方面提供益处，但细菌感染是最常见的人类疾病之一[36-37]。有些的检测和治疗是预防和减轻细菌感染的关键，PCR 和ELISA是广泛使用的具有高灵敏度和特异性的临床病原菌鉴定方法。然而，这些方法需要多个步骤，包括样品预处理、细菌培养和DNA/RNA 扩增，以及训练有素的操作员来执行[38]。因此，有必要寻求稳健高效且低成本的病原体检测方法。在图像识别方面表现出色的AI 技术，被用于细菌检测方面的研究。

Govindan 等[39]提出了一种基于机器学习的方法，用于结核杆菌抗酸染色痰涂片图像中的结核病识别，所提出的技术包括使用相关拉伸技术和k 均值聚类的图像分割，然后提取基于形状的特征，并使用支持向量机（Support Vector Machine，SVM）将图像分类为结核抗体阳性和结核抗体阴性。Wahid 等[40]提出了基于迁移学习的细菌显微图像分类方法，数据集由5 种细菌的500 张灰度图像组成，即肉毒梭菌、淋病内瑟菌、霍乱弧菌、伯氏疏螺旋体和结核分歧杆菌，分类结果如图3 所示。Panicker 等[41]提出了基于深度学习方法来检测痰涂片图像种的结核杆菌。Traore 等[42]将CNN 应用于霍乱弧菌和恶性疟原虫的图像分类。Treebpachatsakul等[43]提出了基于深度学习的方法来识别两种细菌，该研究使用两个数据集，每个数据集都有金黄色葡萄球菌和德氏乳酸菌的样本图像。Shichijo 等[44]构建了CNN在基于内窥镜图像诊断幽门螺杆菌胃炎中的应用，评估了其诊断幽门螺杆菌感染的能力，结果证实与内窥镜医师手动诊断相比，该方法具有更高的效率。Mithra 等[45]提出了高斯-模糊神经网络（Gaussian Fuzzy Neural Network，GFNN），将高斯混合模型与模糊神经网络相结合用于结核检测；实验结果表明，所提出的GFNN 获得了更好的性能。细菌性阴道病（Bacterial Vaginosis，BV）是由阴道内细菌过度和不平衡生长引起的，30%和50%的女性受其影响。革兰氏染色和显微镜下基于细菌形态类型的Nugent 评分被认为是BV 诊断的金标准。但这种方法通常是劳动密集型和耗时的。Wang 等[46]开发并优化了CNN 模型，并评估了其自动识别和分类显微图像中三类Nugent 的能力，通过对从三家医院收集的独立测试图像进行评估，获得了优于中国顶级技术专家和产科医生的结果。表2 对上述基于AI 细菌检测方法的论文进行了总结和分析。

表2 基于AI细菌检测方法的总结和分析

图3 测试图像中细菌分类的结果[40]

2.3 AI技术在寄生虫检测中的应用

寄生虫病是由寄生生物引起的传染病，感染后，寄生虫在其入侵的不同器官系统诱导发病机制，包括夺取营养、机械损失、毒性和抗原物质等影响[47]。建立省时、准确的诊断方法对于寄生虫病的检测、预防和控制有重要意义。一般用于分子诊断的实验室检测，可以直接检测样本中的核酸分子。虽然这些技术优于病原学检测，但诊断寄生虫学的显微镜方法具有低成本和简单的优点。而基于显微镜的寄生虫识别是耗时和劳动密集型的[48]。寄生虫形状、密度和染色颜色变化的不确定性，使显微镜图像中的寄生虫检查具有挑战性。AI 将成为基于图像分类的寄生虫检测的强大工具。为了开发寄生虫自动图像分析工具，研究人员使用了各种AI 深度学习算法[47]。

Widmer 等[49]提出了一种基于神经网络的方法，用于在显微图像中识别微小隐孢子虫卵囊，其中训练集由525 幅显微图像组成，测试集由362 张不同图像组成，该方法准确率可达到81%。Suzuki 等[50]提出了一种基于机器学习的技术，用于人体肠道寄生虫的分割和分类，分割过程包括图像森林变化、图像量化、边界增强和椭圆匹配，分类过程实现了多种机器学习算法比较，选择最优的机器学习算法进行分类。Apostol 等[51]开发了一种RadSS 应用系统，使用SVM 自动识别放射虫物种，该系统通过提取形状和纹理特征，然后使用PCA 进行特征选择，SVM 进行分类。Vijayalakshmi等[52]使用了转移学习方法，以识别血液涂片图像中的恶性疟原虫，该方法使用VGG 19 CNN 模型进行特征提取，然后使用SVM 对VGG 19 的最后三层微调以进行分类。Loh 等[53]使用了一种Mask R-CNN 的深度学习模型，该模型针对未感染和恶性疟原虫感染的红细胞进行训练，预测模型生成报告的速度比手动计数快15 倍，同时不影响准确性，并且能够在边界框分类之上生成分割掩码，以便立即可视化，这使其优于现有模型。此外，随着标准化程度的提高，其有很大潜力可减少人工计数产生的错误，并节省大量人力资源、时间和成本。Li 等[54]开发了一种基于深度学习的高度可配置的仪器，使用深度转移图卷积网络（Deep Transfer Graph Convolutional Network，DTGCN）识别血液涂片图像中不同阶段的疟原虫识别，该血液涂片图像通过放大倍数为1000 倍的显微镜采集获得，与VGGNet、GoogleNet和ResNet 等先进方法相比，该方法在公开的多阶段疟原虫显微图像中显示出更高的准确性和有效性。表3 对上述基于AI 寄生虫检测方法的研究进行了总结和分析。

表3 基于AI寄生虫检测方法的总结和分析

2.4 AI技术在真菌检测中的应用

真菌是微生物和生态系统中必不可少的真核生物，大多数真菌没有致病性。但有些真菌会释放毒素并导致人类、植物和动物患病，如曲霉菌是一种产生黄曲霉毒素和次级代谢产物的病原真菌，可导致人和动物的严重疾病。曲霉病原体被视为全世界免疫抑制个体的重要威胁，如会使器官移植、癌症和HIV 患者导致侵袭性曲霉病并产生致命后果[55-56]。临床上如果能及时检测病原真菌，可以提高此类真菌感染类疾病的治愈率。但传统的鉴定真菌方法，如PCR、核酸探针法、形态学检测法等，多数都需要专业的检验人员且检验时间较长。研究人员通过深度学习算法用于真菌显微图像的快速诊断。

Ma 等[57]使用深度CNN 来研究对各种曲霉物种进行分类的能力，使用立体显微镜采集平板上的菌落，生成足够的分辨率图像并对其进行分类，其中收集了在富集培养基中培养的7 种曲霉菌的8995 个原始菌落图像，并自动切割生成17142 个图像，作为包含每个菌株分生孢子或菌落典型代表形态的训练和测试数据集，结果显示出了较高的分类精度和检测准确率，该研究展示出了一种基于AI 且具有成本效益的曲霉菌检测方法。Liu 等[58]开发了一种自动真菌检测系统，该系统能够在复杂环境下自动识别含有其他细胞和杂质的微生物粪便图像，采用人工神经网络（Artificial Neural Network，ANN）对真菌进行识别，可分为两个阶段，第一阶段用于处理不同焦距图像的特征，第二阶段使用第一阶段的输出值识别真菌，该系统可以准确检测出图像中是否有真菌，并统计不同真菌类型的数量。Zhang 等[59]提出了一种用于白带图像中真菌检测的机器学习技术，该方法涉及图像分割、特征提取、降维和分类。Tahir 等[60]使用CNN对5 种类型的真菌孢子进行分类，CNN 的模型如图4所示，该模型实现了94.8%的分类准确率，此外还提出了一种由40800 个标记真菌孢子图像组成的新数据集。Hao 等[61]提出了另一种基于CNN 的方法，用于在显微镜白带图像中检测白色念球菌，将最大类间方差的阈值技术应用于图像分割，使用CNN 将分割的真菌子图像分类。表4 对上述基于AI 真菌检测方法的研究进行了总结和分析。

表4 基于AI寄生虫检测方法的总结和分析

图4 检测不同种类真菌的CNN模型[60]

2.5 AI在病原微生物检测应用的发展趋势和挑战

AI 技术已经有效地应用于病毒、细菌、寄生虫和真菌4 种类型的病原微生物形态学检测。最初SVM、ANN 等机器学习算法用于部分微生物的图像识别，这些技术即使在小数据集的情况下，也能实现良好的分类性能。但这些机器学习技术通常是半自动的，特征提取的过程仍然是手动的。越来越多的研究人员采用CNN等深度学习算法进行自动特征提取和分类，CNN 在没有人为指导的情况下提取特征，优于其他特征提取技术。由于病原微生物种类的独特特性，不同病原微生物对基于AI 形态学检测的研究可能面临不同的挑战。例如，基于病毒的形态学检测大多都在电子显微镜下完成，电子显微镜设备昂贵，病毒相较其他微生物样本获取困难，同时样本制备复杂且耗时，这些因素极大地限制了AI在病毒检测方面的应用。另外一个挑战是寄生虫和真菌等病原微生物物种的形态相似，传统的机器学习算法对此类物种的效率低，而深度学习算法需要大量的数据用于训练以产生最佳的结果。

3 总结与展望

本文对近年来国内外基于AI 在病原微生物检测方法研究的最新进展进行了综述和分析，并得出以下结论。

目前多数相关研究都致力于提出或引入更加高效的分类、特征提取、图像分割的方法来提升病原微生物鉴定的结果。但大多数深度学习研究使用有监督学习方法，在建立病原微生物诊断模型前，往往需要进行耗时耗力的数据标注。对于病原微生物的研究，其样本获取困难、标注成本高等问题限制了AI 技术在病原微生物诊断领域的发展。只有部分病原微生物建立了学习模型，实现自动阅片，如结核分枝杆菌、疟原虫、真菌等，对于大多数病原微生物都处于人工观测和建模状态，自动识别尚处于空白。目前基于AI 的病原微生物形态学检测技术仍有很大的潜力，其重点将会围绕半监督学习以及无监督学习展开，从而使深度学习算法设计方向向“小样本、标注少”的低成本进行改进，以实现病原微生物的自动检测。

研究利用AI 技术实现显微镜下细菌形态自动识别，能够实现高效精准的高致病微生物过筛，减少专家依赖。利用微型化技术、自动控制技术、互联网技术实现全自动便携化设备，从而提高效率、突破地域限制、实现灾地和预防地广泛性普查，对防灾控灾具有重要意义。在未来的工作中，将利用AI 技术实现病原微生物形态学便携化快速检测，完成医工结合，具体表现为：① 利用深度学习技术，实现病原微生物的智慧检验，提高检验精度；② 利用高清数字采图装置技术，实现病原微生物图像高速高清扫描保存，实现检验数字化和可视化，并可溯源；③ 利用自动控制技术，实现标本处理、检验流程自动化，可大大提高效率，减轻医生工作强度，降低感染风险；④ 利用微型化和网络化技术实现便携式病原微生物检验，以及移动化筛查检验，突破地域和时域限制。此外，在更多的病原微生物研究中，对于一些高致病病原微生物特别是细菌如炭疽杆菌、鼠疫耶尔森菌、霍乱弧菌等，需要在高级别的生物安全实验室开展，而大多数研究机构都无法满足，导致这类病原微生物图像样本稀缺。因此，虚拟高致病病原微生物样本库的建立，应是未来一项重要的工作，值得进一步关注。