基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估

余丹媛，刘景建，刘超，杜宇坤，黄平，张吉，于伟敏，胡颖超，赵建，，成建定

1.中山大学中山医学院法医学系，广东 广州 510080；2.清远市公安局，广东 清远 511500；3.昆明医科大学法医学院，云南 昆明 650500；4.广州市刑事科学技术研究所 法医病理学公安部重点实验室，广东 广州 510442；5.南方医科大学法医学院，广东 广州 510515；6.司法鉴定科学研究院 上海市法医学重点实验室 司法部司法鉴定重点实验室 上海市司法鉴定专业技术服务平台，上海 200063；7.江苏集萃苏科思科技有限公司，江苏 苏州 215100；8.兰波（苏州）智能科技有限公司，江苏 苏州 215100

硅藻是诊断溺死的可靠指标之一[1]。近年发展起来的微波消解-扫描电子显微镜法在法医学实践中取得了较好的应用效果，具有硅藻回收率高、溺死诊断准确率高的特点[2-4]。但由于扫描电子显微镜放大倍数高、视野面积较小、视野数量多，特别是肝、肾等组织内硅藻含量较少[5-8]，需要人工观察成百上千的视野，工作量大、耗时长。人工智能（artificial intelligence，AI）技术的发展，为该问题的解决提供了新的思路[9-13]。AI 可对图像中的关键识别特征进行自动提取并关联到对应的任务目标，已广泛应用于图像识别领域[14-15]。

本研究拟使用YU 等[16]建立的硅藻AI 搜索技术分析溺死尸体肝、肾组织中的硅藻，并与传统人工计数硅藻相比较，探讨硅藻AI 搜索技术在溺死诊断中的应用价值。

1 材料与方法

1.1 实验样品及处理

收集广州市刑事科学技术研究所12例溺死于珠江广州段的尸体组织，其中肝组织7例、肾组织5例，每例组织提取10 g。将组织样品分别置于消解管中，加入8 mL 65%浓硝酸（广州化学试剂厂）和2 mL 30%过氧化氢溶液（广州化学试剂厂）进行有机质消解。Multiwave 3000 微波消解仪（奥地利Anton Paar公司）程序设定：功率在5 min 内由0 W 升至800 W，保持该功率10 min，然后停止微波辐射，强风冷却消解罐至50 ℃以下。按水样与浓硝酸体积比为5∶1 的比例加超纯水稀释消解液后，使用HL-6 多联真空抽滤仪（珠海黑马医学仪器有限公司）进行滤膜富集。取出滤膜烘干制备扫描电子显微镜样品座。

1.2 硅藻AI 搜索系统

硅藻AI 搜索系统（Diatom AI，兰波科技有限公司）是基于扫描电子显微镜图像的法医硅藻自动检测系统，其AI 模型经过938 张含珠江广州段常见硅藻种类图片的多次训练。该模型经2017—2019 年溺死于珠江广州段的85例尸体和水样的测试[16]，具有快速、高效等特点。硅藻AI 搜索系统以RetinaNet 这一视觉目标检测神经网络框架[17]作为AI 模型基础，在速度和精度之间有很好的平衡。RetinaNet 是基于深度学习中的卷积神经网络（convolutional neural network，CNN）构建的端到端单阶段目标检测解决方案，其中CNN 在支持生物识别和数字取证方面具有优势[9,18-19]。因此，RetinaNet 比Faster R-CNN 等著名的两阶段目标检测模型更快[20]，而且RetinaNet 引入了特征金字塔和焦点损失代价函数来改善类别不平衡的问题，从而提高了精度性能，因此，RetinaNet 被用来检测许多目标物。硅藻AI 搜索系统中将硅藻作为RetinaNet 检测的目标[16]。

在一般的计算机视觉中，目标检测任务包含两部分工作：（1）对目标位置进行回归计算，通过自动定位目标来寻找扫描电子显微镜图像中的候选硅藻对象；（2）依据置信度对候选硅藻对象进行决策分类，判断是否为硅藻或具体的硅藻类型。通常来说，（硅藻）目标定位与（硅藻）目标分类这两个AI 模型是依次训练得到的，如Faster R-CNN；而在RetinaNet 中，两者在一个框架下同时训练，因此模型解释更快，可以加速法医学硅藻检验工作者的检验工作效率。

硅藻AI 搜索系统由图像预处理模块、图像识别模块和结果展示模块等组成（图1）。RetinaNet 基于python 3 和PyTorch 1.2 开源机器学习算法库实现。人工操作该系统时只需选择扫描电子显微镜扫描的图片、选择硅藻AI 搜索系统标注后图片保存位置及自定义筛选该系统识别的阈值。其中，阈值指的是硅藻AI 搜索系统搜索筛选硅藻的概率，概率越高，筛选出来的目标是硅藻的可能性就越大。

图1 硅藻AI搜索系统Fig.1 The diatom AIautomatic searching system

1.3 样品处理

Phenom XL G2 台式扫描电子显微镜（荷兰PhenomWorld 公司）放大倍数设置为800 倍（图片像素为1 024×1 024），扫描滤膜半径为8 mm，扫描每个样品所用时间为1 h，分别扫描12例样品并各自单独保存，得到视场图片共计359 465 张。其中最多的1 个样品包含31 929 张图片，另外11 个样品图片均为29 776 张。

硅藻AI 搜索系统：分别在0.5、0.7 和0.9 检测阈值下自动搜索硅藻，记录扫描图片总数、标注图片总数和标注目标总数（硅藻AI 搜索系统识别为硅藻的数目）。

专家人工识别：2 位从事硅藻检验5 年以上的法医将以上图片以人工方式检测硅藻，并记录检测到的硅藻总数，将2 人复核一致确认的硅藻数目作为实际检测到的硅藻数。

1.4 指标计算

使用召回率（recall rate，RR）和查准率（precision rate，PR）评价系统性能。召回率是指模型预测出的硅藻真阳性数量占硅藻真阳性总体数量的比例。查准率是指模型预测出硅藻真阳性数量占模型预测硅藻阳性的总数量，代表模型判断硅藻的准确率。召回率越高，模型对硅藻的检出率越高，漏检率越低；查准率越高，模型对于硅藻预测的准确率越高，识别错误率越低。

式中，TP是真阳性的数量，即模型预测出是硅藻且经专家确认的硅藻数量；FP是假阳性的数量，即模型预测出是硅藻，而专家判断非硅藻的数量；TP+FP是模型预测出的硅藻总数，即硅藻AI 搜索系统标注的检测目标数；CP是条件阳性的数量，即专家识别出的实际硅藻数量。

用硅藻AI 搜索系统检出图片中不含检测目标的图片数与其所检测到的所有图片数的比值表示硅藻AI 搜索系统的图片排除比例（exclusion rate，ER），ER越大说明模型节省的工作量越多。

其中，M指模型检测出不含检测目标的图片数，N指模型检索的所有图片。

此外，比较硅藻AI 搜索系统标注每例样品中硅藻和人工复核该系统标注的硅藻所用时间以及人工肉眼逐一查找每例样品中硅藻所用的时间，以此评估硅藻AI 搜索系统的检验效率。

1.5 统计学分析

2 结果

2.1 硅藻AI 搜索系统检测标注和专家确认硅藻情况

硅藻AI 搜索系统在12例来自溺死尸体的肝、肾组织样品中均检出硅藻，分别是平板藻、短缝藻、等片藻、异极藻、针杆藻、菱形藻、舟形藻、直链藻、桥弯藻、曲壳藻、布纹藻、小环藻、圆筛藻、双菱藻、冠盘藻和海链藻，共16 种，硅藻阳性率为100%。0.5、0.7 和0.9 阈值下硅藻AI 搜索系统标注的含有检测目标的图片数分别为（1 268.67±323.21）、（967.75±383.31）和（306.50±260.36）张，3 组数据间差异均有统计学意义（P＜0.05，表1），即随着搜索阈值的增加，该系统标注的含有检测目标的图片越来越少。3个阈值下硅藻AI搜索系统标注的目标总数分别为（3365.25±2190.30）、（1865.33±1278.96）和（373.83±358.89）个，3组数据间差异均具有统计学意义（P＜0.05，表1），即随着阈值的增加，该系统标注的目标总数越来越少。

在0.5、0.7和0.9阈值下硅藻AI搜索系统标注的硅藻数量分别为28.00（13.00～361.00）、26.00（11.25～343.75）和15.50（9.25～39.50）个，而经专家确认所有图片中的硅藻数量为30.00（14.25～387.25）个。3 个阈值下硅藻AI搜索系统标注的目标中实际检出硅藻数与专家确认的硅藻数之间差异均无统计学意义（P＞0.05）。

2.2 硅藻RR

硅藻RR最高可达100%，最低为45.71%（表2）。方差分析结果显示，不同阈值下硅藻AI搜索系统的硅藻RR差异具有统计学意义（P＜0.05，表2）。不同阈值下硅藻AI搜索系统的硅藻RR趋势性检验结果亦显示差异具有统计学意义（P＜0.05，表2）。方差分析结果和趋势性检验结果综合显示，随着硅藻AI搜索系统检出硅藻阈值的增加，其检测硅藻RR逐渐降低。

2.3 硅藻PR

由表3 可见，在0.5、0.7 和0.9 阈值下，PR低时仅1.02%（0.68%～9.11%）的硅藻能够被准确地识别出来，而PR高时有10.20%（5.47%～41.23%）的硅藻可被准确地识别出来。不同阈值下硅藻AI 搜索系统的硅藻PR差异具有统计学意义（P＜0.05）。随着搜索阈值的增加，硅藻AI 搜索系统对硅藻的PR也随之增加（表3，图2）。

图2 不同阈值下硅藻的识别情况Fig.2 Diatoms identification under different thresholds

表3 硅藻AI搜索系统的硅藻PRTab.3 PR of the diatom AI search system（%）

2.4 图片ER

方差分析和趋势性检验结果都显示，不同阈值下硅藻AI 搜索系统的图片ER差异具有统计学意义（P＜0.05，表4）。方差分析结果和趋势性检验结果综合显示，随着硅藻AI 搜索系统检测硅藻阈值的增加，硅藻AI 搜索系统的图片ER 越来越高。

表4 硅藻AI搜索系统的图片ERTab.4 ER of the diatom AI automatic searching system（n=12，，%）

表4 硅藻AI搜索系统的图片ERTab.4 ER of the diatom AI automatic searching system（n=12，，%）

注：1）与阈值0.5 相比，P＜0.05；2）与阈值0.7 相比，P＜0.05。

2.5 检验效率

人工对12例样品中的硅藻进行识别，识别每例样品的硅藻需要花大于8 h。而使用硅藻AI 搜索系统1 h 便能识别完所有图片，加上人工复核每例样品的时间，每例样品识别的时间不超过80 min，硅藻AI 搜索系统识别每例样品中硅藻所用时间仅为人工识别硅藻时间的1/7。

3 讨论

硅藻检验是水中尸体溺死诊断常用的方法。近年来发展起来的微波消解-扫描电子显微镜法在法医学实践中取得了良好的应用效果，具有硅藻RR高、分类鉴定准确的特点。但是基于扫描电子显微镜的硅藻观察，肝、肾组织的硅藻含量少[5-8]，在滤膜上的分布区域分散。因此，当滤膜在扫描电子显微镜下被划分成众多视场后，其中绝大部分观察视场是无硅藻的图片，使得观察者需要耗费大量的时间和精力对肝、肾组织滤膜上的少量硅藻进行搜索确认。鉴于此，YU 等[16]研发了硅藻AI 搜索系统对滤膜上的硅藻进行自动化检测，本研究进一步证实了该技术在法医学实践中的有效性。

一般来说，水中尸体肺组织的硅藻含量较高，在扫描电子显微镜下较容易观察到硅藻。因此，本研究仅选用硅藻含量较少的肝、肾组织进行检测。在设定的3 个阈值下，硅藻AI 搜索系统在溺死尸体的12例样品中均检出硅藻，硅藻阳性率为100%，而且硅藻AI 搜索系统与专家确认检出的硅藻数量之间差异无统计学意义（P＞0.05），说明硅藻AI 搜索系统检测硅藻的敏感性高。虽然随着阈值的增大，硅藻AI 搜索系统的硅藻RR逐渐降低，而PR呈增高的趋势，不含检测目标的图片也被排除得越来越多，需要观察确认的图片数量也显著降低。当然，在这部分被排除的图片中也有部分含有硅藻（假阴性），但漏检的硅藻数量并不显著。引起假阴性结果的原因可能是：（1）硅藻过小，基础特征不明显；（2）硅藻碎片化，导致硅藻特征不完整；（3）硅藻被其他杂质遮挡；（4）硅藻重叠。

同时，硅藻AI搜索系统相比于人工识别更节省时间，识别每例样品所花费的时间仅为人工识别的1/7。相比于人工，硅藻AI 搜索系统具有更高的检验效率。

该系统也存在一定的不足：（1）训练数据仍然不够，需要进一步扩大训练数据库，加强系统对硅藻的识别能力。（2）在该系统标记的目标中，硅藻碎片占据了很大部分，需要进一步的训练使其能够有效地区别完整硅藻与碎片硅藻。