秦文健团队在数字病理图像分析领域取得系列进展
2023-04-05中国科学院深圳先进技术研究院
近日,中国科学院深圳先进技术研究院·医疗机器人与微创手术器械研究中心秦文健博士团队在数字病理图像分析领域先后取得多项研究进展,团队针对如何对数字病理图像单张巨大尺寸计算、多倍率信息利用、跨尺度信息融合的技术挑战,开展一系列相关研究,实现了“从算法模型创新——到实际临床验证”的科研思路。
针对不同放大倍率下组织病理学图像信息融合的不足,秦文健团队提出了一种创新性的深度多倍率相似性学习方法,该方法不仅有助于多放大倍率学习模型的可解释性,易于可视化低维(如细胞级)到高维(如组织级)的特征表示,克服了跨放大倍率信息传播理解的困难;同时借助于相似性交叉熵损失函数的设计,可以更好学习交叉放大倍率之间信息的相似性。最后通过不同主干网络特征提取和不同放大倍率组合的实验验证了所提出方法的有效性,结果显示与现有方法对比,性能优异。相关研究工作以“Deep Multi-Magnification Similarity Learning for Histopathological Image Classification”为题发表于生物医学信息领域权威期刊IEEE Journal of Biomedical and Health Informatics。
为与临床实际诊疗步骤相结合,并验证算法在临床的有效性,团队与临床医院合作实现了自动诊断算法的研究——提出了基于多倍率注意力卷积神经网络的弱监督框架。该方法只需图像级标签(而不需要像素级注释),即可以实现感兴趣区域(癌症)的检测,直接提示可疑病灶区域。在TGCA肝癌数据集进行了论证,该框架显著优于单尺度检测方法,检测时间非常快。同时,方法与三位病理学家的诊断结果相比,性能优于初级和中级病理学家,略低于高级病理学家。相关研究工作以“Weakly Supervised Framework for Cancer Region Detection of Hepatocellular Carcinoma in Whole-Slide Pathologic Images Based on Multiscale Attention Convolutional Neural Network”为题发表于病理学权威杂志The American Journal of Pathology。
为融合病理图像形态学信息与分子基因功能信息实现病人生存状态的准确预测,团队结合前期病理图像计算的工作积累,设计了融合病理图像与基因的多模态生存预后预测模型,揭示了多模态信息对癌症预后有很大的潜力,通过多模态模型的建模有望为辅助临床诊断与决策提供有效工具。相关研究以“Integrative Histology-Genomic Analysis Predicts Hepatocellular Carcinoma Prognosis Using Deep Learning”为题发表于期刊Genes。