深度学习图像识别辅助原子力显微镜单细胞力学特性精准高效探测*

2024-02-26吕晓龙李密

生物化学与生物物理进展 2024年2期

吕晓龙李密

（1）中国科学院沈阳自动化研究所，机器人学国家重点实验室，沈阳 110016；2）中国科学院机器人与智能制造创新研究院，沈阳 110169；3）沈阳工业大学人工智能学院，沈阳 110870）

单细胞力学特性分析为揭示调控生命活动及疾病发生发展过程的内在规律提供了新的可能。细胞是生命活动的基本结构单元和功能单元，目前人类对细胞生理行为及特性的认知主要基于传统生化实验群体平均研究方法［1］，即对培养皿/试管中的全体细胞进行测量并假定所得到的全体细胞行为活动的平均结果可代表该群体中的典型细胞行为［2］。群体平均研究方法的不足之处是其掩盖了细胞间的差异以及群体中可能存在的少数亚群细胞所具有的显著独特生理行为［3-4］。细胞之间的异质性（heterogeneity）是细胞动态生命活动过程（如信号转导、转录和细胞命运决定等［5］）的普遍特征［6］，即使是形态完全一样的克隆细胞之间在基因表达以及刺激响应等方面也存在着差异［7］，导致细胞间异质性的原因可能包括基因突变、表观遗传修饰、随机基因表达、局部微环境差异等［8-9］，但目前对于这些机制的认知还很不足。特别是，越来越多的证据表明，细胞异质性在人类疾病发生发展及演变过程中起着关键性的作用，如肿瘤内癌细胞之间的异质性驱动肿瘤进化［10］并进而增强肿瘤对药物的抵抗能力［11］，给癌症临床诊疗带来了极大挑战［12］。因此，生命科学领域研究者日益认识到开展单细胞探测研究有助于揭示生命活动奥秘以及癌症等重大疾病的精准诊疗［13］。另一方面，力学特性在生理病理活动过程中（如干细胞分化［14］、肿瘤发生发展［15］等）起着重要调控作用。细胞通过表面蛋白质分子（如整合素、离子通道等）来感知细胞外微环境中的力学因素，并通过力学传导机制将其转化为生化信号以触发下游细胞响应进而调控细胞生理功能［16-17］。与此同时，细胞在其生命活动过程中也会动态改变微环境的力学特性（如黏弹特性［18］）。细胞与微环境之间的相互作用通常会导致细胞力学特性的动态变化，特别是在疾病发生及演变过程中（如肿瘤形成及转移［19］）通常会伴随着细胞力学特性的显著独特变化，因而细胞力学特性也被认为是癌症的重要物理特征［20］。因此，开展单细胞力学特性探测研究对于生命健康领域具有广泛而重要的基础意义。

原子力显微镜（atomic force microscope，AFM）的出现为单细胞力学特性研究提供了强大工具。AFM利用压电陶瓷管驱动一根自由端集成有一个极细针尖的微型悬臂梁在水平面内对样本表面进行光栅式扫描，同时利用一束激光照射到悬臂梁背面并反射至四象限位置敏感探测器（position sensitivity detector，PSD）来感知扫描过程中针尖表面原子与样本表面原子之间的相互作用，并进一步通过信号处理与反馈电路控制压电陶瓷管在垂直方向运动以维持针尖与样本之间相互作用力的恒定，在这个过程中记录压电陶瓷管在水平面内每个采样点上的垂直方向位置变化即得到样本表面形貌三维图像［21］。AFM具有纳米级的空间分辨率（0.5~1 nm）和皮牛级的力感知灵敏度（10~104pN）［22］，不仅可以直接在生理环境下（37℃，5% CO2，培养基溶液）对无任何预处理的活体状态细胞的精细结构进行成像［23］，还可以在力谱模式下通过控制探针在细胞表面进行压痕（indentation）实验以对细胞多种力学特性（如杨氏模量、黏性系数、细胞间黏附力、细胞表面分子结合力等［24］）进行定量测量。AFM已成为单细胞力学特性探测的重要研究方法，促进了力学生物学（mechanobiology）领域的研究进展［25-27］。然而，现有AFM单细胞力学特性探测实验严重依赖人工，如操作员需要在光学显微视觉导引下人工控制AFM探针移动至合适位置以使探针准确地对细胞特定区域进行压痕实验并获取力曲线，待测量完成后需要人工控制探针对下一个细胞进行测量，导致实验效率极其低下。特别是长时间实验容易导致操作员疲劳进而影响人工控制精度。此外，在人工控制AFM探针移动至细胞表面后，由于探针悬臂梁对视线的遮挡，往往难以准确判断探针针尖是否移动至目标区域。针对该问题，本课题组在之前的研究中曾经提出了结合光学图像识别和AFM的单细胞力学特性快速测量方法［28］，实现了对单个细胞中心区域力学特性的快速测量。本文在之前的研究基础上，进一步实现了单个游离态细胞表面不同区域（中心和边缘）力学特性以及聚团生长细胞力学特性的精准快速测量，本研究工作对于AFM在生命科学领域的实际应用具有积极意义。

1 材料与方法

1.1 细胞培养

本实验所用的HEK 293（人胚胎肾细胞）和HGC-27（人未分化胃癌细胞）细胞购自中国科学院细胞库（上海）。细胞培养基（DMEM高糖培养基和RPMI-1640）和磷酸盐缓冲液（PBS）购自上海典瑞生物科技有限公司，胎牛血清购自美国Thermo Fisher公司，青霉素-链霉素溶液购自美国Hyclone公司。HEK 293细胞在含有10%胎牛血清和1%的青霉素-链霉素的DMEM高糖培养基中培养，HGC-27细胞在含有10%胎牛血清和1%的青霉素-链霉素的RPMI-1640中培养。两种细胞均接种在50 ml细胞培养瓶（广州洁特生物有限公司）中，并置于细胞培养箱（美国Thermo Fisher公司）中培养（37℃，5% CO2，95%空气）。实验前需要将细胞从细胞培养瓶中传代至35 mm细胞培养皿（广州洁特生物有限公司）中，并培养24 h以上。

1.2 AFM实验及微球探针制作

本文采用的AFM为美国Bruker公司生产的JPK NanoWizard型AFM，该AFM搭建在一台日本Nikon公司生产的Eclipse Ti-U型光学倒置显微镜上（图1a）。AFM细胞力学特性测量实验在细胞培养基中进行。实验所采用的AFM探针型号为美国Bruker公司的MLCT-C，探针材料为氮化硅，探针悬臂梁弹性系数为0.01 N/m。在光学显微镜导引下利用AFM微操作将单个聚苯乙烯微球（购自天津市倍思乐色谱技术开发中心）黏附至MLCT-C悬臂梁上制成微球探针［28-29］。简单来说，首先将微球溶液（微球直径20 μm）滴至干净载玻片的一端，并在载玻片的另一端表面将AB胶（购自美国3M公司）以1∶1均匀混合。紧接着，在光学显微镜导引下控制AFM探针轻轻接触胶水后立即控制AFM探针回退，并进而控制沾有胶水的探针接触载玻片表面的单个微球并保持接触状态3 min（接触时间过短会导致在探针回退过程中微球容易从悬臂梁脱落）。随后控制AFM探针回退，并将制作好的微球探针置于探针盒中室温保存12 h后即可用于实验。分别利用日本HIROX公司的正置光学显微镜和美国Thermo Fisher公司的扫描电子显微镜（SEM）对制备的微球探针进行成像，结果清晰地显示了探针悬臂梁上黏附的单个微球（图1a中I和II）。在进行AFM细胞压痕实验前，首先控制AFM微球探针在基底空白区域获取力曲线以校正探针悬臂梁的偏转灵敏度，并随后利用AFM热噪声模块对悬臂梁的弹性系数进行精确校正。为了使AFM测量实验结果具有可比性，在所有细胞上获取力曲线的参数均保持一致：探针逼近速度为2 μm/s，力曲线范围为3 μm，探针最大加载力为2 nN。

Fig.1 Experimental platform of optical image recognition-assisted AFM for the detection of single-cell mechanical properties

1.3 光学图像自动目标识别辅助AFM细胞力学特性探测

本文提出的光学图像自动目标识别辅助AFM对单个细胞不同部位（边缘区域和中心区域）力学特性进行精准快速测量的流程如图1f所示。通过AFM搭载的光学倒置显微镜（图1a）采集细胞和AFM探针的光学明场图像（图1b，d）。利用预先训练好的嵌入视觉转换器（ViT）模块的双UNet深度学习神经网络模型识别出光学明场图像中目标细胞的边缘区域，利用预先训练好的YOLO深度学习神经网络模型识别出光学明场图像中目标细胞的中心区域，获取细胞边缘区域和中心区域的重心坐标，并同时利用基于旋转不变局部二进制模式（RILBP）特征的模板匹配算法识别出光学明场图像中AFM探针微球针尖的坐标位置，进而可得到细胞特定区域（边缘区域和中心区域）与微球针尖之间的空间位置关系。随后将空间位置关系输入至AFM操控软件中，即可控制AFM探针准确移动至目标细胞特定区域并对该区域的力学特性进行测量。在对AFM探针移动范围内所有细胞进行测量后，控制AFM探针移动至其他细胞附近，并重复上述过程。

深度学习算法的发展为医学图像分割带来了巨大突破，特别是UNet已成为医学影像领域最受欢迎的深度学习网络架构［30］。UNet使用卷积层网络来执行语义分割任务，其具有对称的网络架构，即包含1个可以从图像中提取空间特征的编码器（encoder）和1个可以从编码特征中重构分割图的解码器（decoder）。然而，由于UNet神经网络的结构相对简单，能够学习提取的特征较为有限，在复杂场景下的分割精度还有待提高。另一方面，近年来ViT以其强大的表示能力在机器视觉领域得到了广泛关注，特别是其在很多视觉基准数据集中展现出了类似或优于卷积神经网络和递归神经网络的能力［31］。因此，本文通过将UNet网络与ViT结合，提出了嵌入ViT模块的双UNet神经网络，以实现对细胞边缘部位的精确分割（图2）。嵌入ViT模块的双UNet神经网络由两部分构成，第一部分是嵌入ViT模块的深层UNet神经网络，用于提取学习图像中的复杂特征，第二部分是浅层UNet神经网络，用于对第一部分网络提取学习到的特征进行再学习，以减少模糊边界和不确定区域，提高网络分割精确度。嵌入ViT模块会导致UNet网络的深度和参数量增加，因此在原有卷积层上构建了残差卷积网络以防止训练过程中出现网络退化问题。嵌入ViT模块的深层UNet网络在最高分辨率层使用残差卷积提取图像的浅层语义信息，在其他分辨率层通过ViT模块提取特征图中的长距离像素关联，以获得图像深层次的语义信息。嵌入ViT模块的深层UNet网络拥有3个输出，分别为原始输出分类，分类较好的部分以及分类较差的部分，其中分类较好的部分为分类正确且置信度高于0.75的区域，分类较差的部分为分类错误或分类正确但置信度低于0.75的区域。将3个输出进行融合后输入至浅层UNet网络中，浅层UNet网络对嵌入ViT模块的深层UNet网络提取的特征进行更进一步的学习，以提高网络对细胞边缘部分的分割精度。对照实验结果（图3）显示嵌入ViT模块的双UNet神经网络可有效识别细胞边缘部位，且识别结果显著优于UNet网络以及嵌入ViT模块的UNet网络。

Fig.2 Schematic illustration of the presented dual UNet neural network with an embedded vision transformer (ViT) module

Fig.3 Comparison of cell edge recognition results

采用YOLOv7深度学习目标检测算法来对所采集的光学明场图像中的细胞整体进行识别。YOLO系列算法是一种代表性的单阶段图像目标检测网络，在实时机器视觉领域得到了广泛应用。YOLOv7为YOLO算法家族的更新版本，通过主干特征提取网络对输入图像进行特征提取得到3个不同大小的特征矩阵，并将这3个特征矩阵进行特征融合后在检测头生成不同大小的检测框以对目标进行识别。YOLOv7算法已在茶树病害检测［32］、水下生物检测［33］、表面裂纹缺陷检测［34-35］等方面得到了应用。本文利用YOLOv7算法对光学明场图像中的游离态及聚团生长的细胞中心区域进行识别。

训练集图像由AFM搭载的光学倒置显微镜（图1a）拍摄得到，图像大小为1 936×1 216像素。利用Labelme软件对用于嵌入ViT模块的双UNet网络训练的图像进行标注（图1c，e），数据集由157张原始明场图像及其标注图像经过旋转、明暗变换等一系列图像增强操作后得到的785张图像组成，该数据集同样用于UNet网络和UNet-ViT网络以进行对照研究（图3）。利用Labelimg软件对用于YOLOv7网络训练的图像进行标注，数据集由340张细胞图像组成。随后在Windows 10系统环境下，采用PyTorch框架，使用矩池云人工智能云计算平台（浙江）对数据进行训练。嵌入ViT模块的双UNet网络和YOLOv7网络的迭代次数均为200次，经过训练得到的网络模型分别用于对细胞边缘部位和中心部位进行检测识别。

采用基于RILBP特征的模板匹配算法对光学明场图像中的微球探针针尖进行定位。RILBP特征是一种反映像素点间灰度值相对大小的特征，对光照强度有较好的鲁棒性，通过对光学明场图像和微球探针模板图像（模板通过在光学明场图像中以微球为中心截取得到）的RILBP特征图进行匹配可以削弱实验过程中细胞生理代谢活动导致的培养基颜色变化给图像光强带来的影响，提高模板匹配算法的精确度。此外，RILBP特征还具有旋转不变性［36］，可有效避免AFM探针安装姿态角度差对图像模板匹配的影响。利用C++语言编写基于RILBP的模板匹配算法程序，并调用OpenCV开源算法库中的平方差匹配方法以完成对光学明场图像中AFM微球探针针尖的定位。另外，为了对光学明场图像中像素点之间的实际空间距离进行标定，在基底空白区域通过AFM操控软件控制AFM探针移动一定距离，随后利用模板匹配算法分别获取探针移动前后在图像中的坐标，即可得到像素点之间距离与实际空间距离的对应关系［28］。

1.4 数据分析

本文利用微球针尖探针对细胞力学特性进行测量，因此采用Hertz模型对获取的力曲线进行分析以得到细胞杨氏模量［37］：

其中F为探针加载力，E为细胞杨氏模量，δ为压痕深度，R为微球半径，υ为细胞泊松比（通常认为活细胞为不可压缩材料，因此υ=0.5）。探针加载力可以根据胡克定律直接从AFM记录的力曲线中得到：

其中k为热噪声校正的探针悬臂梁弹性系数，x为悬臂梁偏转量。需要指出的是，获取的力曲线分为逼近曲线和回退曲线两部分，Hertz模型由于不考虑探针与细胞之间的相互作用通常采用逼近曲线计算细胞杨氏模量［38-39］。根据逼近曲线上的接触点将逼近曲线转化为压痕曲线后（压电陶瓷管垂直方向位置变化量减去悬臂梁偏转量即为压痕深度），利用Matlab软件（美国Mathworks公司）编写的Hertz模型拟合程序对压痕曲线进行拟合即得到细胞杨氏模量。

2 结果与讨论

在光学图像自动目标识别算法导引下，首先利用AFM对单个游离态细胞不同部位（边缘区域和中心区域）的力学特性进行了测量。图4展示了对单个HGC-27活细胞边缘部位和中心部位力学特性进行探测的实验流程及结果。控制AFM微球探针到达目标细胞附近后，获取细胞和AFM探针的光学明场图像（图4a）。随后，利用模板匹配算法识别出光学明场图像中的AFM微球针尖位置（图4b），并利用深度学习算法分别识别出细胞中心区域（图4c）和边缘区域（图4d），在此基础上即可自动得到微球针尖与细胞中心区域（图4e）及细胞边缘区域（图4f）之间的空间位置关系。随后即可根据空间位置关系分别将AFM探针准确移动至细胞边缘区域（图4g，h）和中心区域（图4i），并分别在细胞边缘区域（图4j，k）和中心区域（图4l）获取力曲线。利用Hertz模型对获取的力曲线进行分析即得到目标细胞边缘区域和中心区域的杨氏模量（图4j-l）。为了测试方法的普适性，利用所建立的方法对HEK 293活细胞进行了探测，结果清晰地显示基于光学图像自动目标识别技术可将AFM微球探针准确移动至HEK 293细胞的边缘区域和中心区域并进行力学特性测量（图5）。分别对10个HGC-27细胞和10个HEK 293细胞进行了测试，统计结果（图6）显示细胞中心区域的杨氏模量显著小于边缘区域的杨氏模量。与细胞边缘区域相比，细胞中央区域较厚，受坚硬基底的影响（基底效应）更小，导致AFM压痕实验测量得到的细胞中央区域的杨氏模量较小［40］。另外，细胞骨架与细胞力学特性密切相关，而由于在细胞生理病理过程中细胞不同部位骨架蛋白构成及排列的差异［41］，细胞不同部位通常会显示出不同的力学特性。本文基于光学图像自动目标识别实现了将AFM探针针尖快速准确导引至单个细胞的边缘区域和中心区域进行力学特性测量，有助于从亚细胞尺度揭示生命活动的力学调控机制。

Fig.4 Utilizing AFM to measure the mechanical properties of different regions of a single living isolated HGC-27 cell under the guidance of optical image automatic recognition

Fig.5 Utilizing AFM to measure the mechanical properties of different regions of a single living isolated HEK 293 cell under the guidance of optical image automatic recognition

Fig.6 Statistical results and Gaussian distribution fitting results of the mechanical properties of different parts of cells measured by AFM under the guidance of optical image automatic recognition

随后利用所建立的方法对聚团生长的细胞进行了实验。图7展示了对聚团生长的单个HEK 293活细胞进行探测的结果。由于细胞聚集生长后，细胞之间通过黏附分子（如钙黏蛋白）相互连接［42］，使细胞边缘部分受相邻细胞的影响，因此只对聚集生长细胞的中心区域的力学特性进行了测量。可以看到无论是低密度聚团生长细胞（图7a），还是高密度聚团生长细胞（图7b），深度学习图像识别算法均可有效地从光学明场图像中分割出单个聚团细胞（图7a中III，图7b中III），在此基础上将AFM微球针尖准确导引至目标聚团细胞（图7a中V，图7b中V）并对细胞力学特性进行测量。图8为对聚团生长的单个HGC-27活细胞进行探测的结果，同样显示了在深度学习图像识别导引下可将AFM微球针尖准确移动至聚团生长的单个HGC-27细胞并对细胞力学特性进行测量。分别对40个聚团生长的HEK 293细胞（20个低密度聚团细胞和20个高密度聚团细胞）和35个聚团生长的HGC-27细胞（15个低密度聚团细胞和20个高密度聚团细胞）进行了测量，统计结果（图9）显示，随着细胞聚集程度的增加，细胞杨氏模量呈现增加的趋势。前人的研究结果显示细胞间连接会影响细胞的力学特性，且这种影响与细胞类型（如细胞为癌细胞还是正常细胞，细胞为侵袭性癌细胞还是惰性癌细胞）有关［43-44］。本文结果显示了细胞聚集程度对HGC-27细胞和HEK 293细胞力学特性的影响，然而对于造成这种影响的内在机制还需要借助生化实验（如利用荧光显微术对细胞骨架蛋白变化进行观测）手段进行分析。此外，本文将光学图像自动识别和AFM结合实现了对聚团生长细胞中单个细胞力学特性的快速测量，对于单细胞尺度探究群体细胞力学行为（如癌细胞群体迁移［45］）具有积极意义。需要指出的是，本文仅实现了对聚团生长细胞的细胞中心区域的定位，下一步利用深度学习网络模型精准分割出聚团细胞之间的边界［46］对于研究聚团细胞力学特性具有重要意义。

Fig.7 Measuring the mechanical properties of living clustered HEK 293 cells by AFM under the guidance of optical image automatic recognition

本文研究结果为发展高通量AFM单细胞力学特性探测方法提供了新的思路。AFM已成为生物样本力学特性测量的标准方法［47-49］，但是其依赖人工经验、效率低下的不足使得当前的AFM细胞探测实验十分耗时费力［50-51］，制约了其在生命科学领域的进一步应用。本文通过将光学图像自动目标识别算法与AFM压痕技术结合，实现了光学明场图像中细胞不同部位和AFM探针位置的自动定位，在此基础上将AFM探针针尖精准导引至细胞不同部位进行力学特性测量，避免了人工经验误差及操作员疲劳对实验的影响，显著提升了AFM细胞力学特性探测实验的效率。本方法实现了对细胞中心区域和边缘区域的自动识别及AFM力学特性测量，揭示了细胞中心区域和边缘区域之间力学特性的差异。然而需要指出的是，所识别的细胞中心区域和边缘区域分别对应于细胞哪种结构仍然不清楚，下一步开展活细胞内部细胞器结构自动识别（如利用深度学习算法从光学明场图像中自动识别出细胞核区域［52］）及在此基础上的AFM力学特性探测对于活体状态下亚细胞结构力学特性原位探测具有重要意义。此外，本文的方法目前还仅针对培养皿中生长的单一类型游离态细胞或聚团生长细胞，下一步发展针对不同类型细胞共培养条件下的细胞力学特性精准高效探测方法，将有助于探索力学特性在细胞与细胞之间相互作用（如癌细胞与其微环境中其他类型细胞之间的相互作用［53］）过程中的调控规律。

Fig.9 Statistical results and Gaussian distribution fitting results of the mechanical properties of clustered cells with different densities measured by AFM under the guidance of optical image automatic recognition