基于凹点检测的卵母细胞极体识别方法

黄安贻，吴 帅，胡舜迪，闻路红，陈安琪，缪东升

(1.武汉理工大学 机电工程学院，湖北 武汉 430070； 2.宁波大学 高等技术研究院，浙江 宁波 315211)

0 引 言

极体是卵母细胞减数分裂形成的一个小细胞[1]。在卵胞浆内单精子显微注射[2]、核移植[3]、植入前遗传学诊断[4]等显微注射应用技术中，末端效应器与卵母细胞接触前需要将极体调整到合适位置，以提高实验成功率[5]。随着自动化显微注射系统的逐渐发展，自动识别极体、快速实现极体定向已经成为目前自动化显微注射中的迫切需求和研究热点。由于在倒置显微镜下细胞次级结构不明显、尺寸较小并且图像中常存在噪声等原因，增加了极体识别的难度，因此国内外科研人员展开了积极研究[6]。基于梯度加权Hough变换的极体检测方法完成了卵母细胞及其极体的检测和定位，但检出率较低，检测时间长[7,8]。采用Otsu算法分割细胞图像并结合椭圆拟合方法，能识别部分极体，但该方法忽略了细胞形变，难以应对极体不明显情形[9]。将支持向量机、卷积神经网络等机器学习方法引入极体识别中，一定程度上提升了对极体不明显情形的识别准确率，但该类算法需要大量数据样本进行模型训练，通用性与实时性受到了限制[10,11]。

针对现有方法难以有效解决极体不明显时准确识别的问题，本文提出了基于角点检测和自适应圆形掩膜的深凹点搜索方法。根据极体与卵母细胞尺寸差异大，在粘连位置形成明显凹点的图像原理，快速搜索卵母细胞与极体粘连形成的深凹点区域，提高极体不明显情形下识别准确率的同时，保障极体识别实时处理的需求。

1 轮廓提取

卵母细胞图像获取时易受到设备精度、光照不均匀、培养液杂质等因素的影响，通常存在噪声干扰、边缘模糊的缺陷。传统的边缘检测方法检测的边缘信息丰富，难以将噪声和细胞边缘较好区分开。因此，结合Otsu算法[12]和数学形态学操作[13]进行轮廓提取，利用Otsu算法自适应确定最佳分割阈值的优势，分割细胞与背景图像，同时形态学操作能够处理分割图像中通常存在的细小轮廓分支、斑点噪声以及轮廓不闭合等缺陷，有效提取细胞轮廓。

首先利用Otsu算法，自适应选取阈值进行图像分割，获得细胞二值图像；然后通过闭操作、孔洞填充、开操作等数学形态学方法对Otsu阈值分割图像进行处理，解决分割图像中存在的缺陷；最后通过提取最大连通域来获得细胞边缘轮廓。轮廓提取流程如图1所示。

图1 轮廓提取流程

轮廓提取具体过程描述如下：

(1)Otsu阈值分割：以类间方差最大化为目标选取最优分割阈值[12]，将原始图像划分为背景部分和细胞部分两类，获取细胞二值图像；

(2)闭操作：由于阈值分割图像中有时存在细胞边缘轮廓断裂的情形，先对阈值分割图像进行膨胀操作，连接断裂边缘，再进行腐蚀操作，以保持细胞边缘轮廓精度，最终获得具有连续边缘轮廓的细胞图像；

(3)孔洞填充：细胞内部结构比较复杂，对闭操作过后的图像进行迭代膨胀，填充细胞区域，消除细胞轮廓内部的噪声干扰，同时确保后续进行开操作时不会完全腐蚀边缘轮廓；

(4)开操作：细胞边缘轮廓往往存在细小分支和毛刺，对孔洞填充后的图像先进行腐蚀操作，消除细小轮廓分支和斑点噪声，再进行膨胀操作，以保持细胞边缘轮廓精度，获得具有平滑边缘的细胞轮廓图像；

(5)提取最大连通域：提取形态学处理后图像中的最大连通区域，剔除其余噪声干扰，得到细胞边缘轮廓。

轮廓提取效果如图2所示，其中图2(a)中较大的细胞为卵母细胞，而卵母细胞轮廓上的较小细胞即极体。

图2 轮廓提取效果

2 凹点检测

选取合适的特征对提升检测速度和准确率至关重要。通过观察发现，由于极体与卵母细胞尺寸差异较大，即使在极体不明显情形下，在粘连位置也存在明显的深凹点区域，因此寻找并定位目标深凹点，可以成为识别极体的有力判据。由于极体位置在显微视野中是随机出现，因此在实际应用中显微图像内的极体可见区域与方位都会呈现不同状态。如图3所示，是显微图像中极体明显、极体不完全可见和极体较小3种不同实际情形的示例图。极体明显情形指的是极体在图像中明显可见，如图3(a)所示；通常极体与卵母细胞重合度较高时，会导致极体大部分区域不在图像平面内，使得极体不完全可见，如图3(b)所示。此外，极体过小会导致图像中极体区域太小，使得极体不明显，如图3(c)所示。本文将图3(b)和图3(c)两类情形统一归为极体不明显情形。

图3 极体不同情形示例

凹点检测的主要流程为：首先通过角点检测算法对轮廓上潜在凹点进行粗略估计，预选出一组候选点集合，其中包含了细胞轮廓本身角点和极体与卵母细胞粘连形成的凹点；然后利用圆形掩膜和凹凸特征参数对符合条件的候选点进行筛选，从候选点集合中剔除非凹点和浅凹点，只保留深凹点；最后根据深凹点的数目判断极体是否存在，根据深凹点的位置实现极体定位与定向。

2.1 候选角点检测

候选角点检测是在轮廓提取后的二值图像上进行的，目的是从轮廓像素点中初步筛选出潜在的凹点。研究学者提出了很多有效的角点检测方法，其中Shi-Tomasi算法[14]是基于Harris角点检测算法[15]的一种改进方法，能较好保留强角点，对噪声不敏感，快速且稳定。基于以上优势，本文采用Shi-Tomasi算法获取一组候选点集合U，作为凹点检测的初步检测结果。该算法基于局部矩形窗口γ在各个方向微小移动前后的平均强度变化不同来检测角点。由于Shi-Tomasi 算法检测到的角点有时不在轮廓上而是位于轮廓附近，本文采用轮廓上与其距离最近的像素点确定为候选点。

本节检测到的候选点集合U中包含两类像素点：细胞轮廓本身角点和极体与卵母细胞粘连形成的凹点，其中细胞轮廓本身角点中包又含有凸点和凹点。在两类候选角点中，细胞轮廓本身的凹点和凸点属于不明显的角点，边缘轮廓模糊或噪声干扰都可能导致提取的细胞轮廓中出现较小的凹凸起伏，候选点检测成功地检测了这些角点；而极体与卵母细胞由于大小差异明显，粘连处形成的凹点具有转折明显、凹点尖锐的特点，属于明显的深凹点[16]。考虑到噪声干扰、细胞轮廓起伏等因素对角点检测带来的影响，确保候选点集合中包含极体与卵母细胞形成的深凹点，候选点数目设定为10。

2.2 深凹点筛选

从候选点集合中，准确区分轮廓本身角点(凸点与浅凹点)和深凹点，筛选出卵母细胞与极体形成的深凹点，是本文极体识别过程的关键所在。虽然研究人员对凹点检测有着积极的探索，但大多数方法只能判别目标点的凹凸性，难以有效区分深凹点和浅凹点[17]。利用圆形掩膜方法[18]能够有效检测粘连细胞形成的凹点区域，因此本文设计了一种基于圆形掩膜的深凹点检测方法，并对掩膜半径自适应选取和阈值设计进行了研究，通过该方法获取候选点的凹凸特征参数描述候选点的凹凸特性，筛选出满足约束条件的深凹点，从而获得极体识别结果。

基于圆形掩膜进行深凹点检测，首先需要以轮廓上的像素点为中心构建圆形掩膜，然后计算掩膜在细胞区域和背景区域的面积差异，进而判断像素点的凹凸特性。如图4所示是基于圆形掩膜进行深凹点检测的示意图，以Shi-Tomasi算法检测到的候选点Qi为中心，像素长度R为半径，构建圆形掩膜，掩膜内属于背景图像的面积记为S0(即图中阴影区域面积)，掩膜内属于细胞图像的面积记为S1。从图4中可见，S0和S1的差异一定程度上反映了候选点的凹凸特性。对于轮廓上的深凹点(如图4中的Q1和Q2)，其S0值较小，S1值较大，S0和S1的差异较大，而对于轮廓上本身角点(图中Q1和Q2以外的其它候选点)，S0和S1的差异变得很小，并且S0大于S1时可判断为凸点，S0小于S1时可判断为凹点。由于本文极体识别的关键是判别轮廓本身角点与深凹点，因此对轮廓本身的浅凹点和凸点不做严格区分。

图4 基于圆形掩膜的深凹点检测

实际应用中，通过统计阴影区域的像素点数目，获取阴影区域面积S0，关于S0的求和函数表示为

(1)

其中，C表示圆形掩膜区域， (x，y) 表示图像坐标系中像素点坐标，在掩膜与背景图像交集内f(x，y) 为1，在掩膜与细胞图像交集内f(x，y) 为0。

由于圆形掩膜区域的面积为πR2，所以S1可表示为

(2)

为了描述轮廓上像素点的凹凸特性，本文通过面积比定义了凹凸特征参数η，表示为

η=S1/S0

(3)

对于R确定的圆形掩膜，η值越接近于1，表示S0和S1的面积差异越小，Qi是轮廓本身角点的概率越大；η值越大，表示S0越小，S1越大，Qi的轮廓上深凹点的概率越大。

遍历集合U中的候选点，若候选点Qi对应的凹凸特征参数满足式(4)的约束条件，即η值大于一定的阈值，则判断Qi为轮廓上深凹点，继续保留在集合中；反之，若Qi对应的凹凸特征参数不满足式(4)的约束条件，则判断Qi为轮廓本身角点(浅凹点或凸点)，此时，将Qi从候选点集合中剔除

η(Qi)>Tcorr

(4)

其中，Tcorr为阈值。

圆形掩膜的半径R取值是成败的关键因素，R过大可能导致掩膜与轮廓的两交点分别落在极体的两侧，检测不到目标深凹点，而R过小则η值的计算非常容易受到轮廓起伏的影响，降低识别的准确度。本文根据检测的候选角点自适应确定圆形掩膜的半径R，首先寻找候选点集合U中最近点对(欧氏距离)；在图像坐标系中，然后计算最近点对的欧氏距离dmin；由于半径R以像素为单位，取dmin/2的整数部分作为半径R的自适应值。这样很大程度上避免受到噪声的干扰影响，同时又确保了掩膜与轮廓的两交点不越过极体而造成漏检问题。R的计算公式为

(5)

其中，d(p，q) 表示集合U中候选点p和q的欧式距离。

选取合适的阈值Tcorr对于区分轮廓本身角点和轮廓上深凹点至关重要，阈值过大可能会导致深凹点被误判为轮廓角点，造成深凹点的漏检问题，而阈值较小可能会导致轮廓本身角点被误判为深凹点，筛选到不真实的深凹点。为获取合适的阈值，首先提取了15个极体明显情形和15个极体不明显情形时的细胞轮廓，计算并统计轮廓本身角点、极体明显时轮廓上深凹点、极体不明显时轮廓上深凹点各30个样本点的η值。如图5所示，是3类样本点的η值分布图。其中，轮廓本身角点的η值在区间[0.87，1.15]内分布，极体明显时轮廓上深凹点的η值在区间[1.98，2.88]内分布，极体不明显时轮廓上深凹点的η值在区间[1.43，3]内分布。由图可见，虽然极体不明显时深凹点η值比极体明显时整体有所降低，但两类轮廓上深凹点和轮廓本身角点之间能够通过单一阈值完全区分开。当阈值取[1.15，1.43]区间内任意数值时，能够完全区分轮廓上深凹点和轮廓本身角点，为了提升容错率，本文取轮廓本身角点中η最大值1.15和深凹点中η最小值1.43的中值作为最佳阈值，Tcorr=1.29。

图5 轮廓上不同像素点类型的η值分布

2.3 极体定位与定向

通过候选角点检测与深凹点筛选，候选点集合U中满足式(4)约束条件的点被检测为细胞轮廓上的深凹点，被保留在最终的集合U中，表示为A1，A2，…，An。n是最终检测的深凹点数目，对于图像平面内存在极体的情形，细胞轮廓上极体与卵母细胞形成两个深凹点，n应该为2；对于图像平面内不存在极体的情形，细胞轮廓上无深凹点，n应该为0；如果n为其它数字，则认为凹点是误判，这可能是由于细胞轮廓的起伏或者噪声引起的。

最后根据轮廓上检测到的深凹点数目及位置，可以判断极体存在与否，并对极体进行定位、定向：

(1)如图6(a)情形：当轮廓中无检测的深凹点时，取轮廓的像素中心O1位置作为卵母细胞的中心，此时判断极体不在图像平面内。

(2)如图6(b)情形：当轮廓中有Q1、Q2两个深凹点时，选取两凹点的连线Q1Q2作为卵母细胞与极体的分割线，取长轮廓和短轮廓(包含分割线)的中心位置O1和O2分别作为卵母细胞与极体的中心，由卵母细胞中心指向极体中心即为极体相对卵母细胞的方向。

图6 卵母细胞和极体定位定向

3 实验结果与分析

实验中，图像数据集来源于实验室自主搭建的显微注射系统，利用标准的倒置显微镜(Nikon ECLIPSE Ti)和CCD相机(Watec WAT-221S)获取所需的卵母细胞图像数据集，图像像素大小为640×480。算法测试时，取包含卵母细胞的200×200像素窗口进行计算。算法集成开发环境选择的是Spyder，编程语言采用Python 3.6。

3.1 极体识别结果

极体识别过程中，首先对采集的卵母细胞图像进行Otsu阈值分割和形态学操作，提取细胞轮廓；然后通过角点检测算法预选一组候选点集合；再利用设计的自适应圆形掩膜和凹凸特征参数从候选点集合中剔除凸点与浅凹点，筛选出卵母细胞与极体粘连形成的深凹点；最后根据深凹点确定极体位置，以及极体相对于卵母细胞的方向。

本文首先对卵母细胞极体不可见、极体明显、极体不明显、噪声干扰、极体方位不一等不同类型的细胞图像进行了算法测试，主要是验证算法的有效性和鲁棒性，实验结果如图7所示。第一行为测试所用到的原始图像，其中，第1幅图极体不在图像平面内，第2幅图极体较为明显，第3幅图极体不明显，第4幅图噪声干扰严重。第二行为使用Otsu阈值分割结合形态学操作的轮廓提取结果。第三行为最终的极体识别结果，其中，箭头方向由细胞中心指向极体中心，代表了极体相对于卵母细胞的方位。从图中可看出，本文算法在极体不可见、极体明显、极体不明显、噪声干扰等不同实际情形下都具有准确的极体识别结果，并且极体位于不同方位时均能准确识别，验证了该方法的有效性与鲁棒性。

图7 不同类型图像的极体识别结果

为了测试本文方法的识别准确率，对300张卵母细胞图像进行测试实验。在300张图像中，有100张图像极体不在图像平面内，100张图像极体明显，100张图像极体不明显。极体识别准确的定义为：如果极体在图像中不可见，则认为“极体不在图像平面内”的识别结果是准确的；如果极体在图像中可见，识别结果中极体相对于卵母细胞的方向与真实方向一致则认为识别是准确的。测试中，算法准确识别了288张图像，平均准确率可达96%，即使在极体不明显状态，识别准确率也能达到92%。在12个错误识别样本中，4个错误识别极体位置，8个误判为极体不存在。极体识别统计结果见表1。

3.2 对比实验

为了进一步验证本文方法的有效性，从不同角度对文献[7-11]中现有的极体识别方法进行了比较，分别对极体检测的准确率、测试样本数、极体不明显情形有效性、是否需要模型训练4个方面进行对比分析，统计结果见表2。

表1 极体识别准确率

表2 不同方法极体识别比较

表2中展示了不同方法的对比结果。其中准确率与测试样本数是指测试集上方法的准确性和测试集大小；极体不明显情形有效性是指该方法能否克服极体不明显的实际情形；模型训练是指算法实现过程中是否需要大量数据样本进行模型训练。可以看出，在不降低识别准确率的条件下，只有文献[11]方法和本文方法能有效克服极体不明显情形时的极体识别问题，较比与文献[11]方法，本文方法无需大量数据样本进行模型训练，更适合于实际的实验与应用。

为了进一步说明本文方法对极体不明显情形时的识别有效性，在同一实验条件下，将本文方法与文献[9]中极体识别方法进行对比实验，分析两种方法在极体较为明显和极体不明显两种不同实际情形下的识别结果。实验中，取极体不明显、极体明显两种不同情形的卵母细胞图像各100张作为测试样本。计算两种方法对不同测试样本进行极体识别的准确率，并记录识别过程所消耗的时间。统计结果见表3。

表3 两种方法极体识别比较

由两种方法的检测结果可见，对于极体较为明显的情形，本文方法和文献[9]方法都能达到较高的准确率。但是对于极体不明显的情形，文献[9]方法的准确率只有48%，而本文方法依然可以达到92%的准确率，明显优于对比文献的方法，能有效应对极体不明显情形的识别。这是因为对比文献的方法基于卵母细胞的理想球面特性进行极体识别，对细胞轮廓的起伏变化非常敏感，在极体不明显情形下，放大了噪声干扰、细胞形变等带来的轮廓起伏干扰，容易造成误判和漏检等情形，从而使得准确率低。在时间损耗上，本文方法与文献[9]方法都达到了0.1 s级的快速检测效果，具备较好的实时性。

4 结束语

本文提出了一种基于凹点检测的极体识别方法。根据卵母细胞与极体尺寸差异明显、交界处形成深凹点的特征，搜索细胞轮廓上的深凹点，快速识别极体，验证了凹点检测可应用于极体识别研究。针对深凹点检测，设计了自适应圆形掩膜和凹凸特征参数，筛选卵母细胞与极体粘连形成的深凹点。不同于传统方法，本文方法在极体不明显情形下依然能保持良好的识别准确率，且算法耗时少，更适合应用于细胞自动化显微注射实时操作。由于该方法在细胞离焦程度大时难以有效提取轮廓，导致细胞离焦时的极体识别准确率低。因此，解决细胞离焦状态下的轮廓提取问题将是未来的研究重点。