基于机器视觉的玉米单倍体自动分选系统

李卫军，刘玉梅，2，陈绍江，覃　鸿，刘　金，田　震,2

(1.中国科学院 半导体研究所高速电路与神经网络实验室，北京　100083；2.中国石油大学(华东) 信息与控制工程学院，山东 青岛　266580；3.中国农业大学 国家玉米改良中心，北京　100193)



基于机器视觉的玉米单倍体自动分选系统

李卫军1，刘玉梅1，2，陈绍江3，覃鸿1，刘金3，田震1,2

(1.中国科学院 半导体研究所高速电路与神经网络实验室，北京100083；2.中国石油大学(华东) 信息与控制工程学院，山东 青岛266580；3.中国农业大学 国家玉米改良中心，北京100193)

摘要：针对导入基因标记后杂交诱导产生的玉米籽粒，设计了一套基于计算机视觉的玉米单倍体高通量自动分选系统。系统主要由传动部件、斜面翻滚部件、信号采集与处理部件，以及籽粒分选部件4部分组成。斜面翻滚部件表面有凹凸纹理，可使玉米籽粒在下落翻滚过程中产生多种姿态，试验使用这一方法获得含胚面图片的成功率达90%。信号采集与处理部件通过提取玉米籽粒胚面的SIFT特征来判断籽粒属性，并将属性结果发送给籽粒分选部件，分选部件根据结果控制直线滑台的运动以实现籽粒筛选。试验结果表明：系统对单倍体的正确识别率为95%，可很好地实现玉米单倍体的自动分选。

关键词：SIFT特征；单倍体识别；分选系统；计算机视觉；玉米

0引言

单倍体是指只具有配子染色体数目的细胞或个体。单倍体育种可以大大缩短育种周期，是现代植物育种中快速、高效的育种途径之一[1-3]。一般玉米单倍体自然产生概率不超过0.1%[4]，即使人工诱导也只能达到10%[5]。因此，从大量的玉米籽粒中快速准确地识别出单倍体变得尤为关键。

对单倍体检测方法也有很多种，主要包括：形态学鉴定[6]、分子标记鉴定[7]及细胞学和解剖学鉴定[8]等。 但这些方法在很大程度上需要人工操作，并且过程复杂，难以实现自动化。用于识别单倍体的另一方法是遗传标记鉴定[9]，在玉米中导入Navajo标记基因R-nj标记后诱导产生的单倍体籽粒与杂合体籽粒呈现不同颜色特征，是较为有效可靠的鉴定方法。

针对导入遗传基因后诱导产生的玉米籽粒，相关的单倍体自动分选研究也有所报道[10-12]，但还存在需人工参与、速度慢及造价高等问题。而且，真正能呈现固体籽粒运动过程中的多姿态、全自动、高通量的识别分选装置还未见报道。为此，本文基于机器视觉，提出了一种可以在运动过程中全自动、高通量分选单倍体籽粒的新型系统。

1系统结构

系统装置主要由传动部件、斜面翻滚部件、信号采集与处理部件及籽粒分选部件4部分组成。其中，传送部件与斜面翻滚部件相连接，斜面翻滚部件上有多个传输通道，与籽粒分选部件相连接，并且在传输通道的上方安置信号采集与处理部件。系统结构如图1所示。

1.传动部件　2.斜面翻滚部件　3.信号采集与处理部件

传动部件包含5个通道，通道间隔为20mm，在运动方向上籽粒前后间距为100mm。工作时，传送带由步进电机驱动,每个通道每隔一定时间传送1颗籽粒，以便后续部件完成各自操作。

斜面翻滚部件，接于传动部件的尾部，分为多个通道，分别对应传送带多个通道，采用聚甲醛做成，并进行喷砂处理。斜面整体与水平面呈一定角度，斜面表面设计有梯形齿槽，使得玉米籽粒在下落过程中翻滚，从而产生多种姿态，获得更多信息。

信号采集与处理部件为一套图像采集识别系统，是由图像采集设备和高速计算机组成。图像采集设备用于获取玉米籽粒信息，设备采用的是外触发方式采集图像，相机帧率为60帧/s；高速计算机用于处理信息判断固体籽粒的属性，并向籽粒分选部件发送该属性信号。

籽粒分选部件，与斜面翻滚部件相连接，由对应翻滚部件多通道的多个分选控制器组成，接收来自信号处理部件对固体籽粒属性的分析结果。按照该结果控制电动滑台的运动，实现相应通道玉米籽粒进行分选，如图2所示。当玉米籽粒为多倍体时，控制器给电机发送信号，电机带动玉米挡板滑动以打开筛选窗口，使得多倍体籽粒掉落到收容盒中；当玉米籽粒为单倍体时，电机不产生运动，筛选窗口不打开，保留单倍体。

图2　电动滑台示意图

2图像采集及处理

2.1图像采集

经导入遗传标记基因R-nj诱导产生的玉米籽粒分为3类：①胚乳糊粉层和胚部位均呈现紫色或紫黑色标记，为杂合二倍体，约占90%；②胚乳糊粉层呈现紫色或紫黑色标记，胚部位则无色，为单倍体，约占10%；③胚乳糊粉层和胚部位均无颜色标记，为外来籽粒，含量极少，通常不到1%。由此可以看出：杂合体和单倍体的主要区别在于胚面上是否有颜色标记，单倍体与外来籽粒的区别则在于胚乳糊粉层是否有颜色标记。在本系统中，将外来籽粒与单倍体归为一类，主要有两方面原因：一是胚乳糊粉层的图像特征难以提取；二是外来籽粒含量很少，在对识别结果影响可接受范围内，尽可能降低算法复杂度，提高识别效率。因此，系统识别的目的是在保证单倍体正确识别的情况下，尽可能地筛选出杂合体籽粒，达到分选自动化。

判断胚部区域是否有颜色标记的前提是采集得到具有胚面的玉米籽粒图片，现有的一些分选系统采用的是人工摆放胚面，并不能完全实现分选自动化。文献[11]中采用随机自动上料，对于扁平玉米籽粒，胚面朝上的概率为50%，但对于含有不规则形状的玉米籽粒，胚面朝上的概率将低于50%。针对这一情况，设计了斜面翻滚部件，斜面凹凸不平，因此玉米在向下滑落过程中会产生翻滚运动。高速相机在玉米籽粒向下翻滚运动过程中可采集到玉米籽粒的多姿态图像。籽粒从斜面上端到斜面下端的滚动时间大概是200～300ms之间，相机采用凯视佳MUC36M/C，帧率为60帧/s。那么，通过相机可以拍摄到1个玉米种子在下落滚动过程中的12～18张多姿态图片。在一颗籽粒的众多姿态中，若有一个姿态含有胚面，则可以判断籽粒的属性。经大量试验证明：针对任意形状的玉米种子，获得含胚面图片的成功率为90%，解决了人工摆放胚面的问题。

2.2图像处理

根据获得的图像，对单倍体和多倍体进行识别，识别流程如图3所示。

图3　玉米单倍体识别流程图

2.2.1图像预处理

为了便于特征提取，首先对采集到的玉米籽粒图像进行预处理，主要包括图像分割和大小归一化。

在对玉米种子进行特征提取和识别时，仅对玉米种子图像部分感兴趣，这部分被称为目标或前景(其他部分称为背景)。因此，需要将这些有关区域从整幅图像中分离、提取处理，这就需要对图像进行分割。图像分割后得到只含有玉米籽粒的局部图像，可以大大提高系统识别效率，这里采用阈值处理和边缘检测相结合的分割方法。另外，由于玉米籽粒大小不同，分割后的玉米籽粒图像大小也不相同，不便于对籽粒图像的量化处理，因此对分割后的玉米籽粒进行大小归一化处理，将所有图像归一化为60×60。预处理后的一组多倍体籽粒图像如图4所示。

图4　图像预处理后的玉米多倍体籽粒图像

2.2.2图像特征提取

特征的选择对于识别来说非常重要，直接关系到正确率的高低。对于图像来说，可以提取的特征有很多，根据具体识别的对象不同，有效的特征参数也会不同。玉米单倍体多倍体籽粒的主要区别在于胚面上是否有颜色标记；另外，采集图片时，玉米籽粒处于翻滚下落状态，因此图像存在旋转、缩放等变化。

SIFT[13-14](Scale Invariant Feature Transform)特征是一种基于尺度空间的， 对图像平移、旋转、缩放甚至仿射变换保持不变形的图像局部特征。因此，SIFT特征符合对单倍体多倍体籽粒识别时的特征提取要求。SIFT特征的提取过程主要分为4个步骤：

1)检测尺度空间极值。设I(x,y)为输入图像，G(x,y,σ)是尺度可变高斯函数，则一个图像的尺度空间被定义为函数L(x,y,σ)，计算公式为

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中，σ为尺度因子；*为卷积运算。式(1)中高斯函数G(x,y,σ)定义为

(2)

为了在尺度空间有效的检测稳定关键点，Lowe提出了高斯差分卷积DOG(Difference-of-Gaussian),计算公式为

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

其中，k为不变倍增因子。一个点如果在DOG尺度空间本层及上下两层的26个邻域内是最大值或者最小值，就认为该点是图像在该尺度下的一个特征点。

2)精确定位特征点的位置。通过一种三维二次函数拟合可以精确确定关键点的位置和尺度，同时剔除对比度低的候选关键点，剔除具有不稳定边缘响应的候选关键点。

3)确定特征点的主方向。利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数，使算子具备旋转不变形。则有

(4)

θ(x,y)=tan-1[L(x,y+1)-L(x,y-1)]/[(x+1,y)-L(x-1,y)]

(5)

式(4)、式(5)为(x,y)处梯度的模值和方向公式，L所用的尺度为每个关键点各自所在的尺度。

4)生成SIFT特征描述符。将坐标轴旋转到特征点方向，以保证旋转不变形。实际计算过程中，为了增强匹配的稳定性，Lowe建议使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量(即特征描述符)。

2.2.3识别算法

识别算法一般是以抽取什么样的图像特征为基础，上面已经提取到单倍体、多倍体籽粒图像的SIFT特征向量，即这是一个二分类问题。因此，可以采用SVM[15-17](Support-Vector-Machine)来进行分类。对于二分类问题，SVM能够寻找到一个最优分类面：一是这个分类面能够将两类样本完全区分开来；二是两类样本到分类面的最小距离尽可能的大，也就是说两类样本的几何间隔很大。

目前，在玉米籽粒自由滑落的情况下，采用SIFT特征和SVM分类法，单倍体识别率达95%，同时可筛选掉近50%的杂合体籽粒，在一定程度上实现了单倍体的自动化分选。

3系统工作流程

分选系统框图如图5所示。控制单元控制传送单元运送籽粒，图像采集处理单元采集图像、判断籽粒属性，并将结果传送给控制单元；控制单元根据分析结果控制电动滑台进行籽粒分选。

下面分6个阶段进一步说明系统工作流程:①系统复位阶段。同时启动控制系统程序、图像采集设备及高速计算机处理程序。此时，工作在外触发采集方式下的摄像头未收到触发信号，与传送带及分选控制器都处于静止状态。②籽粒传送阶段。传送带由电机传动，玉米籽粒置于传送带5个通道内，每行分布5颗玉米籽粒，当籽粒运输至斜面翻滚部件时，系统会产生一个脉冲信号，发送至图像采集设备。③图像采集阶段。玉米固体籽粒进入斜面翻滚部件后，图像采集设备开始以60张/s的速度，捕捉5颗玉米种子从斜面翻滚的多姿态图像；待籽粒翻滚到部件底部时，停止拍摄，并把拍摄的图像传递给高速计算机。④图像处理阶段。高速计算机在接收到采集图片后，对采集图像进行预处理、图像分割、SURF特征提取和SVM分类，最终确定出5个通道对应的玉米种子是否5单倍体，并将判别结果传递给籽粒分选部件。⑤籽粒分选阶段。籽粒分选部件收到判别结果后，把5通道玉米籽粒属性结果以二进制信号形式传递给控制器。例如，当分选控制器1收到控制信号为0时，则默认通道1内的玉米种子为杂合体，并控制电机打开直线滑台，让玉米籽粒漏到杂合体收容盒内，从而滤掉杂合体籽粒；否则，电机不动作，允许通道1内的单倍体通过分选部件。 ⑥系统往复阶段。再次启动运送带运输籽粒，如此往复循环，使系统连续运行。检测完成后，首先关闭系统控制程序，等待传送带和分选部件不再运动后，关闭图像采集设备和高速计算机。

图5　系统框图

4结论

根据玉米籽粒胚面颜色标记不同，设计了一套单倍体分选系统。其中，斜面翻滚部件，能够产生玉米籽粒的多姿态信息，使获得含胚面图片的成功率达到90%， 解决了人工摆设籽粒的问题。同时， 以SIFT特征为判别依据，使用SVM进行分类，单倍体识别率达95%。

参考文献：

[1]Germanà M A. Gametic embryogenesis and haploid technology as valuable support to plant breeding[J].Plant cell reports, 2011, 30(5): 839-857.

[2]刘培勋, 刘和平, 罗仁革,等.单倍体诱导技术在玉米育种中的应用[J].种子,2014,33(5): 49-52.

[3]刘传兵, 王黎明, 杜世凯, 等.玉米单倍体诱导育种关键技术[J].现代农业科技,2011 (2): 89-90.

[4]才卓，徐国良.玉米单倍体育种研究进展[J].玉米科学，2008,16(1)：1-5.

[5]才卓，徐国良，刘向辉，等.玉米高频率单倍生殖诱导系吉高诱系3号的选育[J].玉米科学，2007,15(1)：1-4.

[6]蔡华, 马传喜, 乔玉强.小麦×玉米诱导小麦单倍体的形态学及细胞学鉴定[J].核农学报,2008, 22(2): 127-130.

[7]董春水，才卓.现代玉米育种技术研究进展与前瞻[J].玉米科学，2012,20(1)：1-9.

[8]杜胜利，韩毅科，魏爱民,等.黄瓜倍性鉴定方法的研究[J].园艺学报，2002, 29(3)：280-281.

[9]赵延明，董树亭，张锁良，等．玉米单倍体育种技术研究与应用进展[J]．玉米科学，2007,15(5)：60-64.

[10]Liu Jin, Guo Tingting, Yang Peiqiang, et al.Development of automatic nuclear magnetic resonance screening system for haploid kernels in maize[J].Transactions of the Chinese Society of Agricultural Engineering,2012,28(S2):233-236.

[11]宋鹏，吴科斌，张俊厚，等.基于计算机视觉的玉米单倍体自动分选系统[J].农业机械学报，2010,41(增刊)：249-252.

[12]宋鹏，吴科斌，张俊雄，等.玉米单倍体籽粒特征提取及识别[J].农业机械学报，2012，43(3)：168-172.

[13]Lowe D G. Object recognition from local scale invariant keypoints[C]//International Conference on Computer Vision,1999:1150-1157.

[14]Lowe D G.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[15]Cortes C, Vapnik V. Support vector networks[J].Machine Learning, 1995, 20: 273-295.

[16]Chen P H, Lin C J, Schölkopf B. A tutorial on ν-support vector machines[J].Applied Stochastic Models in Business and Industry,2005, 21(2): 111-136.

[17]韩仲志，杨锦忠．多类支持向量机在玉米品种识别中的应用[J]．农机化研究，2010,32(11):159-163．

Automatic Separating System of Maize Haploid Based on Machine Vision

Li Weijun1, Liu Yumei1,2, Chen Shaojiang3, Qin Hong1, Liu Jin3, Tian Zhen1,2

(1.Institute of Semiconductors, Chinese Academy of Science, Beijing 100083, China; 2.College of Information and Control Engineering, China University of Petroleum(Huadong), Qingdao 266580, China; 3.National Maize Improvement Center, China Agricultural University, Beijing 100193, China)

Abstract：A high-throughput maize haploid screening system was designed based on computer vision, which automatically separated the maize haploid kernels after hybrid induction with genetic marks. The system was composed of four parts: the transmission module, the rugged slope module, the signal acquisition & processing module and the kernel separating module. The uneven surface texture was made on the rugged slope module, in order to get various gestures of maize kernel during their falling process. Now, success ratio for getting pictures with embryo was 90%. The signal acquisition & processing module identified maize kernel by SIFT extracted from maize embryo, then transmitted the classification information to the kernel separating module. Maize kernels were separated by the movement of straight slipway according to the classification result. Test results showed that the correct recognition rate of maize haploid was 95%, and the automatic separation could be successfully realized by this system.

Key words：SIFT feature； Haploid recognition； Separation system； computer vision； maize

文章编号：1003-188X(2016)01-0081-05

中图分类号：S333.5；TP391.4

文献标识码：A

作者简介：李卫军(1975-)，男，湖北蕲春人，研究员，博士，博士生导师，(E-mail) wjli@semi.ac.cn。

基金项目：国家重大科学仪器设备开发专项(2014YQ470377)；北京市科技计划项目(D131100000413002)

收稿日期：2014-12-30