基于全景图像的玉米果穗流水线考种方法及系统

杜建军，郭新宇，王传宇，肖伯祥



基于全景图像的玉米果穗流水线考种方法及系统

杜建军，郭新宇※，王传宇，肖伯祥

（1. 北京市农林科学院 北京农业信息技术研究中心，北京 100097；2. 数字植物北京重点实验室，北京 100097）

为提高玉米果穗考种效率和精度，该文提出一种基于全景图像的玉米果穗流水线考种方法和系统。利用托辊传送装置实现果穗自动连续推送，基于工业相机自动检测果穗运动状态并实时采集图像，获取覆盖果穗全表面的图像序列；建立果穗运动、摄像机成像、表面拼接关系，从图像序列中抽取果穗中心畸变最小区域拼接出果穗表面全景图像；最后，结合果穗边界检测、籽粒分割和有效性鉴定等技术提取出果穗表面上有效籽粒。试验结果表明，该文方法和系统较好地平衡了玉米果穗考种的效率和精度，图像采集和计算平均效率达15穗/min和4穗/min，穗长和穗行数指标计算精度可达99%和98.89%，可为研发全自动、高通量玉米果穗表型检测装置提供有益借鉴。

图像处理；机器视觉；图像分割；玉米果穗；表型性状；图像拼接；全景图像；考种

0 引 言

玉米果穗考种是玉米遗传育种及田间测产的重要环节。长期以来，如何快速、高效、准确、低成本完成玉米果穗考种是困扰玉米育种工作者的难题。传统考种主要是雇佣大量人工来完成简单而繁琐的计数和测量工作，不但成本高耗时长，而且测量结果主观性大。近年，基于机器视觉的自动和半自动考种方式已成为一种趋势，相继研发了单果穗[1]、多果穗考种[2]、果穗流水线[3-4]、及集成化果穗考种系统[5-6]等。这些系统分别针对不同玉米育种场景，力图满足用户特定的果穗考种需求，并开始逐渐成为现代玉米种业信息化中重要组成部分。

迄今，如何提升玉米果穗考种效率和测量精度仍是玉米果穗考种方法和系统所需面临的严峻挑战。果穗考种系统效率，主要由果穗上下料效率、成像效率和计算效率决定。果穗上下料效率，是提升整个玉米果穗考种效率的关键步骤，大部分考种系统仍然需要人工协助完成单个或者多个果穗在成像区中的上下料，自动化程度不高，借助自动化机械装置实现批量果穗自动运输、无监督成像和高通量表型检测，是将来玉米果穗全自动考种系统发展趋势。另外，图像采集效率也对考种效率有直接影响，这主要与系统采用的成像元件及成像方式有关，采用线阵扫描[7-8]、平板扫描[9-10]、点云扫描[11-12]和数码摄像[13-14]等不同成像方式导致系统设计、数据采集和后期处理方案的显著差异。例如，线阵扫描和平板扫描仪能够获取果穗高精度图像，但是成像效率远低于数码摄像，而工业相机因其低成本、高效率、工作稳定和使用方便等已成为玉米考种系统采用的主要成像设备。

果穗考种精度，主要由果穗图像数量、质量及相应图像分析方法决定。果穗表型计算方法可根据果穗图像数量分类，即基于单张[2,15-17]、多张[5,18-19]和序列图像[19-20]的表型计算方法。基于单张果穗图像，指仅利用果穗单个侧面图像来计算和预测果穗表型性状指标，具有计算简单、效率高等优点，但果穗表面信息缺失导致表型测量结果精度低、稳定性差。基于多张果穗图像，是利用多个相机从不同角度同步获取果穗主要侧面图像，或者利用单个相机获取旋转平台等装置上果穗的不同侧面图像。基于果穗序列图像，则是利用数字摄像机连续获取玉米果穗几十张侧面图像，然后拼接出果穗表面图像来计算果穗性状。

本文提出了玉米果穗流水线考种方法和系统，旨在解决玉米果穗考种中面临的效率和精度问题。在系统开发上，利用步进电机驱动的托辊式玉米果穗传动装置，自动完成果穗的快速上下料工序并采集果穗密集的侧面图像序列，提高玉米果穗考种的通量和自动化程度；在方法设计上，建立果穗运动模型来综合利用果穗不同侧面信息，生成包含完整表面籽粒分布的果穗表面全景图像，用于计算果穗几何、数量、颜色、纹理等表型性状。

1 玉米果穗流水线考种系统

玉米果穗流水线考种系统样机包括成像单元、计算单元和果穗传动单元，如图1所示。果穗传动单元由步进电机、辊筒、托辊和链条组成，其中托辊采用耐磨防滑材料包裹，整体黑色喷漆，托辊直径及托辊间隔保证果穗能够在相邻托辊之间稳定且无滑移滚动，托辊平移速度为121像素/s。成像单元采用2个30 W的LED投光灯照明，摄像机采用125万像素的高帧率CCD工业相机（大恒MER-125系列，1/3″ CCD传感器，30 fps）。摄像机图像采集的工作帧率约为15 fps，图像采用JPEG格式保存，分辨率为1 292×964像素，像素尺寸3.126×10-2cm/像素。

图1 玉米果穗流水线考种系统

考种系统利用开源图像处理包OpenCV完成图像处理功能，并基于Visual C++开发果穗状态检测、图像采集、图像拼接、表型计算和统计分析等模块。其中，状态检测模块是判定成像区域内是否新进入了玉米果穗，从而触发图像采集；图像采集模块，实时采集成像区域内果穗运动图像；图像拼接模块，是将果穗图像序列进行综合分析和处理，生成玉米果穗表面全景图；表型计算模块，计算玉米果穗的各项表型参数；统计分析模块，是对批量果穗的考种结果进行汇总分析，输出通用的CSV（comma-separated values，CSV）表格文件。

系统工作过程：启动考种系统后，在进料口将玉米果穗放入托辊之间，果穗即随托辊滚动进入摄像机成像区域；状态检测模块一旦检测到新的果穗，为该果穗生成全局唯一标识，并启动该果穗的图像采集模块，将连续拍摄的果穗图像序列保存到专用果穗文件目录下；当果穗退出成像区后，系统将采集的果穗图像信息发送给表型计算模块。可以看出，系统中状态检测模块、图像采集和表型计算模块之间相互独立，通过状态和数据流联系在一起，保证了系统工作的实时性和稳定性。

2 玉米果穗表型测量方法

2.1 果穗状态检测

实时检测果穗进入或退出成像区状态，是实现果穗图像自动采集、存储和分析的重要前提。成像区域内果穗滚动时间由步进电机转速确定，该转速为系统参数，转速越大则果穗运动速度越大，果穗在成像区内逗留时间越短，采集果穗图像也越少。另外，图像采集线程中需加入一些状态检测和图像存储等操作，也将降低图像采集帧率。因此，果穗状态检测模块需要兼顾检测精度和采集效率，在给定转速条件下能够保证系统采集足够数量的玉米果穗图像，本文将采集到的果穗图像表示分别表示为1，2，…，F，其中表示图像数量。

系统运行中，果穗始终从进料口滚动到出料口，在摄像机成像区中果穗也总是从图像一侧滚动到另外一侧。因此，在图像上果穗入口和出口区域分别设置2个小的检测区域1和2，作为果穗状态检测区，状态检测程序通过实时分析这些小区域信息进行状态判定。2个检测区域大小影响到状态检测效率和精度，区域间距离必须大于待测果穗的最大周长，使得采集的果穗图像序列能够覆盖果穗完整表面。

状态检测模块的设计原则是简单实用，本文利用果穗与托辊链条等背景元素之间的颜色差异来检测果穗状态。利用多组果穗进行测试，实时统计计算检测区域在RGB、HSV和LUV颜色空间下的颜色均值及多种颜色算子[21-23]，从中选择检测准确率最高的颜色指标及对应的状态阈值。值得注意的是，采用的颜色指标及其阈值与果穗颜色和光环境密切相关，在实际考种工作中，可将待测果穗放入系统中运行几次来确认这些系统参数，其原则是：在系统空转下不能触发出图像采集；放入果穗后即可触发图像采集。在图像采集线程中植入状态检测程序后，采集效率从30 fps下降到15 fps左右，果穗在成像区域内果穗滚动时间约为5 s，因此单个果穗仍可获取超过70张果穗图像。

因此，单个果穗采集图像数量与机构运动速度、相机帧率、状态检测效率、计算机性能等因素有关，图像数量决定了后期图像分析和表型计算的效率和精度。一般而言，图像越多，后期进行果穗表面拼接精度越高，但计算效率也越低。

2.2 果穗运动-成像-拼接

设果穗为圆柱体，则系统中果穗运动可以分解为整体平移和绕果穗中心轴旋转2种运动分量，托辊、摄像机和果穗三者关系如图2所示。1代表托辊中心运动平面，2为果穗中心运动平面，3为果穗运动的上切平面；1为摄像机到平面1距离，2为摄像机到平面2距离（与果穗半径相关），为托辊半径，为果穗半径，为相邻托辊中心的距离；为玉米果穗中心点到摄像机的连线与摄像机光轴方向的夹角，点为果穗中心点到摄像机的连线与果穗表面的交点。图2表示的果穗状态为：果穗运动到位置，果穗距离摄像机光轴方向距离为，此时摄像机拍摄的果穗成像中心为点。

进一步，设果穗进料口在左侧、出料口在右侧，因此托辊在1平面上顺时针滚动，并带动果穗在2平面上从左向右平动，同时果穗在与托辊间摩擦作用下绕着果穗轴心点逆时针滚动。摄像机拍摄的果穗图像中，果穗成像中心点是总是距离摄像机镜头点最近的果穗表面上点，果穗成像中心与果穗的实际位置点之间存在一一映射关系。

在图2中，摄像机高度、托辊半径、托辊间距、果穗运动速度为已知系统参数。果穗半径、果穗位置是未知量，需根据果穗图像计算。以摄像机中心点为坐标原点建立整体坐标系，摄像机光轴垂直向下为轴，果穗运动方向为轴，则果穗在平面上滚动。摄像机位置固定，因此采集图像的中心点对应于摄像机光轴与平面的交点′，以该点为坐标原点建立图像坐标系，则沿图像宽度方向为轴，高度方向为轴，采集的果穗图像均可表示为(,)。图3显示了对单个果穗依次采集到的50张图像，可以看出果穗在图像序列中处于不同位置，并且沿着图像轴从左往右滚动。

注：P1为托辊中心运动平面，P2为果穗中心运动平面，P3为果穗运动的上切平面；h1为摄像机到平面P1距离，h2为摄像机到平面P2距离，R为托辊半径，r为果穗半径，d为相邻托辊中心的距离；α为果穗和托辊中心的连线与P1的夹角，β为直线OD与Y轴的夹角；C点为直线OD与果穗表面的第1个交点，O点为摄像机中心，O′为成像中心点。

图3 单个果穗图像序列（依次从左往右、从上到下）

2.2.1 玉米果穗分割

果穗颜色特征明显且图像背景较单一，利用果穗颜色特征可以较方便分割出玉米果穗，其流程可描述为：利用果穗颜色特征分割出果穗，并结合形态学中开、闭运算改善果穗形状，得到仅仅包含玉米果穗的二值图像，表示为(,)。其中，利用形态学运算操作填充果穗内部孔洞、改善果穗边缘形状，使得果穗区域形成一个整体。在(,)图像中，根据果穗轮廓形状可以直接计算出果穗的矩形包围盒（rectangle bounding box，RBB）和方向包围盒（oriented bounding box，OBB），进而计算出果穗的形状参数，如果穗长、粗、半径和中心轴[15]。为简化起见，将玉米果穗视为圆柱体，假设其滚动过程中的果穗中心轴平行于图像轴，因此果穗中心轴表示为()，即该果穗中心位置只与果穗水平运动位置有关。针对图像序列计算出的中心轴序列表示为1，2，…，I，每个中心轴对应一张果穗图像；果穗半径表示为1，2，…，r。由于果穗距离摄像机距离不断变化，而且果穗也并非标准圆柱体，因此从果穗图像序列中计算出的果穗直径将存在一定差异。

2.2.2 从图像序列到表面全景图

从每张果穗图像计算出果穗半径后，即可利用系统参数计算出与果穗形状相关参数，2和。在果穗图像序列中，对果穗当前运动位置，可计算出摄像机拍摄角度，对应的实际成像点为果穗表面上距离摄像机最近的点，也就是果穗表面全景图上位置′。上述计算过程如下式：

式中与玉米果穗形状和运动状态相关的参数,,2和，需要根据每张果穗图像进行计算。从果穗图像序列中，依次计算出果穗中心轴序列()后，根据式（1）计算出果穗展开图像中对应的位置序列′(′)，并将其表示为′1，′2，…，′。

2.2.3 果穗表面全景图像拼接

玉米果穗中心轴()代表包含了()的具有一定宽度的裁剪区域RC()，在果穗表面全景图像中也对应着大小相等的填充区域RC′(′)。因此，果穗表面全景图像生成过程，是依次从果穗图像序列的(,)图像中提取RC()，将其拼接到(′,)图像上对应的区域RC′(′)中的过程，其中RC()和RC′(′)的宽度未知。在计算出的中心轴序列′(′)中，相邻中心轴间距离并不相等，RC′(′)的宽度由当前中心轴′与其相邻中心轴′-1和′+1计算。设′表示第张果穗图像的中心轴′对应的展开图像上坐标，表示填充和裁剪区域的高度（通常设置为原始图像高度），需先计算出填充区域，进而确定对应裁剪区域，最后将裁剪区域图像拼接至全景图像中的填充区域中：

根据式（2），系统在进行果穗图像采集时即可完成果穗表面图像拼接：从每帧图像中计算出果穗中心轴，进而计算出果穗展开表面上中心轴，即可确定待填充区域，然后从果穗图像中提取相应的裁剪区域，将其拼接到果穗展开表面上，过程如下：

1）从图像序列中依次提取果穗中心轴1，2，…，I；

2）计算出中心轴I在果穗表面全景图中位置后，根据式（1）计算出对应的中心轴′；

3）计算出中心轴′的边界，并计算出中心轴′对应的区域RC′；

4）从果穗图像上提取对应图像RC，将其填充到表面全景图像(′,)的对应的RC′区域。

图4 果穗表面拼接

图4显示了玉米果穗表面全景图像，可以看出果穗裁剪区域间存在较明显的拼接痕迹。主要是因为果穗并非规则圆柱体，滚动过程中果穗的中心轴不规则转动，使得裁剪区域与拼接区域所代表的果穗表面特征并不完全一致，导致拼接边缘的像素错位。拼接错位程度与果穗规则形状和复杂滚动特征相关，不同形状果穗的错位程度不同，且果穗不同部位的错位程度也有差异。从图像区域I、II和III的放大图可以看出，果穗中籽粒均由2张以上的相邻果穗图像拼接而成，即果穗表面上任一颗籽粒需要采用多张果穗图像的信息。图4中IV区域存在较明显的拼接错位，视觉上判断上下错位约为3个像素，在横截面直径较大的果穗中部区域的拼接错位程度比顶部和底部区域小，这主要是果穗径向畸变导致[18]。

2.3 果穗表面图像分析

为了拼接玉米果穗表面全景图像，系统采集的果穗图像序列必须覆盖玉米果穗各侧面。在大批量玉米果穗考种中，不同品种、类型果穗的直径差异往往较大，通常根据果穗平均直径来确定图像采集区域。因此，基于果穗图像序列拼接出的果穗全景表面是冗余的，需要检测果穗表面边界，即计算出果穗表面的有效区域。

注：图e-f中矩形框表示了果穗表面有效区域。

图5a为果穗表面全景图像(′,)，果穗有效区域设为以图像中心为中心、高度为图像高度、宽度等于果穗周长的图像区域，表示为ROI(′,)，如图5e-5f中所示。从果穗图像序列中计算出果穗半径1，2，…，r后，根据下式计算果穗表面有效区域：

式中为果穗周长。

在图5e所示果穗表面有效区域中，其两侧边界线可能与籽粒区域相交，仅对有效区域进行分割将难以确保边界上籽粒完整性。因此，先从果穗表面全景图(,)中分割出籽粒图像(,)，然后判断每个籽粒中心点是否位于ROI(,)区域内，进而确定果穗表面有效籽粒。

在图像6b所示的果穗灰度图像中，籽粒区域的灰度值较高但区域间间距较小，且籽粒间缝隙区域的灰度值较低，采用简单阈值分割容易出现过分割或欠分割[24]。果穗表面上籽粒密集排列，为拆分这些紧密粘连在一起的籽粒，设计了基于籽粒亮度和面积控制的适应性阈值分割流程：利用逐渐递增阈值对灰度图像进行阈值分割，首先提取出灰度值较低且满足预设籽粒面积条件的区域，然后将这些区域从灰度图像中删除，继续增加阈值分割出灰度值较高的籽粒区域，分割过程及其结果如图5c-5d。该方法可为图像中每颗籽粒找到与周围籽粒分离的最佳阈值，从而将紧密粘连籽粒区域拆分开[25-26]。试验表明该方法对籽粒拆分准确性高，但分割效果仍依赖于一些人工预设参数，比如籽粒面积、籽粒长宽比阈值等。过分割指提取了一些满足预设条件但不是籽粒的区域，欠分割体现在未完全分割出所有籽粒，如图5e。有大量方法可用于改进籽粒有效性判定结果，比如利用机器学习方法建立籽粒分类模型[27-28]，然后根据籽粒形状、颜色和纹理等特征对分割区域的有效性进行精确判定[15,29]。值得注意的是，果穗表面全景图中拼接边缘上存在较明显的颜色差异和亮度跳跃，但基于阈值分割的籽粒在较大程度上弱化了拼接痕迹。将分割出的区域表示为(,)，区域个数为，则分割结果表示为：

对(,)中每个籽粒，根据其位置判定是否包含在果穗表面有效区域ROI(,)中：计算每个籽粒区域的形状中心，若该中心点位于有效区域内部，则视为有效籽粒，并将其保存到有效籽粒图(,)中。对应的果穗表面全景图分割结果如图5f，将其表示为：

玉米果穗考种的几何和数量等表型性状可根据果穗表面全景图的分析结果进行计算。其中果穗穗长、粗等几何性状由果穗有效区域ROI(,)确定，穗行、行粒和总粒等数量性状则可从全景图中有效籽粒图(,)计算出[18]。

3 试验与结果分析

3.1 试验环境

玉米果穗流水线考种系统采用的计算硬件为i7-7700T处理器的一体机，具有2.9 GHz主频，8 GB内存，4GB GDDR3显存（显卡NVIDIA GeForce 930MX）。

随机选用200个玉米果穗作为试验样本。首先人工测量和统计穗长、穗粗、穗行数、行粒数、总粒数等指标，然后统一利用流水线考种系统计算果穗表型参数，最后对果穗表型的测量值和计算值进行统计分析。

3.2 测量效率

系统考种工作中，需2人协同完成果穗编号、分组及上下料工序，系统图像采集效率为12穗/min，加上穗质量测量和计算机辅助录入等时间，总耗时为1.5 h。图像数据采集完成后，启动果穗批量计算模块，表型计算效率为4穗/min，总耗时约1 h。在流水线考种系统中，需要人工操作的主要是穗质量测量和上下料环节，后期图像处理和表型计算均可自动运行，如果整合自动化穗质量测量和上下料装置将进一步提高考种效率。流水线考种系统的表型检测结果不仅输出易人工测量的果穗几何和数量性状，也可计算出穗体积[30]、颜色、纹理等性状。

人工考种试验投入5人，依次完成果穗长、穗粗、穗行、行粒、总粒数的测量和统计，总耗时累计40 h，其中果穗总粒数统计耗时最多，占总时间88%。人工测量的表型指标相对有限且效率较低，机器考种效率可达人工考种效率16倍以上。

3.3 测量精度

表1列出了果穗表型统计分析结果，其中精度计算如下

不同品种玉米果穗样本中穗行数均值为16.11，标准差为1.68，这些样本基本覆盖了从12到20行的常见果穗类型，而且穗行数计算值与实测值间相关系数为0.996。果穗行粒数是指从穗基部到穗顶部之间可排成一列的最多籽粒数，人工测量行粒数的主观性较大，一般人为选择粒数较多的一列进行计数，人工测量方法和系统计算方法的差异使得两者相关系数仅为0.757，均值相差2.73粒，其中人工测量的标准差略大于系统计算的标准差。

表1 玉米果穗主要表型指标试验结果

果穗总粒数与玉米产量直接相关，是重要的产量性状。所有果穗样本中，总粒数计算与测量均值分别为623.76粒和619.74粒，相差4.02粒，两者相关系数为0.970。由于果穗上籽粒的人工计数非常耗时费力，传统上利用“穗行数×行粒数”来估算总粒数，但该方法计算出的总粒数均值达653.2粒，与人工实测值相差33.46粒，主要是行粒数计算误差放大了总粒数差异，表明利用该方法估算总粒数精度较差。另外，穗长和穗粗的计算值和测量值间相关系数分别为0.975和0.906，测量精度分别为98.89%和95.37%。

3.4 系统性能讨论

玉米果穗表型测量效率和精度是评价玉米果穗考种系统性能的主要依据。采用的托辊传送装置在很大程度实现了果穗上下料和图像采集过程自动化，通过提高传动机构转速也可直接增加果穗考种通量，但存在以下问题：转速增加后，果穗滚动平稳性变差；果穗图像数量减少；图像中果穗出现拖影。果穗形状并非规则圆柱体、且表面籽粒凹凸不平，低速状态可在果穗与滚筒间摩擦力作用下围绕中心轴滚动，速度太快果穗滚动轨迹难以预测。另外，采集图像数量除了与果穗滚动速度有关外，还与摄像机性能有关，采用更高帧率的CCD相机能够有效增加单位时间内采集图像数量，另外加强环境光照、降低相机曝光时间也可以一定程度上提高相机帧率、防止拖影。综合考虑上述因素，系统通过大量测试不同类型果穗来确定合理转速，然后选择合适工业相机、配置理想光照环境来满足图像采集质量和数量的要求。

玉米果穗测量效率和精度均与采用的果穗图像数量有关。基于单张果穗图像的考种系统可以获得较高果穗测量效率，达30穗/min[2]或600 ms/穗[4]。然而，这类系统的高效率牺牲了果穗测量精度，单张图像中包含的果穗表面信息不完整，只能通过设计估算模型来计算穗行数等性状，穗行数和行粒数的计算精度可达93%。采用多个摄像机同步获取多张果穗图像明显提高了测量精度，主要性状测量精度可达99%，但硬件成本明显上升且果穗测量效率明显降低，处理速度为4穗/min[5]。本文提供的方法和系统较好平衡了果穗考种效率和精度，具有以下特点：采用1个摄像机实现果穗信息高效采集，单个果穗采集的图像数量超过70张，可以准确、完整获取果穗果穗表面信息，采集效率达15穗/min；由于图像分析是较耗时的操作，难以做到实时处理，果穗图像采集完成后送入计算机后台计算，计算效率为4穗/min；新颖的果穗表面全景成像技术，可直观、完整表征果穗表面上籽粒的数量和分布信息，由此计算出的穗行数和总粒数等指标准确率均超过97%。

值得指出的是，考种系统性能仍有进一步提升空间。比如，同时采集多个果穗的图像，然后通过图像裁剪自动生成各个果穗的图像序列，可以成倍提高考种通量；在保证表型计算精度条件下，合理减少采集图像数量也可减轻图像数据存储压力、提高图像处理效率。这是将来研究所需解决的问题。

4 结 论

本文分析了限制玉米果穗考种效率和精度的主要因素，提出了一种基于全景图像的玉米果穗流水线考种方法和系统。该系统利用果穗自动托辊式传动机构实现批量果穗自动连续推送，采用工业摄像机自动检测果穗运动状态，并根据状态触发实时图像采集，获取覆盖果穗全表面的图像序列，图像采集效率达15穗/min。基于果穗图像序列，从中抽取果穗图像中心畸变最小区域，拼接成真实表征玉米果穗表面信息的全景图像，并结合图像处理技术提取出果穗表面有效籽粒，计算出果穗数量和几何性状，计算效率为4穗/min。相比基于单张和多张果穗图像的考种方法，提出的基于果穗表面全景图像的表型计算方法更充分利用了果穗完整信息，有利于揭示果穗的个性化性状，穗长、穗粗、穗行数、行粒数和总粒数计算精度分别为99%、91.84%、97.15%、98.89%和95.37%。该方法和系统较好满足了玉米果穗考种的效率和精度要求，为研发新一代玉米果穗全自动、高通量表型检测装置提供了有益借鉴。

[1] 吕永春，马钦，李绍明，等. 基于背景板比例尺的玉米果穗图像特征测量[J]. 农业工程学报，2010，26(增刊2)：43－47.

Lü Yongchun, Ma Qin, Li Shaoming, et al. Image features measurement of maize ear based on background plate scale[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 43－47. (in Chinese with English abstract)

[2] 周金辉，马钦，朱德海，等. 基于机器视觉的玉米果穗产量组分性状测量方法[J]. 农业工程学报，2015，31(3)：221－227.

Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[3] 肖伯祥，王传宇，郭新宇，等. 玉米考种自动化流水线机构设计与仿真[J]. 系统仿真学报，2015，27(4)：913－919.

Xiao Boxiang, Wang Chuanyu, Guo Xinyu, et al. Automatic pipelining mechanism design for maize ear analysis[J]. Journal of System Simulation, 2015, 27(4): 913－919. (in Chinese with English abstract)

[4] 吴刚，陈晓琳，谢驾宇，等. 玉米果穗自动考种系统设计与试验[J]. 农业机械学报，2016，47(增刊1)：433－441.

Wu Gang, Chen Xiaolin, Xie Jiayu, et al. Design and experiment of automatic variety test system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(Supp.1): 433－441. (in Chinese with English abstract)

[5] 宋鹏，张晗，王成，等. 玉米高通量自动考种装置设计与试验[J]. 农业工程学报，2017，33(16)：41－47.

Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[6] 王洪稷，罗小林，宋鹏，等. 玉米自动考种流水线控制系统设计—基于MCGS嵌入式组态软件[J]. 农机化研究，2017，39(2)：196－199.

Wang Hongji, Luo Xiaolin, Song Peng, et al. Application situation and development route of the full-feeding peanut stripper[J]. Journal of Agricultural Mechanization Research, 2017, 39(2): 196－199. (in Chinese with English abstract)

[7] 柳冠伊，杨小红，白明，等. 基于线阵扫描图像的玉米果穗性状检测技术[J]. 农业机械学报，2013，44(11)：276－280.

Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[8] 刘松林，哈长亮，郝向阳，等. 基于机器视觉的线阵CCD相机成像几何模型[J]. 测绘科学技术学报，2006，23(5)：387－390.

Liu Songlin, Ha Changliang, Hao Xiangyang, et al. Line scanor cameras imaging model based on machine vision[J]. Journal of Zhengzhou Institute of Surveying and Mapping, 2006, 23(5): 387－390.(in Chinese with English abstract)

[9] 陈鲤江，刘铁根，王磊，等. 用平板扫描仪及图像处理方法检测大米粒型[J]. 红外与激光工程，2006，35(增刊4)：402－407.

Chen Lijiang, Liu Tiegen, Wang Lei, et al. Detection of rice kernel shape using flatbed scanning and image processing[J]. Infrared and Laser Engineering, 2006, 35(Supp.4): 402－407. (in Chinese with English abstract)

[10] 贾佳，王建华，谢宗铭，等. 计算机图像识别技术在小麦种子精选中的应用[J]. 中国农业大学学报，2014，19(5)：180－186.

Jia Jia, Wang Jianhua, Xie Zongming, et al. Wheat seeds selection based on computer image recognition technique[J]. Journal of China Agricultural University, 2014, 19(5): 180－186. (in Chinese with English abstract)

[11] 温维亮，郭新宇，杨涛，等. 玉米果穗点云分割方法研究[J]. 系统仿真学报，2017，29(12)：3030－3034.

Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030－3034.(in Chinese with English abstract)

[12] 温维亮，王勇健，许童羽，等. 基于三维点云的玉米果穗几何建模[J]. 中国农业科技导报，2016，18(5)：88－93.

Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88－93.(in Chinese with English abstract)

[13] 韩仲志，杨锦忠. 计数玉米穗行数的机器视觉研究[J]. 玉米科学，2010，18(2)：146－148.

Han Zhongzhi, Yang Jinzhong. Vision research on the machine of counting ear rows in maize[J]. Journal of Maize Science, 2010, 18(2): 146－148.(in Chinese with English abstract)

[14] 张帆，李绍明，刘哲，等. 基于机器视觉的玉米异常果穗筛分方法[J]. 农业机械学报，2015，46(增刊1)：45－49.

Zhang Fan, Li Shaoming, Liu Zhe, et al. Screening method of abnormal corn ears based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.1): 45－49.(in Chinese with English abstract)

[15] 杜建军，郭新宇，王传宇，等. 基于分级阈值和多级筛分的玉米果穗穗粒分割方法[J]. 农业工程学报，2015，31(15)：140－146.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[16] 刘长青，陈兵旗. 基于机器视觉的玉米果穗参数的图像测量方法[J]. 农业工程学报，2014，30(6)：131－138.

Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[17] Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169－178.

[18] 杜建军，郭新宇，王传宇，等. 基于穗粒分布图的玉米果穗表型性状参数计算方法[J]. 农业工程学报，2016，32(13)：168－176.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168－176. (in Chinese with English abstract)

[19] 王传宇，郭新宇，吴升，等. 基于计算机视觉的玉米果穗三维重建方法[J]. 农业机械学报，2014，45(9)：274－279.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)

[20] 王传宇，郭新宇，吴升，等. 采用全景技术的机器视觉测量玉米果穗考种指标[J]. 农业工程学报，2013，29(24)：155－162.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155－162. (in Chinese with English abstract)

[21] Meyer G E, Neto J C, Jones D D, et al. Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images[J]. Computers & Electronics in Agriculture, 2004, 42(3): 161－180.

[22] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282－293.

[23] 张志斌，罗锡文，臧英，等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报，2011，27(7)：183－189.

Zhang Zhibin, Luo Xiwen, Zang Ying, et al. Segmentation algorithm based on color feature for green crop plants[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 183－189. (in Chinese with English abstract)

[24] AI-amri S S, Kalyankar N V, Khamitkar S D. Image segmentation by using threshold techniques[J]. Computer Science, 2010, 2(5): 83－86.

[25] Patra S, Gautam R, Singla A. A novel context sensitive multilevel thresholding for image segmentation[J]. Applied Soft Computing, 2014, 23(10): 122－127.

[26] Osuna-Enciso V, Cuevas E, Sossa H. A comparison of nature inspired algorithms for multi-threshold image segmentation[J]. Expert Systems with Applications, 2013, 40(4): 1213－1219.

[27] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 66－77.

[28] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. ACM Transactions on Internet Systems and Technology, 2011, 2(3): 1－27.

[29] Severini A D, Borrás L, Cirilo A G. Counting maize kernels through digital image analysis[J]. Crop Science, 2011, 51(6): 2796-2800.

[30] Du J J, Guo X Y, Wang C Y, et al. Three-dimensional reconstruction and characteristics computation of corn ears based on machine vision[J]. IFIP Advances in Information and Communication Technology, 2015, 420(4): 290－300.

Assembly line variety test method and system for corn ears based on panoramic surface image

Du Jianjun, Guo Xinyu※, Wang Chuanyu, Xiao Boxiang

(1.,100097,; 2.100097,)

The phenotypic traits of corn ear are important quantitative data in maize breeding and variety identification. In tradition, breeding workers are employed to deal with lots of corn ears by means of manual measurement and visual count, however this process is seriously labor-consuming and time-costing, and the measured traits are prone to be subjective and incomplete. In recent years, some semi-automatic systems based on machine vision and image analysis have been developed and applied to the maize variety test, however fully automated test system is still a challenge task owing to the strict high-throughput and high-precision requirements in large-scale maize breeding. To balance efficiency and accuracy of variety test for corn ears, in this paper, a high-throughput phenotypic measurement method and system based on panoramic surface image is proposed. Firstly, a novel mechanic system is proposed, which automatically conveys corn ears above a chain-roller structure, while the rolling corn ears are continuously imaged by a fixed industrial camera that is perpendicular to the moving plane of corn ear. In only several seconds, dozens of side images in which corn ears are in different positions can be collected to generate the image dataset of single corn ear. By analyzing the movement state of corn ear, a transformation model which describes the relationship among ear roll, camera imaging and surface position is then built to bridge the image sequence and the panoramic surface image of corn ear. Corn ears in the image sequence are respectively segmented and the center axes are dynamically determined by figuring out the shape and bounding box. This model always extracts the most appropriate sub regions of corn ear from image sequence, and then stitches them to the calculated positions on the panoramic surface image. As a result, the panoramic image of corn ear demonstrates the three-dimensional surface information in a two-dimensional image, and thus provides more intuitive and complete way for phenotyping calculation of corn ear. The valid surface region of corn ear in the panoramic image is further determined by the boundary detection technique that is performed by evaluating the perimeters of corn ear in the image sequence. Robust kernel segmentation based on hierarchical threshold method is also utilized to extract all candidate kernels which satisfy area and shape constraint, and some more restrictive filters based on machine learning methods, such as SVM (support vector machine), can also be taken to evaluate the validation of kernels. The segmented kernels in the panoramic image are used to calculate the total kernels, number of ear rows and kernels per row. The experimental results show that the proposed method and system can achieve optimized efficiency and accuracy balance. High-throughput convey mechanism improves the efficiency of image acquisition to 15 ears per minute. Compared with the methods based on single and multiple images, the variety test method based on panoramic surface image can make full use of the entire surface information of corn ear and reveal its individual phenotypic traits. The computation accuracies of ear length, ear diameter, number of ear rows, kernels per row and total kernels are up to 99%, 91.84%, 97.15%, 98.89% and 95.37% respectively.

image processing; machine vision; image segmentation; corn ear; phenotypic trait; image mosaic; panoramic image; variety test

杜建军，郭新宇，王传宇，肖伯祥. 基于全景图像的玉米果穗流水线考种方法及系统[J]. 农业工程学报，2018，34(13)：195－202.doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

Du Jianjun, Guo Xinyu, Wang Chuanyu, Xiao Boxiang. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195－202. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

2018-03-13

2018-06-03

国家自然科学基金（31671577）；国家重点研发计划（2016YFD0300605-01）；北京市农林科学院创新能力建设专项（KJCX20180423）；北京市农林科学院数字植物科技创新团队（JNKYT201604）

杜建军，男，副研究员，主要从事作物表型、计算机图形图像、生物力学等相关技术研究。Email：dujj@nericta.org.cn

郭新宇，男，研究员，主要从事数字植物理论研究。 Email：guoxy@nercita.org.cn

10.11975/j.issn.1002-6819.2018.13.023

TP391.41; S333.3

A

1002-6819(2018)-13-0195-08