结合轻量级麦穗检测模型和离线Android软件开发的田间小麦测产

陈佳玮，李 庆，谭巧行，桂世全，王 笑，易福金，姜 东，周 济,5

·农业信息与电气技术·

结合轻量级麦穗检测模型和离线Android软件开发的田间小麦测产

陈佳玮1,2，李 庆3，谭巧行1，桂世全1，王 笑3，易福金4，姜 东3，周 济1,5※

（1. 南京农业大学前沿交叉研究院/植物表型组学研究中心/江苏省现代作物生产省部共建协同创新中心，南京 210095；2. 南京农业大学工学院，南京 210095；3. 南京农业大学农学院，南京 210095；4. 南京农业大学经济管理学院，南京 210095；5. 英国剑桥作物研究中心/英国国立农业植物研究所，剑桥 CB3 0LE，英国）

单位面积麦穗数是重要的产量构成因素之一，通过该性状和不同品种历史数据在田间完成对小麦产量的预估，对育种栽培和农业生产具有非常重要的意义。该研究基于小麦田间栽培试验提出了一套结合轻量级深度学习技术和小麦测产算法在Android（安卓）智能手机上离线分析单位面积穗数和田间测产的技术方案。首先介绍了手机标准化俯拍小麦冠层和手机端图像预处理算法，再根据灌浆期小麦冠层图像构建了MobileNetV2-YOLOV4深度学习模型对单位面积中的麦穗进行识别，然后结合迁移学习和TensorFlow.lite转换器完成了模型轻量化，最后通过Android SDK和SQLite构建了不同小麦品种在手机端的产量数据库和人机交互图形界面。开发的安卓软件“YieldQuant-Mobile”（YQ-M）可离线识别手机拍摄的麦穗数量，并在田间完成产量预测和结果输出等功能。基于从中国各小麦主产区中选择的80个代表性品种（共240个1 m2小区），使用YQ-M完成了这些品种的麦穗检测和小区测产研究。结果显示YQ-M的精确率、召回率、平均精确度和1分数分别为84.43%，91.05%，91.96%和0.88。单位面积测产结果和实际产量的决定系数为0.839，均方根误差为17.641 g/m2。研究表明YQ-M对麦穗识别精度高，在田间环境下测产结果和算法鲁棒性良好。此外，YQ-M还具有良好的扩展性，可为其他作物的离线智能测产提供借鉴，并为小麦研究和生产实践提供低成本、便捷可靠的田间测产方法。

模型；算法；产量；轻量级深度学习；麦穗计数；Android软件开发；小麦

0 引 言

小麦是世界上最重要的作物之一，也是中国主要的粮食作物之一。2019年全国小麦消耗量达1.28亿t，小麦产量的监测对保障中国国民经济和粮食安全，及时调整农业生产政策等方面具有重要意义[1]。产量估算不仅能帮助育种学家和农学家更快的进行种质评估、调整耕种，也能为产量保险等农经服务提供低成本的管理方式。但是，对产量估算受多种因素的影响，其中计算小麦理论产量涉及到3个重要的因素：单位面积麦穗数[2]、千粒质量和穗粒数[3]。所以，快速准确地量化统计田间小麦产量构成因素对作物高产育种、栽培和农业生产具有重要意义。传统估算方法一般基于人工田间调查[4]，不仅准确率低且对人力物力消耗较大，无法满足精准育种和智慧农业中快速可靠统计大量不同品种小麦产量数据的需求。因此目前多地点田间估产研究还处于初步探索阶段。

近年来，基于图形图像的处理技术，研究人员针对小麦冠层形态、麦穗计数和产量评估开展了一系列探索[5-7]。这些研究一般使用传统图像处理算法，依靠对颜色、光谱、纹理和形态等特征对冠层穗区进行分割。例如，Fernandez-Gallego等[5]应用傅里叶滤波和二维离散快速傅里叶变换（Fast Fourier Transform）将麦穗和背景区分开，通过形态学及滤波方法消除“非小麦”像素簇，从背景（如土壤等）中分割出麦穗像素。Zhou等[6]提出一种双支持向量机的方法，对颜色、纹理和边缘3种特征的直方图进行分析，寻找不同拍摄角度下麦穗特征的差异，并以此完成麦穗分割。李毅念等[8]通过提取麦穗图像的色彩饱和度，通过凹点检测匹配连线的方法对粘连麦穗实现分割，再结合千粒质量和穗粒数等参数计算产量。虽然上述方法相比于传统人工田间调查有了明显的进步，但这类方法依赖颜色、纹理和形态等特征，算法鲁棒性和计数准确度均有欠缺。

随着作物表型组学研究的快速发展，针对不同表型数据采集平台的性状处理算法趋于多样化[9-11]。通过结合机器学习和计算机视觉算法对复杂环境下麦穗计数的研究也有了较大的进展。针对田间检测麦穗性状这一问题，结合深度学习技术和最新公开的世界小麦麦穗训练集（Global Wheat Head Detection Dataset）[12]为该研究方向开辟了一条新的途径。例如，卷积神经网络（Convolutional Neural Networks，CNN）在小麦麦穗检测和图片分类中获得了较好的应用[13-14]。Zhao等[15]通过改进YOLOV5目标检测算法，对无人机获取的麦穗图片集进行训练，获得在田间复杂场景下的麦穗检测模型。Joshua等[16]结合监督式机器学习和图像处理，同时处理多序列麦穗图片，在提取多个种子轮廓的基础上完成麦穗计数。鲍文霞等[17]针对小麦在灌浆期麦穗密集的特点，使用点标注方法，在减少了输入拥挤场景识别网络（Congested Scene Recognition Network）计算复杂度的基础上估算麦穗密度。Alkhudaydi等[18]先通过田间分布式表型工作站收集不同品种的小麦图像序列，再通过完全卷积网络（Fully Convolutional Network，FCN）对图像进行语义分割，最后完成对穗区的量化分析。然而，以上检测需要在电脑端完成，很难在田间试验中大规模使用，因此在智能移动端快速可靠完成上述检测的需求正变得愈发迫切。

随着智能手机价格的下降及其计算处理能力日益强大，在手机移动端已可直接进行快速图片分类、分析和检测等任务[19]。例如，Lu等[20]在智能手机上开发了应用软件（APP）完成采集和传输图像，并通过服务器使用VGG16网络进行小麦病害检测，对患病小麦的检测准确率达96.6%。Al-Hami等[21]采用8位量化方法压缩AlexNet和VGG16，将模型大小分别减少了14%和10%以适应智能手机端的运行。然而，由于原始模型较大，即使通过模型量化（quantization）[22]，这类方法在手机终端的运行也十分缓慢，且需消耗大量计算资源。此外，以上方法对通信网络要求较高，因为核心功能和模型均部署在服务器端，一旦遇到网络不稳定、使用者较多或服务器不响应等情况，此类分析模式很难满足大规模田间试验和实时分析的要求。所以，如何能在离线条件下依靠智能手机的算力完成特征检测和田间测产显得尤为重要。

针对现有安卓端作物测产软件的缺失和云算模式存在的各类问题，本研究以灌浆期代表性小麦品种为研究对象，首先基于轻量级深度学习模型完成麦穗计数算法，在离线条件下对智能手机拍摄的单位面积中的穗数进行分析，进而基于与品种对应的千粒质量、穗粒数和积温等历史数据构建数据库，最后在安卓端结合麦穗计数和历史数据构建小麦测产应用软件。

1 材料与方法

1.1 田间试验及图像预处理

1.1.1 小麦产量三要素分析

基于Web of Science数据库对影响小麦产量因素的研究进行文献检索，使用基于Python编程语言的爬虫技术，利用抓取工具Scrapy（https://scrapy.org/）对2000—2021年小麦相关研究中与小麦产量和小麦产量构成因素的关键词进行爬取。共收集了影响小麦产量最关键的18个关键词，如品种、地区种植、播期、气候条件或病虫害等。对小麦产量影响最突出的三要素为单位面积穗数、穗粒数和千粒质量，其中有效穗数对产量贡献最大[23]。因此，本研究确立了对单位面积中的麦穗数这一关键产量性状开展研究的策略。

1.1.2 田间试验

为开发和验证测产结果，本研究从中国小麦各主产区选取了80个产量差异明显的冬小麦品种为田间试验材料。于2019－2020年小麦生长季在江苏省南京市溧水区南京农业大学白马基地种植（图1a、1b）。试验田块土壤质地为肥力均匀的黄壤土（图1c），含有机质7.6 mg/kg，全氮0.67 mg/kg，碱解氮66.03 mg/kg，速效磷 8.91 mg/kg，速效钾130.67 mg/kg。以上数据表明本试验土壤肥力偏低，可反映不同代表性小麦品种在相同氮肥处理下的产量差异，为测产算法的构建服务。

图2展示了本研究的数据采集和预处理过程。如图2a所示，田间试验采用裂区试验设计，共使用80个品种，设置为3个重复，共240个小区。采用人工开沟条播，于11月12号播种，小区种植4行，每行长1 m，行间距0.25 m，播种量150 kg/hm2，3叶1心期定苗至240株/m2，所有小区保持一致基本苗。氮肥为尿素（含N 46%），磷肥为过磷酸钙（含P2O512%），钾肥为氯化钾（含K2O 60%），磷、钾肥用量都为120 kg/hm2，氮肥基追比为5:5，全部的磷、钾肥及50%的氮肥作为底肥撒施，剩余50%于拔节期追施。其他田间管理措施同一般高产田。

1.1.3 图像获取

如图2b所示，图像数据是通过华为智能手机（Mate20 Pro下同）在田间小麦试验田中收集的。试验者手持拍摄杆，保持在小麦小区冠层上方1 m处拍摄。将智能手机固定在自拍杆上，通过水平仪保持水平，蓝牙控制手机后置摄像头朝向下方采集图像。数据采集时间在2020年5月2—5日。此时小麦正处于灌浆期，在天气为多云时或早晨自然光条件下采集图像，避免了强光对图像采集造成的过曝和色彩失真等问题。一次田间拍摄可收集240张图像（分辨率为3 968像素×2 976像素）。

1.1.4 图像预处理

采集图像后，对所有单个小区的图像进行手机端预处理。如图2c所示，原图采集到的是整个小区的顶视图片，能显示出小区中小麦的所有麦穗、冠层麦叶及背景土壤。如对整个小区进行目标检测，会造成模型算法识别时间过长、内存过度消耗和准确率低等问题。所以，使用了手机端OpenCV图像库（https://opencv. org/android/）对采集图像进行预处理，将原始图像9等分处理。自动化分割后的每一张等分子图像素值相同，便于训练和识别，以及在手机端完成麦穗分析。

1.1.5 数据集标注

采用矩形框对小麦麦穗进行标注，采用开源标注软件LabelImg（https://pypi.org/project/labelImg；图2d）。对麦穗进行人工标注，标注数据集以PASCAL VOC[24]数据集的格式存储，包括：图像尺寸（长宽以及通道数）、检测物体类别、检测框坐标（对应图片中、轴坐标值）等。经预处理，可完成对原始图像的9等分，单次数据采集所获得图像集可增至2 160张（分辨率为1 322×992像素），减少了训练过程中所需的计算资源，利于训练轻量级深度学习模型时的快速收敛。

1.1.6 数据增强

为了提高了模型的泛化能力，根据田间实际拍摄情况采用以下方法对数据集进行增强。如图2e所示：1）俯仰角调整：随机改变原图±15°的俯视和仰视角度，模拟采集中拍摄杆倾斜造成的角度偏差。2）翻转：对图像进行水平和垂直翻转，模拟采集图像时的随机性，该方法不会改变麦穗数量。为了提升训练集，通过数据增强将图像数据从2 160张增加到15 120张，并通过不同特征图像来避免深度学习训练中过拟合和不收敛等问题。3）添加噪点：对图像增加信噪比0.95的椒盐噪声，使模型对噪点具有更好的兼容性。4）灰度化：使模型对采集到的过曝图片进行识别。5）角度变换：对图像旋转一定角度，模拟麦穗位置改变。通过上述方法，共扩展得到15 120张图像集，其中12 096张为训练集（80%），3 024张为测试集（20%）。

1.2 麦穗检测模型的建立及安卓应用软件开发

1.2.1 小麦麦穗检测模型建立及训练

灌浆期小麦麦穗图像中麦穗较为密集，叶片与麦穗颜色特征差异不显著，因此需选取针对小目标检测效果良好的学习网络来构建模型。通过对各类检测模型的比较，本研究选择了结合MobileNetV2[25]和YOLOV4[26]网络来快速、高效地检测麦穗目标。如图3所示，本研究构建的麦穗检测模型兼顾了以上两种网络的特点。例如，MobileNetV2是Google专为移动和嵌入式设备设计的轻量级深度学习网络。YOLOV4算法则通过单个深度神经网络检测小目标物体对象的形态特征。使用数据增强后的数据集，训练结合后的学习模型，生成了记录模型训练网络参数的权重。其中，MobileNetV2的关键模块是倒残差结构（Inverted Residual Module，IRM）。IRM首先通过点式卷积将输入特征图通道数扩展6倍，然后进行深度卷积[27]和另外一个点式卷积。深度卷积会更改输入特征图的宽度和高度，并在第二个点式卷积中，降低特征通道数到输入数量[28]。YOLOv4使用的提取网络为CSPDarknet-53[29]，网络缺点是模型计算复杂，精确度高但需较多计算资源。

本研究采用MobilenetV2替换CSPDarknet-53，作为模型的特征提取网络，节省了模型计算所需硬件资源。再将倒残差结构与深度卷积相结合，调整输入图像尺寸。例如，YOLO模型原始的输入图像大小为256×256，但是输入图像过小导致检测精度降低，因此将输入图像分辨率从原来的256×256像素调整为416×416。改进之后的网络的第一层使用3×3的标准卷积，从第二层开始，网络将3×3的标准卷积分解为3×3的深度卷积和1×1的点式卷积。检测层从不同比例特征图中提取不同锚框（Anchor box）来进行麦穗检测。最后，模型使用检测层为每个锚定框中存在的麦穗生成预测的边界框和置信度分数，生成最终输出图像（图3b）。如图3b所示，将MobileNetV2的13个卷积层（即Conv1～Conv13）中的每一层输出的特征图进行可视化后，可从各层的特征图中观察到不同层在模型运行中对特征区域识别的结果，即图3b中Conv1～Conv13各层特征图中白色区域为模型激活区域，黑色区域表示模型忽略的区域。可以观察到早期层（Conv0～1，Conv2～3,Conv4～5）被麦穗状对象激活。但是，这些层只显示了局部纹理、颜色和细节形态特征，这是因为神经网络中的早期层只能识别较明显的特征。中期层（Conv6～11）主要集中于识别基于全局形状和轮廓等特征，即麦穗的轮廓区域。最后的卷积层（Conv12～13）保留了基于大小和纹理的特征，由于池化操作的重复应用而丢失了早期层提取的信息。

1.2.2 训练策略和参数设定

在模型训练过程中，使用了迁移学习方法[30-31]。从数据集上训练麦穗识别模型的后端模型即YOLOV4网络，得到预训练模型，然后将预训练模型加载到到特征提取网络MobileNetV2模型中，冻结前端网络的预训练参数，只对后端网络进重新训练和参数更新。训练平台为Windows10操作系统，运行内存为32 GB，使用了NVIDIA 2070 GPU加速。采用了Python3.6和TensorFlow1.15框架完成了软件实现。网络训练超参数设置为：subdivisions=8，momentum=0.9，decay=0.0005，learning_rate=0.001，batch = 64，steps=400000。

1.2.3 安卓端模型轻量化转换

TensorFlowLite是一组可帮助开发者在移动、嵌入式设备和IoT设备上运行各类基于TensorFlow[32]开发的模型工具，包括可用于移动应用软件开发的TensorFlowLite转换器和解释器[33]。TensorFlow训练完的模型需要转换为.tflite格式后才能在安卓上运行。首先，本研究使用了TensorFlow中的summary_graph和graph_transforms两个脚本将ckpt模型转换为pb模型，再使用TensorFlowLite的 Converter将pb模型转换为轻量级学习模型，并将解释器配置在智能手机上运行模型，利用手机的硬件资源进一步提高模型的检测速度。常规CNN模型中权重数据存储均为32位浮点数，为减少对手机计算资源的调用，本研究采用了一种8位量化方法来加速和压缩模型。通过将32位浮点数据量转化为较小的位宽，成功将模型减少至原模型大小的1/4，并可对每个输入通道和每个层量化分别设置权重和激活函数。

1.2.4 安卓应用软件开发和模块设定

在Windows 10操作系统下进行安卓系统的开发，安卓开发环境包括Java Development Kit（JDK）、Android Studio和Android SDK（Software Development Kit，9.0版本）3个主要部分。开发语言为Java编程语言，在测试软件时，共使用了3种硬件配置差异明显的手机：1）小米CC9e（处理器高通骁龙710，内存6 GB）；2）小米11（处理器高通骁龙888，内存8 GB）；3）华为Mate20 Pro（海思Kirin 980，内存6 GB）。

本研究中构建的小麦麦穗分析和产量预测安卓端应用软件称为YieldQount-Mobile（YQ-M），软件中集成了麦穗检测的轻量级深度学习模型，在手机端可离线运行目标检测网络，达到田间条件下的麦穗检测和结合千粒质量、穗粒数等历史数据实现实时测产的目标。YQ-M的系统设计包含5个功能模块：图像获取、图像预处理、模型加载、穗部检测和产量预测。

1）图像获取模块基于安卓手机的摄像头对小麦冠层的图像进行采集，获取图片可以直接输入到预处理模块或保存到系统相册。

2）图像预处理模块将采集到的图像根据图片像素和需要检测目标的大小等用户要求分割为不同等分。例如，在用户选取了预分割方法后，原始图片可等分为4、9及16子图。分割后的图片将输入到后续模块。

3）模型加载模块是根据作物种类选择不同的目标检测模型，在YQ-M中已预留了加载多种作物目标检测模型的可扩展端口。因本研究的作物类别是小麦，需检测的是麦穗，所以预置了小麦检测模型。

4）穗部检测模块将识别到的麦穗个数和模型识别时间在手机端展示，并画出所有麦穗检测框，方便用户对检测到的麦穗数量进行初步判断。若检测效果有偏差，可更改图像预处理模块中的等分方法，调整图像输入，使检测效果达到最佳。同时YQ-M中也开放了可加载其他检测模型的端口，方便研究人员添加新的模型。

5）产量预测模块中根据中国主要的小麦产区划分出华东、华中和华北3个产区，在各个产区中选取了主要推广的小麦品系及部分小麦品种，根据历年穗粒数和千粒质量数据，结合穗部检测模块检测到的麦穗数和当季小麦产区积温数据，对产量进行加权处理。现阶段使用测产计算方法如公式（1）所示。

式中为小麦单位面积产量，kg/m2；为单位面积穗数（株/m2）；为穗粒数；为千粒质量，kg；为权重系数，根据当年小麦产区的积温梯度的划分确定，介于80%到90%之间。

1.2.5 历史数据库建立

YQ-M软件加载的小麦产量构成要素的历史数据库基于SQLite关系数据库管理系统开发。该数据库有5个表单：品种、品系、作物信息、作物预测结果和用户信息。使用者信息保存在用户信息表中，其余4个表单收录软件运行中产生的各类数据。考虑到YQ-M的扩展性，软件除了开放其他作物目标检测模型的部署接口外，还开放了输入端口。YQ-M软件使用了SQL（Structured Query Language）查询数据库表单，根据小麦品系编号获取与品种相关的产量因素，再通过公式（1）计算单位面积中小麦产量。对还未收录的小麦品种，用户可提交品系和品种等数据扩充数据库。

1.2.6 评价指标

本研究中使用了精确率（Precision）、平均精确度（Average Precision，AP）、召回率（Recall）和1分数4个指标来评价模型精度。

2 结果及分析

2.1 麦穗检测模型评估

本研究中使用输入模型的小麦图像数据作为测试集，分别在测试集上计算精确度、召回率、平均精确度和1得分4个指标。识别麦穗的预测框与真实框的比值为置信度，在置信度阈值为0.5条件下，识别精确度为84.43%、召回率为91.05%、AP为91.96%、1分数0.88（图4），表明模型在复杂环境下采集的测试集上的表现良好，能在田间环境下对不同小麦品种在单位面积中的穗数进行检测。

为了比较不同深度学习模型对复杂背景中麦穗的检测效果，本研究还选取了Single Shot MultiBox Detector（SSD）[34]和Faster Regions-based CNN（Faster -RCNN）[35]对麦穗数据集进行训练。其中SSD是直接多目标框预测，Faster-RCNN先是得到预选框，之后在进行分类和回归，这两种目标识别模型均广泛用于目标检测中。将两种模型与MobileNetV2-YOLOV4进行了比较后，表1列出了3种模型的评估参数。可见，3种方法对麦穗计数都能有较好的结果。本研究中使用的模型除了在精确率这项指标的精度不如SSD，其余3项指标的表现都远优于SSD和Faster-RCN。更重要的是，MobileNetV2-YOLOV4的浅层构架和对计算硬件资源较低的需求使其更适合手机端的运行。

表1 3种深度学习方法在麦穗数据集上的预测结果

2.2 YieldQuant-Mobile使用流程

图5显示了YQ-M在安卓手机上的简单使用流程。在完成注册后，用户进入图像提取界面，点击加载模型按钮，等待界面弹出模型加载已完成的提示，然后点击添加图片按钮，界面底部会出现选择相册或者拍照弹框，点击相册或者相机按钮添加需检测图片，该界面将会展示所选图片，用户也可更换图片。确定图片后，选择等分数选项，再点击图像分析按钮，进入产量预测页面，该页面显示对所选图片的穗部检测结果，包括红色长方形边框标记的穗部、检测穗部个数及检测所耗时间等信息。穗部检测完成后，用户需选择作物所属区域、品系、品种及积温等信息。输入完成后，点击预测产量按钮，会计算单位面积内产量，并展示结果。

2.3 YieldQuant-M麦穗计数及产量预测结果分析

根据不同小麦品种检测结果，得到80个小麦品种单位面积中的麦穗个数。将3个重复中获得的麦穗人工计数值与检测值对比，本研究采用了线性回归对YQ-M检测值和人工结果进行了对比分析。图6a表示不同小麦品种中1 m2小区内麦穗计数值个数和真实值的拟合结果，得到决定系数²值均值在0.96左右，表明轻量级深度学习模型对单位面积中不同品种麦穗数检测值与人工计数值具有极显著相关性，均方根误差（RMSE）为23.494株/m2，代表了较高的精确度（=240个1 m2小区，3个重复下80个品种）。图6b显示了3个重复下对240个小区使用YQ-M软件进行产量预测均值与实际产量的线性相关性，得到决定系数²值为0.839，表明理论产量与实际产量具有显著相关性，RMSE为17.641 g/m2，表明产量预估精确度较为稳定。

2.4 YieldQuant-M运行性能检测

为了在手机端正常运行，本研究使用的是8位量化方法来压缩模型。为了比较轻量级模型与未量化模型及32位浮点型模型的运行性能，本研究基于精确度、召回率、模型大小与检测速度等4个指标对不同模型进行了对比。如表2所示，与未量化模型相比，经过8位量化的模型在精确率和召回率上分别仅降低1.09和0.89个百分点，但模型大小比未量化模型减少了13.2 MB（为原模型的26%），在检测速度上也提升了近200 ms（对图片处理速度提升了约35%）。表明了构建的轻量级深度学习模型在智能终端上良好的运行性能和准确性。

表2 量化和未量化检测模型在相同麦穗数据集上的结果对比

由于田间实际环境的多样性和复杂性，识别每幅图像中麦穗数量所用时间也是检验模型性能的一个重要指标。因此，本研究还分别使用了3款不同配置的智能手机进行了对比测试。如图7所示，通过3种不同散点图表示了3种不同手机识别80个小麦品种所需要的平均时间。其中圆形散点代表硬件配置最差的小米CC9e的识别时间，基本在1 400 ms上下波动；方形散点代表小米11的识别麦穗的时间，优于小米CC9e的识别效果，但是稳定性较差，识别时间上下浮动较大；华为Mate20 Pro的配置最高，从三角散点可见，识别时间最少并且稳定性较好。表明硬件配置好的手机运行轻量级麦穗识别模型的过程中用时更少。柱状图表示通过3种手机对80个品种的麦穗数检测的平均值。如图7所示，尽管不同品种穗数有一定差异，但YQ-M在不同配置的智能手机上运行时间波动不大，说明轻量级模型和安卓端软件能在对不同品种的分析时保持较稳定的检测结果和识别时间。

3 结论与展望

本研究通过结合了深度学习、嵌入式人工智能技术、安卓软件开发和SQLite轻量级数据库等多项前沿技术完成了离线情况下使用智能手机终端完成了对单位面积中的麦穗进行检测，并结合品种数据库预测产量。在安卓手机端搭建的智能化分析软件。通过对80个小麦品种的田间测产试验和结果比对表明：

1）智能手机在田间离线情况下完成了对单位面积中麦穗图像的采集、分析和产量预测，证明了嵌入式人工智能技术能在智能移动设备上对作物可以进行实时的产量检测。在结合小麦产量三要素（麦穗数、千粒质量、穗粒数）数据库后，用户可在麦穗识别模型的基础上，通过开放端口完善历史数据，完成更多小麦品种或其他谷类作物的田间测产工作。此外，在田间试验中不断收集到的图像，还可以通过再训练或迁移学习等方法持续扩展共享训练集，为作物研究和农业生产提供服务。

2）该算法在置信度为0.5时对不同品种小麦的麦穗检测精确率、召回率、平均精确度、1分数分别为84.43%、91.05%、91.96%、0.88，因此构建的麦穗检测模型具有良好的检测性能。通过使用YQ-M软件对80个小麦品种进行田间麦穗检测及产量预测，麦穗数量检测结果和人工检测值的决定系数为0.961，均方根误差为23.494株/m2；测产和实际产量的决定系数为0.839，均方根误差为17.641 g/m2。

YQ-M系统开放了部署多种轻量级模型的端口，为实现多种作物产量预测、作物品类扩充和系统功能提升提供了开放式平台。考虑到田间环境和不同的作物研究应用场景，YQ-M软件的操作尽量简单易用，保证无需培训就能使用软件。此外，安卓应用软件及关键代码已上传实验室的GitHub共享空间（https://github.com/ The-Zhou-Lab/Yield Quant-Mobile）。

随着智能手机配置的不断提高、本研究工作可扩展至大部分小麦品种，为广大农业从业人员和科研人员提供在田间开展经济、便捷和可靠的产量量化分析的技术手段。手机硬件的提升为智能终端在田间作物试验中的广泛应用提供了新思路。例如，自带显微镜功能的手机能在田间实现无损监测叶片气孔等器官表型提供硬件支持。搭载热成像功能的手机也可为提早发现田间植物病害提供便捷的光谱特征信息。这些新的硬件功能结合本研究构建的轻量级深度学习技术将为智能移动设备在田间表型采集和近实时离线分析提供重要的技术平台。最后，通过开发智能终端的应用软件来检测各类作物的表型性状，不但能为农业工作者和育种专家提供经济、便捷的技术手段，还可对小农户的实际生产提供方便易用的监测工具。通过智能测产可大幅降低保险公司理赔的人工成本，对不同商业应用场景提供可行的技术解决方案。为人工智能在作物研究、农业生产和整个农业产业链的应用提供新方法和新技术。

[1] Ariel F, Julia C, Roxana S, et al. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments[J]. Field Crops Research, 2017, 203: 114-127.

[2] Jin X, Liu S, Baret F, et al. Estimates of plant density of wheat crops at emergence from very low altitude UAV imagery[J]. Remote Sensing of Environment, 2017, 198: 105-114.

[3] Ghahremani M, Ghassemian H. Remote-sensing image fusion based on curvelets and ICA[J]. International Journal of Remote Sensing, 2015, 36(16): 4131-4143.

[4] Naemura M, Fukuda A, Mizutani Y, et al. Morphological segmentation of sport scenes using color information[J]. IEEE Transactions on Broadcasting, 2000, 46(3): 181-188.

[5] Fernandez-Gallego J A, Kefauver S C, Gutiérrez N A, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14(1): 1-12.

[6] Zhou C, Liang D, Yang X, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024-1040.

[7] Yulei Z, Gang S, Guohui D, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiolgy, 2021,187(2): 716-738.

[8] 李毅念，杜世伟，姚敏，等. 基于小麦群体图像的田间麦穗计数及产量预测方法[J]. 农业工程学报，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Mehtod for wheater counting and yield predicitng based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Egineering (Transaction of the CSAE), 2018, 34(21): 185-195. (in Chinese with English abstract)

[9] 周济，Tardieu F，Pridmore T，等. 植物表型组学：发展、现状与挑战[J]. 南京农业大学学报，2018，41(4)：580-588.

Zhou Ji, Tardieu F, Pridmore T, et al. Plant phenomics: history, present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580-588. (in Chinese with English abstract)

[10] 徐凌翔，陈佳玮，丁国辉，等. 室内植物表型平台及性状鉴定研究进展和展望[J]. 智慧农业，2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[11] Yang W, Feng H, Zhang X, et al. Crop phenomics and high-throughput phenotyping: Past decades, current challenges, and future perspectives[J]. Molecular Plant, 2020, 13(2): 187-214.

[12] David E, Madec S, Sadeghi-Tehran P, et al. Global Wheat Head Detection (GWHD) Dataset: A large and diverse dataset of high resolution rgb labelled images to develop and benchmark wheat head detection methods[J]. Plant Phenomics, 2020, 1: 1-10

[13] Zhang N, Zhao C, Quiring S M, et al. Winter wheat yield prediction using normalized difference vegetative index and agro-climatic parameters in oklahoma[J]. Agronomy Journal, 2017, 109(6): 2700-2713.

[14] Zhang Y, Gao J, Zhou H. Breeds classification with deep convolutional neural network[C]// Proceedings of the 2020 12th International Conference on Machine Learning and Computing. New York,USA:ACM,2020: 145-151.

[15] Zhao J, Zhang X, Yan J, et al. A wheat spike detection method in UAU images based on improved YOLOV5[J]. Remote Sensing, 2021, 13(16): 1-16.

[16] Joshua C, Carmel O, Rachel W, et al. SeedGerm:a cost-effective phenotyping platform for automated seed imaging and machine-learning based phenotypic analysis of crop seed germination[J]. New Phytologist, 2020, 228(2): 778-793.

[17] 鲍文霞，张鑫，胡根生，等. 基于深度卷积神经网络的田间麦穗密度估计及计数[J]. 农业工程学报，2020，36(21)：186-194.

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of wheat ears density in field based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-194.

[18] Alkhudaydi T, Reynolds D, Griffiths S, et al. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat[J]. Plant Phenomics, 2019(7): 1-17.

[19] Zebin T, Scully P J, Peek N, et al. Design and implementation of a convolutional neural network on an edge computing smartphone for human activity recognition[J]. IEEE Access, 2019, 7: 133509-133520.

[20] Lu J, Hu J, Zhao G, et al. An in-field automatic wheat disease diagnosis system[J]. Computers and Electronics in Agriculture, 2017, 142: 369-379.

[21] Al-Hami M, Pietron M, Casas R, et al. Methodologies of compressing a stable performance convolutional neural networks in image classification[J]. Neural Processing Letters, 2020, 51(1): 105-127.

[22] Lin D, Talathi S, Annapureddy S. Fixed point quantization of deep convolutional networks[C]// Proceedings of the 33rd International Conference on International Conference on Machine Learning, New York,USA:PMLR,2016: 2849-2858.

[23] Xiaoliang Q, Fengxia Z, Cong L, et al. Wheat yield improvements in China:past trends and future directions[J]. Field Crops Research, 2015, 177: 117-124.

[24] Everingham M, Eslami A, Van L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

[25] Sandler M, Howard A, Zhu M, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Salt Lake City,USA:IEEE,2018: 4510-4520.

[26] Bochkovskiy A, Wang C Y, Liao H, et al. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2020-05-09]. https://arxiv.org/abs/2004.10934vl.

[27] Yu D, Xu Q, Guo H, et al . An efficient and lightweight convolutional neural network for remote sensing image scene classificatio[J]. Sensors, 2020, 7: 2158-2173.

[28] Catalin B, Vlad-Rares D, Cristina R. MobileNetV2 ensemble for cervical precancerous lesions classification[J]. Processes, 2020, 8: 595-625.

[29] Wang C Y, Mark Liao H Y, Wu Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Washington, USA: CVPR, 2020: 390-391.

[30] Pan S J, Yang Q. A survey on transfer learning[J].IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[31] Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[J]. Advances in Neural Information Processing Systems, 2014, 4: 3320-3328.

[32] Martin Abadi, Paul Barham, Jianmin Chen, et al. TensorFlow: A system for large-scale machine learning [C]//12th USENIX Symposium on Operating Systems Design and Implementation, Los Angeles, USA: ACM2016: 265-283.

[33] Ye J, Li X, Zhang X, et al. Deep learning-based human activity real-time recognition for pedestrian navigation[J]. Sensors, 2020, 9: 1-30.

[34] Liu W, Anguelov D, Erhan D, et al. SSD:single shot multibox detector[C]//Proceeding of the 14th European Conference on Computer Vision, Amsterdan,The Netherlands: ECCV, 2016: 21-37.

[35] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[C]// Advances in Neural Information Processing Systems, Montreal, Canada: NeurIPS,2015: 91-99.

Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction

Chen Jiawei1,2, Li Qing3, Tan Qiaoxing1, Gui Shiquan1, Wang Xiao3, Yi Fujin4, Jiang Dong3, Zhou Ji1,5※

(1.//,,210095,; 2.,,210095,; 3.,,210095,; 4.,,210095,; 5./,CB3 0LE,)

The number of spikes per unit area is akey yield component for cereal crops such as wheat, which is popularly used in wheat research for crop improvement. With the fast maturity of smartphone imaging hardware and recent advances in image processing and lightweight deep learning techniques, it is possible to acquire high-resolution images using a smartphone camera, followed by the analysis of wheat spikes per unit area through pre-trained artificial intelligence algorithms. Then, by combining detected spike number with variety-based spikelet number and grain weight, it is feasible to carry out a near real-time estimation of yield potential for a given wheat variety in the field. This AI-driven approach becomes more powerful when a range of varieties are included in the training datasets, enabling an effective and valuable approach for yield-related studies in breeding, cultivation, and agricultural production. In this study, we present a novel smartphone-based software application that combines smartphone imaging, lightweight and embedded deep learning, with yield prediction algorithms and applied the software to wheat cultivation experiments. This open-source Android application is called YieldQuant-Mobile (YQ-M), which was developed to measure a key yield trait (i.e. spikes per unit area) and then estimate yield based on the trait. Through YQ-M and smartphones, we standardized the in-field imaging of wheat plots, streamlined the detection of spikes per unit area and the prediction of yield, without a prerequisite of in-field WiFi or mobile network. In this article, we introduce the YQ-M in detail, including: 1) the data acquisition designed to standardize the collection of wheat images from an overhead perspective using Android smartphones; 2) the data pre-processing of the acquired image to reduce the computational time for image analysis; 3) the extraction of wheat spike features through deep learning (i.e. YOLOV4) and transfer learning; 4) the application of TensorFlow.lite to transform the trained model into a lightweight MobileNetV2-YOLOV4 model, so that wheat spike detection can be operated on an Android smartphone; 5) finally, the establishment of a mobile phone database to incorporate historic datasets of key yield components collected from different wheat varieties into YQ-M using Android SDK and SQLite. Additionally, to ensure that our work could reach the broader research community, we developed a Graphical User Interface (GUI) for YQ-M, which contains: 1) the spike detection module that identifies the number of wheat spikes from a smartphone image; 2) the yield prediction module that invokes near real-time yield prediction using detected spike numbers and related parameters such as wheat varieties, place of production, accumulated temperature, and unit area. During our research, we have tested YQ-M with 80 representative varieties (240 one-square-meter plots, three replicates) selected from the main wheat producing areas in China. The computed accuracy, recall, average accuracy, and1-score for the learning model are 84.43%, 91.05%, 91.96%, and 0.88, respectively. The coefficient of determination between YQ-M predicted yield values and post-harvest manual yield measurement is 0.839 (=80 varieties,<0.05; Root Mean Square Error=17.641 g/m2). The results suggest that YQ-M presented here has a high accuracy in the detection of wheat spikes per unit area and can produce a consistent yield prediction for the selected wheat varieties under complex field conditions. Furthermore, YQ-M can be easily accessed and expanded to incorporate new varieties and crop species, indicating the usability and extendibility of the software application. Hence, we believe that YQ-M is likely to provide a step change in our abilities to analyze yield-related components for different wheat varieties, a low-cost, accessible, and reliable approach that can contribute to smart breeding, cultivation and, potentially, agricultural production.

models; algorithm; yields; lightweight deep learning; wheat spike detection; Android system development; wheat

陈佳玮，李庆，谭巧行，等. 结合轻量级麦穗检测模型和离线Android软件开发的田间小麦测产[J]. 农业工程学报，2021，37(19)：156-164.doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

Chen Jiawei, Li Qing, Tan Qiaoxing, et al. Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 156-164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

2021-06-17

2021-09-12

江苏省基础研究计划（BK20191311）；江苏省现代农业重点项目（BE2019383）；中央高校基本科研专项资金（JCQY201902）

陈佳玮，博士生，研究方向为表型分析与深度学习。Email：chenjiawei@njau.edu.cn

周济，博士，教授，研究方向为作物表型组学，植物形态学，图像分析，机器学习，稻麦育种。Email：Ji.zhou@njau.edu.cn（中），Ji.zhou@niab.com（英）

10.11975/j.issn.1002-6819.2021.19.018

S126

A

1002-6819(2021)-19-0156-09