基于图像处理的苹果树叶片氮含量检测

2021-06-29权泽堃王金星刘双喜胡安瑞刘雪梅

现代农业装备 2021年3期

权泽堃，王金星,2，刘双喜,2，胡安瑞，刘雪梅

（1.山东农业大学机械与电子工程学院，山东泰安 271018；2.山东省农业装备智能化工程实验室，山东泰安 271018）

0 引言

我国是苹果生产大国，苹果种植面积及产量均居世界首位。随着苹果产业在我国农村产业中的比重越来越大，在国内外市场中的地位越来越重要，对苹果的产量和品质进行提升成为目前面临的重要问题。氮素是苹果生长发育的必要元素，直接影响苹果树结果，对苹果的产量和品质有着决定性作用。相关研究表明，通过对苹果树氮含量的营养检测，可以对苹果树最佳施肥量进行推算，进而实现苹果树的精准施肥[1]。

目前，国内外专家学者在检测植物营养状态，实现氮肥施用优化方面已经进行了诸多研究。COLOMBO.R.等研究提出了一种植物生理状态新技术，利用叶片和冠层尺度的太阳诱导叶绿素荧光估算小麦叶片氮含量和光合氮利用效率[2]。OSCO.L.P.等提出一种利用机器学习技术和无人机多光谱影像预测玉米植株叶片氮浓度，此研究为诊断、检测植株生长状态提供了科学理论基础[3]。LUCAS.P.O.等利用安装在无人机上的相机获取多光谱图像，提出一种在多光谱图像中应用光谱分析算法估计橙树氮含量的新方法[4]。安静等利用ASD Field Spec 3地物光谱仪对苹果树叶片进行光谱测定，得到了苹果树叶片的原始反射率，并根据苹果树叶片的原始光谱反射率中对氮素变化较为敏感的波段，构建敏感波段与氮素含量的反演模型[5]。

根据目前国内外研究现状，数字图像处理技术和可见光光谱范围内的机器视觉已经广泛应用到农作物生产上，但存在操作复杂且成本较高，适用范围小，不利于推广等问题。为探究一种成本低、普及性强的苹果树叶片氮含量检测方法，本文应用数字图像处理技术，在自然光照下构建不同时期苹果树树冠色彩特征参数、叶面积与叶片氮含量的预测模型，实现苹果树叶片氮含量的快速检测，为果园精准化施肥管理提供理论依据。

1 材料与方法

1.1 试验区域

本试验于2020 年7—11 月在泰安市宁阳县的山东万林农场试验园进行。该试验园所种果树为4 年树龄烟台红富士苹果树，在试验园随机选取50 棵长势中庸，侧枝数量相近，无病虫害的苹果树作为研究对象进行树冠图像及叶片图像采集。

1.2 数据采集

1.2.1 样本采集与图像获取

试验中，采集每棵树树冠外围中部的20 片生理状态健康、叶片平整、叶面无损伤的叶片作为样本。样本采集完成后，每棵树随机选取10 片叶片放置在标定板上，利用佳能EOS 80D 型相机进行图像采集，如图1 所示。利用小型多旋翼无人机沿预定航线定速飞行对所有果树进行拍摄，然后通过各项参数计算提取苹果树树冠图像，如图2 所示。

图1 苹果叶片原始图像Fig.1 Original images of apple leaves at flowering

图2 苹果树树冠原始图像Fig.2 Original image of Apple crown

1.2.2 样本处理与氮素营养测定

本文采用凯氏定氮法对苹果树叶片全氮含量进行测定[6]。将带回实验室的叶片放在自来水下冲洗干净，用95∶5 的盐酸溶液清洗1～2 min，然后用无离子水润洗两次，放入105 ℃高温烘箱杀青30 min，再调至80 ℃持续烘干至样品恒重，将叶片样本研磨成粉末，称取0.2 g 干样，用H2SO4-H2O2消解，然后在消煮炉中进行消煮4 h，在消煮好的样品中加入双氧水，最后采用海能K9860 全自动凯氏定氮仪对样本进行氮含量检测。

1.3 树冠图像处理

1.3.1 图像预处理

为尽可能的减少光照引起的试验结果偏差，应用MSR 算法消除光照的影响[7,8]。为进一步提取有用信息，通过中值滤波计算对去光照图像进行增强处理，处理后苹果树树冠图像如图3 所示。

图3 图像增强后苹果树树冠图像Fig.3 Apple tree crown image after image enhancement

1.3.2 提取树冠色彩参数

对苹果树树冠图像利用RGB 色彩空间提取像素点数值，并对上述图像进行RGB 三通道的像素点提取分类，得到在不同区间的像素点的分布图，结果如图4 所示。

图4 像素点在RGB区间分布Fig.4 Pixels are distributed in RGB region

由于环境中存在土壤、树干、杂草等色彩干扰因素，而树冠色彩主要以绿色为主，因此将G 通道作为树冠色彩提取的目标通道，其分布范围为50～160。

1）在G 通道中像素点均值。像素点的均值能反应苹果树生长过程中树冠色彩程度，对判断苹果树生长过程中营养状态与生长进度具有重要参考意义。像素点均值计算公式为

式中 A为G通道中像素点的平均值；xn为G通道数值；fn为区间内像素点个数。

通过式（1）提取果实膨大期、成熟期、采收期3 个不同时期苹果树树冠图像在G 通道内所有像素点的均值，如图5 所示。

图5 在G通道内像不同时期素点分布区间的均值Fig.5 The mean value of pixel distribution in different periods in RGB space

2）在G 通道中像素点的方差。方差能表明每个像素点与总体色彩均值的差异和偏离程度，能直接体现出苹果树树冠色彩分布的均匀程度，间接反应苹果树的营养状态与生长状态。对研究苹果树的营养状态具有重要参考意义。像素点方差计算公式为

式中 D为G通道中像素点的方差。

通过式（2）提取果实膨大期、成熟期、采收期3 个不同时期苹果树树冠图像在G 通道内所有像素点的方差，如图6 所示。

图6 在G通道内像不同时期素点分布区间的方差Fig.6 The variance of pixel distribution in different periods in RGB space

由图5、图6 可知：不同时期苹果树树冠整体色彩的均值与方差是动态变化的，像素点色彩均值在92～109 范围内波动，色彩方差在580～840 范围内波动；从果实膨大期到成熟期树冠色彩参数均值变大，成熟期到采收期树冠色彩参数均值变小，3 个时期均值变化与叶片氮含量变化趋势一致；3 个时期中果实膨大期方差略小于成熟期，采收期方差略小于果实膨大期，成熟期树冠色彩最不均匀，采收期树冠色彩均匀程度最好。

1.4 叶片图像处理

1.4.1 叶片图像预处理

首先选取自适应滤波对苹果树叶片图像进行降噪处理，然后对其图像进行分割提取叶面积，最后对提取的叶片进行形态学处理，结果如图7 所示。

图7 形态学处理后的叶片图像Fig.7 Leaf image after morphological processing

1.4.2 标定板方格图像提取

基于RGB 色彩特征信息，对标定板方格图像进行分割。首先基于Canny 算法进行方格纸边缘提取，利用闭运算将间断进行填补，然后应用区域填充将孔洞去除，最后利用连通组元提取和标记，获取单个方格图像[9-11]，结果如图8 所示。

图8 标定方格的提取和标记的处理过程Fig.8 Processing of extraction and labeling of calibration grid

1.4.3 叶片图像叶面积提取

本文利用改进的方格法进行果树叶面积的测量[12-14]。待测量的苹果树叶面积可以用像素点的个数表示，若已知被测叶片的像素点数和像素的实际面积，利用比例关系即可求出叶片面积。

已知A 为标定板实际边长，L 为标定板在像素坐标系中的像素尺寸，则实际值与像素值的缩放比例K为

与已知尺寸的标定板在同一图像中的待测目标对象的特征尺寸的像素尺寸为M 时，则该目标对象的特征尺寸实际值N 为

利用实际面积和像素面积得标定系数K2为

式中 K2为标定系数；S1为标定纸中一个方格的面积；S2为图像中标定板中单个方格所占的像素数，即像素面积。

基于已经标定的系数，可以获取图像中任意对象的特征尺寸Nsj

提取已分割叶片图像的像素点，统计单个方格纸图像目标区域的边界上及边界内像素点的数量，确定标定板单个方格内像素点总数。针对两种面积的测量，其像素面积值为分割出来的完整图像所占用的像素总数，可得到分割出来的完整图像的实际面积，其基本原理的计算如式（7）所示。

式中 A为叶片或者单个方格纸的像素面积；m、n为分割出来的完整的目标区域大小。

通过标定系数K2与式（6）可以计算出叶片的实际面积S。

2 苹果树叶面积及树冠参数与叶片氮含量模型构建与训练

人工神经网络（Artificial Neural Network，即ANN）是运算模型由大量的神经元之间相互联接构成，每个节点代表一个特点的输出函数。通用的神经网络组织包括输入层、隐藏层、输出层3层。输入层一般是预测需求的历史负荷数据，隐藏层处于输入层和输出层之间，不能由系统外部观察，输出单元实现系统处理结果的输出，从而进行预测所需数据。本文分别应用多项式回归模型、支持向量机、人工神经网络3个模型进行模型构建[15-21]。

2.1 叶面积及树冠色彩参数与叶片氮含量的模型建立

为获得不同时期苹果树叶面积、树冠色彩参数与叶片氮含量的相关关系，分别构建多项式回归模型、支持向量机模型、人工神经网络模型进行氮含量的预测，并选用MAE、RMSE、MAPE 3 个性能指标对模型进行性能评价。其计算公式如式（8）～（10）所示。

式中 N为样本量；yi为叶片氮含量实际值，yi为模型预测值。

2.1.1 果实膨大期叶面积及树冠色彩参数与叶片氮含量的模型建立

对果树果实膨大期的叶片面积参数、树冠色彩参数与叶片氮含量建立多项式回归模型、SVM 模型、人工神经网络模型，如图9 所示。SVM 模型、多项式回归模型对氮含量的预测结果与氮含量实际值拟合程度较差，人工神经网络对果树叶片氮含量预测值与氮含量实际值拟合程度较高。在果实膨大期，苹果树叶片氮含量大部分在8～10 g/kg 之间上下波动。

图9 果实膨大期模型预测值与叶片氮含量实际值对比曲线Fig.9 Comparison curve between the predicted value of the model and the actual value of nitrogen content in leaves during fruit expansion period

由表1 可知，果实膨大期人工神经网络模型的MAE、MAPE 和RMSE 分别为0.338、0.582、0.039，人工神经网络模型预测精度高于多项式回归模型和SVM 模型。结合图9，表明人工神经网络模型较好，与叶片实际拟合程度较好，相比于SVM 模型和多项式回归模型更加准确。

表1 果实膨大期预测模型性能参数对比Tab.1 Comparison of performance parameters of prediction models for fruit expansion period

2.1.2 成熟期叶面积及树冠色彩参数与叶片氮含量的模型建立

对果树成熟期叶片面积参数、树冠色彩参数与叶片氮含量建立多项式回归模型、SVM 模型、人工神经网络模型，如图10 所示。SVM 模型、多项式回归模型对氮含量的预测结果与氮含量实际值拟合程度较差，人工神经网络对果树叶片氮含量预测值与氮含量实际值拟合程度较高。在成熟期，苹果树叶片氮含量大部分在14～18 g/kg 之间上下波动。

由表2 可知，成熟期人工神经网络模型的MAE、MAPE和RMSE分别为0.403、0.635、0.033，人工神经网络模型预测精度高于多项式回归模型和SVM模型。结合图10，表明人工神经网络模型较好，与叶片实际拟合程度较好，相比于SVM模型和多项式回归模型更加准确。

表2 成熟期预测模型性能对比Tab.2 Performance comparison of maturity prediction models

图10 成熟期模型预测值与叶片氮含量实际值对比曲线Fig.10 The prediction model of mature stage and the actual value and contrast curve of leaf nitrogen content

2.1.3 采收期叶面积及树冠色彩参数与叶片氮含量的模型建立

对果树采收期叶片面积参数、树冠色彩参数与叶片氮含量建立多项式回归模型、SVM 模型、人工神经网络模型，如图11 所示。SVM 模型、多项式回归模型对氮含量的预测结果与氮含量实际值拟合程度较差，人工神经网络对果树叶片氮含量预测值与氮含量实际值拟合程度较高。在采收期，苹果树叶片氮含量大部分在9～14 g/kg 之间上下波动。

由表3 可知，采收期人工神经网络模型的MAE、MAPE 和RMSE 分别为0.412、0.642、0.037，人工神经网络模型预测精度高于多项式回归模型和SVM 模型。结合图11，表明人工神经网络模型较好，与叶片实际拟合程度较好，相比于SVM 模型和多项式回归模型更加准确。

图11 采收期模型预测值与叶片氮含量实际值对比曲线Fig.11 The prediction model value of harvest period and the actual value of leaf nitrogen content and the contrast curve

表3 采收期预测模型性能对比Tab.3 Performance comparison of recovery time prediction models

根据上述对果实膨大期、成熟期、采收期3 个不同时期的多项式回归模型、SVM 模型、人工神经网络模型的平均绝对误差（MAE），均方根误差（RMSE）和平均绝对百分比误差（MAPE）等评价指标进行验证，人工神经网络模型的MAE，RMSE和MAPE 数值均优于多项式回归模型和SVM 模型。表明本文提出的人工神经网络模型在果实膨大期、成熟期、采收期3 个时期的预测精度高于多项式回归模型和SVM 模型。因此选用人工神经网络模型作为叶片氮含量的预测模型。

2.2 叶面积及树冠色彩参数与叶片氮含量估测模型验证

为了进一步对人工神经网络模型的估测精度进行验证。用剩余10 棵树中果实膨大期、成熟期、采收期3 个不同时期的样本采用误差率的方式对模型进行验证。误差率公式为

式中 E为误差率；s1为苹果叶片氮含量实际测量值，g/kg；s2为人工神经网络预测叶片氮含量预测值，g/kg。

2.2.1 果实膨大期模型验证

为进一步对人工神经网络模型的估测精度进行验证，对果树果实膨大期树冠色彩参数及叶面积与果树叶片氮含量人工神经网络模型进行模型验证，果实膨大期样本模型验证预测如图12 所示，误差率如表4 所示。

表4 果实膨大期模型验证的误差率Tab.4 Error rate of model validation in fruit expansion stage

图12 果实膨大期模型验证Fig.12 Model validation of fruit expansion stage

2.2.2 成熟期模型验证

为进一步对人工神经网络模型的估测精度进行验证，对果树成熟期树冠色彩参数及叶面积与果树叶片氮含量人工神经网络模型进行模型验证，成熟期模型预测如图13 所示，成熟期样本误差率如表5所示。

表5 成熟期模型验证的误差率Tab.5 Error rate of model validation in maturity period

图13 成熟期模型验证Fig.13 Maturity model validation

2.2.3 采收期模型验证

为进一步对人工神经网络模型的估测精度进行验证，对果树采收期树冠色彩参数及叶面积与果树叶片氮含量人工神经网络模型进行模型验证，采收期模型预测如图14 所示，采收期样本误差率如表6所示。

图14 采收期模型验证Fig.14 Model validation of harvest time

表6 采收期模型验证的误差率Tab.6 Error rate of model validation in recovery period

验证结果表明，果实膨大期，苹果树叶片预测氮含量与实测氮含量的误差率在-9.950%～9.322%之间；成熟期，苹果树叶片预测氮含量与实测氮含量的误差率在-8.309%～9.025%之间；采收期，苹果树叶片预测氮含量与实测氮含量的误差率在-9.906%～6.462%之间；果实膨大期、成熟期、采收期误差率较小，总体模型预测值与试验结果基本相符合，验证了人工神经网络模型的可靠性。