基于叶片图像复合参数的烟叶成熟度判定模型

林天然， 姚争毅， 常鹏飞， 郑 婧， 李满玲，谢 萍， 陈诗瑶， 储伟杰， 李仁忠

(1.福建省烟草公司龙岩市公司， 福建 龙岩 364000； 2.中国烟草总公司福建省公司， 福建 福州 350003； 3.南京南部新城生态农林发展有限公司， 江苏 南京 211500； 4.福建省三明市气象局， 福建 三明 365000)

0 引言

【研究意义】鲜烟采收成熟度是指烟叶在田间生长发育到适于调制加工的成熟程度[1-2]。成熟度是烟叶品质形成的核心因素，适宜的田间采收成熟度是调制优质烤烟的基础[3]。现行的成熟度识别主要通过人工肉眼观察鲜烟叶片表观特征包括叶型、叶面纹理及外观颜色等进行判别[4-5]，该方法受操作人员判别水平及环境因素影响较大，导致成熟度识别准确率较低。李旭华等[6-7]提出基于SPAD值的成熟度判别方法，但SPAD测定仪器成本较高而无法在生产上广泛应用。随着计算机技术的发展，采用数字图像分析技术对植物表型学进行研究成为热点[8]。通过对植物图像进行数字化处理，得到目标对象的特征参数，并在此基础上构建特征参数与植物生理生化指标的关联模型[9-10]，可快速、准确、无损地获取其生理生化指标定量信息。采用该方法开展鲜烟叶片成熟度的判定方法研究对精准判断大田烟草鲜叶采收成熟度具有重要意义。【前人研究进展】采用机器学习是目前对植物表型进行定量分析的一种趋势[8-9，11]。由于深度学习能够进行大量数据并行计算和非线性映射，并具有较强的容错性、自适应和自学习能力[12]，因此已广泛应用于烟叶成熟度识别及分类。目前烟叶成熟度研究采用的特征参数主要有叶色图像Lab色彩参数[13]、RGB色彩模型参数[14-17]、HSV色彩模型参数和叶面纹理参数[16]，王杰等[14-16]在此基础上分别采用极限学习机、Fisher线性判别函数、BP神经网络和支持向量机构建了鲜烟成熟度判别模型，并取得了较好的判定精度。CHEN等[18]研究扩展了叶色参数类别，并提出SPAD值-叶色偏态参数的空间拟合模型，进一步验证了叶色分布变化的双向性(深浅变化及分布区域变化)，说明叶色偏态参数能够更为精确地反应叶色变化过程。【研究切入点】目前研究大多集中在对相同叶位不同成熟度的识别上，鲜见不同叶位不同成熟度的智能识别技术相关研究。【拟解决的关键问题】引入叶色偏态参数，结合HSV色彩模型参数、叶面纹理参数及叶型参数，组合成叶片图像复合参数集，运用多元回归及BP神经网络构建叶色参数-烟叶成熟度判定模型。通过比较不同参数体系、不同建模方式对不同叶位鲜烟叶片成熟度的判定准确度，筛选出最优的成熟度判定模型，以期为全株鲜烟叶片成熟度的智能化识别提供理论依据及应用基础。

1 材料与方法

1.1 材料

1.1.1 烟叶 烟草品种为云烟87，于2018年6月5日上午10：00采自福建省上杭县庐丰乡(24°57′N，116°30′E)植烟区。选取大田生长正常、长势一致且无病虫害的100株烟株于采摘前1 d挂牌标识；每株采摘上、中及下部叶片各3片，共900片烟叶，剔除病害伤残叶后，将余下的821片鲜烟叶送入室内进行鲜烟成熟度分选(鲜叶离体时间<10 min)，具体分类数量详见表1。

表1 试验样品分类及数量

1.1.2 仪器设备 烟叶标准化分级台，台面尺寸长300 cm×宽200 cm×高80 cm，桌面底板为灰白色(RGB值为225∶225∶225)哑光磨砂台面；2支20W条状白色LED灯管，色温5 000 K；CANON EOS-550D数码相机，日本佳能公司生产。

1.2 方法

1.2.1 图像采集 采用烟叶标准化分级台采集图像。照明光源LED灯管悬挂于平台1/4和3/4处；在距离台面100 cm处固定数码相机进行图像采集，原始数字图像分辨率为3 840 dpi×5 120 dpi。用吸水纸擦净分选后的鲜叶表面灰尘和露水，将样品放平台中央进行拍摄，确保鲜烟叶脉与桌面边缘垂直。

1.2.2 图片预处理 参照文献[17]的方法采用Photoshop CS对叶片原始图像进行切割，只保留鲜叶叶片部分，并将切割后的图像保存为白色背景的JPG图像格式。

1.2.3 图像特征参数提取

1) 叶色偏态参数。采用CHEN等[18-19]的方法进行叶色偏态参数提取，采用MATLAB 2016R(以下简称MATLAB)内置函数分别获取叶片彩色图像Red(R)、Green(G)和Blue(B)3个通道及灰度图像(Y)的均值(Mean)、中位数(Median)、众数(Mode)、偏度(Skewness)及峰度(Kurtosis)等20个参数(RMean，RMedian，RMode，RSkewness，RKurtosis，GMean，GMedian，GMode，GSkewness，GKurtosi，BMean，BMedian，BMode，BSkewness，BKurtosis，YMean，YMedian，YMode，YSkewness，YKurtosis)。均值、中位数和众数是反映叶色的深浅情况，偏度反映叶色的偏向性，峰度则是反映叶色分布的集中度。

2) 叶色HSV参数。参照沈平等[20]的方法计算图像色调(H)、图像颜色的饱和度(S)及图像颜色的明度(V)。其中，当H为0.167时，图像显示黄色，当H为0.333时，图像显示绿色；S越大，图像颜色越深；V越大图像颜色越明亮。

3) 叶面纹理参数。物体表面纹理一般用灰度共生矩阵(GLCM)表示。GLCM是一种通过研究灰度的空间相关特性描述纹理的常用方法，是描述具有某种空间位置关系2个像素灰度的联合分布。常用能量(ASM)、对比度(CON)、自相关(COR)和逆距差(IDM)4种参数定量描述物体表面纹理状况。ASM表示纹理粗细度，是GLCM中所有元素的平方和，纹理越粗则ASM值越大。CON表示纹理沟纹深浅的程度，反映某个像素与其相邻像素的亮度对比，纹理沟纹越深则CON值越大。COR表示纹理的一致性，反映某个像素与其相邻像素之间的相关度，纹理越一致，COR值越大。IDM反映纹理的同质性，度量图像纹理局部变化的多少，IDM值越大表示图像纹理不同区域间缺少变化，局部非常均匀。参照沈平等[20]的方法计算能量(ASM)、对比度(CON)、自相关(COR)和逆距差(IDM)4种纹理特征值参数。

4) 叶型参数。最小外接矩形(MBR)是以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标及最小纵坐标为边界点所确定的矩形，用于表示二维形状最大范围(图1)。在此采用MATLAB内置函数获取目标叶片的连通域信息，记录叶片面积(LA)及叶片周长(LP)。通过MATLAB内置函数获取其MBR相关参数信息，由于叶片图像均垂直于桌面边缘，因此，本研究以MBR的长边近似代表叶长(LL)，以MBR的短边近似代表叶宽(LW)，计算MBR的面积(S)、目标叶片叶宽叶长比(WL)及目标叶片面积占比(SS)。

图1 叶型参数

S=LL×LWS

WL=WL/LL

SS=LA/S

1.2.4 构建叶片图像特征参数表 根据1.2.3的方法构建叶片图像特征参数，包括叶色偏态参数(BMean，BMedian，BMode，BSkewness，BKurtosis，YMean，YMedian，YMode，YSkewness，YKurtosis)、叶色HSV参数(H，S，V)、叶面纹理参数(ASM，CON，COR，IDM)和叶型参数(LA，LP，LL，LW，WL，SS)。

1.2.5 相关分析 选取全部821个样品，运用SPSS对鲜叶成熟度与叶片图像特征参数进行Person相关分析，显著性检查采用双尾检验，显著水平α=0.05。

1.2.6 判定模型构建

1) 回归模型构建。采用SPSS以鲜叶成熟度作为因变量，以传统叶色正态分布的参数集N1(RMean，GMean，BMean，H，S，V，ASM，CON，COR，IDM，LA，LP，LL，LW，WL，SS)及基于叶色偏态分布的参数集N2(H，S，V，ASM，CON，COR，IDM，LA，LP，LL，LW，WL，SS)作为自变量，采用基于最小二乘法的逐步回归方式分别建立线性模型F1和F2。F1及F2模型参数均设置为P≤0.05，P≥0.100。

2) BP神经网络模型构建[12]。BP神经网络模型拓扑结构包括输入层(input)、隐含层(hide layer)和输出层(output layer)。通过训练对比后取判定结果与实际误差最小的隐含层神经元数(Z)为最优神经网络结构。

式中，m及n分别为输入层及输出层的神经元数，q为[1,10]之间的常数，「⎤为向上取整。

采用MATLAB的Neural Network Toolbox，以鲜叶成熟度为输出因子，分别以N1、N2参数集为输入层构建判定模型F3、F4。

表2 烟草鲜叶成熟度判定模型

1.2.7 模型的判定准确度比较 运用F1～F4对821个样品成熟度进行判定，然后计算判定准确度。其中，每个样品的预测值采用四舍五入法取整作为判定结果。

模型判定准确度=(模型准确判定数量/判定总数量)×100%

2 结果与分析

2.1 叶片图像复合参数与鲜烟叶片成熟度的相关性

通过33个叶片图像复合参数与烟草鲜叶成熟度的相关性分析表明，参数RMean(0.497)、RMedian(0.469)、RMode(0.347)、GMean(0.227)、GMedian(0.150)、YMean(0.376)、YMedian(0.312)、YMode(0.156)、S(0.112)、V(0.323)、COR(0.110)及IDM(0.699)与烟草鲜叶成熟度呈极显著正相关；参数RSkewness(-0.327)、RKurtosis(-0.439)、GKurtosi(-0.279)、YSkewness(-0.170)、YKurtosis(-0.353)、H(-0.627)、CON(-0.776)、LA(-0.832)、LP(-0.174)、LL(-0.197)、LW(-0.850)、WL(-0.849)及SS(-0.252)与烟草鲜叶成熟度呈极显著负相关；参数GSkewness(-0.087)和BMean(0.070)与烟草鲜叶成熟度分别呈显著负相关和显著正相关；参数GMode(-0.044)、BMedian(0.019)、BMode(-0.052)、BSkewness(0.009)及BKurtosis(-0.009)与烟草鲜叶成熟度的相关性不显著；ASM由于数值过小，无法进行相关分析。其中，叶面积(LA)、叶宽(LW)、叶宽叶长比(WL)与鲜烟叶片成熟度的相关性表现最优。

在叶色偏态参数中，以R通道的5个参数相关系数最高，灰度图像参数次之，B通道表现最差；除B通道的众数外，R、G和B 3个通道及灰度图像的均值、中位数和众数均与成熟度呈极显著或显著正相关，说明随着成熟度的增加，此参数同步提升，反映为叶色逐渐变浅；偏度方面，RSkewness、GSkewness和YSkewness与成熟度呈极显著或显著负相关，说明随着成熟度的增加，叶色偏度逐渐下降，负偏态程度逐渐加深，反映为叶色从绿色逐渐倾向黄色。峰度方面，RKurtosis、GKurtosi和YKurtosis与成熟度呈极显著负相关，说明随着成熟度的增加，叶色偏度逐渐下降，叶色纯度逐步下降，反映到叶色变化上，则与叶片从鲜绿变成黄绿相间(此时叶色离散程度最高，峰度最小)的成熟过程相对应。

在HSV参数中，色调值(H)与烟叶成熟度呈极显著负相关，说明H随着烟叶成熟度的增大而下降，反映烟草成熟过程中叶色由绿色逐渐转变为黄色的过程；饱和度(S)和明度值(V)与烟叶成熟度呈极显著正相关，说明，S和V随着烟叶成熟度的增大而增加，与烟草成熟过程中叶色由暗变亮的过程相对应。

在叶面纹理参数中，除能量(ASM)由于数值太小无法进行相关分析外，对比度(CON)与成熟度呈极显著负相关，说明随着成熟度的增大，叶面纹理沟纹逐渐变浅；自相关(COR)及逆距差(IDM)与成熟度呈极显著正相关，说明随着成熟度的增大，不同区域间变化逐渐均匀，纹理趋向一致。综合以上3个纹理参数说明，随着叶片成熟度的增加，叶面纹理趋向光滑，不同区域间的差异逐渐消除。

叶型参数叶面积(LA)、叶周长(LP)、叶长(LL)、叶宽(LW)、叶宽叶长比(WL)及目标叶片面积占比(SS)均与成熟度呈极显著负相关，说明，随着成熟度的增加，叶型逐渐缩小。表明，以上显著相关的参数均能作为构建鲜烟叶片成熟度判定模型的因子。

2.2 鲜叶成熟度的判定模型

采用叶色正态分布参数集N1及叶色偏态分布参数集N2分别构建F1～F4鲜叶成熟度判定模型(表3)。从图2和表3看出，F1模型的主要解释变量是BMean、H、S、V、LW、LP及CON共7个参数；F2模型主要解释变量为RSkewness、GSkewness、RKurtosis、YKurtosis、LW、LP及H共7个参数；利用BP神经网络构建鲜叶成熟度判定模型时，当m=16，n=1，q=7时，Z=12，此时采用N1作为输入因子的F3收敛效果最佳，由此确定F3最佳BP神经网络结构为16-12-1；采用N2作为输入因子时，当m=33，n=1，q=4时，Z=10，此时F4收敛效果最佳，由此确定F4最佳BP神经网络结构为33-10-1。通过对4个模型的R2进行比较后可以得出，4个模型的R2均超过0.8，均能较好地拟合鲜叶成熟度。从建模方式看，采用BP神经网络构建的F3(R2=0.947)和F4(R2=0.966)均优于采用逐步回归构建的F1(R2=0.828)和F2(R2=0.858)；从输入参数类别看，在相同建模方式情况下，采用偏态分布参数的F2和F4分别优于F1和F3。总体看，采用叶色偏态分布参数集N2作为输入因子所构建的BP神经网络模型F4拟合效果最优；采用叶色正态分布参数集N1作为自变量所构建的逐步回归模型F1拟合效果最差。

表3 鲜叶成熟度的判定模型

注：左图为叶色正态参数集N1，右图为叶色偏态参数集N2。

2.3 鲜叶成熟度判定模型的准确度

从表4和图3可知，采用N2作为输入因子的F4准确度最高，达94.15%，较采用相同建模方式但输入因子为N1的F3高14.25百分点，较准确度最低的F1高52.74百分点。从不同成熟度看，F4对9个不同成熟度的判定准确度均表现最优，准确率为74.29%～98.00%，其中，F4对XRL、CRL、COL、BUL及BRL的判定准确率均达95%以上，特别是对BRL的判定准确度高达98%；F4较F3对9个不同成熟度(XUL、XRL、XOL、CUL、CRL、COL、BUL、BRL及BOL)的判定准确率分别提升11.43百分点、10.52百分点、7.4百分点、27.85百分点、14.64百分点、18.94百分点、10.31百分点、18百分点及3.45百分点。

表4 不同模型对鲜叶成熟度的判定准确度

图3 不同模型对鲜叶成熟度判定准确度的百分位分布

3 讨论

基于数码图像分析技术对植物表型学的研究已广泛开展[8-10]，由于其所需设备简单、成本较低，具有广阔的应用前景[11]。但由于RGB色彩模式对叶色定量描述存在局限性[18]，研究人员提出以RMean、GMean和BMean3个参数为基础的多种组合参数，但仍然无法精确反映叶色信息[21]，因此，基于RGB模型对叶色的定量分析陷入瓶颈。随着植物表型学的发展，近年来，研究人员发现叶色偏态参数[17]，其极大地扩大了叶色图像的信息，从深浅程度和分布方向2个方面系统、定量地描述叶片叶色。通过相关分析看出，20个偏态参数中，有15个参数与叶片成熟度显著相关，说明采用叶色偏态参数对叶片成熟度进行定量分析可行。同时，有研究[5,13-16]发现，叶色图像Lab色彩参数、HSV色彩模型参数及叶面纹理参数也与烟叶成熟度存在不同程度的相关性。研究结果显示，鲜烟叶片图像的色调值(H)随烟叶成熟度的增大而下降，而饱和度(S)和明度值(V)随烟叶成熟度的增大而增加，其分别与烟草成熟过程中叶色由绿色逐渐转变为黄色、由暗变亮的过程相对应。除能量(ASM)外，对比度(CON)、自相关(COR)及逆距差(IDM)3个叶面纹理参数与成熟度均呈极显著相关。叶型参数叶面积(LA)、叶周长(LP)、叶长(LL)、叶宽(LW)、叶宽叶长比(WL)及目标叶片面积占比(SS)均与成熟度呈极显著负相关。说明，鲜烟叶片复合参数可很好地表征成熟度的等级差异，且其与烟草叶片成熟过程中叶色的表观变化存在一致的对应关系，可为利用其构建烟草叶成熟度判定模型提供数学基础。

多元逐步回归法因具备原理简单、使用方便的优点被广泛使用。而BP神经网络可学习和存储大量输入-输出模式的映射关系，具有很强的非线性映射能力，近年来越来越多地应用于模型的构建。基于此，该研究分别以叶色正态分布复合参数集(N1)与叶色偏态分布复合参数集(N2)作为输入因子，依次采用多元逐步回归法和BP神经网络法构建叶片成熟度的判定模型。通过比较4种模型拟合优度及判定准确度发现，基于BP神经网络所构建的F3和F4模型均优于采用多元回归方式构建的F1和F2模型，可能与BP神经网络所具备的大数据输入及非线性映射能力有关；同时，采用N2作为输入因子的模型F2和F4均优于采用N1作为输入因子的模型F1和F3，说明叶色偏态参数能更好地反映叶色变化。

4 结论

引入叶色偏态参数，结合HSV色彩模型参数、叶面纹理参数和叶型参数，组合成叶片图像复合参数集，并将其作为输入因子，运用BP神经网络构建F4(33-10-1)模型，经检验证明其对下部、中部和上部烟叶成熟度的判定精度分别为84.44%、96.10%和92.56%，总体精度达94.15%，可以满足不同叶位不同成熟度的判定精度需求，是最佳的叶片成熟度判定模型。同时说明，采用叶色偏态分布复合参数集(N2)作为输入因子且采用BP神经网络构建的不同叶位鲜烟叶成熟度的判定方法可在一定程度上解决烟草叶片成熟度田间判定准确度低的问题，可为烟叶生产过程中全株鲜烟叶片成熟度的智能化识别提供理论依据及应用基础。

致谢：美国塔夫茨大学江旭提供SPSS和MATLAB软件对数据进行处理分析，特此感谢!