基于光学特性参数反演的绿萝叶绿素含量估测研究

2021-04-13王浩云曹雪莲孙云晓闫明壮王江波徐焕良

农业机械学报 2021年3期

王浩云曹雪莲孙云晓闫明壮王江波徐焕良

(1.南京农业大学人工智能学院，南京 210095; 2.中国电子科技集团国睿科技股份有限公司，南京 210023;3.塔里木大学植物科学学院，阿拉尔 843300;4.塔里木大学南疆特色果树高效优质栽培与深加工技术国家地方联合工程实验室，阿拉尔 843300)

0 引言

绿萝是优良的室内观赏植物，除观赏价值外，对净化室内环境也有重要作用[1]。叶绿素含量是影响植物光合作用的重要因素，也是评价绿色植物生长状况的关键指标[2-3]。快速检测绿萝叶绿素含量对于掌握绿萝健康状况具有重要意义。叶绿素含量检测方法可分为有损的化学检测和无损检测两类。传统的化学检测手段存在耗时、费力、时效性差、适用性差、破坏植物体结构等缺陷[4]。无损检测方法主要依靠叶绿素测量仪和高光谱成像技术，叶绿素测量仪操作便捷，但因只能对局部点光谱进行分析，无法完整获取叶片或冠层整体的叶绿素信息[5]，在实际应用中仍存在较大的局限性。

基于光谱分析技术结合光谱和图像信息可以实现叶绿素含量的快速、非破坏性检测[3]。其中，光谱仪因其便携、快速、无损的优势而被广泛应用，但便携式光谱仪采用点光源测量方式，从样本中获取的光谱信息有限。而由高光谱相机拍摄的高光谱图像同时包含大量图像信息和光谱信息，弥补了传统光谱仪和数字摄像头在获取图像信息上的不足[6]，在农业工程领域已得到广泛的应用。

目前，采用高光谱检测叶绿素含量的方法大多通过构建简单模型将光谱图像与叶绿素含量直接关联[7-10]，忽略了植物组织内部对光的吸收和散射[11-12]，故无法表达整个植物组织内部叶绿素含量的完整信息。因此，在使用光谱技术进行分析时有必要研究光在植物组织中的传输机理[13]，将光谱信息和光学特性参数结合可以弥补单一光谱信息的不足。陈荣等[14]采用遗传退火算法重构光学特性参数，得到μa和μs的反演误差分别为8%和0.1%。刘奇[15]利用BP神经网络反演多层模型的光学特性参数，双层平板模型的误差为1.84%，三层平板模型的误差为1.73%，获得比线性拟合和微扰蒙特卡洛方法更高的预测精度。深度学习方法在光学特性参数反演中表现突出，但该方法依赖大量样本进行模型训练，需要投入较多的人力、物力，以获取数据。林相泽等[16]、郑一力等[17]和龙满生等[18]将迁移学习应用到图像识别领域，获得比直接训练更好的效果。许景辉等[19]采用不同训练方式将VGG-16模型迁移到玉米病害图像识别中。徐焕良等[20]基于模型迁移方法，在双层平板模型上得到光学参数反演结果。郑宗生等[21]将源域与目标域分布差异添加到损失函数中，使迁移模型收敛更快、准确率更高。

目前，在叶绿素高光谱检测研究中，尚未见结合光学特性参数进行分析的相关研究。本文以绿萝为研究对象，提出结合仿真光谱数据和域自适应迁移学习方法进行光学特性参数反演，并将神经网络输出的深度特征用于叶绿素含量预测模型。

1 材料与方法

1.1 实测数据获取

1.1.1实验样本

实验对象为长藤绿萝，选取20盆长势相当的绿萝为样本，分别从每盆绿萝植株四周均匀采集叶片10片，总计200片绿萝叶片。为避免时间过长导致叶片水分流失或叶绿素高温见光分解，叶片采摘后立即进行实验数据采集。

1.1.2绿萝叶片高光谱数据采集

采用HSI-VNIR-0001型高光谱成像系统获取绿萝叶片高光谱图像，成像系统结构如图1所示，该成像系统主要包含CCD相机、光谱仪、光源、移动载物台、计算机及配套的光谱成像和分析软件，光谱采集波长为375.54～1 033.87 nm。消除前后噪声波段后，高光谱有效波长范围设置为400～900 nm，共468个波段。

1.1.3绿萝叶片积分球数据采集

采用上海五铃光电科技有限公司的双积分球系统采集绿萝叶片的反射率与透射率，主要由透射球、反射球、光纤、光源、光谱仪、计算机和相应配套软件组成。由双积分球系统获得叶片的反射率和透射率后，利用IAD算法通过迭代计算来确定绿萝叶片的光学特性参数，最终得到绿萝叶片的吸收系数μa(0.01～6 mm-1)和散射系数μs(0.9～150 mm-1)。

1.1.4绿萝叶片叶绿素含量采集

采用便携式SPAD-502型叶绿素仪采集绿萝叶片的叶绿素含量信息。为避免仪器本身存在测量误差，在每次测量前对设备进行校准。设备校准后，选取生长发育正常的绿萝叶片，对 2像素×2像素的矩形区域进行测量，在同一区域测量3次取平均值作为该区域的叶绿素含量，如图2所示。

1.2 基于面光源的单层平板模型蒙特卡洛仿真

蒙特卡洛方法是一种模拟抽样或统计试验方法，其基本思想是首先通过一系列随机数来模拟与实际情况类似的随机过程或者概率模型，再进行抽样实验计算相关参数，最后得到近似解。研究表明，蒙特卡洛方法能够有效地描述光子在组织中的传输过程，与实际测量的参数基本一致，因此该方法已经成为光在生物组织中传输的一种非实验标准。

利用蒙特卡洛方法模拟光子传输的过程中[15]，光束可以被看成一个一个的光子，当发射一个光子时，该光子会随机移动一个步长，接着与组织中的微小颗粒发生吸收和散射作用。散射会改变光子的运动方向，吸收会使光子权重减小，然后光子继续移动并发生吸收散射作用。当光子从组织表面逸出时，从上表面逸出的光子形成漫反射光，从下表面逸出的光子形成透射光，当光子的权重足够小时，就会被组织吸收。最后重复这条光束中的所有光子，从而完成整个光束的蒙特卡洛模拟。

徐焕良等[20]构造点光源下的苹果双层平板模型，简化了复杂模型计算量[22]。但点光源应用存在较大局限性，本文采用面光源构造蒙特卡洛平板模型模拟最真实的平行光光源下的光子传输过程。因叶片结构与单层平板结构极为接近，最终采用基于面光源的单层平板结构构建绿萝叶片的光子传输模型。根据积分球实验测得的光学特性参数设置仿真实验参数，将叶片厚度d设置为涵盖实测样本全部厚度的25个值，μa和μs分别取实测吸收系数和散射系数中均匀分布的7个和8个值，本文使用1×106个光子模拟整个过程，得到光子在叶片组织表面的统计分布如图3所示。从图3中可以看出，与点光源图像相比，面光源光子分布图更亮且光子覆盖面更广，一定程度上说明了使用面光源数据可以获取更多图像和光谱信息。

2 实验方法

本文提出基于迁移学习的绿萝叶片光学特性参数反演方法，并根据光学特性参数反演结果构建绿萝叶片叶绿素含量预测模型。首先，根据实测绿萝叶片数据构建面光源下的蒙特卡洛单层平板模型，模拟光子在叶片中的运动轨迹以获得大量无噪声的理想光谱数据，再利用卷积神经网络对模拟光谱数据进行训练，得到预训练模型。基于训练好的模型，在神经网络的损失函数中加入仿真数据与实测数据的最大均值差异，用实测数据对网络进行微调，获得比直接训练神经网络和模型迁移都更高的反演精度。最后，利用高光谱和迁移后的模型反演光学特性参数，建立绿萝叶绿素含量预测模型，并与光学参数、高光谱数据建立的模型进行对比，验证了光学特性参数反演的必要性。

2.1 卷积神经网络模型

卷积神经网络因其多层卷积、权值共享、旋转不变性等特点[23]，拥有比传统方法更强的特征提取和表达能力，在图像识别分类任务中表现突出，一般由输入层、卷积层、池化层、全连接层和输出层构成。卷积神经网络可以将原始图像直接输入网络进行特征提取，卷积层和池化层是提取图像特征的重要环节，输出层将多维向量组合成一维向量输出，实现图像分类识别。

本文选择卷积神经网络进行预训练，网络结构如图4所示。网络模型包含3个卷积层、1个池化层和1个全连接层，网络输入是30像素×30像素的仿真绿萝叶片光亮度分布图像，第1层为卷积层，卷积核尺寸为2×2，通道数为10，步长为1，第2层为池化层，池化窗口尺寸2×2，步长为1，第3层为卷积层，卷积核尺寸为3×3，通道数为20，步长为1，第4层为卷积层，卷积核尺寸为2×2，通道数为20，步长为1，全连接层FC1将第4层网络的输出降维到1×50，最后通过Softmax层实现光学参数分类。

2.2 迁移学习

迁移学习是指利用数据、任务或模型之间的相似性，将在源领域学习到的模型应用于目标领域的一种学习过程。预训练模型中的卷积层已经可以对源域样本进行特征提取[24]，再添加全连接层就能实现较好的分类效果。一般的模型迁移方法只需要基于预训练模型，改变最后的全连接层应用到目标数据集上，对网络进行微调就可以实现迁移学习。但该方法要求源域与目标域图像具有相同分布，忽略了两种数据的差异性，如果将二者分布差异加入模型训练中，可以提高网络的迁移能力。

最大均值差异(Maximum mean discrepancy，MMD)[21]是迁移学习中使用频率最高的度量方法，度量在再生希尔伯特空间(RKHS)中两个分布的距离，是一种核学习方法，两个随机变量的MMD平方距离为

(1)

式中Lmmd——最大均值差异平方距离

Fs、Ft——源域和目标域提取的特征

M、N——源域和目标域样本数量

φ——将原始数据映射到再生希尔伯特空间的核函数

本文基于预训练模型引入最大均值差异的分布匹配方法，在网络的全连接层之后增加分布匹配度量，减小实测绿萝叶片光谱图像和模拟光亮度图特征分布的差异，提高网络的迁移能力。网络的交叉熵损失函数Lc为

Lc=λ1L1+λ2L2

(2)

其中

(3)

式中L1、L2——μa、μs交叉熵损失

λ1、λ2——μa、μs权重

m——样本总数量

n——任务分类类别数量

xi——学习到的特征向量

wj、bj——第j个类别全连接层输出的权重向量和偏置项

wyi、byi——第yi个样本的权重向量和偏置项

综合上述交叉熵损失和分布匹配度量损失，本文基于MMD的域适应方法的损失函数为

(4)

式中Ltotal——总损失函数

Xt、Yt——实测样本特征

2.3 绿萝叶片叶绿素含量检测

偏最小二乘回归(Partial least squares regression，PLSR)是基于成分提取思想，可解决变量之间多重相关的问题。在本文提出的基于迁移学习的光学特性参数反演方法基础上，使用光学参数深度特征构建偏最小二乘预测模型，得到叶绿素含量回归结果，并与常规的高光谱分析方法进行对比。采用实测值与预测值之间的决定系数R2和均方根误差(Root mean square error，RMSE)评估预测模型的性能。决定系数越接近1，则模型的预测能力越好；RMSE越小，说明模型预测能力越好。

3 实验结果分析

3.1 实验环境

实验在Python 3.7.4、Tensorflow-GPU 1.13.1软件环境下完成。CPU采用AMD Ryzen 5 1600 Six-core Processor，主频3.2 GHz；GPU采用NVIDIA GeForce RTX 2080 Ti显卡。

3.2 实验设计

通过蒙特卡洛仿真模型得到12 000幅模拟叶片光亮度分布图，对样本数据进行简单划分，其中训练集10 000幅、测试集2 000幅。通过对测试结果的分析评估对模型参数进行调整，设置批次为100，学习率为0.000 1，训练2 000次得到预训练模型。将实验采集到的3 000幅高光谱图像以4∶1的比例划分为训练集和测试集，基于预训练网络，引入最大均值差异度量方法进行迁移学习，生成新的光学参数反演模型。在预测叶绿素含量阶段，将实测样本的光谱数据输入到训练好的模型中，得到全连接层的输出结果作为偏最小二乘的输入，得到叶绿素含量回归结果。同时为了验证本文方法的有效性，将基于光学参数和高光谱的叶绿素含量模型与本文方法进行对比。

3.3 结果与分析

3.3.1基于仿真数据的光学特性参数反演

蒙特卡洛方法模拟得到的仿真图像尺寸均为100像素×100像素，其中中心点位置为(50像素,50像素)，为了在减小计算量提高效率的同时不影响训练效果，分别取像素区间(21∶80,21∶80)、(21∶50,51∶80)、(21∶50,21∶50)、(51∶80,51∶80)、(51∶80,21∶50)的仿真图像作为网络输入，反演结果如表1所示。

从表1中可以看出，(21∶80,21∶80)和(51∶80,51∶80)获得了更好的反演结果，二者的反演效果差距不大，但更大的图像选取范围会导致模型参数以及训练和测试成本的成倍增加，考虑到模型的实用性，最终选取(51∶80,51∶80)区域图像对模型进行训练。

表1 不同选取范围的反演结果对比Tab.1 Inversion results comparison of different selected ranges

在训练网络模型之前，对数据进行归一化处理，有利于卷积神经网络进行特征提取。使用线性方法进行数据归一化，选取像素区间为(51∶80,51∶80)的仿真图像进行模型训练，分别采用点除10、100、1 000、10 000的线性归一化方式，仿真数据的光学参数反演结果如表2所示，可以看出，点除10 000的归一化效果最好。

表2 归一化对预训练网络分类结果的影响Tab.2 Effect of normalization method on classification results of pre-training network

因此，本文采用点除10 000的方式进行数据归一化，归一化结果作为卷积神经网络的输入，得到预训练模型，训练损失曲线如图5所示，可以看出模型在迭代1 100次以后逐渐趋于平稳。由于仿真数据是理想条件下生成的模拟数据，数值分布较为一致，训练时模型收敛快，随着迭代次数增加，损失值没有较大波动。最终仿真数据光学参数反演结果中，吸收系数和散射系数的反演准确率均达到87%以上。

3.3.2基于实测数据的光学特性参数反演

迁移学习使模型具有更好的泛化能力，且可以有效解决过拟合问题，模型迁移是最常用的迁移方法之一。分别进行非迁移学习和模型迁移，并采用不同的参数学习方式进行训练，结果如表3所示。

表3 不同训练方式的光学参数反演测试集准确率Tab.3 Optical parameter classification accuracy of different training methods %

从表3可以看出，模型迁移只训练全连接层的测试准确率最低，原因是虽然预训练网络的卷积层已经具备提取图像特征能力，但是模拟数据和实测数据分布不完全相同，仅训练改变全连接层无法达到理想效果，训练改变全部参数则可以提升模型性能。因此，最终采用训练全部层的方式进行光学参数反演。

在模型迁移方法的基础上引入MMD度量方法，基于MMD迁移方法的反演结果为：吸收系数μa测试集准确率为87.55%，散射系数μs测试集准确率为86.67%。与非迁移学习和简单模型迁移相比，测试准确率有明显提升。

由上述结果可知，非迁移学习方法测试准确率最低，这是由于实测训练数据较少，随着训练次数增加损失值出现波动，导致最终的训练结果不理想。两种迁移学习与非迁移学习相比均有更高的准确率，且大大缩短了模型收敛时间。因模拟数据与实测光谱数据仍存在一定差异，仅通过模型迁移不能达到理想效果，而基于MMD的迁移方法可以明显提高测试准确率。

3.3.3叶绿素含量估测

根据文献[25]的结果，卷积平滑S-G预处理对波段400～900 nm范围的绿萝叶片高光谱数据处理效果最好，可以有效消除原始高光谱图像中的噪声信息，因此采用S-G平滑方法对高光谱数据进行预处理。图6a为400～900 nm范围内的高光谱原始图像，数据噪声较大；图6b为经过卷积平滑预处理后的高光谱图像，可以看出，该方法有效去除了数据噪声，并保证了数据的完整性，为特征波段的提取提供了良好的基础。之后使用连续投影算法(SPA)对特征波段进行选择，最终通过连续投影算法筛选的特征波长分别为59、77、97、128、167、305、348、420 nm。

为了验证光学参数反演方法的必要性，利用光学参数、SPA筛选的高光谱数据以及迁移得到的深度特征分别构建叶绿素含量预测模型，结果如图7所示。使用光学参数对叶绿素含量进行回归的结果为：回归决定系数R2为0.884 2，均方根误差为1.768 6；使用高光谱图像对叶绿素含量进行回归的结果为：回归决定系数R2为0.869 0，均方根误差为1.154 9。而利用本文提出的迁移方法得到的深度光学特性参数特征对叶绿素含量建模的结果为：R2为0.931 0，均方根误差为0.837 4。可以看出，结合了光谱信息和光学特性参数信息的深度特征预测效果最好。因此，由高光谱反演光学参数可以为绿萝叶片的叶绿素含量检测提供更好的方法。