基于RGB图像处理预测哈密瓜叶片叶绿素研究

李龙杰 史勇 刘彦岑 郭俊先

摘要：为提高植物叶绿素检测设备的普遍性和实用性，通过研究手机和单片机拍摄的RGB图像与植物叶片叶绿素含量有无拟合关系，以图像处理的方式进行叶绿素预测的相关试验，为将来基于深度学习的植物叶绿素动态无损检测提供试验依据。通过OpenCV对图像提取感兴趣区域（RoI），并进行均值滤波、高斯滤波和中值滤波，对原图和三种滤波后的图像进行三通道颜色特征分离，利用最小二乘法（LS）将颜色特征参数的多种组合与叶绿素实测值进行拟合分析，发现4种图像中均值滤波的拟合效果都普遍较好。在均值滤波中，手机K40拍摄的图像存在（B-G-R）/（B+G）特征组合与叶片叶绿素拟合决定系数为0.912。单片机ESP32_CAM拍摄的图像存在（G-B）B/（R+G）特征组合与叶片叶绿素拟合决定系数为0.778。运用梯度运算将均值滤波的RoI进行迭代处理，发现K40的决定系数略微下降，ESP32_CAM的决定系数出现好转。通过对K40与ESP32_CAM进行预测模型验证，两者都表现为随机森林（RF）回归模型的性能最好，在K40中训练集决定系数为0.953、训练集均方根误差为1.161，预测集决定系数为0.930、预测集均方根误差为1.516，在ESP32_CAM中训练集决定系数为0.794、训练集均方根误差为2.510，预测集决定系数为0.695、预测集均方根误差为2.985。

关键词：哈密瓜；叶绿素；RGB图像；图像识别；回归预测

中图分类号：S126

文献标识码：A

文章编号：2095-5553 （2024） 06-0149-07

收稿日期：2022年10月13日

修回日期：2023年2月20日

*基金项目：国家自然科学基金面上项目（61367001）；新疆维吾尔自治区教育厅自然科学重点项目（XJEDU2020I009）

第一作者：李龙杰，男，1996年生，四川内江人，硕士研究生；研究方向为农业电气化与自动化。E-mail： lidelongjie@163.com

通讯作者：郭俊先，男，1975年生，新疆巴里坤人，博士，教授；研究方向为农产品无损检测。E-mail： junxianguo@163.com

Research on predicting Hami melon leaf chlorophyll based on RGB image processing

Li Longjie¹， Shi Yong^{1， 2}， Liu Yancen^{1， 2}， Guo Junxian^{1， 2}

（1. College of Electrical and Mechanical Engineering， Xinjiang Agricultural University， Urumqi， 830052， China;2. Xinjiang Key Laboratory of Intelligent Agricultural Equipment， Urumqi， 830052， China）

Abstract： In order to improve the universality and practicality of plant chlorophyll detection equipment， this study investigates whether there is a fitting relationship between RGB images captured by mobile phones and microcontrollers and the chlorophyll content of plant leaves. The purpose is to determine the relevant experiments that can predict chlorophyll through image processing， providing experimental basis for future dynamic non-destructive detection of plant chlorophyll based on deep learning. By using OpenCV to extract the region of interest （RoI） from the image and applying mean filtering， Gaussian filtering， and median filtering， the original image and the three filtered images are subjected to three-channel color feature separation. The least squares method （LS） is used to perform fitting analysis on various combinations of color feature parameters and measured chlorophyll values. It is found that the fitting effect of mean filtering is generally better among the four types of images. In mean filtering， the image captured by the mobile phone K40 has a feature combination of （B-G-R）/（B+G） with a coefficient of determination of 0.912 for fitting the leaf chlorophyll. The image captured by the microcontroller ESP32_CAM has a feature combination of （G-B）B/（R+G） with a coefficient of determination of 0.778 for fitting the leaf chlorophyll. By applying gradient operation to iteratively process the RoI of mean filtering， it is found that the coefficient of determination of K40 slightly decreases， while the coefficient of determination of ESP32_CAM improves. Through the verification of prediction models for K40 and ESP32_CAM， both show that the random forest （RF） regression model performs the best. In K40， the coefficient of determination for the training set is 0.953， the root mean square error for the training set is 1.161， the coefficient of determination for the prediction set is 0.930， and the root mean square error for the prediction set is 1.516. In ESP32_CAM， the coefficient of determination for the training set is 0.794， the root mean square error for the training set is 2.510， the coefficient of determination for the prediction set is 0.695， and the root mean square error for the prediction set is 2.985.

Keywords： Hami melon; Chlorophyll; RGB image; image recognition; regression forecasting

0 引言

叶绿素是植物进行光合作用得到必要生长能量的主要因素之一，叶片中的SPAD含量与植物的生长情况、光合作用、蒸腾速度和茎流速度都有着直接的关系，能够快速有效地获取植物SPAD含量，可以为植物的精准健康管理提供有价值的信息^{[1， 2]}。通过拍摄植物生长情况的电子图像，分别对其进行分割、去噪等处理，利用RGB的特征值与叶绿素实际含量值判断相关性和建立预测模型，从而反演出叶绿素的预测值^[3-5]。

目前，相关学者在利用RGB图像预测植物叶绿素方面积累了一定的成果和经验。李修华等^[6]提出了一种智能手机结合辅助拍照装置获取植物叶片RGB图像并及时检测叶绿素含量的低成本方法。李丽等^[7]研究表明，通过分析后发现选用的RGB模型适用于无损、高精确的测定叶片叶绿素含量。宋一帆等^[8]研究表明，基于RGB色彩空间构建SPAD估算模型，可以快速、无损地预测叶片叶绿素含量。孙红等^[9]研究表明，建立基于冠层图像的作物SPAD值检测模型与分布图，可为作物的营养动态快速分析与分布检测提供依据。程立真等^[10]研究表明，应用数码相机基于RGB颜色模型可快速估测苹果叶片叶绿素含量。曲怡铃等^[11]研究表明，结合统计方法和无人机RGB影像建立了毛竹相对叶绿素反演模型，可以精准反演毛竹相对叶绿素含量，为动态监测毛竹叶绿素含量提供了可行的方法。张慧春等^[12]研究表明，基于YOLOv5目标检测模型识别出植物主枝冠层区域，得到叶绿素含量冠层分布的最佳估测模型并进行可视化，可实现植物苗期生长的监测与植物长势的快速评判，为氮胁迫早期诊断和氮肥科学施加提供技术指导。杨爱萍等^[13]研究表明，RGB颜色空间和HSV颜色空间均与水稻叶片的SPAD值有极显著的相关关系。

鉴于此，本文对不同生长时期的哈密瓜植株开展叶绿素预测的试验研究。通过图像特征组合与实测叶绿素含量存在的颜色特征关系，进一步验证通过RGB图像能够预测叶绿素含量的可行性。

1 材料与方法

1.1 叶片图像采集辅助装置

环境光线对图像拍摄质量影响很大，因此设计了一个具有稳定可控光源的封闭型图像采集箱（简称“采集箱”），结构如图1所示。采集箱长宽为40 cm，高度为45 cm。以门为正方向，在顶端两侧内部安装灯头面朝下的LED光源装置，通过专业型照度计TES 1339测得拍摄区域（底座中心位置）照度为735LX，中心处预留两个4 cm×4 cm的方形拍摄孔，两孔间距4 cm，采集箱内部5面为白色反光材料，底座为黑色材料。用手持叶绿素仪采集叶片叶绿素后将叶片置于拍摄区域，拍摄时Redmi K40和ESP32_CAM两设备紧贴拍摄孔位置进行同时拍摄。

1.2 叶片图像采集设备

在手机和单片机方面各选取一款作为图像采集设备，分别是手机Redmi K40（下文简称K40）和单片机ESP32_CAM。将手持叶绿素仪测得叶绿素后的叶片迅速放入采集箱中，通过两种图像采集设备进行拍摄标记储存，K40使用专业拍摄模式，选用4 800万像素摄像头进行拍摄，其他设置参数为：F：F/1.79，WB：AUTO，ISO：800，EV：0。ESP32_CAM选用OV2640模组200万像素摄像头进行拍摄，其他设置参数，运行频率：240 MHz，图像存储方式：WiFi无线通信本地局域网图像服务器存储。

两种设备选择分析：（1）选用K40拍摄的图像进行叶绿素预测，为将来快速无损预测植物叶绿素开发手机APP或小程序提供试验参考依据。优点：手机使用者广泛，性能高，方便携带，以K40拍摄的图像进行叶绿素预测为基础，开发手机APP或小程序能够实现人人都能检测植物叶绿素。缺点：价格高，如果试验面积过大，会出现投入成本高或试验进度缓慢等情况。（2）选用ESP32_CAM拍摄的图像进行叶绿素预测，为将来实现远程自动化检测植物叶绿素的实时变化趋势，对其判断植物的生成情况进行预测分析提供试验参考依据。优点：价格极低，可以大规模投入试验大田，大棚等试验场地使用，用于长时间检测植物生长情况，图像可以本地SD内存卡和无线WiFi与服务器通信两种方式存储，功耗低。缺点：目前只支持OV2640和OV5640两种摄像头。

两种拍摄设备的摄像头像素不同，从而导致拍摄的图像大小也存在差异，考虑到提取RGB三通道特征值后都是取平均参数，故此进行如下操作，首先利用Python语言和OpenCV对利用采集箱拍摄的图像进行预处理，按照指定区域（去除叶片以外绿色物体和其他杂物，同一设备截图的区域相同，图像大小不固定）批量截取图片，再运用1.4节的图像处理方式，提取RoI图像，最后提取RGB三通道。

1.3 叶片数据采集

试验地点：新疆智能农业装备重点实验室，试验时间：2022年6月30日，当日下午17：00到17：30完成叶片叶绿素含量读取和叶片拍摄工作。试验随机采集无明显病虫害、颜色均匀的幼苗期（5株）、开花期（5株）、结果期（5株）中不同长势的哈密瓜植株叶片（一株8个叶片，共120样本叶片），使用托普云农TYS-B B10手持叶绿素仪进行叶片叶绿素测定，采集时避开粗大的茎脉对每一叶片进行五点采集，取均值作为该叶片的叶绿素含量，叶绿素SPAD值的分布情况如图2所示，最后将采集叶绿素后的叶片迅速置于采集箱中进行拍摄标记存储。

1.4 叶片颜色特征自动提取

本文通过Python 语言与OpenCV结合，设计一种可以自动提取叶片颜色特征参数的图像处理方法，该方法主要功能：提取拍摄图像中叶片的感兴趣区域（Region of Interest，RoI）、对RoI进行平滑处理、图像大小处理和颜色特征参数分离。图像特征参数分离流程如图3所示。

1） RoI提取的流程：按照指定区域批量截取图片，去除图像中不需要考虑的部分。使用2G-R-B的方法进行图像Otsu二值化，再与截取图像进行位与运算，从而去除背景。

2） 平滑处理流程：对RoI分别进行均值滤波、高斯滤波和中值滤波。

3） 颜色特征参数分离流程：通过split将RoI图进行RGB三通道参数分离，去除数组中含零的值，在通过mean对每一通道求取均值作为该图像的RGB颜色特征值。

1.5 模型评估

预测模型的性能评估对判断模型的性能和稳定性至关重要，对预测模型性能的好坏和预测结果精度起着决定性作用。通常使用训练集决定系数（R_c²）、预测集决定系数（R_p²）、训练集均方根误差（RMSEC）和预测集均方根误差（RMSEP）作为评估模型性能的依据。R_c²和R_p²的值越高，说明预测建模效果越好，RMSEC和RMSEP的值越低，说明预测模型越稳定。计算如式（1）～式（4）所示。

R_c²=∑n_ci=1（Y_pi-Y_i）²/∑n_ci=1（Y_pi-Y）²（1）

R_p²=∑n_pi=1（Y_pi-Y_i）²/∑n_pi=1（Y_pi-Y）²（2）

RMSEC=1n_c∑n_ci=1（Y_pi-Y_i）²（3）

RMSEP=1n_p∑n_pi=1（Y_pi-Y_i）²（4）

式中：Y_pi——第i个叶片叶绿素的预测值；

Y_i——第i个叶片叶绿素的实测值；

Y——对应模型集中的叶片叶绿素的平均值；

n_c——训练集中的计算数量；

n_p——预测集中的计算数量。

2 结果与分析

2.1 叶片图像处理分析

图像处理采用Python语言与OpenCV的协同工作模式，通过预先对截取的原始图像进行RGB三通道分离，利用特征值2G-R-B计算的结果选取最大值和最小值，用于图像Otsu二值化，再与截取的原始图像进行位与运算，从而获得感兴趣区域图像，如图4所示，该方式不仅原理简单，代码量少，低配计算机也能轻松驾驭，此外，在去除图像背景方面效果显著，为植物叶片叶绿素分析提供了高效途径。

将幼苗期、开花期和结果期去除背景的RoI原始图像进行均值滤波、高斯滤波和中值滤波操作后，分别对四种RoI图像提取RGB三通道特征值，各颜色特征值组合如表1所示。

对各颜色特征值组合与实测叶绿素SPAD含量进行相关性分析，发现K40拍摄的图像最敏感特征组合为（B-G-R）/（B+G），线性回归方程的决定系数R²为0.912，ESP32_CAM拍摄的图像最敏感特征组合为（G-B）B/（R+G），线性回归方程的决定系数R²为0.778，相关性如表2所示。通过分析可以看出，无论是K40还是ESP32_CAM，RoI原始图像和平滑处理后的图像，R²值都在均值滤波中效果最佳。在决定系数中，两设备表现出较大的精度差异，K40的R²均值比ESP32_CAM的R²均值高0.1以上，说明拟合效果受拍

摄像素和设备性能的影响。从相关性的拟合度来看，K40的拟合效果较好，ESP32_CAM的拟合效果次之。

2.2 颜色特征与SPAD的相关性分析

考虑到去除背景后的RoI图像可能还存在黑色背景区域有非叶片的绿色噪点，并且叶片边缘区域由于光照等环境因素导致该区域处于偏白色，这可能会影响到试验的准确性，因此对均值滤波后的RoI图像进行二次处理，将得到的二值图像进行3次梯度运算，梯度=膨胀-腐蚀，在膨胀操作中，迭代次数均为0，在腐蚀运算中，迭代次数分别为3、6、9，共3种，迭代运算中矩形框大小为3像素×3像素，将梯度运算迭代的二值图像分别与原均值滤波RoI图像进行位与运算，以达到去除背景噪声和叶片边缘噪声的效果。

分别对原始和梯度运算后的均值滤波RoI图像提取RGB三通道特征值，K40和ESP32_CAM分别选用28种特征值组合，用于再次与叶绿素实测值进行相关性分析判断，通过分析发现，依旧有不少特征值组合与叶绿素含量存在较强的相关性，K40均值滤波RoI图像最敏感特征组合为（B-G-R）/（B+G），ESP32_CAM梯度运算迭代9次的均值滤波图像最敏感特征组合为（G-B）B/（R+G），K40线性回归方程的决定系数略微下降，ESP32_CAM线性回归方程的决定系数出现好转。运用LS对K40与ESP32_CAM梯度运算特征参数与实测SPAD进行数据处理后如图5～图10所示。考虑到代码的复用性，选用R²总和最大的作为预测模型的输入。故此，K40选用原始均值滤波RoI图像（迭代次数0次）特征值作为预测模型的输入，ESP32_CAM选用迭代次数9次的均值滤波RoI图像特征值作为预测模型的输入。

2.3 模型验证

将幼苗期、开花期和结果期三个阶段的数据，通过预处理得到最优特征组合数据作为预测模型的输入，以7∶3的划分方式，将输入的数据集分为训练集与预测集两个部分，通过不同的模型处理方法对叶绿素含量进行预测对比研究。如表3所示，在K40叶绿素预测模型中，对多个预测模型进行性能评估，得出随机森林（RF）回归模型预测性能最好，稳定性最佳，训练集决定系数R_c²=0.953、训练集均方根误差RMSEC=1.161，预测集决定系数R_p²=0.930、预测集均方根误差RMSEP=1.516。同理，在ESP32_CAM叶绿素预测模型中，RF回归模型预测性能最好，稳定性最佳，训练集决定系数R_c²=0.794、训练集均方根误差RMSEC=2.510，预测集决定系数R_p²=0.695、预测集均方根误差RMSEP=2.985，各模型预测效果如图11、图12所示。

3 结论

该试验以数字图像分析处理为基础，设计出能够提供稳定光源和相同拍摄距离的密闭拍摄环境进行两种设备的拍摄工作，通过对图像的颜色特征参数组合与叶绿素含量之间是否具有相关性展开研究。

1） 运用Python语言对原图进行特征参数分离，以2G-R-B方式对图像进行Otsu二值化，将图像背景去除，然后再对RoI进行图像平滑处理，最后对均值滤波后的RoI图像进行梯度运算，对叶片边界部分和图像中的噪点进行迭代腐蚀，发现K40线性回归方程的决定系数略微下降，ESP32_CAM线性回归方程的决定系数出现好转，通过数据的拟合分析进行数据降维，选用决定系数最佳的特征值数据作为预测模型的数据集。

2） 通过对两种设备拍摄的图像进行研究分析，发现两种设备拍摄的图像都可对叶绿素含量进行有效的预测，在这两种设备中，K40训练集决定系数R_c²=0.953、训练集均方根误差RMSEC=1.161，预测集决定系数R_p²=0.930、预测集均方根误差RMSEP=1.516，在ESP32_CAM中训练集决定系数R_c²=0.794、训练集均方根误差RMSEC=2.510，预测集决定系数R_p²=0.695、预测集均方根误差RMSEP=2.985。

3） 对两种拍摄设备进行分析，K40携带方便、实用性强和扩展性高等优点，为将来快速无损预测植物叶绿素开发手机APP或小程序提供试验参考依据。ESP32_CAM的价格极低，性价比极高，其预测效果也相当理想，可以大规模投入试验大田、大棚等试验场地使用，用于长时间检测植物生长情况，为将来实现远程自动化检测植物叶绿素的实时变化趋势，对其判断植物的生成情况进行预测分析提供试验参考依据。

参 考 文 献

[1]Mielke M S， Lobo L S， da Costa G S， et al. Predictions of chlorophyll concentrations in the leaves of seedlings of two congeneric tropical trees from RGB digital image components [J]. Southern Forests： A Journal of Forest Science， 2021， 83（2）： 177-184.

[2]Mendoza-Tafolla R O， Ontiveros-Capurata R E， Juarez-Lopez P， et al. Nitrogen and chlorophyll status in romaine lettuce using spectral indices from RGB digital images [J]. Zemdirbyste-Agriculture， 2021， 108（1）.

[3]Milagres C C， Fontes P C R， Abreu J A A， et al. Plant growth stage and leaf part to diagnose sweet corn nitrogen status using chlorophyll sensor and scanner image analysis [J]. Journal of Plant Nutrition， 2021， 44（18）： 2783-2792.

[4]Guo Y， Yin G， Sun H， et al. Scaling effects on chlorophyll content estimations with RGB camera mounted on a UAV platform using machine-learning methods [J]. Sensors， 2020， 20（18）： 5130.

[5]do Amaral， Elizabeth S S， Daniela V D A， et al. Relationships between reflectance and absorbance chlorophyll indices with RGB （Red， Green， Blue） image components in seedlings of tropical tree species at nursery stage [J]. New Forests， 2019， 50： 377-388.

[6]李修华， 卢显杰， 奚金阳， 等. 智能手机RGB图像检测植物叶片叶绿素含量的通用方法[J]. 农业工程学报， 2021， 37（22）： 145-151.

Li Xiuhua， Lu Xianjie， Xi Jinyang， et al. Universal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（22）： 145-151.

[7]李丽， 程灵. 基于RGB模型建立快速检测番茄叶片叶绿素含量的方法[J]. 分子植物育种， 2021， 19（20）： 6906-6909.

Li Li， Cheng Ling. A method for rapid detection of chlorophyll content in tomato leaves based on RGB model [J]. Molecular Plant Breeding， 2021， 19（20）： 6906-6909.

[8]宋一帆， 张武， 姚雨晴， 等. 基于RGB模型的大豆叶片叶绿素含量预测[J]. 江汉大学学报（自然科学版）， 2020， 48（1）： 65-72.

Song Yifan， Zhang Wu， Yao Yuqing， et al. Estimation of Chlorophyll content in soybean leaves based on RGB model [J]. Journal of Jianghan University （Natural Science Edition）， 2020， 48（1）： 65-72.

[9]孙红， 邢子正， 乔浪， 等. 基于光饱和影响校正的作物叶绿素分布光谱成像检测[J]. 光谱学与光谱分析， 2019， 39（12）： 3897-3903.

Sun Hong， Xing Zizheng， Qiao Lang， et al. Spectral imaging detection of crop chlorophyll distribution based on optical saturation effect correction [J]. Spectroscopy and Spectral Analysis， 2019， 39（12）： 3897-3903.

[10]程立真， 朱西存， 高璐璐， 等. 基于RGB模型的苹果叶片叶绿素含量估测[J]. 园艺学报， 2017， 44（2）： 381-390.

Cheng Lizhen， Zhu Xicun，Gao Lulu， et al. Estimation of chlorophyll content in apple leaves based on RGB model using digital camera [J]. Acta Horticulturae Sinica， 2017， 44（2）： 381-390.

[11]曲怡铃， 唐燕， 周忠生， 等. 基于无人机可见光影像的毛竹相对叶绿素含量反演研究[J]. 江西农业大学学报， 2022， 44（1）： 139-150.

Qu Yiling， Tang Yan， Zhou Zhongsheng， et al. Study on model simulation of relative chlorophyll content of Moso bamboo based on UAV visible light image [J]. Acta Agriculturae Universitatis Jiangxiensis， 2022， 44（1）： 139-150.

[12]张慧春， 张萌， 边黎明， 等. 基于YOLO v5的植物叶绿素含量估测与可视化技术[J]. 农业机械学报， 2022， 53（4）： 313-321.

Zhang Huichun， Zhang Meng， Bian Liming， et al. Estimation and visualization of chlorophyll content in plant based on YOLO v5 [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（4）： 313-321.

[13]杨爱萍， 张坤， 段里成， 等. 基于RGB与HSV颜色空间的水稻齐穗后叶片SPAD值估测方法研究[J]. 江西农业学报， 2019， 31（8）： 106-112.

Yang Aiping， Zhang Kun， Duan Licheng， et al. Estimation method for SPAD value of rice leaves after full heading based on RGB and HSV color space [J]. Acta Agriculturae Jiangxi， 2019， 31（8）： 106-112.