基于Matlab图像识别的海棠花期色彩动态变化规律
2024-12-27申轶乾张往祥李舒情
关键词:Matlab图像识别;UAV图像;HSL色彩空间;色彩动态
观赏海棠Malusspp.为蔷薇科Rosaceae苹果属Malus落叶小乔木,是园林景观应用中常见的观赏树种[1-2],花是其重要的观赏器官之一。目前,针对海棠花的研究相对成熟,多集中于海棠花色动态变化[3-5]、花期物候研究[6-7],以及花期调控等方面。海棠花色作为重要的观赏性状之一,探究海棠品种群的花色动态变化,不仅能了解不同品种海棠在不同开花阶段的花色变化规律,从而筛选或培育具有特定花色特征的优良品种,同时通过构建花色变化模型可预测海棠生长过程中的花色,在提高育种效率的同时为花卉产业发展提供技术支持。然而,当前对于植物色彩的研究多采用色差计[8]或色差仪[9]对其颜色进行测定。该方法需要人工采集花朵,非常耗费人力和时间,不利于花朵的保存,并且不同种质的花色稳定性不同[10],影响花色测定的准确性,并且这种传统方式只能测定、监测花期阶段中某一时间点的花色,无法对开花过程中花色动态变化规律作出解释。因此寻找省时省力且高效的手段来探究大样本品种群之间的色彩变化关系,对于花色图像数据库建立及其他观赏植物的色彩研究具有十分重要的意义。
无人机(UAV)和图像识别技术相结合能在大空间格局下连续获取信息,提高对地面植物监测的效率,其高分辨率、低成本、高机动灵活性等优势使其在植物物种分割[11-12]、多传感器植物分析[13-14]、自动植物计数[15-16]等植物表型研究中得到广泛应用并获得了有效成果。但是在众多研究中,却鲜有关于应用于观赏花卉植物色彩变化规律研究的报道。本研究以70个海棠品种为研究对象,基于Matlab图像识别技术对UAV图像中开花区域进行识别与分割,并提取HSL色彩参数值,通过计算和分析色彩参数来揭示海棠花色动态规律,实时掌握海棠花色变化情况,实现开花过程的智慧化监测,同时也为花卉文旅新业态建设提供技术支持和理论依据。
1材料与方法
1.1试验地概况
试验地位于江苏省扬州市江都区仙女镇(119°55′E,32°42′N)南京林业大学海棠种质资源圃,属于北亚热带季风气候,四季分明。年均气温约14.9℃,年均降水量约1000mm,无霜期约320d。试验地地势平坦,立地条件一致,土壤为砂壤土,土层深厚肥沃,灌排条件良好。花期一般在3月下旬至4月下旬,观赏期大约为3周。本试验共选取70个海棠品种为试验对象,每个品种选取3株,皆为资源圃中5~8年生健康苗木,且能稳定开花结实3年以上的植株。品种名称见表1。
1.2研究方法
1.2.1无人机图像采集
采用大疆公司研发的Mavic2Pro四旋翼无人机,搭载的相机采用了1英寸CMOS影像传感器,有效像素为2000万。2023年3月20日—2023年4月30日(初花期—末花期)每天上午7:00—9:00利用无人机获取海棠图像。拍摄时,相机镜头垂直向下,焦距28mm。飞行模式采用手动飞行,无人机飞行高度在距冠层5m左右,飞行时摄像机云台角度为90°。获取图像格式为JPEG,分辨率为5472像素×3648像素,共获得2459张图像样本。
1.2.2图像预处理
采用AdobePhotoshop软件进行图像裁剪并进行阴影高光校正,去除因光线条件变化对图像识别分割精度的影响,增强画面细节,改善图像质量,便于对目标区域的识别和提取(图1)。
1.2.3开花区域识别和色彩参数提取
HSL是一种将RGB色彩模型中的点在圆柱坐标系中的表示法,它更接近人肉眼能感知的色彩,是运用最广的颜色系统之一,其中H代表色相(0°~360°),S代表饱和度(0~1.00),L代表亮度(0~1.00)。使用Matlab提取H、S、L3个通道分量的参数值,通过训练、优化通道分量实现对目标区域的识别分割。利用Matlab2022软件对无人机图像的开花区域进行识别和分割,并通过Photoshop软件辅助验证其识别精度,最终获得无人机图像中海棠开花区域,作为海棠花色参数提取的基础。
采用Photoshop软件颜色吸管工具提取图像开花区域的像素点,70个观赏海棠品种花色提取均从初花期开始到末花期结束为止,每3d提取1次颜色参数,获得HSL色彩参数,即为该图像样本的色彩参数。根据每个品种花期持续时间,最终可得到8次提取结果,将8次的提取结果进行统计分析绘制三维图和频数分布图。
计算同一品种不同花期阶段的色差值ΔE:
式中,ΔH、ΔS、ΔL分别表示3个花期(初花期、盛花期、末花期)的色相之差、饱和度之差、亮度之差。
1.3数据处理
所有数据均采用Excel软件进行统计,采用Origin2022软件作图及聚类分析;无人机图像采用Matlab2022软件和AdobePhotoshop软件进行处理。
2结果与分析
2.1Matlab软件识别结果
海棠花色主要集中在红色、粉色和白色,因此对目标区域的识别主要是提取这3种颜色特征的范围值,最终得到70个海棠品种3个通道分量范围,具体参数值如表2所示。
在Photoshop中利用直方图获得Matlab分割的海棠无人机图像开花区域的像元数量,与Photoshop中“色彩范围”工具提取的海棠开花区域作对比,结果如表3所示。从表中可以看出,不同海棠品种之间无人机图像的识别率不同,识别率最低的是20号‘亚当斯’,识别率最高的是68号‘磊沁’。70个海棠品种整体的识别率达到了91.6%,3个色系品种识别率由大到小分别是白色系(95.0%)、粉色系(92.3%)、红色系(85.9%)。
2.2无人机图像提取观赏海棠花色的HSL色彩空间分布
从图2、3可以看出观赏海棠花朵在HSL色彩空间中随时间变化而表现出有规律性的变化动态分布格局。
在H维度方向上,位点分布呈现“集中-分散-集中”的趋势,整体由红色区域向黄色区域转变。前3次的提取结果表明70个海棠品种在起始阶段大多分布在高H值的红色区域(第1次94.3%,第2次95.7%,第3次87.1%),并且位点呈现左移趋势;品种色相值从330°~360°(第1次80.0%,第2次47.1%,第3次15.7%)逐渐移向300°~330°(第1次14.3%,第2次48.6%,第3次71.5%)。在第4次、第5次提取中,观赏海棠品种的花期进入盛开阶段,色相值的分布范围开始呈现扩散趋势,分别有21.4%、33.3%的品种分布在0°~180°,有21.4%、13.6%的品种色相角分布在180°~300°,仍有50%的品种分布在300°~330°,而仅有7.1%和3.1%的品种依然分布在330°~360°。第6次提取中,一些品种开始进入末花期,可提取的品种数量开始减少,色相值为0°~90°、150°~210°、240°~360°,有35.7%的品种色相值分布在0°~30°,在300°~330°的品种数量占比减少到22.9%。第7次,品种数量持续减少到20个,色相值分布在0°~30°的品种数量占比增加到72.5%,分布在30°~150°的品种有15.9%,仅有8.7%的品种依然分布在300°~360°。第8次,仅有3个品种仍在花期内,色相值分布范围和变化趋势与第7次基本保持一致。
在S维度方向上,色彩饱和度整体呈下降的趋势,整体分布范围呈现先扩大后缩小的趋势,位点分布呈现“集中—分散—集中”的趋势。第1次,色彩饱和度集中分布在0.30~0.80,平均饱和度为0.53,有20%的色彩饱和度分布在0.30~0.40,24.3%的色彩饱和度分布在0.40~0.50。在第2次提取中,色彩饱和度分布范围为0.50~1.00,平均饱和度为0.69,有66.7%的品种色彩饱和度分布在0.50~0.80。第3次,色彩饱和度分布在0.50~1.00,平均饱和度为0.67,有60.3%的品种色彩饱和度在0.60~0.90。第4次,色彩饱和度在各区间均有分布,仍有49.2%的品种集中分布在0.5~0.8,平均饱和度为0.54,低饱和度(0~0.30)的品种数量在增多,高饱和度(0.80~1.00)的品种数量在减少。从第5次开始,品种数量开始减少,整体变化延续第4次的变化,色彩饱和度在各区间分布更加平均,平均饱和度为0.49。第6次的平均饱和度为0.44,品种数量减少22个,有19.6%的品种色彩饱和度在0.50~0.80,低饱和度(0~0.30)的品种数量增加到56.1%。第7次、第8次的色彩平均饱和度为0.33和0.39,色彩饱和度均分布在0~0.50,没有高饱和度(0.80~1.00)品种。
在L维度方向上,位点逐渐上移,并且分布范围逐渐缩小,呈现“分散—集中”的趋势,表明随着时间的推移海棠品种的亮度逐渐升高。第1次的位点分布较为分散,均在0.20~1.00,有67.2%的品种亮度集中分布在0.40~0.60,平均亮度为0.49。第2次亮度范围在0.40~1.00,分布范围缩小,有70%的品种亮度在0.50~0.70,平均亮度为0.61。第3次、第4次的亮度范围仍在0.40~1.00,但位点逐渐上移,向高亮度(0.70~1.00)的方向变化,平均亮度为0.70和0.77,品种占比从17.1%(第2次)逐渐增加到46.4%(第3次)、65.2%(第4次)。第5次,品种数量开始减少,亮度集中分布在0.50~1.00,其中有44.1%的品种亮度分布在0.90~1.00,平均亮度为0.84。第6次和第7次延续之前的变化趋势,亮度仍集中分布在0.50~1.00,并且品种数量占比由67.2%减少到27.5%,平均亮度分别为0.84和0.86;第8次,品种数量仅有3个,且亮度分布在0.70~0.90,平均亮度为0.80。
从图3可以看出,70个海棠品种的色相H、亮度L在前期都有所集中,随时间推移而发生分化或转移现象,饱和度S则平均分散且整体由高饱和度向低饱和度变化。色相H维度前期均为红色系和紫红色系,随开花进程逐渐向黄色区域转移;大多数品种在中高亮度区间,当花期进入盛花期,高亮度区间的数量增多,呈现为浅淡、明亮的白色系花。
2.3基于HSL色彩空间的观赏海棠品种群花色聚类分析
盛花期是海棠的主要观赏期。将70个海棠品种盛花期的色彩参数H、S和L绘制聚类分析树状图(图4)。在遗传距离41和61处,70个海棠品种可以划分为3大色系类群,即粉色系、红色系和白色系类群,色系类群之间具有明显不同的色彩参数特征(表4)。
A类为粉色系品种群,共16个品种。该类品种群盛花期阶段色相值均位于粉红区域(H值在300°~330°),饱和度低(S值在0.09~0.59),但花色亮度高(L值在0.39~0.86)。
B类为红色系品种群,共28个品种。该类品种群盛花期阶段色相值均位于红色区域(H值在330°~360°)。花色鲜艳度高于A类品种群(S值在0.21~0.57),但花色的亮度显著低于A大类(L值在0.27~0.67)。
C类为白色系品种群,共26个品种。该类品种群盛花期阶段色相角主要位于蓝色区域(H值在200°~250°),因饱和度极低(S值在0.03~0.13)、色彩极亮度极高(L值在0.70~0.90),而呈现为明亮的“白色”。
2.4观赏海棠花色还原和色彩淡化节律
将无人机提取到的观赏海棠花色色彩参数还原后绘制成图5。色彩饱和度是花色重要的观赏属性。从图5可见,3大色系品种群的花色在初花期皆为程度不一紫红色。随时间推移,盛花期色彩分化程度加大,尤其是粉色系和白色系,肉眼视觉上呈现出较为亮艳的颜色。末花期时,色彩分化程度进一步加大;红色系较为稳定,褪色程度较低;粉色系有不同程度的褪色现象,逐渐淡化为白色、粉白色和极淡灰紫色,色彩的饱和度降低而亮度增加;白色系的褪色现象十分严重,全部淡化为白色或灰白色。总体而言,3大色系均呈现出由浓到淡的趋势,个别颜色会受到光线的影响有所跳动,但整体趋势相同,但不同色系的淡化节律不同。
如表5所示,红色系品种3个花期阶段的色差值接近,整体的淡化程度最小,整个花期阶段的色系都保持在红色区域内。粉色系品种的色差变化较小、淡化程度较弱,色彩均由红色转成粉色,最后到淡粉或接近于白色,依次变化。白色系品种的颜色变化主要由饱和度S和亮度L主导,色相H会因光照变化而变化,尤其在初花期到盛花期过程中表现出极大的色差变化,淡化程度最大。3个色系的S下降节律明显不同。白色系品种在初花期—盛花期迅速下降,而在盛花期—末花期无明显变化;粉色系品种在整个花期阶段呈匀速下降的趋势;红色系品种在初花期—盛花期下降缓慢,在盛花期—末花期下降速度加快,但整体下降幅度低于粉色系品种。
3讨论与结论
3.1讨论
图像识别技术作为植物检测和分类的新技术手段,利用颜色特征[17]、纹理特征[18]等方式识别特定植物结构领域(花、叶、果)[19-21]得到了广泛的应用。宋英等[22]利用颜色特征识别小麦赤霉病检测率达到90%以上,李少敏等[23]对玉米种子的识别正确率也在90%以上,结合本研究利用颜色特征识别分割海棠开花区域的识别率为91.6%,再次有效地证明图像识别技术在监测植物花、叶、果的生长过程有很好的效果。对于观赏植物来说,植物色彩是衡量观赏价值的一个重要指标,利用植物的颜色变化不仅能实现种群划分,还能实现植物物候期的划分。例如,范俊俊等[24]基于海棠物候期内图像样本的色彩参数变化实现海棠物候的动态监测,但局限在于样本只选取了一个品种,未来还需要扩大样本容量来提高研究结果的准确性。
在以往的花色动态研究中,色差计、色差仪因其测定准确度高成为运用最广泛的技术手段,而本研究首次利用颜色特征识别分割UAV图像中的开花区域并提取HSL色彩参数,将70个观赏海棠品种划分为粉色系、红色系和白色系3大类,试验结果与张往祥等[5]使用色差计对海棠品种群花色的测定和分类结果基本一致,70个海棠品种仅有‘凯尔斯’‘豪帕’‘可可辛娜’‘春之颂’‘约翰东’等9个品种分类存在误差,一致率为87.1%。这种误差可能是由于无人机图像采集时受外部环境光照条件的影响造成图像显示的颜色误差,或者是品种自身的遗传特性,又或者是红色和粉色品种的色相值很接近,在颜色参数提取时两个目标物色彩之间色差很小,对分类结果有所影响。从提取的颜色参数来看,色相值H的分布状况表明海棠花色多集中在200°~360°,缺乏黄色系品种(色相H值在0°~90°)。色差值的变化表明红色系淡化程度最小且整个花期色彩饱和度较高,有较高的观赏价值;粉色系在盛花期色彩鲜亮,末花期由于淡化程度大,色彩近于白色,观赏价值下降。该方法的花色动态规律与何娜等[4]色差计测定结果相似,极大地提高了花色测定及色系分类的工作效率,避免了样本采集和保存过程中出现失误,适合在宏观层面监测花色动态变化。但在分类时,出现部分粉色系品种划分到红色系品种的情况,在今后的研究中,需要进一步优化图像识别技术。
3.2结论
Matlab软件识别无人机图像的开花区域效果较好,识别率达91.6%。盛花期是海棠的主要观赏期,在这个阶段花色也会逐渐分化,呈现出不同的淡化规律。粉色系品种群的淡化程度较弱,色彩均由红色—粉色—淡粉或接近于白色的顺序依次变化;盛花期阶段色相H平均值为(314.0°±13.5°),饱和度较低,S平均值为(0.26±0.15),但花色亮度高,L平均值为(0.72±0.11)。红色系品种群整体的淡化程度最小,整个花期阶段的色系都保持在红色区域内;盛花期阶段色相H平均值为(333.0°±7.0°),花色鲜艳度高于粉色系品种群,S平均值为(0.34±0.08),但花色的亮度显著低于粉色系品种,L平均值为(0.44±0.08)。白色系品种的颜色变化主要由饱和度S和亮度L主导,色相H会因光照变化而变化,因此其初花期的色相分化程度较大,在初花期到盛花期过程中表现出极大的色差变化;白色系品种的淡化程度最大,盛花期时均保持低饱和度(0.06±0.03)、高亮度(0.79±0.04)的白色或粉白色;到末花期的过程中,色差变化相对较小。通过分析无人机图像提取的色彩参数可以得到海棠品种在H、S、L3个维度上的动态变化并能在宏观层面实现海棠的花色分类,同时能直观地看出开花过程中的花色变化。对于海棠表型分类、物候监测等工作能提供新的方法和手段,提升工作效率,同时也为海棠相关育种工作提供理论依据。