基于TRIZ 的蓝莓病害检测方法

2020-11-30田有文姜凤利乔世成宋士媛

沈阳农业大学学报 2020年5期

田有文，何宽，姜凤利，乔世成，宋士媛

(沈阳农业大学信息与电气工程学院/辽宁省农业信息化工程技术研究中心，沈阳 110161 )

蓝莓产业近年来发展的比较迅速，其蓝莓果独特的口味与营养价值深受消费者喜爱[1]。但一些问题仍亟需解决，如蓝莓采后的分拣问题。蓝莓不易贮藏，贮藏期间容易腐烂病变并感染其他健康蓝莓，造成一定的损失。因贮藏期间蓝莓腐烂而造成的二次损失多达30%～50%。造成蓝莓腐烂病变的原因为：一是采摘时一些轻微腐烂病变的蓝莓难以发现，贮藏期间蓝莓逐渐腐烂，感染其他健康蓝莓导致损失严重；二是蓝莓成熟期在6～8 月份属于夏季高温季节，也是果蝇大量生长繁殖的时间，这一阶段蓝莓易遭受果蝇产卵，在贮藏期内果蝇卵蛹化对蓝莓造成破坏逐渐腐烂，造成更多的蓝莓腐烂病变。为此病害蓝莓的分拣是蓝莓销售或加工前的一个重要环节。传统的蓝莓病害检测通常为理化分析检测或人工肉眼检测。前者检测时间长，且均有破坏性，后者检测效率低、误差大，且容易造成蓝莓变软或损伤。这两者都难以满足蓝莓在线分拣的要求，因此，研究蓝莓病害无损检测技术对蓝莓的在线实时分拣、提高蓝莓行业自动化水平和生产效益具有重要意义。

TRIZ 理论的科学效应库中包含许多推荐的解决问题方法，本研究属于无损检测技术类问题，通过TRIZ 的科学效应库找到科学效应的功能代码表中的代码F20（检查物体表面状态和性质）。 F20 中推荐的科学效应和现象有 H41（反射）、H38（发光体）、H45（感光材料）、H50（光谱）、H43（放射现象）等[2]。综合分析上述几个方法，光谱是可以采纳的方案，本研究选择了高光谱成像技术检测法。高光谱成像技术是近年来研究水果品质无损检测技术的热点，其最大优势在于融合了图像处理技术与光谱分析技术，使分析结果更加全面。图像处理能够反映水果的外表特征，而光谱分析则能分析水果不同化学成分，其在水果病害的无损检测中得到广泛应用[3-13]。如LI等[11]利用高光谱成像技术对苹果早期腐烂进行检测。采用主成分分析法（PCA）对可见光近红外（400～1000nm）、可见光（400～780nm）和近红外（781～1000nm）3 个光谱区域进行了分析，提取了原始高光谱数据中的特征波长图像，并提出了一种基于形态滤波、形态梯度重构和标记约束的改进分水岭分割算法。利用该算法对220 个腐烂果和220 个健康果基于近红外区域4 个特征波长波长的多光谱主成分分析（PC3）图像进行识别，腐烂果和健康果的准确识别率分别为99%和100%。结果表明高光谱成像技术可以用来检测苹果腐烂病害。YH 等[12]为了检测桃根霉引起的病害，研制了一种带移动试验台的高光谱成像系统，采用统计方法选取3 幅单波段图像（709，807，874nm），并结合简单阈值法，利用图像分割算法对桃子腐烂区域进行分割，桃子“健康”、“轻度腐烂”、“中度腐烂”和“重度腐烂”的检测准确率分别为95%、66．29%、100%和100%。结果表明，高光谱成像技术为桃子真菌感染的自动检测提供了可能。从以上研究可以看出，利用高光谱成像技术可以无损检测水果腐烂病害，并且检测准确率比较高。但是，这些研究检测对象都是尺寸比较大的，颜色比较鲜艳的水果，这类水果腐烂区域与正常区域区别明显，易于检测。而小浆果类的水果研究的较少，比如蓝莓。蓝莓的表皮颜色较深，并且在腐烂早期难以区分腐烂区域和正常区域，这对腐烂病的检测影响较大。

本研究对蓝莓腐烂病害的检测进行研究，提供一种有效的检测方法。首先应用TRIZ 理论机械系统替代原理采用高光谱成像系统获取蓝莓高光谱图像，再应用物理参数改变原理提出光谱信息分割法分割出蓝莓腐烂病害区域，然后提取病害区域与正常区域的全波段光谱数据，应用组合原理利用对CARS 法改进后的CARSIRIV 法提取特征波长，最后建立RBF 模型以检测蓝莓病害，最终达到无损检测蓝莓病害的目的。

1 材料与方法

1.1 材料

蓝莓样本采摘于沈阳市某蓝莓种植基地。采摘时间为2018 年7 月，属夏季，温度高，是蓝莓病虫害高发期。采摘的蓝莓样本选择果形匀称，大小相近，健康，表皮无外伤的成熟蓝莓，质量范围在1．5～2．3g，直径范围在10～20mm 的试验样本。为使每个蓝莓腐烂程度较均匀，将正常蓝莓随机选择每50 个蓝莓为1 组放在密封培养盒里，共6 组。将盒子放在25℃恒温箱避光处，每隔两天利用高光谱图像采集系统采集1 次蓝莓高光谱图像[13]，最终选腐烂程度较轻的蓝莓和正常蓝莓作为试验样本。

1.2 物质—场分析

针对腐烂蓝莓分拣存在的问题，本研究利用TRIZ 理论中的物质－场模型[14-15]来建立蓝莓病害高光谱成像检测模型（图1）。其中：S1 为实现检测目的；S2 为蓝莓病害检测流程；F 为高光谱图像。通过图1 的物质—场模型可知，S2 是能否有效检测出蓝莓病害的关键步骤。其中，光谱数据的获取十分重要，对检测结果的准确率影响较大。本研究中，首先要对蓝莓图像的病害区域进行分割，然后再根据分割的感兴趣区域提取光谱数据。由于蓝莓的表皮颜色呈深蓝色，与背景相似，其边缘部分更是难以区分。并且蓝莓表皮颜色较深与蓝莓病害区域的颜色相近，基于灰度值作为阈值来分割难以得到准确的蓝莓病害分割图像，这样无法保证能够正确提取感兴趣区域的光谱数据，影响最佳特征波长的提取。另外特征波长提取对检测结果十分重要，如果提取特征波长与病害的相关性较大，则模型能够准确检测出蓝莓病害。但若提取的特征波长包含其他的弱信息波长或无关信息波长，检测模型检测的准确率可能较差（不足作用），甚至出现检测判别错误的结果（有害作用）[15]；图1 物质—场模型是一个基于蓝莓高光谱图像采用Otsu 分割方法，CARS 提取特征波长，RBF 为检测模型的完整系统。针对图1 中S2 的蓝莓病害区域分割、特征波长提取的不足作用和有害作用，根据TRIZ 理论的76个标准解中，不允许增加新物质，通过改变S1 或S2 来消除有害效应。本研究提出应用物理参数改变原理的光谱信息分割法（spectral information segmentation，SIS）代替图1 中S2 中的Otsu 图像分割法来分割蓝莓的病害区域。此方法的分割阈值并不是由图像的灰度值来确定，而是通过某一波段的光谱值来确定分割阈值。另外本研究应用组合原理将CARS 法和IRIV 结合成CARS-IRIV 法[11-12]来替代图1 中S2 的CARS 法来提取特征波长。本研究应用物理效应和现象改变物质S2 后的物质—场模型如图2。 F 为采用机械系统替代原理的高光谱图像，S3 为特征波长提取过程，包括SIS 分割法和CARS-IRIV 特征波长提取法。

图1 常规高光谱检测方法Figure 1 Conventional hyperspectral detection methods

图2 优化后的高光谱检测方法Figure 2 Optimized hyperspectral detection method

1.3 光谱分析

本研究通过高光谱成像系统采集的蓝莓正常和病害图像，然后提取病害区域、正常区域和背景区域的光谱数据如图3。通过分析图3 可知，在波长400～500nm范围内，蓝莓病害区域与正常区域的光谱数据存在噪声，为了不影响后续检测的准确率，本研究去除该范围波段的光谱数据。另外在可见光波段（500～760nm）范围内，蓝莓病害区域的光谱相对反射率比蓝莓正常区域的光谱相对反射率稍大一些，而在近红外波段（760～1000nm）范围内，蓝莓正常区域的光谱相对反射率比蓝莓病害区域的光谱相对反射率大。蓝莓病害区域与正常区域光谱相对反射率存在差异的原因是蓝莓病变腐烂使蓝莓病害区域主要成分及理化性质发生改变，从而使光谱反射率发生变化。

1.4 SIS 分割法

蓝莓表皮颜色较深与背景颜色相近，病害区域与正常区域颜色比较接近，利用以图像的灰度值为阈值分割的常规图像分割法难以准确分割出病害区域。故本研究提出光谱信息分割法（spectral information segmentation，SIS）来分割蓝莓的病害区域。此方法的分割阈值并不是由图像的灰度值来确定，而是通过某一波段的光谱值来确定分割阈值。该方法是一种基于光谱数据快速、准确的分割蓝莓图像分割方法，以病害蓝莓的分割为例，操作步如下。

图3 病害蓝莓图像光谱曲线Figure 3 Spectral curve of disease blueberry image

（1）分析蓝莓区域与背景区域的光谱曲线，选择蓝莓区域与背景区域光谱值差异较大特征波段的光谱数据作为图像分割的数据。

（2）选择该特征波段下背景区域的光谱反射率与被分割蓝莓的光谱反射率之间的一个光谱值为分割阈值f0，一般以两个区域光谱反射率的平均值为蓝莓与背景的分割阈值。

（3）通过图像每个像素点的光谱反射率与分割阈值f0比较，若像素点的光谱反射率小于分割阈值，将蓝莓图像对应像素点灰度值赋值为255，光谱反射率赋值为1；若大于阈值，蓝莓图像对应像素点灰度值不变，光谱率不变。公式为：

式中：f(x,y)为图像位置(x,y)处的光谱值为图像像素光谱数据，G(x,y)为蓝莓图像像素灰度值。

（4）分析蓝莓病害区域与正常区域的光谱曲线，选择病害区域与正常区域光谱反射率差异较大特征波段的光谱数据作为病害区域分割数据，并选择病害区域与正常区域光谱反射率之间的一个光谱反射率为分割阈值 f1。

（5）通过图像每个像素点的光谱反射率与分割阈值f1比较，若像素点的光谱反射率大于等于分割阈值f1，将蓝莓图像对应像素点灰度值赋值为0；若小于阈值，蓝莓图像对应像素点灰度值为255。公式为：

1.5 特征波长提取方法

全波段的光谱数据包含的信息量大，其中大部分数据信息重叠、对模型的检测能力会造成一定的影响，因此需要对全波段光谱进行特征波长提取，选择出最少最优的特征波长组合集。根据图3 的分析可知，可见光范围（500～760nm）和近红外范围（760～1000nm）内蓝莓病害区域的光谱相对反射率和蓝莓正常区域的光谱相对反射率分别存在不同差异，因此提出区域特征筛选法（regional feature selection，RFS）提取特征波长。该方法将500～1000nm 光谱数据分成可见光第一区域波段（500～760nm）和近红外第二区域波段（760～1000nm），然后再采用常用的波长提取方法CARS 算法[16]，分别对两个区域的光谱信息提取特征波长，并提取出特征波长对应的光谱相对反射率。采用区域特征筛选法的优点在于强制减少了近乎一半维数，降低了CARS 算法的筛选工作量。但是CARS 提取出的特征波长数量较多，而且由于CARS 方法中随机性采样，每次提取的特征波长并不固定的，存在与蓝莓病害相关性较小的特征波长没有完全去除的可能，所以CARS 方法提取的特征波长所建立的检测模型得到的检测结果不稳定。故本研究提出将IRIV[17]和CARS 结合，利用IRIV 算法对CARS 算法提取的特征波长再次提取特征波长。将IRIV 和CARS 结合的优点在于IRIV 将CARS 提取的特征波长分为强信息特征波长、弱信息特征波长、无信息特征波长、干扰特征波长4 类，使与腐烂相关的特征波长被提取的概率增加，并且IRIV 算法对强有效特征波长的强保留性能够有效提取出特征波长，同时也减少了IRIV 法的迭代次数。

2 结果与分析

2.1 SIS 法分割蓝莓病害区域

本研究采集的蓝莓高光谱图像如图4a。由于890nm 波段图像中蓝莓病害区域与正常区域差异相对明显，所以选择890nm 波段图像作为特征图像进行分割如图4b。本研究首先采用Otsu 法对蓝莓腐烂病害区域进行分割，并进行二值化，得到图像如图4c。然后用该二值化图像对高光谱图像进行掩膜得到图4d，再对图4d 进行阈值分割，阈值设定为0．65，得到病害区域分割图像如图4e。最后，对图4e 图像进行腐蚀膨胀，实现病害区域分割如图4f。由该图可看出常规的阈值分割法未能比较完整地分割出蓝莓病害区域，并将部分正常区域当作病害也分割出来。故本研究提出光谱信息分割法SIS 来分割蓝莓的病害区域。通过分析高光谱图像选择890nm波段图像如图5b，其背景的光谱相对反射率较小，为0．05，病害区域的光谱反射率为0．35，正常区域的光谱反射率为0．43。首先对蓝莓背景进行分割，光谱分割阈值选择在0．05 与0．35 之间能够将背景与蓝莓分割，选择f0=0．21 作为蓝莓分割阈值可有效将背景的光谱数据分割。比较蓝莓图像每个像素点的光谱相对反射率与分割阈值的大小，若该像素点的光谱相对反射率小于0．21，该像素点的光谱相对反射率赋值为1，该像素点的像素值赋值为255；若该像素点的光谱相对反射率大于等于0．21，该像素点的光谱相对反射率不变，该像素点的灰度值也不变。得到蓝莓分割图像如图5c。然后设置蓝莓正常区域和病害区域最大限度的分割阈值为0．39，比较图5c 蓝莓图像每个像素点的光谱相对反射率与蓝莓病害分割阈值的大小，若该像素点的光谱相对反射率小于0．39，该像素点的像素值赋值为255；若该像素点的光谱相对反射率大于等于0．39，该像素点的像素值赋值为0，得到蓝莓病害分割图像（图5d）。因为图4d 存在噪声，利用腐蚀膨胀方法对图5d 进行噪声消除，得到蓝莓病害分割图像如图5e。由图5 可知，SIS 法的分割结果效果较好，虽然在利用光谱数据分割时，也出现将正常区域错误分割的情况，但经过腐膨胀后能够有效消除噪声，完整的分割出蓝莓病害区域。

图4 阈值分割结果Figure 4 Result of threshold segmentation method

图5 光谱信息分割结果Figure 5 Result of spectral information segmentation

2.2 特征波长的提取

2.2.1 CARS 提取蓝莓病害特征波长本研究首先尝试采用CARS 法提取蓝莓病害的特征波长。 CARS 法采样数量设置为0．8，潜变量数量设置为3。首先对蓝莓病害的可见光第一区域提取特征波长。采用CARS 方法提取蓝莓病害光谱特征波长每次迭代提取的特征波长数量变化趋势、特征波长的RMSHCV 值变化趋势以及特征波长回归系数变化趋势如图6。由图6a 可知，随着CARS 采样数量的增加，提取的特征波长数量逐渐减少。由图6b 可知，当采样次数增加到19 次，RMSHCV 值达到最低，说明此时与蓝莓腐烂病害相关的特征波长子集为最优。由图 6c 可知，“*”表示 CARS 迭代的次数所对应的图 6b 中 RMSHCV 值最小的位置。最终，CARS 方法优选出的变量数为35 个。采用CARS 法对蓝莓病害区域近红外第二区域提取特征波长的采样数量同样设置为0．8，潜变量数量同样设置为3。采用CARS 方法每次迭代提取的特征波长数量变化趋势，特征波长的RMSHCV值变化趋势以及特征波长回归系数变化趋势如图7。由图7a 可知，随着CARS 采样数量的增加，提取的特征波长数量逐渐减少。由图7b 可知，当采样次数增加到17 次，RMSHCV 值达到最低，说明此时与蓝莓腐烂病害相关的特征波长子集为最优。由图7c 可知，“*” 表示CARS 迭代的次数所对应的图7b 中RMSHCV 值最小的位置。最终，CARS 方法优选出的变量数为40 个。

2.2.2 CARS-IRIV 提取蓝莓病害特征波长由CARS 法提取的特征波长可知，CARS 提取出的特征波长数量较多，故采用本文提出的CARS-IRIV 在蓝莓病害光谱特征波长的可见光第一区域提取3 个特征波长，CARSIRIV 在近红外第二区域提取4 个特征波长，特征波长的提取结果如表1。

本研究采用径向基神经网络模型（RBF）模型检测病害蓝莓。试验将CARS-IRIV 提取的特征波长下病害蓝莓和正常蓝莓的光谱相对反射率作为模型的输入矢量。本研究将正常蓝莓用1 表示，病害蓝莓用0 表示，模型输出为1 和0 两种结果。将100 个正常蓝莓和200 个病害蓝莓分成训练集和测试集，其中训练集样本数量选60 个正常蓝莓和120 个病害蓝莓，测试集样本数量选择40 个正常蓝莓和80 个病害蓝莓。检测结果如表2。由表2 可知，第一区域与第二区域组合的识别模型检测结果最好，检测率达到87%以上，第二区域的模型次之，检测率在82%以上，第一区域模型检测结果最差但检测率达到在77%以上。从模型的检测结果可以看出，以第二区域特征波长对应的光谱反射率为输入矢量建立模型的检测效果比第一区域特征波长对应的光谱反射率为输入矢量建立模型的检测结果效果要好。原因是根据前面的高光谱曲线分析，蓝莓的病害区域与正常区域的光谱相对反射率在近红外范围的差异比可见光范围的差异要大很多，使正常区域与病害区域在近红外范围内的光谱特征差异更明显，所以检测模型在近红外范围的检测效果要比可见光范围的检测效果要好。检测效果最好的区域是以第一区域与第二区域特征波长对应反射率的组合为输入矢量建立的模型。原因是两个区域组合的特征波长光谱相对反射率则能更全面的表达出蓝莓的病害区域与正常区域之间的差异。

图6 第一区域CARS 提取特征波长结果Figure 6 The result of extracting characteristic wavelength using CARS from first region

图7 第二区域CARS 提取特征波长结果Figure 7 The result of extracting characteristic wavelength using CARS from second region

3 讨论与结论

本研究基于TRIZ 理论采用高光谱成像技术对腐烂蓝莓进行检测，研究学者采用其他无损检测技术也对蓝莓病害等品质进行检测，常见的蓝莓病害无损检测技术主要有计算机视觉技术和光谱技术。采用计算机视觉技术是通过获取蓝莓病害区域的颜色、纹理、形状等特征来实现蓝莓病害检测。 Leiva-Valenzuela 等采用计算机视觉技术实现了对fungally decayed blueberries 检测，其准确率达到97%[18]。该技术优势是数据采集时间和处理时间较小，能够实现在线检测[19]，但是样本需要具有明显的病害特征，蓝莓颜色较深，不容易辨别是否发生腐烂。 HU 等利用近红外（NIR）数据对蓝莓果实进行软硬分类，准确率达78%[20]。光谱技术则信息量较小，数据采集时间和处理时间短，能够实现在线检测[21]。但是光透射性能受到限制，光太强损害水果，光弱则透射深度浅，并且模型的精度和稳定性需要进一步改善[22]。

本研究根据TRIZ 理论提供的标准解，利用高光谱成像技术对腐烂病害蓝莓进行无损检测，并根据物质—场的模型思想解决了高光谱成像技术的不足。本研究基于TRIZ 理论中物理参数改变原理提出的SIS 分割法以890nm 波段的图像和光谱数据准确分割出蓝莓中图像病害区域，有效地减少了基于图像像素灰度值难以分割感兴趣区域的不准确性。通过分析蓝莓病害区域的光谱曲线和正常区域的光谱曲线的差异，将全波段光谱曲线分成可见光第一区域和近红外第二区域，利用TRIZ 理论中组合原理将IRIV 法与CARS 法结合成CARS-IRIV法提出第一区域与第二区域组合的 7 个特征波长（500，522，701，828，857，893，969nm），最终建立 RBF 模型对腐烂蓝莓进行检测得到较好的检测结果。以后的工作主要集中于寻找更佳的特征波长提取方法和检测效率更高的模型，进一步完善该方法对蓝莓病害的检测准确性。