基于声振信号经验模态分解的香梨黑心病早期无损检测

李 贺，赵 康，查志华，吴 杰,2,3,*

（1.石河子大学机械电气工程学院，新疆 石河子 832003；2.农业农村部西北农业装备重点实验室，新疆 石河子 832003；3.绿洲特色经济作物生产机械化教育部工程研究中心，新疆 石河子 832003）

库尔勒香梨是新疆特色大宗果品，其冷库气调保鲜贮藏期可达8 个月，具有较长销售期。在贮藏期间由于低温、低O2和高CO2的环境，CO2在梨组织中尤其是在果核中有很高的扩散速率，致使果核含有低浓度的O2和高浓度的CO2，这使香梨极易发生黑心现象[1-4]。当香梨黑心组织未超出心室区域时[5]，是亚健康香梨，仍在消费者心理接受阈限，不影响回购率，若能准确判别，将有助于商家采取合适的销售策略提高商品率；否则会发展严重至果肉组织，甚至侵染其他健康果，给商家造成较大经济损失。因此，有必要开展香梨黑心病的无损检测研究，对维护香梨品牌声誉、保持商品等级和提高商品率都有重要意义。

在水果内部病害无损检测方面，已有学者采用X-射线成像法[6-7]、近红外光谱法[8-9]、核磁共振成像法[10-11]和声振法[5,12]等，大多着眼于病害有无的二分类判别，这些方法能识别早期或轻度病害果，但多与中重度病害果混为一类，降低商品价值。Van De Looverbosch等[13]针对啤梨内部空洞和褐变两种缺陷，按照“健康”、“有缺陷可销售”、“不可销售”三分类进行判别，对健康果和有缺陷不可销售果的识别率分别高达97%和96%，但对有缺陷可销售果的识别率却很低，只有65%，这意味着对亚健康果实现准确判别极具挑战性。

本课题组长期开展声振法对梨果内部病害无损检测，通过提取声振信号的时域和频域统计特征参数构建判别模型，对中度褐变香梨分类准确率有93.9%，但对轻度褐变香梨分类准确率较低为86.4%[14]。信号的统计特征参数反映的是信号整体特征信息，但忽略了信号的局部特征所潜藏信息，无法充分凸显信号的波动性、周期性和趋势性[15]，对模型判别能力造成影响。

经验模态分解（empirical mode decomposition，EMD）可将信号从高频到低频分解为一系列子信号，即包含不同时间尺度特征成分的本征模态分量，具有更加良好的信号局部化特性，但其分解信号过程中存在的端点效应、模态混叠会影响分解结果的精确度[16]。目前，常用极值法[17]、镜像法[18]、改进斜率法[19]、三次样条插值法[20]对信号进行延拓以抑制信号分解端点效应。当前，EMD方法也得到不断改进，最新研究提出的改进均匀相位经验模态分解（improved uniform phase EMD，IUPEMD）[21]和互补自适应噪声完备集合经验模态分解（complementary complete ensemble EMD with adaptive noise，CCEEMDAN）[22]，都能对信号分解模态混叠进行有效抑制。目前还鲜有研究利用信号分解凸显信号潜藏信息识别果实内部病害。因此，本研究对香梨声振信号进行EMD，采用不同方法抑制信号分解过程中的端点效应和模态混叠，以确定最优香梨声振信号分解分量并作为卷积神经网络的输入数据，构建香梨内部黑心判别模型，实现对亚健康香梨较高精度的检测，为声振法的在线检测系统研发提供基础。

1 材料与方法

1.1 材料

香梨试样于2021年9月10日采自新疆库尔勒市沙依东园艺场香梨园（86.174°E，41.725°N），挑选无病虫害、无机械损伤的香梨，立即贮藏于-2～0 ℃、相对湿度为85%～95%的果品保鲜库中。表1为香梨试样的基本物性参数。

表1 香梨试样的物性参数Table 1 Material properties of pear samples

1.2 仪器与设备

CA配气系统 新疆宏昇特种气体有限公司；GASTiger2000型泵吸式便携气体检测仪 深圳市万安迪科技有限公司；振动测试分析与报告软件系统SO Analyzer 4.1、VibPilot振动控制与动态信号采集分析仪德国m＋p国际公司；HA-405型电压放大器 中国台湾品致公司；EOS 750D数码相机 佳能（中国）有限公司。

1.3 方法

1.3.1 香梨黑心试样制备

保鲜库中取出的香梨置于室温（20 ℃）24 h后逐一编号，参考Suchanek等[10]对梨果黑心病试样气调制备方法，用广口玻璃瓶作为气调密闭容器，采用CA配气系统将瓶中O2、CO2的体积分数设定为1%＜O2＜2%和8%＜CO2＜12%，其余为N2填充，环境温度保持在（4±1）℃。通过泵吸式便携气体检测仪，每隔12 h对瓶内O2和CO2的体积分数进行测量校正，使O2、CO2的体积分数始终控制在设定范围内。

1.3.2 香梨声振响应信号采集

香梨声振信号的获取采用本课题组研究所报道的装置[23]，如图1a所示，装置使用了2 个相同的压电换能器，1 个作为驱动器，1 个作为传感器。进行声振信号采集时，将香梨试样水平置于带有软质聚乙烯泡沫的支撑台上，由于在香梨赤道部不同测点获得的声振响应信号有很好的重复性，故香梨激励感测时的测点无需特殊定位[24]，但因压电材料的线性特性，样品测点与压电换能器之间的接触区域应位于压电换能器悬臂梁的中部[25]。参考Zhang Hui等[24]录制峰值电压为2.5 V、时间历程为0.16 s的半正弦脉冲信号VE作为激励信号，经电压放大器将VE信号线性放大为80 V脉冲激励信号VA[26]。放大的激励信号传递到激励端驱动器上，对香梨试样赤道部进行激励，位于赤道部对应端的压电梁式传感器采集响应信号VR，随后由振动控制与动态信号采集分析仪对信号进行抗混滤波、截断、采样、A/D模数转换、数字低通滤波后，传递给SO Analyzer 4.1软件处理，获得如图1b所示的香梨声振时域信号。为兼顾香梨信号采集的范围和信号处理精度，信号采样频率设置为51200 Hz，采集时间为0.16 s，频率分辨率设置为6.25 Hz，测试触发条件设置为激励信号VA上升沿触发方式，触发电压水平为0.05 V。预先采集量设置为5%，以确保完整的信号采集。

图1 香梨声振信号采集系统与获得的时域信号Fig.1 Vibro-acoustic signal acquisition system and acquired time domain signals of pear fruit

1.3.3 香梨组织黑心程度的测定

参考文献[14]的方法，将香梨声振信号采集完成后沿赤道部横向切开，用数码相机，对其横截面拍照，通过Matlab 2019b提取所拍横截面彩色图像中的RGB三通道分量，对B通道图像采用迭代阈值分割算法计算香梨赤道部横截面面积[27]，通过8连通区域标记算法计算B通道图像中香梨组织黑心区域面积，将香梨组织黑心区域面积占赤道部横截面面积的百分比定义为香梨组织的黑心程度。

1.3.4 香梨声振信号EMD的改进

EMD本质是根据数据的时间尺度特征将信号分解成有限个本征模态函数（intrinsic mode functions，IMF）分量和一个残余分量[28]，如式（1）所示。

式中：ci（t）为x（t）的第i个IMF分量；rn（t）为x（t）分解后的残余分量。

首先对香梨声振信号EMD分解的端点效应进行抑制，然后在此基础上对模态混叠进行抑制，具体流程如图2所示。

图2 抑制香梨声振信号EMD端点效应及模态混叠的流程图Fig.2 Flow diagram for suppressing vibro-acoustic signal EMD end effect and mode mixing of empirical mode decomposition of pear fruits

1.3.41 香梨声振信号EMD端点效应的抑制方法

分别采用极值法、镜像法、三次样条法、改进斜率法对香梨声振信号进行端点延拓以抑制端点效应[17-20]，使EMD计算包络线时尽可能包含信号全部信息：极值法以端点的一个特征波为依据将信号端点处的极大值和极小值复制平移2 次作为延拓点；镜像法是对端点的极值进行镜像对称延拓出新的极值点；改进斜率法以相邻极值点斜率相同为原理对信号端点进行延拓；三次样条法将极值点的二阶导数引入计算信号延拓端点。

1.3.42 香梨声振信号EMD模态混叠的抑制方法

采用IUPEMD和CCEEMDAN抑制香梨声振信号EMD模态混叠。IUPEMD向原信号中添加自适应确定幅值的正弦波生成新信号并进行信号分解，分解过程如下：

式中：IMFi为信号第i个分量；M为添加的正弦波个数；Ei（·）代表第i阶IMF分量；ni（t）为向原信号中加入的正弦波；ri（t）为信号减去第i个分量的残余信号；i=1,2,…,M。

CCEEMDAN在分解每一个阶段自适应加入正负成对的白噪声分量序列，对信号进行完备分解，过程如下：

式中：M为添加白噪声的个数；（-1）qmi（t）为原信号加入的白噪声，i=1,2,…,M/2，q=1,2，代表白噪声是正或负。

1.3.5 香梨信号EMD端点效应和模态混叠的评价指标

1.3.51 端点效应的评价指标

采用正交指数IO作为评价抑制香梨声振信号EMD端点效应的指标，IMF分量间的IO值越小，信号分解精度越高，端点效应抑制效果越好。

式中：IMFj（t）和IMFk（t）分别为信号分解出的第j和第k个分量；n为信号分解的分量个数；X（t）为信号序列；T为信号长度。

1.3.52 模态混叠的评价指标

采用如式（5）所示的能量差异θ作为抑制香梨声振信号EMD模态混叠的性能评价指标，各IMF分量之和与原信号的θ值越小，分量中残存白噪声或正弦波越少，模态混叠被抑制的效果越好。

式（5）中RMSi和RMSo为信号分解后的各分量和原始信号的均方根有效值，计算公式如下：

1.3.6 亚健康香梨判别模型的构建方法

1.3.61 基于空间金字塔池化（spatial pyramid pooling，SPP）的卷积神经网络（convolutional neural networks，CNN）模型

香梨声振信号的随机性导致信号分解的分量个数不相同，这使得输入模型的数据大小不一致，由于CNN要求固定输入数据的大小[29]，为此引入SPP[30]，从多个层次提取输入信号的特征并将其融合转化为6×32大小的特征向量。

搭建的CNN-SPP共9 层，如图3所示，包括3 层卷积层、2 层最大池化层和空间金字塔池化层。以香梨声振时域信号分解后的分量作为输入，分类模型采用Relu激活函数和Softmax分类器，损失函数采用交叉熵损失函数，模型优化选择随机梯度下降算法。采用基于Keras深度学习框架，TensorFlow为后台构建CNN-SPP，集成开发环境为Geany 1.34，编程语言为Python 3.8.6，计算机参数为Windows1064位系统，搭载Intel(R) Core(TM) i7-10750H CPU@2.60 GHz处理器，NVIDIA GeForce GTX 1650，16 G显存。

图3 CNN-SPP模型Fig.3 Convolutional neural network based on spatial pyramid pooling

1.3.62 模型性能评价指标

采用总体分类准确率（Accuracy，Acc）、调和均值（F1）、Kappa系数（k）、Matthews相关系数（Matthews correlation coefficient，MCC）作为指标评价模型性能，其计算如下：

式中：C表示类别数，C=3为健康果、亚健康果和病害果3 个分类；ni为第i类样本数量，i=1,2,3；nii为第i类预测正确的样本数量；Pi为第i类的查准率，即“本类正确分类的数量/所有分类为本类的数量”；Ri为第i类的召回率，即“本类正确分类的数量/所有本类的数量”；mi为预测为第i类的样本数量；n为样本总数。

2 结果与分析

2.1 亚健康香梨黑心程度阈限测定结果

将香梨黑心组织未超出其心室区域的样本定义为亚健康果，经统计得到亚健康果黑心程度均值为（19.72±1.15）%。出于谨慎考虑，将亚健康香梨黑心程度的阈限进行更为严格的限定，故将下限值18%作为亚健康香梨的黑心程度（图4a），以充分满足商品价值接受底线。当香梨黑心程度超过18%时（图4b），大多病变都已入侵到果肉，被视为病害果，已不能被消费者心理接受，若销售会影响商品声誉和消费者回购率，失去商品价值。因此，根据黑心程度S将香梨分为3 类，即：健康香梨S=0%、亚健康香梨0%＜S≤18%、病害香梨S＞18%。亚健康香梨和病害香梨的黑心严重程度分布如图4c所示，亚健康香梨的病害程度区间为10.8%～17.9%，平均值为15.8%，病害香梨的病害程度区间为18.2%～29.5%，平均值为20.6%，可见这两类果的黑心程度差别并不大，尤其是亚健康香梨箱体图黑心程度处于上半部分的试样和病害香梨箱体图黑心程度处于下半部分的试样，病害程度高度接近，这使得采用香梨声振信号判别亚健康香梨更具有挑战性。

图4 香梨黑心程度示例Fig.4 Photographs of pears with different degrees of core browning

2.2 各方法抑制香梨声振信号EMD端点效应和模态混叠的性能比较

2.2.1 端点效应抑制效果对比分析

图5所示为香梨声振信号原始包络线和4 种方法对信号延拓后的包络线，可以看出，信号左上和右下端点处原始包络包含信号全部信息，不存在端点效应，但信号右上和左下的端点处原始包络不充分，存在明显的端点效应，这一端点效应逐渐向信号内部传递使信号分解精度降低。

图5 不同端点延拓方法抑制端点效应的延拓结果Fig.5 Extension results of end effect suppression with different end extending methods

在信号右上端点处，4 种延拓方法的包络线都包含了信号全部信息，但从各包络线反映信号变化趋势来看，三次样条法最优，改进斜率法、极值法次之，镜像法最次。在左下端点处，三次样条法包络未能包含信号全部信息，抑制端点效应的效果最差，最优为改进斜率法，其次为极值法和镜像法。

为了确定最优抑制端点效应的方法，通过分量间的正交指数进一步比较各延拓方法。图6为未延拓和端点延拓后信号分量间的正交指数，可看出经端点延拓的信号分量的正交指数值都远小于未延拓时的值，说明各端点延拓方法都对香梨声振信号EMD端点效应有明显抑制效果，有效提高了信号分解精度。在各端点延拓方法中，由于三次样条法在左端点延拓丢失信号部分信息，尽管在右端点处延拓效果最好，但未取得较低的正交指数值，与极值法和镜像法的结果接近，均在0.24左右。相比于这3 种方法，改进斜率法在信号左下端点抑制端点效应最优，在右上端点抑制端点效应较优，信号分量正交指数最低，仅为0.147，表明该方法对香梨声振信号EMD端点效应具有良好的综合抑制能力，有最好的抑制效果。

图6 不同端点延拓方法抑制端点效应的评价指标Fig.6 Indicators for evaluation of end effect suppression with different end extension methods

2.2.2 模态混叠抑制效果对比分析

在改进斜率法抑制香梨声振信号分解端点效应的基础上，进一步抑制香梨声振信号EMD模态混叠。图7为CCEEMDAN和IUPEMD分解的分量和分量频谱，IUPEMD分解后的IMF7～IMF12分量和CCEEMDAN分解后的IMF4～IMF9分量的频率都很低且幅值高，包含信号大部分能量，为原始信号的主频段。

对于IUPEMD分解的各分量，IMF7分量中含有多个频率信息，仍存在模态混叠；IMF8分量主频率为50 Hz，低于后一分量IMF9的56.25 Hz主频率，存在分解错误；此外，IUPEMD法未分解出主频率为12.5 Hz的分量，分解不完备。与该法相比，CCEEMDAN法分解的IMF4～IMF9分量主频率从高频到低频依次获得，但不尽理想的是，IMF6和IMF7两分量中包含相同的频率（18.75 H z），这导致25 Hz的频率成分未分解。

采用分量之和与原信号能量差异值对这2 种分解法进行进一步比较，结果如图8所示。与改进前EMD分量的评价结果相比，2 种改进方法都能大幅降低信号分解分量的能量差异值，证明向原信号中无论加入白噪声还是正弦波，都有效抑制了模态混叠。向原信号加入白噪声的CCEEMDAN法分解后的分量之和与原信号的能量差异最小，只有0.112，更能表征原信号的特征信息，从上述分析可知，由于该改进方法对信号分解更为完备，凸显了信号局部特征信息，最大程度消除分量中的残余噪声。

图8 2 种EMD改进方法对端点效应抑制之后模态混叠抑制的评价指标Fig.8 Indexes for evaluation of two improved EMD methods for suppressing mode mixing after end effect suppression

采用CCEEMDAN分别对健康、亚健康和病害香梨声振信号进行分解，其分量频谱如图9所示，可观察到3 类香梨原始声振信号都包含18.75、12.5 Hz和6.25 Hz的低频成分，在对香梨声振信号进行整体分析时，这些频率成分的信息可能会遮蔽信号中在高频可以区别不同类别香梨的差异信息，导致难以对香梨进行准确判别。CCEEMDAN将信号分解为一系列具有单一频率成分的数据序列，凸显了不同类别香梨声振信号的差异信息，从而提升健康、亚健康和病害香梨的判别准确性。

图9 健康、亚健康和病害香梨声振信号CCEEMDAN分解的分量频谱Fig.9 Component spectra of CCEEMDAN decomposition of vibro-acoustic signals from healthy,sub-healthy,and diseased pears

2.3 亚健康香梨检测模型的构建

用于构建分类模型的数据集：健康香梨350 个，亚健康香梨362 个，病害香梨317 个。在模型构建过程中，80%的数据作为训练集，剩下的20%用于测试集，具体样本数量见表2。

表2 构建CNN判别模型时用于训练和测试的香梨样本数量Table 2 Numbers of pear samples used for training and testing the CNN models

对香梨声振信号EMD分解抑制端点效应和模态混叠前后的数据分别构建EMD-CNN-SPP和CCEEMDANCNN-SPP分类模型，以验证EMD改进前后的性能。如图10所示，学习率为0.01时，两个模型的学习速率太大，代价函数振荡，导致无法拟合。当学习率为0.0001时，两个模型的训练准确率提升缓慢，模型的学习能力不足，出现欠拟合。当学习率为0.001时，CCEEMDANCNN-SPP模型训练准确率在训练120 次时稳定达到100%，EMD-CNN-SPP模型训练精度在训练90 次时趋于稳定达到99.02%。仅从训练结果看，EMD-CNN-SPP判别模型训练次数较少但相对应的训练精度较低，而CCEEMDAN-CNN-SPP模型训练精度较高但训练次数较多，相应需要的训练时间较长。

图10 不同学习率下CNN-SPP模型训练准确率的变化Fig.10 Changes in training accuracy of CNN-SPP model under different learning rates

2.4 亚健康香梨检测模型的分类性能评价

为了验证所构建模型的分类性能，采用测试集样本作为验证样本，对EMD-CNN-SPP模型和CCEEMDANCNN-SPP模型的分类性能进行比较分析。结果如表3所示，两模型的Kappa系数均处于81%～100%区间内，说明所取得的分类结果都与实际结果几乎一致，具有高可信度。两模型的MCC和F1值均在90%左右，不仅表明模型分类结果与实际结果都具有较高相关性，而且对分类的查全能力和查准能力都有很好兼顾。

表3 模型评价指标计算结果Table 3 Calculation results of model evaluation indexes

与EMD-CNN-SPP模型相比，EMD改进所构建CCEEMDAN-CNN-SPP模型的总体分类精度提高了4.39%，可达93.66%。EMD-CNN-SPP模型对亚健康香梨分类准确率为84.72%，而CEEMDAN-CNN-SPP对亚健康香梨分类准确率提高至94.44%，能够更有力帮助商家及时销售亚健康香梨，减小果品损失。在三分类任务中，对病害香梨的误判容忍度极低，而CCEEMDANCNN-SPP模型对病害香梨判别也表现出较优越的能力，其误判率为6.35%，要比EMD-CNN-SPP模型的误判率低1.59%。此外，CCEEMDAN-CNN-SPP模型将健康香梨错误分类为病害香梨的数量相对较少，这对大宗水果香梨而言，会最大程度保持商品率。总体而言，CCEEMDAN-CNN-SPP模型对香梨黑心有更优的分类识别性能，更适合亚健康香梨的检测。

与Van De Looverbosch等[13]采用X射线法对梨内部病害进行三分类检测结果相比，本研究对亚健康果检测率远高于其对亚健康果的65%的分类准确率。Zhang Hui等[14]基于声振时域和频域的统计特征参数对香梨内部早期褐变进行判别，对轻度褐变香梨分类准确率仅为86.4%，而本研究通过改进EMD提高信号分解精度，获取了更多与内部病害特征相关的信号局部特征信息，使亚健康香梨的分类精度大幅提高至94.44%，表现出对香梨轻度黑心较强的检测能力。

3 结论

采用改进斜率法和CCEEMDAN方法，先后对香梨声振信号EMD存在的端点效应和模态混叠进行抑制，所获得的信号分量正交指数为0.147，能量差异值为0.112，取得了最优的抑制效果。以改进前后的香梨声振信号模态分解分量分别作为数据输入，采用CNN-SPP构建亚健康分类模型，以改进信号输入构建的CCEEMDAN-CNNSPP模型的F1值为93.66%，Kappa系数为90.47%，MCC为90.50%，总体分类准确率达93.66%，均高于以未改进信号为输入构建的EMD-CNN-SPP模型，具有更好的分类性能。此外，CCEEMDAN-CNN-SPP模型对亚健康香梨判别准确率达94.44%，对病害果误判率为6.35%，也都优于EMD-CNN-SPP模型。本研究不仅有效提升了声振法对香梨早期轻度黑心病检测能力，也为其他梨果内部亚健康状态检测提供重要参考，同时可为今后梨果内部早期轻度病害在线检测系统的研发奠定基础。