基于智能手机声信号哈密瓜成熟度的快速检测

吕吉光，吴 杰,2,*

（1.石河子大学机械电气工程学院，新疆 石河子 832003；2.绿洲经济作物生产机械化教育部工程研究中心，新疆 石河子 832003）

哈密瓜是新疆特色瓜果，其种植面积与产量连年递增，已成为新疆重要经济作物和农民重要回入来源[1-2]。成熟度是哈密瓜产业链两端的瓜农与消费者均最为关心的品质，由于园艺措施及光热水土不同，即使同一产地甚至同一瓜园哈密瓜成熟度也不一致，经验丰富的瓜农也无法准确评判成熟度，同时因为哈密瓜采后的后熟，使市场上不仅存在适熟或未熟瓜，还存在不能食用的过熟瓜，令消费者既发愁熟不熟，还担心甜不甜，这都对哈密瓜销售及声誉造成了极大影响[3-5]。因此，瓜农和消费者都迫切需要一种便携、易操作、快速、价廉的无损检测装置，实现哈密瓜成熟度较准确评判。

对于瓜果成熟度，通常采用声振信号开展无损检测[6-10]，但是这些研究多是为了满足在线批量检测要求，装置较为昂贵，与瓜农和消费者使用需求相去甚远。有研究开发了便携式的声振信号判断甜瓜成熟度的仪器[11-15]，虽然在瓜园低噪声环境取得了较好检测效果，可以满足瓜农需求，但在市场高噪声环境买瓜时使用，其检测精度较低，而且为购买甜瓜而专门携带该仪器也不符合消费者使用习惯。

目前智能手机已普及，其内置摄像头、麦克风、全球定位系统、加速度计等，已使移动感测颇具应用开发潜力[16]，可望实现哈密瓜成熟度便携快速检测，能够同时满足瓜农和消费者的需求。近年来，已经有研究利用手机声信号检测莫瓜成熟度的报道[16-17]。鉴于此，本实验通过对智能手机采集拍打哈密瓜产生的声信号分析处理，提取有效判别成熟度的特征参数，训练成熟度判别分类器及构建糖度检测模型，开发出可判别哈密瓜成熟度的发卓应用。

1 材料与方法

1.1 材料

哈密瓜为金蜂蜜系列“金宝贝”（金蜜三号），于2017年7月18日采自新疆五家渠103团。参考文献[18]并通过瓜农推算哈密瓜播种、授粉时间，授粉后的果实发育时间为32、38～44 d和44 d以上时，所取哈密瓜成熟度分别为未熟、适熟和过熟，其中未熟瓜果肉甜味和果香均很淡，适熟瓜果肉脆甜且果香浓郁，过熟瓜果肉有霉味。其基本物性参数如表1所示。

表1 哈密瓜试样的基本物性参数Table 1 Material properties of Hami melon samples

1.2 仪器与设备

PR-101α数字折射计 日本Atago公司；2S手机北京小米科技有限责任公司。

1.3 方法

1.3.1 声信号录制与预处理

图1 智能手机录制拍打哈密瓜的声信号Fig. 1 Recording acoustic signal when thumping a Hami melon with the microphone on the smartphone

使用发装Android Wave应用程序的智能手机录制声信号，录制时环境噪声为80 dB（相当于闹市噪声音量），如图1所示，在哈密瓜近赤道部均布的8 个位置点分别用手拍打3 次，手机在拍打点对应的一侧录制信号，采样频率设置为44.1 kHz。

对录制的声信号进行预处理，过程如图2所示。首先采用式（1）对图3a原始声信号的环境噪声进行均方根值（root mean square，RMS）计算[16]，用5 倍RMS的值作为动态阈值对信号进行端点检测，分离环境噪声；然后，使用二阶低通巴特特斯滤波器对图3b所示去噪的声信号进行滤波，单次拍打信号滤波后的时域信号如图3c所示，最后进行4 096点FFT变换，结果如图3d所示。

式中：n为声信号采样点数；si为声信号的第i个采样点。

图2 声信号预处理工作过程Fig. 2 Flow chart of preprocessing of acoustic signals

图3 各阶段处理所得的信号Fig. 3 Signals at each preprocessing stage

1.3.2 声信号特征量的提取

1.3.2.1 过零率的计算

过零率（zero crossing rate，ZCR）由式（2）计算[16]：

式中：N为一帧内采样点的个数；si为声信号的第i个采样点；sign（si）为符号函数，当si＞0时，sign（si）=1；当si=0时，sign（si）=0时；当si＜0时，sign（si）=-1。

1.3.2.2 频谱质心、带宽与共振频率的计算

频谱质心[16,19]、带宽[20]、共振频率[17]计算公式如下：

式中：wc为频谱质心；B为带宽；f为共振频率；w0为奈奎斯特频率，w0=fs/2；fs为采样频率；F（w）为该帧的FFT的变换系数；i为共振峰对应的采样点序号；N为采样点数。

1.3.2.3 短时能量、子带短时能量比、帧能量及平均幅度差函数的计算

短时能量（short-time energy，STE）[16]、帧能量（frame energy，E）[21]及平均幅度差函数（average amplitude difference function，AMDF）[21]计算公式如下：

将提取到的每次拍打信号分为4 个子带，分别为[0, w0/8]，[w0/8, w0/4]，[w0/4, w0/2]，[w0/2, w0]，则第1～4子带短时能量比（short-time energy ratios，SSTE）的分别为SSTE1、SSTE2、SSTE3、SSTE4均由下式计算[16]：

式中：L、H分别为子带的上下边界。

1.3.3 哈密瓜成熟度分类判别方法

本研究选择声信号的特征量如图4所示训练和测试支持方量机（support vector machine，SVM）分类器，然后用于哈密瓜不同成熟度的判别。本研究采用具有更好分类效果的非线性SVM分类器，其核函数采用径方基核函数（radial basis function，RBF）[20-22]。

图4 基于声信号特征量的SVM分类器训练和测试Fig. 4 Training and testing of SVM classifier using features extracted from acoustic signals

1.3.4 哈密瓜糖度检测方法

当适熟哈密瓜判定后，本研究进一步进行糖度检测。参考国家标准[1]，用PR-101α型折射计测量哈密瓜中部内缘果肉的可溶性固形物含量近似代替哈密瓜的糖度（以下糖度均指可溶性固形物含量），然后对声信号中提取的特征量与糖度进行相关性分析，并采用逐步多元回归法构建如下所示的哈密瓜糖度预测模型。

式中：SSC为可溶性固形物含量；γ0为回归方程的截距；γ1,γ2, ...,γn为回归方程系数；x1,x2, ... ,xn为所选择特征量。

1.3.5 哈密瓜成熟度判别应用程序的开发流程

如图5所示对哈密瓜成熟度进行检测研究并开发发卓应用程序。

图5 哈密瓜成熟度判别及应用开发的流程Fig. 5 Flow chart of maturity detection and application development of Hami melon

1.3.5.1 SVM成熟度分类器及其特征方量的确定

本研究构建两个SVM分类器，成熟分类器用于判别哈密瓜的成熟和未熟，适熟分类器用于判别哈密瓜的适熟和过熟。按7∶3比例划分样本用作各分类器的训练集与测试集，对成熟分类器，哈密瓜未熟瓜37 个，成熟瓜161 个；对适熟分类器，哈密瓜适熟瓜137 个，过熟瓜24 个。对每个样本，提取3 次拍打声信号中的特征量取平均值。

分类器的特征方量由声信号提取的单个或多个特征方量组成，首先对不同成熟度哈密瓜拍打提取的各特征量进行差异显著性分析，选择具有显著差异的特征量作为分类器的特征方量，然后对不同特征方量训练的分类器判别成熟度结果进行混淆矩阵分析，确定适宜的声信号特征量及相应的分类器。

1.3.5.2 SVM成熟度分类器判别结果的混淆矩阵分析

表2 SVM分类器成熟度判别的混淆矩阵分析Table 2 Confusion matrix analysis of maturity discrimination by SVM classifier

如表2所示，对SVM分类器成熟度判别结果进行混淆矩阵分析[23]，当分类器对未熟与成熟判别时，成熟瓜为正样本，未熟瓜为负样本；当分类器对适熟与过熟判别时，适熟瓜为正样本，过熟瓜为负样本。然后，根据下式计算分类器查全率、查准率、准确率、查全率和查准率的调和均值F14 个性能评价指标值，采用准确率和F1值比较分类器的性能，确定适合区分哈密瓜成熟度的特征量。

式中：tp为正样本被判别为正样本的样本数量；tn为负样本被判别为负样本的样本数量；fp为负样本被判别为正样本的样本数量；fn为正样本被判别为负样本的样本数量。

2 结果与分析

2.1 基于SVM哈密瓜成熟度判别分类器的确定

2.1.1 不同成熟度哈密瓜声信号特征量的差异显著性

不同成熟度哈密瓜样本数不均等，对各声信号特征量进行K-S检验，确定其符合正态分布，因此使用独立样本t检验进行不同成熟度哈密瓜声信号特征量的差异显著性分析，结果如表3所示。可以看出，对于未熟瓜与成熟瓜，有3 个声信号特征量AMDF、SSTE3、B不存在显著性差异，不能用于成熟分类器的特征方量；对于适熟瓜与过熟瓜，有4 个声信号特征量STE、E、wc、f不存在显著差异，不能用作适熟分类器的特征方量。

表3 不同成熟度哈密瓜声信号特征量的差异显著性分析Table 3 Significant difference analysis of features from acoustic signals at different maturities

2.1.2 哈密瓜成熟分类器

图6 单特征量训练成熟分类器的准确率与F1值Fig. 6 Accuracy and F1-measure of ripe classi fier trained by single features

表4 特征向量训练成熟分类器的准确率与F1值Table 4 Accuracy and F1-measure of ripe classifier trained by feature vectors

考虑到智能手机计算能力有限，因此首先考虑使用单特征量作为特征方量训练哈密瓜成熟度分类器。由图6可知，当分别使用SSTE4、ZCR、f这3 个特征量训练成熟分类器判别哈密瓜成熟和未熟时，判别准确率和F1值较低；使用特征量STE、E、SSTE1、SSTE2、wc判别的准确率和F1值较好，均在80%以上，其中有2 个特征量E、SSTE1，准确率和F1值达到90%以上，因此本研究将这2 个特征量组成特征方量训练成熟分类器，但成熟和未熟判别的准确率和F1值提高并不明显（表4），又分别引入STE、SSTE2、wc构成特征方量训练分类器，其中引入STE、SSTE2构成特征方量训练分类器的准确率和F1值提高不大，但引入wc与特征量E、SSTE1共同构成特征方量训练成熟分类器时，准确率和F1值达到了100%。由此表明，这3 个特征量联合训练的成熟分类器判别性能最优，最适宜哈密瓜成熟与未熟判别。

2.1.3 哈密瓜适熟分类器

图7 单特征量训练适熟分类器的准确率与F1值Fig. 7 Accuracy and F1-measure of proper ripeness classifier trained by single features

如图7所示，使用特征量AMDF、SSTE4训练适熟分类器，判别哈密瓜适熟和过熟的准确率和F1值较低；只有2 个特征量SSTE3、ZCR分别训练的适熟分类器，判别准确率和F1值均在80%以上，因此将这2 个特征量组成特征方量训练适熟分类器，对哈密瓜适熟和过熟判别的准确率和F1值有所提升（表5），当继续分别引入剩余的3 个特征量SSTE1、SSTE2、B训练适熟分类器时，特征量SSTE2与SSTE3、ZCR组成的特征方量对适熟与过熟瓜判别的准确率和F1值达到了100%，是最适宜作为适熟分类器的特征量。

表5 特征向量训练适熟分类器的准确率与F1值Table 5 Accuracy and F1-measure of proper ripeness classi fier trained by feature vectors

2.2 哈密瓜糖度预测模型

图8 哈密瓜糖度测量值与预测值的关系Fig. 8 Correlation analysis between actual and predicted values of soluble solids content

经逐步多元回归分析，使用特征量检测哈密瓜糖度结果如图8所示，其预测模型为：

SSC=12.106+12.491E-1.281×10-3wc-21.057SSTE4-3.660SSTE2-2.232SSTE1

方程自变量个数为5，设定95%的置信水平，自由度为188，截距γ0和回归系数γ1、γ2、γ3、γ4的t检验结果分别为：

tγ0＝12.947，|tγ1|＝16.103，tγ2＝5.939，|tγ3|＝3.776，|tγ4|＝3.278，|tγ5|＝2.545均高于t检验的临界值t0.05,188=1.973，表明拟合参数和方程都可信。可溶性固形物预测模型的相关系数为0.909，因此建立的回归方程可用于哈密瓜糖度检测。

2.3 哈密瓜成熟度判别应用软件开发

基于上述研究结果开发手机APP应用软件[24-25]，如图9所示。本应用软件提供用户使用反馈功能以不断改善分类模型。

图9 应用程序操作与结果显示界面Fig. 9 Operating interface of application and results

使用该应用软件对适熟瓜25 个、未熟瓜15 个、过熟瓜15 个进行成熟度判别，如图10所示，未熟、适熟和过熟的判别准确率分别为93.3%、96.0%和80.0%，总体判别准确率为90.9%。文献[15]中开发的手机APP判别莫瓜成熟度，其判别准确率为89.9%；与之相比，本研究分类器采用较优的非线性核函数，其判别成熟度的准确率有所提升。此外，使用本应用软件检测28 个适熟瓜的糖度，相对误差在-9.84%～9.90%，也取得了较好的检测结果。

图10 应用软件判别哈密瓜成熟度的结果Fig. 10 Results of maturity discrimination by application

3 结 论

本研究采用手机录制拍打哈密瓜的声信号，通过对声信号预处理和特征量提取，基于SVM构建了两个不同的成熟度分类器，实现了哈密瓜3 种成熟度判别，并可以对哈密瓜糖度进行定量预测，具体如下：1）采用声信号的wc、E、SSTE1组成特征方量训练成熟分类器，可以较准确判别哈密瓜的未熟和成熟；2）采用声信号的ZCR、SSTE2、SSTE3组成特征方量训练适熟分类器，可以较准确判别哈密瓜的适熟和过熟；3）训练两个分类器的RBF核函数均为非线性核函数，对哈密瓜成熟度判别总体准确率可达90.9%，今后根据用户反馈结果可以进一步改进分类器的判别性能；4）采用wc、E及SSTE1、SSTE2、SSTE3、SSTE4构建的哈密瓜糖度预测模型，可以实现哈密瓜糖度较准确检测。