基于对抗学习的电子鼻传感器漂移补偿算法*

陶 洋, 黎春燕, 梁志芳, 杨皓诚

(重庆邮电大学 通信与信息工程学院,重庆 400065)

0 引 言

电子鼻是一种检测复杂性气味的仪器,又称为机器嗅觉系统,主要由气体传感器阵列和相应的模式识别算法组成。它在食品安全[1]、空气质量检测[2]、医学[3]等领域有着广泛的应用。但电子鼻传感器的灵敏度会随着环境、自身老化和“中毒”等原因发生变化,故传感器的输出响应也随之改变,即传感器产生漂移。传感器漂移使电子鼻性能下降,寿命降低,极大限制了电子鼻在实际生活中的应用。因此,解决传感器漂移能够延长电子鼻使用寿命,同时也是近年来针对电子鼻的研究热点。

目前,已有许多学者针对电子鼻传感器漂移提出了一系列方法,主要包括信号预处理[4]、成分校正法[5,6]、分类器集成法[7]、域自适应法[8,9]。信号预处理独立校正每只传感器响应信号,故该方法易于实现、时效性高,但无法处理数只传感器之间复杂的漂移。成分校正法试图利用实验环境下参考气体的漂移方向移除测试样本的漂移成分,但漂移方向的准确性依然值得研究。分类器集成法需利用大量标记样本。域自适应是近年来在电子鼻漂移补偿中应用较为广泛的方法,本文也将从域自适应角度继续研究漂移补偿算法。Zhang L等人提出域自适应极限学习机(domain adaptive extreme learning machine, DAELM)方法用于补偿传感器漂移[8]。 Liang Z等人[9]提出一种方法从特征和分类器决策层解决电子鼻传感器漂移。综上所述,这些漂移补偿方法均属于半监督域自适应方法,并抑制了传感器的漂移,但这些方法利用较多的目标域标记样本。

本文受对抗学习和半监督域自适应的启发,提出一种基于对抗学习估计域不变原型(estimate domain-invariant prototypes via adversarial learning,ALDIP)的漂移补偿方法。将对抗学习加入半监督域自适应学习过程中,同时利用更少的目标域标记样本研究传感器漂移补偿算法。该方法的主要目的是最小化估计原型与目标域未标记样本之间的距离,从而提取目标域可区分性特征。实验表明,本文所提出的方法能够有效地对传感器漂移进行补偿。

1 基于对抗学习估计域不变原型

1.1 问题定义

1.2 模型总体结构框架

受文献[10]的启发,本文提出的方法主要利用神经网络构建一个特征提取器和余弦相似度分类器。整个网络结构如图1所示。

图1 基于对抗学习域不变原型的网络框架

1.3 训练过程

在整个训练过程中,首先利用特征提取器F和余弦相似度分类器C训练源域和目标域标记样本,并选用交叉熵作为损失函数。特征提取器表示为利用网络参数θF学习一个函数fg,分类器表示为利用网络参数θC学习一个函数fc,其中,θC为分类器权重向量W=[w1,w2,…,wk]的集合。最后,利用标记样本获得的分类器经验损失为

(1)

假设对于每种类别都存在一个域不变估计原型,并视该原型为两个域之间的代表点,但估计原型更适于源域分布,因为在分类器训练过程中源域标签信息更多。为使估计原型具有域不变特性,将原型wi向目标域特征移动以估计原型的位置,故利用熵度量W与无标记目标域特征之间的相似度,熵的计算公式如下

(2)

式中K为类别数量,p(y=k|x)为样本x预测为类别k的概率。熵越大则表明估计原型wi与所有目标域特征越相似,故最大化熵以估计域不变原型。为获得目标域样本可区分性特征,将目标域未标记样本围绕估计原型聚类,故最小化特征提取器F以减小目标域未标记样本的熵,即每个目标域样本应分配给唯一的估计原型。因此,重复进行熵最大化和最小化过程能够学到更具有区分性的特征。整个熵的最大最小化过程如图2所示。

图2 熵最大最小化过程

总的来说,该方法可形式化为C和F之间的对抗学习,训练分类器C最大化熵,训练特征提取器F以最小化熵。整个对抗学习的目标函数为

(3)

式中γ为超参数,用于控制最大最小化熵训练和分类损失之间的平衡。在一个包含有源域和目标域小批量数据中,该目标函数可形式化为最大最小化迭代训练。小批量是指将两个域的所有样本划分成几个批次,并以每个批次更新神经网络的参数,从而降低计算复杂度。为简化训练过程,利用梯度反转层[11]使C和F之间的梯度相对于H反转,其中,梯度反转层可利用一次前向和后向传播实现最大最小化训练。

2 实验与结果分析

2.1 传感器基准数据集

本文利用一组公开数据集完成实验,它被许多学者用于电子鼻漂移补偿算法研究。该数据是长达3年的电子鼻传感器基准数据集,由来自加州大学(University of California, San Diego,UCSD)的Vergara等人[7]采集所得。电子鼻是由16只MOS传感器组成的传感器阵列,其中每只传感器提取样本的8个特征,故每个样本共有128(16×8)维特征。最后,利用电子鼻对不同浓度的6种气体(丙酮,乙醛,乙醇,乙烯,氨和甲苯)进行测量,在整个36个月中共收集了13 910个样本,并按时间顺序将其分为10批数据。其中,第10批数据是电子鼻关闭电源5个月后所采集的数据,而在电子鼻关闭电源的5个月中,传感器将遭受到严重的污染,且这些污染不可避免,因此当电子鼻再次工作时,电子鼻传感器阵列无法恢复到正常的工作温度,故采集的数据将发生比平常更严重的漂移。表1为所有批次收集的时间以及每个批次每种气体的数量。另外,更多关于论文采用的传感器基准数据集信息可见文献[7]。

表1 基准传感器漂移数据集

为更直观地观察所有批次数据分布差异,图3为原始数据的二维主成分散点图。从图3中可观察到传感器漂移使各批次的2维主成分子空间数据分布不一致。因此,若将批次1视为源域用于建立模型,在目标域批次b(b=2,3,…,10)上测试,模式识别准确性会产生较大的偏差。因为在机器学习中,通常假设训练集和测试集应保持相同或相似的概率分布,而传感器漂移使测试集和训练集的分布不再满足机器学习的假设,故可考虑减小域间分布差异提高模式识别的准确率。

图3 10批数据二维特征(PC1,PC2)散点图

2.2 结果与讨论

对电子鼻传感器基准数据集进行两种实验设置,并将两种实验设置下的结果与一些漂移补偿方法进行对比,包括常用的特征提取方法,主成分分析(principal component analysis,PCA)法[5]和线性判别分析(linear discriminant analysis,LDA)法[12],集成分类器法SVM-COMGFK和SVM-RBF,以及近年的半监督域自适应方法,域自适应极限学习机(DAELM-S)[8]。由于神经网络初始权重的不确定性,故本次实验实现ALDIP共10次,并取实验10次最优结果的平均值作为本实验的结果。在实验过程中,等式(3)中的平衡参数γ为0.1,并利用常见的KS算法选取目标域标记样本。

设置1:将批次1作为源域用于模型训练,其余批次b(b=2,3,…,10)作为目标域用于模型测试。

设置2：将批次b(b=1,2,…,9)作为源域用于模型训练,批次b+1作为目标域用于模型测试。

在实验设置1下,表2给出了ALDIP在最佳实验结果下的小批量设置,表3给出了ALDIP与其他漂移补偿算法的识别精度。从表3可知ALDIP平均精度结果最佳,虽然平均精度只比DAELM-S高出0.91 %,但从表格的第一列可知ALDIP比DAELM-S少利用10个目标域标记样本。从总的10批数据来看,2,4,5,6,10批次数据的识别精度均比DAELM-S高,尤其第10批数据,ALDIP的识别精度比DAELM-S高出15.17 %,由2.1节可知,第10批数据漂移最严重,故这也证明了该方法对漂移的补偿作用。最后还给出了实验设置1下ALDIP方法在包含0,5,10,15,20,25个目标域标记样本下每批次的识别精度图,并与DAELM-S在该环境下的识别精度进行对比,如图4所示。从图4中可看出随着目标域标记样本的增加,ALDIP方法的识别精度逐渐增加,且在相同的目标域样本下,大多数批次的识别效果优于DAELM-S。因此,该模型能够有效补偿传感器漂移。另外ALDIP比次之的DAELM-S效果更佳的一个原因是ALDIP利用了对抗学习使提取的源域和目标域特征具有域不变特性,并且利用余弦相似度分类器可使类内更紧密,而DAELM-S利用极限学习机只考虑了分类决策层的自适应。

表2 实验设置1下获得最高精度时小批量参数设置

表3 实验设置1下ALDIP以及对比算法的识别精度

图4 不同数量目标域标记样本下每个批次的识别精度

在实验设置2下,批次b视为源域,批次b+1视为目标域,若将批次b→b+1视为一个任务,则共有9个任务。表4给出了在实验设置2下每个任务获得最佳实验结果的小批量大小参数设置。表5给出ALDIP方法与所有比较的漂移补偿方法对9个任务的识别精度结果。从表5中可看出ALDIP方法的识别精度依然是最高的。虽然仅比与它次之的DAELM-S方法高出0.45 %,但该方法依然利用了更少的目标域标记样本。对于现实场景来讲,从目标域获取更多的标记样本将耗费大量人力且不易获取,故这证明了该方法的有效性。总的来说,无论从实验设置1还是实验设置2,都能够说明ALDIP方法对传感器漂移的补偿作用。

表4 实验设置2下获得最高精度时小批量参数设置

表5 实验设置2下ALDIP以及对比算法的识别精度表

3 结 论

为了补偿传感器的漂移,本文提出一种基于对抗学习估计域不变原型的算法。该方法的特点为：1)利用熵的最大最小化过程达到源域与目标域之间的自适应；2)在网络结构中,为了达到对抗的目的,在特征提取器和分类器之间加入梯度反转层；3)该模型不仅能够学习到域不变特征,而且能够学习到域不变原型。最后,为了验证提出方法的有效性,在加州大学的电子鼻基准数据集上进行实验,并证明了该方法比其他漂移补偿方法识别率更高。