基于TCN和Transformer的鸡胚心跳混淆信号分类方法

耿 磊 吴寒冰 张 芳 肖志涛 李晓捷

(1.天津工业大学生命科学学院, 天津 300387;2.天津工业大学光电检测技术与系统重点实验室, 天津 300387)

0 引言

禽流感即禽流行性感冒,是一种因甲型流感病毒引起的人、禽类共患的急性传染病,主要表现为呼吸道和严重全身性感染[1],一旦大规模爆发,不但会造成禽类生物大面积死亡,还会严重威胁到人类的生命健康,对经济、卫生形势都有着严重危害[2]。

目前,接种疫苗是控制禽流感疫情最为直接有效的方法[3],而鸡蛋胚胎培养法因为造价低、数量充足易获取、操作简便和培养周期短等,在禽流感疫苗制备领域使用较多,我国当前主要采用的也是鸡蛋胚胎培养法。鸡蛋在孵化9～11 d后,开始接种禽流感病毒,病毒在胚胎中自然繁殖2～3 d后,便可以在鸡胚的尿囊液中获取。禽流感疫苗需要这种减毒或灭活后的病毒来制备。但是,接种病毒后,部分鸡胚会因为环境因素的干扰和个体的差异性出现非特异性的意外死亡情况。因此,对鸡蛋胚胎快速准确地进行成活性分类是制备疫苗至关重要的一步,将死胚从活胚中尽早地检测出并剔除可以有效防止因胚胎死亡导致的细菌或霉菌污染,避免造成巨大的经济损失,同时对孵化效率的提高也有重要意义。

相较于传统的分类方法,深度学习是目前解决鸡胚成活性分类的最优法,该领域吸引了大批学者进行研究。通过胚蛋图像进行鸡胚成活性检测,黄超等[4]提出了一种仿生胚蛋成活性图像无损检测方法,针对胚蛋图像上下灰度不一、胚蛋蛋壳质量不一等因素影响胚蛋血脉提取的问题,提出了一种基于最小类内指数方差的自适应阈值图像处理方法,对胚蛋图像进行识别检验;李静[5]以孵化期不同形态的毒株蛋胚图像为研究对象,分别从传统图像识别方法和基于卷积神经网络的方法对蛋胚图像进行识别;薛文杰[6]根据胚蛋图像提出并开发了一种基于机器视觉的全自动鸡胚照检、传送、分拣一体化装置,可以有效地实现对强胚、弱胚、死胚、无精胚、倒置胚的自动判别与分拣;白瑞鸽[7]以9～11 d的6类无特定病原(SPF)鸡胚图像为研究对象,在图像预处理基础上,研究了基于AlexNet微调迁移的鸡胚图像分类方法。

针对鸡胚心跳信号分类,本课题组在之前研究中已给出了多种处理方法,如GENG等[8]提出基于鸡胚心跳信号的嵌入式(Ensembled convolution neural networks, E-CNN)卷积神经网络,E-CNN凭借大尺度卷积连接平均池化层将信号降采样,再通过全连接层输出分类结果,对孵化9d的鸡胚进行分类。GENG等[9]设计了一种基于全卷积网络(Fully convolutional networks,FCN)和门控循环单元(Gated recurrent unit,GRU)的双分支网络,心跳信号同时输入到两个分支网络中,最后的输出特征由两个分支网络融合得到。GENG等[10]针对心跳信号中的局部信息和全局信息,建立了基于多头注意力融合模块和通道注意力残差神经网络模块的多尺度信息融合双分支网络,使得网络分类准确率得到提升。

但是,鸡蛋活胚在注入禽流感病毒96 h后,由于温度和生理发育等因素,其心跳信号发生变化,整体介于普通活胚和死胚之间,不但保留着普通活胚的周期性全局特征,还融合了死胚的幅值细节特征。这类96 h活胚被称为鸡胚心跳混淆信号,因其数据类别边界不清晰、形态具有多义性等问题,导致分类器难以准确分类,频频出现错判、误判等问题。上述方法虽然在各自数据集的训练和分类中取得了不错的效果,但仍欠缺对鸡胚心跳混淆信号的深入研究,需要进一步提升对鸡胚心跳混淆信号分类的准确率。

针对鸡胚心跳混淆信号分类存在的难点,本文将鸡胚心跳混淆信号单独作为一类加入数据集,把死胚、活胚二分类改为死胚、普通活胚和96 h活胚三分类,并设计绝对值均值标准化(Absolute average value normalization,AAVN)预处理方法,既能够增强鸡胚心跳混淆信号数据特征、提高其可分类性,还可以最大程度上保留其原始信号局部特征和细节特征。同时,针对预处理后的鸡胚混淆数据集,提出基于TCN和Transformer的残差结构浅层双分支网络结构RFTNet,兼具捕获心跳信号中全局特征和细节特征的能力,以有效解决鸡胚心跳混淆信号分类困难的问题。

1 数据采集与数据集构建

深度学习算法的应用需要大量数据作为支持,因此鸡蛋胚胎心跳信号的数据采集是本文的重点。本文通过光电容积脉搏波描记法(Photo plethysmo graphy,PPG)[11]分别对不同时间段的鸡蛋胚胎进行信号采集,将采集到的数据集分为死亡胚胎、普通活胚和96 h活胚(鸡胚心跳混淆信号)3类,并将含有96 h活胚的数据集称为鸡胚混淆数据集,最后经过绝对值均值标准化预处理后便可以得到全部可用的数据集。

1.1 数据采集

鸡胚心跳信号采集系统主要由激光器光源和光电传感器[12]组成,数据采集系统如图1所示。

图1 数据采集系统结构示意图Fig.1 Structure schematic of data acquisition system

将鸡蛋胚胎置于激光器光源和光电传感器之间,光电传感器通过前端芯片AFE4490对信号进行处理放大并经过模数转换器转换成数字信号,然后由串行外设接口把数据传输到单片机中。光电传感器采用的是光硅电池。此外,因为鸡蛋胚胎的外部覆盖着一层蛋壳,普通的光源难以穿透鸡胚,所以本文的激光光源选择穿透性较强的近红外光,波长为808 nm。鸡胚心跳信号采集系统的采样频率为62.5 Hz,同时为保证采样效率和信号的完整程度,对每条心跳信号的采集时间为8 s,再经过A/D转换后一个鸡蛋胚胎的心跳数据样本为500个离散数据点。

1.2 三分类数据集

本文鸡蛋胚胎的心跳信号数据均在鸡胚孵化车间采集得到。采集时间包括接种病毒后的24、48、72、88、96 h。因为采集得到的是鸡胚心跳信号的一维序列,所以鸡胚的死活主要通过心跳信号波形可视化判断,而心跳原始信号在采集过程通常受到振动噪声和鸡胚本身应激反应的干扰,信号中存在基线漂移现象和高频跳变,需要先通过巴特沃斯滤波处理后才方便观察。死胚的滤波后心跳信号波形可视化如图2所示。

图2 滤波后死胚心跳信号波形可视化Fig.2 Visualization of dead embryo heartbeat signal waveform after filtering

根据动物体生命特征,死胚是没有心跳信号的,其心跳信号可视化结果理应是一条直线,但是由于在心跳信号采集过程中存在噪声干扰和设备抖动等问题,死胚心跳并非是一条直线。可以观察到死胚信号有很多噪声干扰带来的高频跳变,在图2中表现为凸起的“毛刺”,幅值较小,细节特征十分明显却没有周期性的全局特征。而普通活胚则与之相反,波形平滑且幅值细节特征较大,具有明显的周期性波动全局特征,普通活胚的滤波后心跳信号波形可视化如图3所示。

图3 滤波后普通活胚心跳信号波形可视化Fig.3 Visualization of waveform of common live embryo heartbeat signal after filtering

而96 h活胚的心跳信号在幅值细节特征上接近死胚,有较小的幅值,但波形平滑且存在周期性波动全局特征,与普通活胚一样具有明显的心跳特征,信号特征整体介于死胚和普通活胚之间,其滤波后心跳信号波形可视化如图4所示。

图4 滤波后96 h活胚心跳信号波形可视化Fig.4 Visualization of 96-hour live embryo heartbeat signal waveform after filtering

由于96 h活胚的心跳信号区别于普通活胚,信号整体介于死胚和普通活胚之间,将这种鸡胚心跳信号放在普通活胚数据集中,会导致数据混淆,出现“死判活”、“活判死”现象,使得死胚、活胚二分类分类器难以准确分类,空间内数据分布情况如图5所示。

图5 二分类原始数据空间分布图Fig.5 Spatial distribution of secondary classification raw data

因此,为了使数据分类决策面更加清晰从而起到提升分类能力的作用,本文将96 h活胚这种混淆分类的数据称为鸡胚心跳混淆信号,并将其单独作为一类数据加入数据集。本文还通过平移的方式对96 h活胚进行了数据增强,将其400个原始数据扩充为4 000个[13]。同时,为了避免训练模型时存在潜在风险,本文将数据集类别平衡[14],死亡胚胎和普通活胚均采集4 000个样本数据,和96 h活胚样本数量保持一致,这样也会增强模型在测试数据上的泛化能力。本文将3类样本按照相同的比例划分为训练集、验证集和测试集3部分,每部分的占比分别为60%、20%和20%。表1为数据集的具体划分结果。

表1 数据集划分情况Tab.1 Data set partitioning situation

1.3 绝对值均值标准化

在心跳信号的采集过程中,噪声的引入难以避免。鸡胚在蛋壳内的突然抖动以及各种随机因素,都会给心跳数据带来噪声干扰。因此,为方便训练过程中对鸡胚心跳信号特征的提取,在预处理阶段,使用本文设计的AAVN对数据进行处理。AAVN主要分为3步:首先对心跳信号进行巴特沃斯高通滤波,去除信号中的冗余信息,再进行去噪处理,去除非正常的高幅跳变,最后通过绝对值均值标准化便可得到最后输入模型的数据。

1.3.1巴特沃斯高通滤波

巴特沃斯滤波器[15],又称最大平坦滤波器,其特点是该滤波器的频率响应曲线在通频带内可以达到最大程度平坦,没有任何波动,但是在组频带却逐步趋近于零。本文为了能在最大程度上保留原始信号特征,采用巴特沃斯三阶高通滤波器滤波[15],滤除振动噪声和生理噪声等低频噪声所带来的影响。因为接种病毒后的鸡蛋胚胎心跳信号正常频率处在1～4 Hz范围内,所以将通带截止频率fp设置为1 Hz,最小衰减不超过5 dB;同时,阻带截止频率fs设置为0.5 Hz,最小衰减不超过20 dB。考虑到滤波器在滤波建立时间内滤波性能不佳,故剔除了每个样本的前150个数据点,只保存剩下的350个数据点。滤波前后鸡胚混淆数据集心跳信号可视化波形对比图如图6所示。

图6 滤波前后鸡胚混淆数据集心跳信号波形对比Fig.6 Comparison of heartbeat signal waveforms of hatching egg confusion dataset before and after filtering

从图6a～6c中可以明显看出,由于振动噪声和生理噪声的影响,滤波前死胚、活胚和96 h活胚都存在明显的基线漂移现象,波形中心基线上下浮动,形成很大跳变,阻碍全局特征和细节特征的提取。在经过本文采用的滤波处理后,死亡胚胎心跳信号显示无规则随机性的特点,因为死亡胚胎本身是没有心跳波动的,所以设备检测到的死胚心跳信号为传感器暗电流噪声,并且滤波后可以观察到其幅值很小;普通活胚心跳信号则变得更加平滑,周期性更加明显,心跳信号幅值较大,可以更清晰地观察到心跳信号的周期性全局特征和幅值细节特征等。96 h活胚心跳信号与普通活胚心跳信号在周期性全局特征方面十分相似,经过滤波后波形同样也变得更加平滑,周期性更加明显并且心跳信号频率稍快于普通活胚,但是其信号幅值远小于普通活胚,甚至接近死亡胚胎,总体介于死亡胚胎和普通活胚之间难以分类,这也是本文将96 h活胚称为鸡胚心跳混淆信号并作为第3类加入数据集的原因。

可以观察到,3种分类的鸡蛋胚胎心跳信号经过滤波处理后,基本消除了原始数据中因噪声干扰带来的基线漂移现象,在幅值、波形和周期性上的差异更加显著,使网络模型可以更好地学习到各分类信号中的局部特征和细节特征,并为后续进一步预处理奠定基础。

1.3.2绝对值均值去噪

鸡蛋胚胎心跳信号经过巴特沃斯三阶高通滤波器处理后,基本消除了基线漂移现象,确保了中心基线的一致性,并且放大了类别间特征差异,但是从滤波后的心跳信号波形图(图6d～6f)中都可以清晰地观察到,仍有部分数据点存在高幅跳变,超出正常心跳信号的幅值范围,这种剧烈的幅值变化同样也是由振动噪声和应激反应引起的,如果深度学习模型训练过程中将这类噪声当做心跳信号特征进行提取并学习,将会对预测结果产生误导。因此,这部分具有高幅跳变的数据点也应当被滤除掉,否则会降低鸡蛋胚胎成活性检测的准确率。本文为了进一步消除高幅跳变,针对滤波后的鸡蛋胚胎心跳信号,设计了绝对值均值去噪法。

由于鸡蛋胚胎原始心跳信号数据点都为正,但经过滤波后,数据的中心基线得到统一,实现正负相间,其平均值趋近于0,去噪需要先对每个样本取绝对值,再求得样本内的绝对值均值μ和最大绝对值xmax,得出去噪系数a为

a=xmax/(2.5μ)

(1)

当样本内单个数据点的幅值超过2.5μ时,则除以去噪系数a,使得整个样本的最大值保持在2.5μ以内,通过等比例缩小高幅跳变

(2)

既能够去噪达到滤除离群值的目的,还能够保持数据光滑度,在最大程度上保留原始信号的细节特征。经过绝对值均值去噪前后的鸡蛋胚胎心跳信号可视化波形对比图如图7所示。

图7 去噪前后鸡胚混淆数据集心跳信号波形对比Fig.7 Comparison of heartbeat signal waveforms of hatching egg confusion dataset before and after denoising

1.3.3绝对值均值标准化

经过巴特沃斯三阶高通滤波和绝对值均值去噪预处理后,数据点幅值变化范围仍然很大,需对数据进行标准化,排除量纲的作用,加速模型收敛,提高模型精度,同时使得模型对小数据也更敏感。因此,本文设计了绝对值均值标准化对鸡胚数据进行进一步预处理。

特征缩放是本文设计绝对值均值标准化的首要步骤,特征缩放不但能够增强数据中的特征,还可以在一定程度上提高模型精度、加快收敛速度。本文采用最大最小值归一化[16]进行特征缩放,将数值范围缩小到[0,1]区间内,计算式为

(3)

式中x′——心跳信号的单个数据样本

max(x′)、min(x′)——单个样本最大值、最小值

x″——归一化值

最大最小值归一化后的心跳信号可视化波形图如图8所示。从图8可以观察到,所有数据的幅值范围都缩小到[0,1]区间内,完成了特征增强,但是这样的处理同样也丢失了数据中至关重要的幅值细节特征,丢失该类特征会导致模型精度下降,出现错判、误判等问题。因此,在使用最大最小值归一化进行特征缩放后还需要对数据进一步处理,引入幅值细节特征。

图8 鸡胚混淆数据集最大最小值归一化心跳信号波形图Fig.8 Maximum-minimum normalized heartbeat signal waveform of hatching egg confusion dataset

本文设计的标准化在特征缩放后通过全局绝对值均值和单个样本绝对值均值引入幅值细节特征。首先在去噪后便对整个数据集3个类别的所有样本求绝对值均值得到全局均值μn,再对单个样本求绝对值均值得到μx,这样便能够得到每个样本各自的归一化系数b为

b=μx/μn

(4)

将样本的归一化系数乘以其特征缩放后的数据,便可以完成整个绝对值均值标准化的预处理,得到本文最终可用的数据集为

y=x″b

(5)

式中y——AAVN的最终结果

绝对值均值标准化后的心跳信号可视化波形图如图9所示。从图中可以看到,经过该方法处理后,不仅通过特征缩放实现了数据增强,将所有数据的幅值控制在[0,1]内,还保留了各类别数据原有的幅值细节特征,能够通过幅值大小的不同明显区分出每类数据,在数据增强的基础上最大程度还原了原始信号,同时保留了细节特征与全局特征。

图9 鸡胚混淆数据集AAVN标准化心跳信号波形图Fig.9 AAVN normalized heartbeat signal waveform of hatching egg confusion dataset

2 网络框架设计

因为本文在数据集构建时已经对鸡胚混淆数据做了充分的预处理,数据本身已经具有很强的可分类性,所以本文在对深度学习模型进行设计时,只需要构建浅层的轻量级网络,运用较少的参数即可达到所需的分类效果。同时,这样设计不但可以节省大量内存,缩短网络训练时间,防止因隐藏层数量太多导致的过拟合和模型泛化能力下降等影响,还符合企业疫苗制备中高准确率以及高效率的生产需求。设计模型的原则如下:

(1)根据预处理设计浅层轻量型网络,使用较少参数提高效率,满足工业需求。

(2)CNN网络结构善于提取其卷积核感受野范围中的局部特征,在鸡胚心跳混淆信号分类任务中,同样可以用CNN局部感受野的特点来提取心跳信号中的幅值、波形细节特征;而Transformer由于多头注意力机制的存在,对长距离的特征依赖关系有着良好的提取能力,可以有效捕捉心跳信号周期性全局特征,CNN与Transformer之间形成互补关系,两者结合构建双分支网络便可以在最大程度上习得鸡胚心跳混淆信号中的所有特征。

2.1 基于CNN结构的RTNet分支网络设计

基础CNN在增大卷积核局部感受野时需要通过加深卷积层的深度来扩大其感受范围,这样势必会加大网络结构的复杂度,最终导致过拟合等问题的出现。而时间序列卷积TCN[17-18]是一种可以用来处理时序数据的网络结构,该网络不但可以提供充足的感受野,还能自动适应时间序列相关数据的时序性特点,已经被证明在时序建模任务中有着良好的效果。因此,本文使用TCN代替基础CNN来提取鸡胚心跳信号中的细节特征。

同时,为了增强模型特征提取通道之间的相关性,并避免在信息传递过程中出现信息丢失等问题,本文还设计了残差结构和通道注意力机制(Squeeze-and-excitation,SE)对模型进行增强。通道注意力机制SE模块针对各个特征通道间重要程度的不同,选择性地对其进行抑制或是增强。最终,本文设计了心跳信号细节特征提取分支网络RFTNet,如图10所示。

图10 鸡胚心跳混淆信号细节特征提取网络RTNet结构图Fig.10 Structure of RTNet network for extracting details of confusion signal of hatching egg heartbeat

2.2 基于Transformer的TRNet分支网络设计

Transformer网络主要应用于自然语言处理领域,由于鸡胚心跳混淆信号与自然语言同属时间序列一维信号,故本文使用Transformer[19]模块作为心跳信号周期性波动全局特征的主要特征提取器,通过自注意力机制习得模型内部的长距离双向依赖关系。同时,Transformer网络含有Encoder编码器和Decoder解码器两部分,分别负责对输入模型信号进行编码和解码,而本文处理的心跳信号分类任务并不涉及Decoder解码操作,故将Transformer中的Encoder结构作为分支网络TRNet的基础,用于提取心跳信号周期性波动全局特征。此外,当自注意力机制编码当前所处状态的信息时,会出现注意力分布极端的问题,注意力将会过度地集中在当前状态。为了解决这一问题,在Transformer中引入了多头注意力机制(Multi-head attention)[20],用多组自注意力对经过一维卷积词嵌入技术编码操作后的心跳信号进行处理。

基于Transformer的全局特征提取网络TRNet如图11所示。该网络首先利用一维卷积对心跳信号进行词嵌入编码操作,将心跳信号的维度和空间位置信息转变到128维,使用卷积核大小为1×1。紧接着将编码后的心跳信号送入Transformer的Encoder结构中,在多头注意力模块周围还引入了残差结构,避免信息失真问题出现的同时还能提升信息传递效率。

图11 鸡胚心跳混淆信号全局特征TRNet结构图Fig.11 Structure of global feature extraction TRNet for confusion signal of hatching egg heartbeat

2.3 RFTNet网络整体结构

经过本文完整的预处理后, RFTNet网络模型的详细参数如表2所示。

表2 RFTNet网络结构参数Tab.2 RFTNet network structural parameters

输入RFTNet的心跳信号大小为1×350,通过双分支网络以并行的方式捕捉心跳信号中的全局特征和各类细节特征,将两种类型的特征进行拼接完成多分类。从表2中可以看出,RTNet分支网络有3个细节特征提取模块用于提取各类细节特征,TRNet分支网络利用一维卷积映射到128维的特征空间,通过Transformer-Encoder中的自注意力机制来捕捉心跳信号中的周期性波动全局特征,其中多头自注意力机制的头数为2;最终将输出的两类特征进行拼接完成分类。同时,为了再次避免网络层数增多导致的过拟合问题,本文选择用全局平均池化层(Global average pooling,GAP)完成分类前的数据降维。RFTNet整体网络结构如图12所示。

图12 RFTNet整体网络结构图Fig.12 RFTNet overall network structure diagram

3 实验结果与分类有效性分析

在构建的鸡胚混淆数据集基础上,对本文提出的RFTNet网络模型进行训练及测试。其次对各分支网络的特征提取能力进行分析,证明了不同增强模块的有效性。同时,本文还将RFTNet整体网络从学习能力和分类能力两方面进行可视化,以客观评估本文所提方法的优越性。最后,将RFTNet与传统分类方法和深度学习分类方法进行对比实验,进一步验证本文方法在鸡胚混淆数据集中具备强大的分类能力。

3.1 实验环境与超参数

本文实验网络模型的操作平台为台式计算机,处理器为Intel(R) Core(TM) i7-6800K CPU,默认频率3.40 GHz,内存为16.0 GB,GPU为NVIDIA GeForce GTX 1080Ti,开发环境为:Python 3.7,anaconda 1.9.12,CUDA版本为10.0, Windows 10 64位操作系统。

本文采用TensorFlow深度学习框架,经反复测试得到的最佳配置超参数:学习率为0.001,损失函数为交叉熵损失,使用了零均值归一化,迭代周期(Epoch)为300。优化器为Adam,批量大小(Batch size)为128。

3.2 模型评估指标

本文使用包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1值4个指标评估本文模型。准确率是所有被正确预测的样本比例;精确率是预测为阳性的样本中真阳性所占的比例;召回率是正确预测为真阳性的数量与阳性总体数据的比例;而F1 值是用来衡量分类模型精确度的一种指标,它同时兼顾了分类模型的准确率和召回率。

3.3 RTNet分支网络有效性验证

为了使设计的RTNet分支网络在鸡胚混淆数据集中具有更强的分类性能,本文引入不同的增强模块对基础的卷积神经网络进行增强,并通过消融实验对各个增强模块的有效性进行验证。在控制变量法的基础上,不同增强模块以相同的超参数设置,在本文预处理后的鸡胚混淆数据集上分别完成训练。消融实验的模型评估指标如表3所示。

表3 不同增强模块性能对比Tab.3 Performance comparison of different enhancement modules %

从表3可以看出,与CNN相比,各个增强模块的评价指标都有显著提升,分别在不同程度上增强了分支网络的整体性能。本文还使用混淆矩阵对不同模型的分类效果进行了可视化,可视化混淆矩阵如图13所示。

图13 不同增强模块混淆矩阵可视化结果Fig.13 Confusion matrix visualization results for different enhancement modules

可以观察到,经AAVN标准化预处理后,96 h活胚(鸡胚心跳混淆信号)在基础的CNN网络中也可被正确分类,表明96 h活胚数据特征向量与其他两种类别已经有了显著差异,具有良好的可分类性,进一步验证了本文针对鸡胚混淆数据所设计预处理的有效性。通过表3和图13的数据相结合可推出,经过各增强模块增强后的细节特征提取RTNet分支网络具备更强的特征提取能力和分类性能。

3.4 TRNet分支网络空间维度分析

全局特征提取TRNet分支网络将原本处于一维空间的心跳信号转换到N维空间,随后将其送入由自注意力机制构成的Transformer-Encoder中,完成对心跳信号全局特征的提取,因此,空间维度N的设置对模型至关重要。本文采用控制变量法,在相同网络和数据集中设置多组对比实验,用于验证空间维度N对TRNet的影响并选出其最优设定,对比实验结果如图14所示。

图14 不同输入空间维度N的模型精度及参数量Fig.14 Impact of input space dimension N on model accuracy and number of parameters

本文共设计6组对比实验,分别将N设置为16、32、64、128、256、512。从图14可以看出,随着空间维度的增长,参数量整体呈指数增长趋势。当N为128时,模型分类准确率最高且模型参数量相对较少,表明将原始一维空间的心跳信号转换到空间维度为128时,该分支网络对于鸡胚混淆数据集具有最好的分类性能。此外,为了实现对空间维度最优设定的进一步验证,本文按鸡胚混淆数据集中各类别比例,随机抽取了4 000条鸡胚心跳信号,通过t-SNE[21]方法分别对N为16、32、64、128、256、512时的模型输出特征进行降维可视化,可视化结果如图15所示,每幅图都包含4 000个数据点,死亡胚胎、普通活胚和96 h活胚心跳信号分别由紫色、黄色和绿色的数据点表示。其中,每幅子图分别对应上述各个维度空间中心跳信号经过特征提取后的空间分布情况,同时也代表网络模型的分类能力。模型分类能力强则同类别数据聚拢密集,而能力弱的会出现数据点分布离散、分布异常以及大量跨类别分布的情况。

图15 不同空间维度分类性能可视化Fig.15 Visualizations of classification performance in different spatial dimensions

由图15可以看出,由本文设计的数据预处理以及全局特征提取TRNet分支网络架构处理后,即使是精度最低的模型也具备一定的心跳信号分类能力,当空间维度为128时效果最佳。以上实验结果均证明该分支网络在128维的特征空间下对心跳信号进行分类具有最好的性能。

3.5 RFTNet整体网络学习能力可视化分析

为了能够更清晰地展示RFTNet整体网络对鸡胚混淆数据集中各类别心跳信号的学习能力,本文通过热力图的方式将其学习过程可视化,利用模型中输出层的特征集合与各项特征在GAP层所占权重比例做乘法运算得到特征权重矩阵,最终重叠为能够表示网络特征学习能力的热力图。本文在鸡胚混淆数据集中对每一类别分别选取了一条具有代表性的鸡胚心跳信号进行可视化分析,可视化结果如图16所示。

图16 RFTNet及其分支网络学习能力可视化Fig.16 Visualizing learning capability of RFTNet and its branch networks

图16每行分别代表的是死亡胚胎、普通活胚以及96 h活胚心跳信号数据。热力图由原始输入信号的离散点构成,其中不同颜色代表模型对各个位置施加注意力程度不同,红色颜色越深,代表关注度越强,即模型对该位置特征的学习能力越强,而蓝色则与之相反,颜色越深代表模型对该位置的学习能力越差。可以看到代表RTNet学习能力的热力图中,红色点多聚集于心跳信号的细节部位,着重对其细节特征进行捕捉;TRNet热力图的红色点覆盖了大部分的时间序列,足够学习到其中的周期性波动全局特征;而RFTNet融合了两个分支网络,具有更为强大的学习能力,红色点覆盖了大部分心跳信号,说明该网络几乎可以学习到信号中的全部特征,兼顾全局特征和各类细节特征。热力图实验进一步证明RFTNet在本文数据集中具有强大的学习能力,同时可以看到各分支网络的学习能力均符合本文网络设计的核心思想,能够分别实现对不同类别特征的学习,验证了本文网络设计的合理性。

3.6 RFTNet整体网络分类能力可视化分析

为了能够更清晰地展示RFTNet网络在鸡胚混淆数据集上的分类能力,本文通过t-SNE降维分析法对RFTNet及其分支网络进行分类能力可视化。本文按鸡胚混淆数据集中死亡胚胎、普通活胚以及96 h活胚样本分布比例,随机抽取共4 000条心跳信号分别送入RFTNet及其分支网络TRNet和RTNet中,将提取到各类特征即通过全连接层进行分类的输出信号截取到t-SNE算法中,实现各网络分类能力的可视化,分类能力可视化结果如图17所示。

图17 RFTNet及其分支网络分类能力可视化Fig.17 Visualizing classification power of RFTNet and its branching networks

由图17a、17b可以看出,两幅图各类别间数据点均呈现出较为集中的分布趋势,但是样本间的分布轮廓仍不够明显,个别类别数据的聚拢效果还不够理想,各类别决策边界上均存在较为严重的数据重叠现象。图17c在融合了两个分支网络各自针对全局特征以及细节特征的提取能力后,同类别数据点分布不但聚拢集中,而且只存在较少数跨类别分布的异常离散点,分类效果远高于两个分支网络,进一步验证了RFTNet在鸡胚混淆数据集中具有强大的分类能力。

3.7 RFTNet与其他分类方法性能对比

为了验证本文所提出的RFTNet对于鸡胚混淆数据集心跳信号分类的有效性,本节将其分别与传统分类方法和深度学习分类方法进行对比。经典分类方法包括支持向量机(Support vector machines,SVM)、决策树(Decision tree,DT)以及二次判别分析(Quadratic discriminant analysis,QDA);深度学习方法有长短时记忆(Long short-term memory,LSTM)、GRU和Transformer-Encoder,以及本课题组针对特定领域鸡胚心跳信号分类提出的各种算法,包括E-CNN、FCNs-GRU和MifaNet。本文在对比实验过程中遵循控制变量法,所有实验均在本文鸡胚混淆数据集上进行,并保持训练超参数的一致性。传统分类方法对比实验结果如表4所示。从表中可以看出,传统分类方法在本文鸡胚混淆数据集中的分类效果并不理想。

表4 传统分类方法对比实验结果Tab.4 Experimental results of comparing traditional classification methods

传统算法在进行分类时直接对原始数据进行处理,而原始数据中存在诸多背景噪声干扰, 96 h活胚作为鸡胚混淆数据,本身就具有类别边界不清晰、形态具有多义性等问题,导致分类器精度下降,难以准确分类。因此,传统分类方法并不适用于鸡胚心跳混淆信号分类任务,对于该时间序列分类任务,基于深度学习的分类方法是目前的最优法。深度学习分类方法实验结果对比如表5所示。

表5 深度学习分类方法实验结果对比Tab.5 Experimental results of comparing deep learning classification methods %

从表5可以看出,LSTM和GRU的分类性能最差,虽然RNN结构网络在处理长时间序列任务时具有良好的性能,可以提取到数据中的全局信息特征,但是对于鸡胚心跳信号而言,幅值细节特征和波形细节特征同样重要,基于RNN结构的神经网络难以对此类特征进行捕捉,尤其鸡胚混淆数据在周期性波动全局特征上具有混淆性,更会导致其错判率的上升;得益于自注意力机制善于捕捉信号间长距离依赖关系的能力,将基础的Transformer-Encoder直接作为模型对鸡胚混淆数据集进行训练仍取得了不错的效果,但还不能满足工业生产的需求。而本课题组之前提出的E-CNN、FCNs-GRU和MifaNet网络,并没有将具有混淆性的96 h活胚心跳信号考虑在内,故无法对鸡胚混淆数据集中的心跳信号进行准确分类,但这类鸡胚混淆数据又大量存在于注射病毒96 h后的心跳数据中,难以忽略;经过三分类AACN预处理后的数据本身已经具备很强的可分类性,本文设计的浅层双分支网络RFTNet兼备全局特征和细节特征的提取能力,在本文数据集展现强大分类能力,各项评价指标均为最高。

4 结束语

针对鸡胚混淆数据集心跳信号特点,设计了三分类AAVN 标准化对数据特征进行增强,并根据预处理后的信号,提出了一种基于TCN与注意力机制的残差结构浅层双分支分类网络RFTNet,用于对鸡胚心跳信号进行成活性检测。RTNet分支网络和TRNet分支网络以并行的方式分别提取心跳信号中的波形、幅值细节特征和周期性波动全局特征,并通过拼接的方式融合为RFTNet整体网络,大幅增强其对特征进行表达的能力。最终本文所提方法在鸡胚混淆数据集心跳信号分类中具有良好的性能,分类准确率高达99.75%,优于现有的传统方法和深度学习方法。