融合多尺度脑电特征的学习风格识别

张冰雪，柴成亮，尹 钟，史 洋，裴颂文

(上海理工大学 光电信息与计算机工程学院，上海 200093) E-mail：yinzhong@usst.edu.cn

1 引 言

学习风格(Learning Style)是学习者在长期学习活动中形成的相对稳定的学习方式和偏好[1]，是反映学习者个体差异的重要因素.通过分析和研究学习者在学习风格上的差异，为其制定个性化的学习策略、内容和资源，不仅可以提高学习者的学习效率，而且能增强其自主学习能力.因此，在智能化时代背景下，借助智能算法对学习者的学习风格进行识别，不仅是实现个性化教学的必要前提，也对现代教育模式的贯彻实施具有非常重要的研究意义和应用价值[2].

学习风格最早的概念是由Thelen在1954年提出，随后研究者相继提出众多的学习风格模型，包括Kolb[3]、Felder-Silverman[4]、VARK[5]、Gregorc[6]等经典学习风格模型.其中Felder-Silverman模型是最被广泛接受和使用的，其根据学习者对信息的感知、输入、理解和处理4个维度上的偏好各划分为两组不同的学习风格.其中，处理维度按思维过程如何将学习者接受的信息加工为知识，划分为沉思型和活跃型学习风格.沉思型学习者更善于自省，关注自我的内部状况，而活跃型学习者倾向于践行，将精力投注在外部环境[7].由此可见，处理维度对分析学习者的问题处理和认知过程的差异性具有重要意义，是实现个性化教学的必要前提，但信息内化过程难以通过常规方法进行分析.故本文选择在Felder-Silverman 学习风格模型理论下，针对性地对处理维度设计实验，并构建模型实现对沉思型和活跃型学习风格的识别.

目前，学习风格的识别主要有两种形式：1)显式识别，即利用学习风格问卷，统计各项得分情况来判断受试者的学习风格[8]；2)隐式识别，即通过对学习行为数据的挖掘与分析，间接识别学习者的学习风格[9].虽然上述方法均取得了良好的进展，但是均存在明显的弊端：显式识别通常仅适合应用于小规模或封闭环境；隐式识别由于行为数据类型复杂，且相对缺乏合理的评价标准，因此无法保证识别结果的真实性.脑电(Electroencephalogram，EEG)是大脑自发性、节律性的电生理活动[10]，其中包含了大量的心理和认知过程信息.近年来，认知神经科学研究发现，EEG中包含反映人个性化认知的特征，并指出人在学习和处理问题的差异性与大脑皮层的活动节律有很大相关度[11]，通过分析脑电信号可以有效解析人在认知处理过程中存在的差异性，由于EEG体现的生物特征信息很难被伪装或掩饰，所以EEG往往比面部表情、语音或行为等更能真实地反映人的认知过程.目前，脑电信号已被广泛用于情感分类[12]、疾病检测[13]和疲劳监测[14]等领域.因此，设法利用生理信号实现对学习风格的识别，可以有效提高识别准确率和模型泛化能力.

综上所述，本文开创性地构建了融合多尺度EEG特征的学习风格识别模型.通过构建实验刺激，激发并收集受试者在Felder-Silverman模型处理维度的脑电信号，并对其进行模型训练与识别.特别地，本文提出了一种新的融合多尺度时空卷积神经网络的分类器，抽象脑电蕴涵的关键学习风格信息并完成识别任务.该模型首先使用一维时间和空间卷积代替传统二维卷积，实现对脑电时域特征和通道间空域特征的提取，相比普通卷积有效减少了41%的训练参数量.其次，模型构建了并行多尺度卷积结构，多尺度卷积能获得更加丰富的脑电特征，增加了模型的宽度并提高模型性能.最后，通过全局平均池化进一步简化模型结构，降低模型的训练时间.通过多组对比实验结果表明，该模型对学习风格的识别准确率达到71.2%，相比于传统方法准确率平均提升了12%，因而验证了该识别模型的准确性和有效性.

2 实验设计

融合多尺度EEG特征的学习风格识别实验流程如图1所示，整体包括4个步骤：1)被试者学习风格标注：获取受试者的真实学习风格标注信息，并筛选出合适的实验被试；2)实验设计及数据采集：设计高效、可靠的刺激源和实验流程，采集被试的原始脑电数据；3)数据预处理：原始脑电数据进行滤波、去噪，并对预处理后的数据进行分割和标注；4)识别模型构建：经过模型设计、训练、性能评估，最终构建融合脑电信号的学习风格识别模型.

图1 学习风格识别流程图Fig.1 Flowchart for learning style recognition

2.1 被试者学习风格标注

实验采用Felder 和 Soloman于1997 年共同设计的学习风格量表(Index of Learning Styles，ILS)[15]对被试的学习风格进行标注，量表结果反映被试在Felder-Silverman 模型4个维度上对应的学习风格及倾向程度.为避免受试者对问卷产生理解歧义、主观臆断等情况而影响预测结果的真实性，在填写学习风格量表前，首先为被试详细解读各题项的含义，确保可以获得被试真实、无偏差的学习风格.实验向100名大学生分发ILS量表，最终回收问卷97份，问卷统计结果如表1所示.

表1 问卷结果统计分析表Table 1 Statistical analysis of questionnaire results

实验根据量表结果，最终筛选出显著表现为活跃型和沉思型的被试各7人，共14人(7男7女)作为被试.年龄在18-21岁之间，平均年龄是19.4岁.所有被试听力正常，视力正常或矫正正常，均为右利手.实验前，所有受试者均在充分了解实验流程后签署了知情同意书.

2.2 实验设计

本实验选择由英国心理学家J.C.Raven于1992年设计开发的瑞文高级推理测试(Raven′s Advanced Progressive Matrices，RAPM)作为实验刺激，激发被试在认知加工过程中的个体差异[16].实验将36道RAPM测试题平均分成A、B、C、D、E和F共6组，通过E-Prime2.0软件编制刺激程序，并记录与脑电同步的时间戳文件.

脑电设备选用美国旧金山神经科技公司(Emotiv System)研发的非入侵式无线脑电仪Emotiv Epoc+，该设备有14个数据采集通道，采样率为128Hz，电极排列方式按照国际10-20标准电极安放法安放.图2为单次刺激序列的时序图，每个试次起始于提示界面，每道题设作答上限为60秒，作答后立即显示反馈信息.为了防止被试因长时间做题产生的认知负载与疲惫感，实验设置每完成6道题时进入休息环节.待被试主动按下键盘后进入下一组试题，直到6组刺激序列全部完成，整个刺激流程结束.

2.3 数据预处理

对实验原始EEG进行预处理，首先通过人工检查波形情况手动去除干扰较为明显的数据片段；然后进行带通滤波获得4Hz～30Hz频率段的有效脑电数据；接着采用独立成分分析(Independent Component Analysis，ICA)去除肌电、眼电等伪迹信号；最后将刺激呈现前200ms作为基线，用平均参考法对脑电数据进行校正[17].为了增加训练数据量，对原始数据进行分割，首先根据E-Prime 2.0记录的时间戳文件，从连续的数据中截取出每道题对应的EEG.然后采用时间滑窗方法进行数据分割[18].每道题的EEG数据经滑窗分割得到多个时长2s的数据切片，两个数据间无重叠，忽略边界上不足2s的数据.经过预处理步骤后，实验获得504段对应单个题目的EEG数据，再经过数据分割，共得到8358段时长2s的EEG数据切片.最后依据被试的学习风格量表的测试结果，将每段切片标注为对应的学习风格类型，所有切片经过标注和乱序后作为模型的训练样本[19].

3 模型实现

3.1 模型构建

卷积神经网络(Convolutional Neural Network，CNN)具有自动学习和提取脑电特征的能力，避免了复杂的人工特征提取过程，因此成为EEG解码领域的研究热点.CNN结构上由卷积层、降采样层和全连接层组成，训练过程由卷积层对数据进行特征提取，利用全连接层和分类器输出识别结果.以下是卷积计算公式：

(1)

目前传统CNN在脑电信号识别上的准确率较低，原因在于其无法充分挖掘EEG信号时域和空间上的特征信息.为解决上述问题，本文构建了在时域、空域及多尺度特征上对脑电信号进行学习风格识别的CNN模型，有效提高学习风格识别准确率，本节将详细阐述模型的实现细节.

3.1.1 一维卷积层

为充分利用EEG信号的时间和空间特征信息，实验选用一维卷积层来实现脑电特征的提取.一维卷积常用于对时序数据建模，能够从较短的数据片段中获得有效特征表示，对脑电信号的处理具有明显的优势.按照特征提取维度的不同，模型使用两种一维卷积层共同进行特征提取：

1)时间卷积(Temporal Convolution).沿时间轴对原始EEG不同通道进行一维卷积计算，输出为包含不同带通频率的EEG时序特征，非常适合小时间尺度EEG信号的频率识别任务.

2)空间卷积(Spatial Convolution).空间卷积是作用在通道上的卷积滤波器，对不同通道在空间分布上的特征进行提取，空间卷积也常用于分解卷积操作，可以有效减少训练参数量，降低模型训练时间.

3.1.2 多尺度特征提取模块

为了提升卷积层对脑电信号的表达能力，以获得更丰富的输入特征.本文设计了一种单层多分支的多尺度特征提取结构，通过在同一层卷积操作中使用多种不同尺寸的卷积核，然后将输出的多尺度特征融合后送至下一层，模型利用时间卷积和空间卷积交替进行特征提取，构成本文的多尺度时空卷积结构，增强模型对尺度的适应性，有利于提高网络的泛化能力[20]，模块结构如图3所示.

图3 多尺度卷积特征提取模块Fig.3 Multiscale convolution module

输入层接受原始脑电信号，经过4个并行特征提取分支，每个分支包含若干不同大小的时间和空间卷积层，实验选择1×3、1×5、1×7这3种时间卷积层，以及对应尺度的空间卷积层.在1×7、1×5时间卷积层前添加1×1卷积用于特征降维.最后的1×1卷积分支对原始脑电信号进行降维后输出，从而能够保留更多的原始脑电特征.

表2为特征提取模块的详细参数，模型所有的卷积步长都为1，每个卷积层后紧跟批归一化层(Batch Normalization，BN)和ReLU层，BN层可以加快模型训练速度，ReLU层增强模型非线性能力.卷积核的个数随着层数加深而翻倍，最终每个分支获得40层特征图.在卷积层之后对所有分支的输出进行融合，融合方式是将所有输出特征图在通道维度上进行堆叠，并将融合后的特征进行降维后输出至下个特征提取模块.

表2 多尺度特征提取模块详细参数Table 2 Detailed parameters of multi-scale feature extraction module

3.1.3 全局平均池化

卷积神经网络通过全连接层(Fully Connected Layer，FC)实现对卷积层输出结果的向量化，但由于FC层通常包含大量的训练参数，因而会导致模型训练速度较慢[21].此外，FC层只能接收固定长度的参数，故模型无法实现对任意尺度数据的输入和处理.因此，本文使用全局平均池化层(Global Average Pooling，GAP)代替FC层，GAP层通平均池化操作将每个特征图映射至单个特征值，可以直接输入至Softmax分类器.GAP可以降低模型的训练参数量，同时剔除了FC层对固定参数输入的要求，实现对任意尺度数据的处理.

3.2 模型整体结构

本文模型结构如图4所示，模型整体主要由3个多尺度特征提取模块组成.首先，输入数据经过多尺度特征提取后得到6个分支的特征图输出，然后进行特征融合，融合后的特征图经过1×1卷积层和Max Pooling层进行降维，降维结果输入至下一个特征提取模块.训练样本经过3次多尺度特征提取和降维后得到泛化性更强的特征输出，最后特征图经过1×1卷积层和全局平均池化层降维后输入至Softmax层，最终得到分类识别结果.

图4 学习风格识别模型架构Fig.4 Learning style recognition model framework

3.3 模型训练

本文模型的构建是在Pytorch 框架下通过Python编程实现.模型的训练在配备Intel(R)Core(TM)i5-9300H CPU @2.40 GHz处理器，32GB内存，NVIDIA GeForce RTX 2080Ti显卡的环境上进行，使用的操作系统是64位Windows10系统.

3.3.1 参数设置

参数设置对CNN模型的识别效果影响很大，下面对本文的模型参数进行详细阐述：

1)学习率(Learning Rate).学习率的大小影响模型的收敛速度.本文选择用学习率衰减(Learning Rate Decay)方法，其基本思想是让学习率随着训练的进行逐渐衰减.具体算法如下：

(2)

其中，σ为衰减率，即每次衰减的幅度；n为训练代数；α0为初始学习率.本文将α0初始化为0.1，σ设置为0.2.

2)损失函数(Loss Function).损失函数的主要功能是用来度量模型识别结果的好坏.本文所用的交叉熵(Cross Entropy)损失函数是分类任务常用的损失函数，其公式定义如下：

(3)

其中，yi是类别i的真实标签；pi是由softmax计算出的类别i的概率值；k是类别数，N是样本总数.

3)优化器(Optimizer).优化器的本质作用就是最小化损失.本文选用Adam优化器，其参数的更新不受梯度的伸缩变换影响，公式如下：

mt=β1mt-1+(1-β1)gt

(4)

(5)

其中，gt为t时间步的梯度；β1和β2为指数衰减率；mt表示梯度第一动量的估计值；vt表示梯度第二动量的估计值，更新公式如下：

(6)

其中，η为学习率；为常数；θt为初始参数.本文初始化β1为0.9，β2为0.999，为10e-8.

3.3.2 训练过程

在模型训练前，对8358个训练数据随机采样80%作为训练集，剩余20%作为测试集.训练过程中，设置模型训练迭代次数为100epoch，并使用Early Stopping对模型进行优化，图5为模型损失随迭代次数的变化图.由结果可知，模型在训练epoch为60时损失开始趋于平缓而不再下降.此时停止训练，将停止之后的权重作为模型的最终参数.

图5 模型损失随迭代次数的变化图Fig.5 Graph of loss changed with training epochs

4 结果及分析

4.1 模型识别效果分析

实验通过准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1-Measure这4个评价指标对模型分类性能进行评估.图6为本文模型在A-F这6个题组上的分类结果.图6(a)为模型的分类准确率，最高准确率达到77.3%，平均准确率为71.2%，整体识别效果理想；图6(b)为分类精确率，平均值为69.2%；图6(c)为模型的召回率，平均值为67.6%，可以满足实际应用需求；图6(d)为模型的F1度量，平均值为69.2%，表明模型性能较为平衡.上述实验结果显示，模型在所有数据上均表现出良好的效果，在4个评价指标上均能达到70%左右的百分比.

图6 模型在各题组上的分类评估结果Fig.6 Classification performance on each question group

4.2 多尺度卷积有效性分析

为了验证加入多尺度特征的有效性，以及模型深度对脑电识别率的影响.实验设计了3种模型结构进行对比，分别为：1)模型1.即本文提出的3层多尺度卷积神经网络模型；2)模型2.是去掉多尺度特征提取后，只使用3×3卷积核的普通卷积神经网络模型；3)模型3.是将本文模型增加至5个模块的多尺度卷积神经网络模型.

图7呈现了3种模型结构在训练过程中准确率的变化曲线.模型2与模型1、3比较可知，未添加多尺度特征的模型2在训练过程中准确率始终低于其他模型.由模型3与模型1对比可知，模型3拥有更快的收敛速度，在训练50代时达到68.3%的准确率，但整体准确率低于模型1.本文提出的模型1在训练60代时达到71.2%的最优准确率.实验结果表明，添加多尺度卷积可以有效提升模型的特征表达能力，提高识别准确率；模型深度的增加可以加快训练过程，但太深会出现过拟合，导致分类精度下降.综上所述，本文模型能够在较快的训练速度下达到最优的识别效果，相比未添加多尺度特征的模型提升了9.8%的准确率.

图7 3种模型结构训练准确率变化Fig.7 Variation of the training accuracy of three models

4.3 一维卷积有效性分析

为了说明一维卷积在减少训练参数量方面的优势，本文设计了如下对比实验：在同样的模型结构下，采用二维卷积来代替本文的一维卷积，从而建立对比模型2-D CNN.表3展示了本文模型与2-D CNN在训练参数量方面的对比，结果表明通过使用一维卷积，模型训练所需的参数量从99810个减少至57960个，在实现多尺度特征提取的同时，使训练参数量减少41%，达到简化模型、加快训练速度的目的.表3中对卷积模型训练参数量的计算规则如下：

表3 一维卷积和二维卷积模型训练参数对比Table 3 Training parameters of 1-D CNN and 2-D CNN

Pi=hiwici-1ki

(7)

其中，Pi为卷积层i所包含的训练参数；hi为卷积核的长；wi为卷积核的宽；ci-1为上一层卷积核的个数；ki为卷积核的个数.

4.4 模型对比

为了体现所提出的模型相比传统机器学习方法的优越性，本文采用4种常用机器学习模型(SVM、LDA、KNN 和BP神经网络)的识别结果与本文模型1-D CNN进行对比.

表4所示为不同模型的实验结果，可以看出相比于传统脑电识别算法，本文提出的模型在4个评价指标上都有较大优势，分别提高了9.8%、14.1%、18.9%和5.6%的准确率，该结果证明了一维多尺度时空卷积在脑电信号分类上的有效性，可以有效解决传统方法依靠人工特征提取和降维的问题，实现对脑电特征的自动提取和识别.

表4 不同模型的分类性能对比Table 4 Comparison of the performance of different models

表5展示了各模型训练和预测时间的对比.从表中可以看出在训练时间上，BP神经网络的训练时间最长，而本文模型的训练时间接近于SVM，相比于BP神经网络减少了28.4%的训练时间，对比结果表明本文模型通过用GAP代替全连接层，可以有效减少模型的训练时间；在预测时间上，KNN获得最优的预测用时，而本文模型预测用时相比SVM降低了15.9%，拥有更快的预测速度.综上所述，本文提出的模型在准确率和训练时间上都有良好的表现，相比于传统机器学习方法，能够有效改善脑电信号分类性能，简化了脑电识别流程，为脑电信号分类提供新的思路.

表5 不同模型的训练和预测时间对比Table 5 Comparison of training and prediction time

5 结束语

本文介绍了基于Felder-Silverman学习风格模型理论基础下，利用瑞文推理测试作为实验刺激，激发并采集被试在学习风格处理维度的有效脑电信号，进而构建出融合多尺度脑电特征的学习风格识别方法，该方法弥补了现有学习风格识别方法的弊端，对于使用生理信号实现学习风格的识别有着重要的开创性意义.

此外，本文提出了一种改进的一维多尺度时空卷积神经网络模型.该模型首先通过一维卷积代替传统二维卷积，充分提取脑电时域和空间特征，使模型的训练参数减少41%.然后，模型通过构建多尺度卷积结构，弥补单尺度卷积存在特征匮乏的局限，并提高了9.8%的准确率.最后，通过全局平均池化实现对模型的简化，有效降低模型训练时间.实验结果表明，本文模型的平均分类准确率可达 71.2%，其精确率、召回率和F1度量分别为69.2%、67.6%和69.2%，本文提出的模型在分类准确率上相较于传统机器学习方法平均提高了12.1%，实验验证了该模型的合理性、有效性，对基于生理信号实现学习风格的识别有着重要的开创性意义，值得继续深入研究.