基于视觉和操作类脑电信号的脑力负荷分类*

曲洪权，刘欲哲，庞丽萍，单一平

(1.北方工业大学信息学院，北京 100144；2.北京航空航天大学航空科学与工程学院，北京 100191)

脑力负荷也称为心理负荷，它可以反映单位时间内操作人员的大脑活动量、心理压力或信息处理能力[1].脑力负荷通常与操作员的知识、个性、任务类型和生理变化密切相关[2].研究表明，在较高的脑力负荷下，操作员极易疲劳，灵活性降低，从而导致信息获取效率降低和决策失误[3].而低负荷则会造成人力和其他资源浪费.为了确保操作人员的安全和工作任务的有效性，准确评估操作人员的脑力负荷状态尤为重要.

随着机器学习的飞速发展，越来越多的学者选择机器学习算法[4]来研究脑电信号与脑力负荷状态之间的关系，从而构建能够区分脑力负荷状态的模型[5-6].目前，常见的脑力负荷分类方法是基于脑电信号特征的方法.这种方法在一定程度上可以有效地评估脑力负荷状态，但由于收集到的脑电信号是各种神经元发出的混合信号，直接分析混合脑电信号不利于研究脑电信号特征，因此，针对视觉和操作类任务，笔者拟提出一种基于脑电独立分量特征的脑力负荷分类方法.该方法通过以下4个步骤实现：(1)对收集的脑电信号进行转参考和滤波；(2)使用独立分量分析(Independent Component Analysis,ICA)[7]法获取脑电信号的独立分量；(3)提取独立分量的能量特征；(4)根据能量特征对脑力负荷状态进行分类.

1 脑电信号采集实验

1.1 实验人员

为了降低被试的个体差异，选择7名身体状况良好且同一专业的研究生作为被试.在实验之前，对7名被试进行实验操作培训，以确保每个被试都熟悉实验任务.

1.2 实验任务与评估

本实验有3个工作负荷级别(低负荷、中负荷和高负荷)，它们都在MATB II平台上完成.MATB II的任务界面如图1所示.

图1 MATB II任务界面Fig. 1 Task Interface of MATB II

本实验包含如下4个子任务：

(1)系统监控.在图1区域①中，F1～F4所对应的4个深色滑块出现偏离时，单击鼠标进行校正.

(2)跟踪监控.目标应保持在图1区域②中矩形的中心，当目标偏离时，需要通过控制操纵杆移动目标返回至矩形框内.

(3)通信监控.在图1区域③中，应监视所有矩形通信块，通信块到达后立即通过键盘作出响应.

(4)资源监控.在图1区域④中，6个油箱中的燃油量应在合理范围内.若油量太低，则立即用鼠标单击相应的油箱.

通过改变4个子任务的出现频率来控制每个任务的难度，每个被试需要完成不同难度的视觉和操作类模拟任务.在每种工作负荷下采集32通道脑电信号，时长15 min.另外，通过调整子任务出现的频率来定义不同的脑力负荷级别，脑力负荷级别随着子任务出现频率的增加而增加[8].不同脑力负荷下对应的子任务出现频率见表1.

表1 不同脑力负荷下子任务出现频率Table 1 Frequency of Subtasks Under Different Workloads 次

每轮任务完成后，被试按要求填写NASA-TLX主观评价量表.在实验设计中，NASA-TLX分数随着脑力负荷的增加而逐渐增加.SPSS重复测量方差分析结果表明，NASA-TLX评分负荷因子对大脑的主要作用显著(P< 0.001,η2P=0.701)，这说明本实验条件设置良好.

2 脑力负荷分类原理

2.1 ICA算法

ICA法是一种盲源分离方法[9]，可用于分离混合信号.ICA法最初应用于解决鸡尾酒会问题，即n个人同时讲话，通过n个麦克风收集得到n个人的混合语音信号，利用ICA法从n个混合信号中恢复n个人的原始独立语音.脑电信号和语音信号具有一定的相似性.当一个人在思考时，许多神经元被同时激活，采集设备可以检测神经元产生的大脑活动信号.受采集设备的限制，采集的脑电信号实际为多个神经元信号混合后的脑电信号.为了更清晰地分析脑电信号的特征，笔者借鉴混合语音分离方法，将混合的脑电信号分离为独立的脑电信号，即脑电信号的独立分量，并将脑电信号的独立分量用于后续分析.

ICA法是一种基于线性变换的方法.利用矩阵分解法将未知的混合信号X(t)分解为独立的估计信号S(t)，计算公式为

X(t)=AS(t).

其中：X(t)=(x1(t),x2(t),…,xm(t))T，是采集的m维混合脑电信号；S(t)=(s1(t),s2(t),…,sn(t))T，是n维统计独立的估计信号；A为m×n维混合矩阵，反映独立脑电信号的混合情况.A和S(t)均是未知的.ICA法利用采集的X(t)来估计S(t)，其中S(t) =WX(t)，W是解混矩阵.本研究选择FastICA算法[10]，该方法是基于负熵H(y)进行计算的，

其中py(η)表示概率.

当方差相同时，高斯变量在所有随机变量中具有最大的熵，

J(y)=H(ygauss)-H(y)，

(1)

其中H(ygauss)是高斯随机变量的熵.(1)式可以近似为

J(y)=(E(G(y))-E(G(v)))2.

对输入x进行白化处理，s=wTx，w是输入向量的权重.在E{G(wTx)}的最优解下获得J(y)的最大值.根据Kuhn-Tucker条件，E((wTx)2)= ‖w‖2=1满足最佳解

E(xg(wTx))-βw=0，

(2)

其中β为常数，g是G的导数.

利用牛顿迭代方法求解(2)式并建立目标函数

F(w)=E(xg(wTx))-βw，

梯度为

(3)

其中I表示单位矩阵.通过(3)式可得FastICA的迭代公式为

经过多次迭代计算，可得解混矩阵W，最终得到脑电独立分量S(t).

2.2 特征提取方法

常用的脑电信号特征提取方法是提取脑电信号频域能量特征，即计算每个频率的功率谱密度(Power Spectral Density,PSD).脑电信号的PSD计算公式为

研究表明，脑电信号的频段可以反映人类的脑力负荷状态[11-13].根据频段分布，4个频带为(1≤δ<4 Hz)，(4≤θ<8 Hz)，(8≤α<14 Hz)和(14≤β<30 Hz).计算脑电独立分量每个频段的能量特征，

其中pf为某个频率的PSD.

2.3 支持向量机分类

笔者选择在小样本数据上具有良好分类效果的支持向量机(Support Vector Machine,SVM)[14-15]作为分类器.在实验中，为了实现更好的分类效果，选择高斯核函数作为SVM的核函数，这样就需要筛选2个参数，即惩罚系数C和γ.不同被试会对应不同的惩罚系数C和γ，系统使用网格搜索法选择适合被试数据的最佳参数，以提高分类精度.

3 脑力负荷分类结果

3.1 方法流程

排除被试脑电数据伪迹干扰，选择5个被试(被试1～5)的脑电数据.先对32个通道的脑电信号进行转参考，选择30通道脑电信号(2个参考通道仅用于转参考)作后续分析.为了确保数据的稳定性，分析每种负荷3～13 min的数据.具体步骤如下：

(ⅰ)转参考处理采集的脑电信号，并分别选择1 Hz高通滤波器和30 Hz低通滤波器对脑电信号进行滤波.

(ⅱ)采用FastICA算法对30通道脑电信号进行分解，得到30个脑电独立分量.

(ⅲ)以2 s为单位对10 min脑电独立分量数据作切片处理，得到300个数据片段.每个数据段都提取4种能量特征，即每个数据片段有120维特征.

(ⅳ)将所有特征输入到SVM分类器中，最终得到脑力负荷分类结果.

脑力负荷分类流程如图2所示.

图2 脑力负荷分类流程Fig. 2 Mental Workload Classification Processing

3.2 不同脑力负荷分类方法比较

基于脑电独立分量特征的分类方法的流程如图3所示，基于脑电信号特征的分类方法的流程如图4所示.

图3 基于脑电独立分量特征的分类方法Fig. 3 Classification Method Based on EEG Independent Component Features

图4 基于脑电信号特征的分类方法Fig. 4 Classification Method Based on EEG Signal Features

2种方法的脑力负荷分类准确率如图5所示.

图5 不同脑力负荷分类方法的准确率比较Fig. 5 Classification Accuracy Comparison of Different Mental Workload Classification Methods

由图5可见，基于脑电独立分量特征的分类方法的平均准确率高于基于脑电信号特征的分类方法.由ICA法分解混合脑电信号，得到的脑电独立分量可以表示脑信号的估计值，最大程度还原大脑中独立神经元产生的源信号.与从混合脑电信号中提取的特征相比，从脑电独立分量中提取的特征更纯净、更可靠，从而可以获得更准确的分类结果.

3.3 方法性能评估

统计假设检验是一种常用的模型性能检测算法，为分类器比较提供了重要的判断方法.该算法需要在评估分类器的性能之前人为设置“假设”，即基于分类器的广义错误率分布的某种判断或推测.一般假设设置为被检验的2种方法的性能一致，所以本研究假设基于脑电独立分量特征的分类方法和基于脑电信号特征的分类方法的性能相同.

通过比较τ和τα，可以判断2个分类器的性能差异是否显著.本研究提出的假设：基于脑电独立分量特征的分类方法和基于脑电信号特征的分类方法的性能没有差异.如果τ<τα，则该假设为真；反之，假设为假.基于不同被试的脑电数据计算而得的τ见表2.

表2 不同被试的τ值Table 2 τ Values of Different Subjects

由表2可知，5名被试的τ均大于τα，所以本研究假设不成立.也就是说，基于脑电独立分量特征的分类方法和基于脑电信号特征的分类方法的性能具有差异性，且差异性显著.

4 结语

基于脑电信号特征和脑电独立分量特征分别进行了脑力负荷分类实验，结果表明，基于脑电独立分量特征的分类方法的准确率为80.5%～91.6%，平均分类准确率为86.14%；基于脑电信号特征的分类方法的准确率为51.1%～71.6%，平均分类准确率为60.52%.由此可知，与基于脑电信号特征的分类方法相比，基于脑电独立分量特征的分类方法的平均分类准确率提高了42.33%.利用t检验对2种分类方法的性能进行了评估，验证了基于脑电独立分量特征的分类方法的可靠性.综上，针对视觉和操作类脑电信号，基于脑电独立分量分析能更准确地判别操作人员的脑力负荷状态.