基于脑电的水平运动立体影像视疲劳评估

沈丽丽，邢 阳

(天津大学电气自动化与信息工程学院，天津 300072)

立体影像所带来的强烈的真实感和沉浸感以及视觉冲击力是传统 2D影像所无法比拟的，这也是其得到广泛应用并深受大众喜爱的重要原因.但是由于立体影像中存在视差这一影响因素，以及立体显示设备中存在着一定的干扰，如频闪、串扰、色度均衡性等，导致观看一定时长的立体视频产生不同程度的视觉不舒适感.

国内外大量研究结果表明长时间观看立体影像后被试普遍会出现疲劳、头痛、恶心等不良反应[1]，且立体深度信息与视觉疲劳程度之间具有很强的相关性[2].由于 EEG信号只需采集头皮表面电位即可反映脑神经细胞的电生理活动，且信号采集具有连续性和实时性，同时包含丰富的生理心理信息，不易受被试主观心理因素的影响，因此国内外相关领域已经将研究转移到该方向上来.Lambooij等[3]指出 EEG信号为立体视觉疲劳的评估与研究提供了可靠保证.早期对 EEG信号的分析主要采用时域分析法，其具有物理意义明确、直观性强等优点，但这些方法更适用于波形特征显著的脑电信号，存在一定的局限性[4].研究表明，EEG 信号幅值较低且随机性强[5]，相比时域特性，其频域特性更加显著，用频域分析或频谱分析法更能凸显其优势.Chen等[6]将δ、θ、α、β相对能量以及比值参数(α+θ)/β、α/β、(α+θ)/(α+β)和θ/β与主观评价相结合，将其作为评价3DTV疲劳程度的客观指标.近年来，也有研究人员通过提取脑电信号的时频域特征与非线性特征等对EEG信号进行研究与分析，但将其应用在评估立体视觉疲劳方面的研究较少.

本文采用单一运动形式的水平立体视频刺激为实验素材，将脑电信号的时频域特征与非线性特征作为联合特征进行立体视觉疲劳评估，应用 FCSI算法、SVM、基于互信息的特征选择算法等方法筛选出评估水平立体运动视疲劳的最佳指标.实验证明，此指标能够很好地区分立体视觉疲劳与否的两类脑电信号.

1 实验方案和方法

1.1 实验材料与流程

实验素材由Maya软件制作而成.蓝天白云作为背景，利用灰色环状物标记零视差位置，运动目标为石头状物体，目标沿水平方向做往复运动.运动速度等级分为6种，每种运动速度的视频时长为4s.

实验被试共有9人(4女5男)，均具有正常的立体视觉、视力(或矫正后)，实验前签署知情同意书，了解该实验的注意事项，且在实验后给予被试相应报酬.实验包括主观评估与客观脑电信号采集两部分.每一被试在做完 2D主观实验后，均需在隔天相同时间进行3D实验.

主观评估分为主观问卷与反应能力判断两部分，根据主观实验结果挑选出对水平运动立体视频较为敏感的6名被试(3女3男)进行客观脑电实验，脑电实验分为ERP与 EEG两部分.采集观看 50min视频刺激前后各2min闭眼静息状态下的EEG信号作为疲劳与非疲劳状态下的 EEG信号样本，记为时段1和时段2.

正式实验前，被试要进行适当练习训练.整个实验要在暗的环境中进行，避免电磁干扰，周围要保持相对安静.脑电数据采集采用国际 10～20系统，嵌入式 34导脑电帽与Neuroscan系统.参考电极使用左耳电极A1.采样频率为1kHz.

1.2 脑电数据特征提取与分类

脑电数据特征提取与分类流程如图 1所示.首先，对预处理后的 EEG信号分别进行小波包分解和样本熵计算，提取时频域特征与非线性特征；之后，通过 FCSI算法与 SVM 分类结合完成电极筛选；最后，利用基于互信息的特征筛选方法筛选出评估水平运动立体视觉疲劳的最佳指标.

图1 脑电数据特征提取与分类流程Fig.1 Flowchart of EEG data feature extraction and classification

1.2.1 预处理

预处理中首先对 EEG信号进行 1～30Hz的带通滤波，去除工频干扰和无用成分；接着利用独立成分分析(ICA)去掉肌电、眼电等伪迹；之后分别提取出观看立体视频前后2min脑电信号样本，同时将每个电极观看前后 2min的脑电信号样本切片为 120段1s长的脑电片段用于后续分析.

1.2.2 小波包分解

预处理结束后，采用 Db4作为正交基函数分别对两类脑电信号样本段进行4层小波包分解，把信号划分成16个频带宽度为2Hz的子频带，每个子频带对应一个小波包分解树节点.综合以往的研究[7-8]，θ、α、β3个波段与立体视觉疲劳关系最为密切，其频率范围在0.5～30.0Hz之间，对应本实验的子带节点范围为(4，2)～(4，10)，其中(4，2)与(4，3)对应θ波段，(4，4)与(4，5)对应α波段，其余节点对应β波段.本实验，提取θ、α、β3个波段小波系数的均值及其比值α/β、α/θ、θ/(α+β)、(α+θ)/β、θ/β、(α+θ)/(α+β)作为时频域特征.

1.2.3 样本熵

通过样本熵分析观看立体视频刺激前后的脑电信号序列的复杂度.样本熵一般用 SampEn(m，r，N)表示，其中r是相似容限，N是长度，m是维数，其定义为

式中Bn+1(r)与Bn(r)分别为预处理后的脑电信号与根据嵌入维度n+1和n构造成的新序列在相似容限r下匹配的概率.提取样本熵作为脑电信号的非线性特征[9]，本文m＝2，标准差r＝0.2，N＝1000.

1.2.4 FCSI算法

FCSI算法是一种特征选择算法，Wang等[10]曾将其应用在肌电通道选择中并得到了良好的效果.电极c的FCSI值的计算式为

式中：K表示类别的总数，本实验K＝2；i和j分别表示疲劳与非疲劳状态两个不同的类别；mc和vc分别为电极c上所提取特征向量的均值和方差.所得FCSI值越大的电极，越适合于类别的区分.

1.2.5 SVM分类器

利用 SVM 分类器对所选电极疲劳前后的脑电信号样本进行分类评估，比较其可分性.本实验中，SVM 核函数采用高斯核函数，为保证分类结果的准确性，训练样本和测试样本的选取采用十折交叉验证的方式.

1.2.6 基于互信息的特征筛选

最后，对平均分类精度最高的电极上的所有特征采用基于互信息的特征筛选方法进行排序，从而筛选出最合适的评估指标.

互信息常常被用来描述一组事件和另一组事件之间的相关性[11].互信息被定义为联合分布与边缘分布之间的相对熵，其计算式为

式中E＝{E1，…，En，…，EN}、F＝{F1，…，Fm，…，FM}分别为疲劳与非疲劳状态下 EEG信号的特征集.P＝{p1，…，pn，…，pN}、Q＝{q1，…，qm，…，qM}分别为对应的概率分布.

2 实验结果及数据分析

2.1 主观实验结果

9名被试各个疲劳症状的评分结果如图 2所示.可见，观看两类视频后，被试均出现较为严重的视力模糊、眼睛沉重、头沉、头痛的疲劳症状，且 3D 显示所带来的疲劳感比2D显示更强.对立体视频刺激前后各项疲劳症状的主观评分进行单因素方差分析均出现显著性差异，验证了本实验素材的合理性.

同时，与未观看视频相比，观看两类视频后判断的准确率均有所下降，且观看 3D视频后判断的准确率均比2D视频低.这表明在相同刺激条件下，3D显示比传统2D显示更容易使人产生视疲劳.

2.2 脑电实验结果

2.2.1 ERP结果分析

图 3为观看前后 CZ电极的 ERP波形图.对比清醒状态，疲劳状态下的 N200和 P300成分幅值明显下降，而潜伏期略有增加.这说明疲劳状态下被试对刺激的兴奋程度有所降低，同时对刺激认知加工过程的处理速度也有所下降[12].

2.2.2 观看前后脑电地形图分析

根据 10～20电极导联系统电极名称匹配一览表，将 30个电极划分为 5个脑区，分为额区(FP1，FP2，F3，FZ，F4，FC3，FCZ，FC4)、中央区(C3，CZ，C4)、顶区(CP3，CPZ，CP4，P3，PZ，P4，P7，P8)、枕区(O1，OZ，O2)、颞区(F7，F8，FT7，FT8，T7，T8，TP7，TP8).计算对应小波节点系数的平方作为θ、α、β3个波段的平均相对能量值并绘制 6名被试的脑电地形图，如图4所示.

图3 被试观看立体视频前后ERP波形Fig.3 ERP waveforms before and after watching the stereo videos

图4 被试观看立体视频前后θ、α、β 3个波段平均相对能量脑电地形图Fig.4 Average relative energy EEG topographic maps of the three bands ofθ，α andβbefore and after watching the stereo videos

由图4可见，观看刺激后θ波的平均相对能量在前额区出现明显的下降现象；α波则在前额区明显上升，枕区与顶区也有所上升；观看刺激后，β波在整体上均呈下降趋势，但在前额区和顶区的变化尤为显著.

2.2.3 样本熵分析

图 5所示为 6名被试疲劳前后各个通道平均样本熵值的散点图.

可以发现，大部分电极疲劳后的样本熵值与清醒时相比均有所降低，说明该特征与被试的疲劳状态相关，能够作为评估立体视觉疲劳的指标.进一步也表明疲劳状态下的信号，其复杂度会有所降低.

图5 观看立体视频前后样本熵值散点图Fig.5 Scatter plot of sample entropy before and after watching the stereo videos

3 脑电指标选取

将时频域特征与非线性特征作为联合特征，采用FCSI算法对所有被试的 30个电极进行排序，前 12个电极排列如表1所示.

表1 权值排序前12个电极Tab.1 Top 12 electrodes of weight sorting

可见，疲劳前后差异度较大的前3个电极分别为CP3、F4、TP7，结合脑区分析发现排名靠前的电极集中在顶区与前额区的较多，可能这两个脑区与水平运动立体视频关系最为密切.利用 SVM 分类器对CP3、F4、TP7这 3个电极上两类信号样本进行分类验证并比较其可分性，将十次十折交叉验证结果的平均值作为最终的分类结果，得到的分类率结果如表 2所示.

表2 3个电极分类精度Tab.2 Classification accuracies of three electrodes

根据分类结果来看，3个电极平均分类精度均在70%及以上，具备一定的可分性.6名被试在 CP3电极上的平均分类精度最高，为 73.19%，因此 CP3电极更适用于评估水平运动立体视觉疲劳.进一步对CP3电极上的特征利用基于互信息的特征筛选方法进行排序，结果如表3所示.

表3 特征排序Tab.3 Feature sorting

结果表明α/θ、(α+θ)/β、α是排序最靠前的 3 个特征.综上来看，就有效性而言，CP3电极的α/θ、(α+θ)/β、α及其组合对水平立体视觉疲劳的识别最优越，但结合频段提取及计算复杂度，推测CP3电极上的α/θ这一指标是评估水平运动立体视觉疲劳的最佳指标.使用配对t检验对 CP3电极上的α/θ、(α+θ)/β、α这 3个脑电指标进行观看刺激前后的分析，结果如表4所示.

表4 观看刺激前后 CP3电极脑电指标配对t检验分析结果Tab.4t-test analysis results of the CP3 electrode EEG index before and after stimulation

由此可见，CP3 电极上的α/θ、(α+θ)/β、α这 3个脑电指标在观看刺激前后均具有显著性差异.观看刺激后，α/θ、(α+θ)/β明显减小，α增加，且α/θ指标的显著性差异最明显.因此，CP3电极上的α/θ这一指标是评估水平运动立体视觉疲劳的最佳指标.

4 结 语

本研究通过主观实验与客观实验两种手段对水平运动立体视频引发的视觉疲劳进行了评估与研究.根据主观实验结果发现，3D与2D视频均能够使被试在一定程度上产生视觉疲劳现象，且 3D显示比传统 2D显示对人的影响更大.在脑电实验中，综合分析被试观看水平运动立体视频前后θ、α、β3个波段的平均相对能量的变化以及疲劳前后差异度较大的电极的脑区分布情况，顶区与前额区与水平运动立体视频关系最为密切.经过导联与特征筛选，评估水平运动视觉疲劳的最佳特征参数为 CP3电极上的α/θ.

今后，将在特征提取算法以及分类器的选择上进行更深入的研究以提高分类的正确率，为应用脑电信号对视觉疲劳的甄别及评价打下基础，并进一步结合视差、运动速度等因素进行深入研究.