基于ECG 和眼动信号的显示模式视疲劳测量

贾立秀，黄 晟，丁义权，屠 彦，王莉莉

（1. 南京工程学院 计算机工程学院，江苏 南京 211167；2. 东南大学 电子科学与工程学院，江苏 南京 210096）

1 引言

随着显示技术的发展，三维显示广泛应用于军事、健康、科研和教育等领域，特别是虚拟现实、增强现实和全息显示技术给用户带来全新的立体感和沉浸感［1-2］。然而，由于辐辏冲突、串扰和过量双目视差等原因引起了观看者不可避免的视疲劳［3-4］。视疲劳狭义上以眼部不适症状为基础，广义上指的是一种身心疾病，以全身疲劳为主。为了保证观看者视觉健康，各国研究学者致力于三维显示引起的视疲劳课题研究。目前视疲劳测量方法主要包括两类：主观测量方法和客观评价方法［5］。冯永等人［6］总结了视疲劳主观测量研究发展现状，发现目前尚无统一公认的分类方法。20 世纪90 年代以临床视疲劳症状为基础的“简单量表”为主，如针对电脑工作视疲劳的“Sheedy量表”［7］，专门针对近距离工作导致的眼部疲劳的“Rafael 量表”［8］等；2000 年左右发展为针对不同场景的“专业型量表”，如针对视觉功能的NEIVFQ（National eye institute visual function questionnaire）［9］，针对虚拟现实视疲劳的VRSQ（Virtual reality symptom questionnaire）量表［10］；最近几年随着新型显示技术和各种客观测量技术的发展，主观为主客观为辅的“新型量表”应运而生，如融合光线和空间等环境因素的VERAM（Visual ergonomics risk assessment method）量表［11］。总的来说，主观测量对于确定引起视觉不适的视频内容和观看条件的研究是至关重要的［12］。

客观评价方法主要借助先进的仪器设备测量相关的生理参数变化。Yuan等人把客观测量方法分为基于非接触式生理信号的测量方法和基于接触式生理信号的测量方法［13］。基于非接触式生理信号的测量方法包括视功能参数测量和眼动参数测量，基于接触式生理信号的测量方法包括心电（Electrocardiogram，ECG）测量、眼电（Electro-oculogram，EOG）测量和脑电（Electroencephalogram，EEG）测量等［13］。Zheng 等人验证了视疲劳的主观症状和视功能参数之间的相关关系［14］。微眼跳作为一种注视性眼球运动，受觉醒和认知加工的调节［15］。觉醒水平不断变化，对人类日常活动中的表现有着深刻的影响。觉醒的波动由自主神经系统调节，而自主神经系统主要由副交感神经和交感神经系统的平衡活动控制，通常以心率（Heart Rate，HR）和皮肤电反应（Galvanic Skin Response，GSR）为指标［16］。此外，瞳孔大小可作为自主神经系统非自主调节觉醒水平的指标。Chen等人使用圆圈和听觉刺激来唤起瞳孔反应，证明疲劳和唤醒同时影响扫视和瞳孔反应［17］。既往研究通过观看立体电影过程中心电指标变化规律发现，心率随着观看时间增加而增大［18］。而Zhang 等人发现，心率和视疲劳之间没有显著关系［19］。Ramadan 等人通过心率变异性和GSR 参数来比较观看2D 和3D 电影在不同观看距离和时间上的差异［20］。

主观测量和客观评价方法各有优缺点，其中主观测量方法比较简单，易于采集，但是时间分辨率低，无法实时评价观看者的反应，且受个体差异影响比较大；客观评价可以被自动化，并告诉我们更多有关不适的生理原因，获得的数据更加准确，但是分析复杂。现有的二维和三维显示视疲劳测量研究大多基于单一模态测量观看前后的视疲劳状态，且没有相关的实验环境和观看设备的标准，因而仍没有一致的研究结论。

本文采用主观问卷测量和客观测量（ECG、眼动参数、视功能参数）相结合的测量方法，探究了观看70 min 2D 和3D 显示前后以及观看过程中的视疲劳变化情况。

2 实验

2.1 实验设备以及刺激材料

本实验选取2D 和3D 左右格式的《阿凡达》视频作为刺激材料，采用分辨率为1 920×1 080 的1 269 mm×799 mm 索尼BRAVIA 液晶显示屏为研究载体。该显示屏最高白场亮度为220 cd/m2。为了避免光环境对实验结果产生影响，本实验在无照明环境的实验室（照度＜1 lx）内进行。

采用RT-5100 综合验光仪、Pelli-Robson 敏感度表、自制测量调节近点和集合近点设备、裂隙灯显微镜（型号：YZ5X）测量视功能参数。

采用BIOPAC 公司生产的MP150 多导生理记录仪采集心电数据，SMI 公司生产的红外遥感眼动设备测量眼动参数。

主观问卷采用5 级评分标准（5：程度严重，4：程度明显，3：程度中等，2：程度轻微，1：无）对“眼睛感觉不舒适”、“远近调节缓慢”、“眼睛疲劳”、“眼睛酸”、“眼干”、“头疼”和“头晕”等7 个症状进行打分。

根据国际电信联盟发布的ITU-R BT.500-11标准《电视画面质量的主观评价方法》［21］中的建议，选取3倍的屏幕高度作为观看距离，约为2 m。

2.2 实验受试者

17 名东南大学学生（14 男3 女，年龄24.4±1.46 岁）参与本实验。受试者纳入标准包括双眼矫正后视力达到1.0 及以上，无色弱，无色盲，无双眼视功能障碍。为了保证实验数据准确，要求受试者在实验前24 h 内有高质量的睡眠，并且禁食含有酒精和咖啡因的食物。

2.3 实验流程以及测量参数

所有受试者都参与观看2D 和3D 显示实验。每名受试者的两部分实验分别在不同日期的9：00～12：00 或14：00～17：00 进行，且观看2D 和3D 显示顺序是随机的。介绍完实验内容后，受试者自愿签署知情同意书，实验内容和流程均符合赫尔辛基宣言要求。

在实验开始前，告知受试者实验流程和实验过程中注意事项。整个实验流程如图1 所示，首先填写主观问卷，然后按顺序测量视功能参数和微眼跳参数。考虑到观看视频内容对采集信号的影响，在观看电影前后分别增加了5 min 观看电子书的内容并同步采集眼动和心电信号，再次测量微眼跳参数和视功能参数，最后填写主观问卷。整个实验约耗时110 min，具体步骤如图1 所示。

图1 实验流程图Fig.1 Schematic of experiment procedure

（1）填写主观问卷；

（2）测量1：包括视功能参数和微眼跳参数；

（3）为了采集观看电影前的眼动参数和心电参数，同步采集阅读5 min 历史题材类电子书（定义为TE1）的心电信号和眼动信号；

（4）采集观看70 min 2D/3D 显示的心电信号，其中观看电影前5 min 和后5 min 分别定义为TM1 和TM2，其中TM1 时间段的心电信号作为研究心电信号随时间变化的参考信号；

（5）再次同步采集阅读5 min 电子书（定义为TE2）的眼动和心电信号；

（6）测量2：包括微眼跳参数和视功能参数；

（7）最后填写主观问卷，实验结束。

视功能参数主要包括最佳矫正远视力（Best Corrected Distance Visual Acuity，BCDVA）、最佳矫正近视力（Best Corrected Near Visual Acuity，BCNVA）、调节近点（Near Point Accommodation，NPA）、集合近点（Near Point Convergence，NPC）、对比敏感度（Contrast Sensitivity Frequency，CSF）和泪膜破裂时间（Tear Film Break-up Time，TBUT）。眼动参数主要包括注视期间的瞳孔大小（Ebook Mean Pupil Diameter，EMPD）、微眼跳期间的瞳孔大小（Microsaccade Mean Pupil Diameter，MMPD）、眨眼频率（Blink Frequency，BF）、扫视数目（Saccade Count，SC）和扫视速度（Saccade Velocity，SC）等。心电参数主要包括RR 间期值（R-peak to R-peak interval，RR）、心率（HR）、低频功率（0.04～0.15 Hz，Low Frequency Power，LF Power）、高频功率（0.15～0.4 Hz，High Frequency Power，HF Power）、低频/高频比（LF/HF）和香农熵（Shannon Entropy）等生理参数。图2 为实验情况示意图。

图2 实验情况示意图Fig.2 Schematic diagram of experiment

3 结果

为了研究观看2D 和3D 显示前后视疲劳变化情况以及显示模式对各测量参数的影响，我们使用软件SPSS 16.0 对观看2D 和3D 显示前后的测量参数分别进行配对样本T 检验分析，然后将有显著变化的参数的相对变化值（观看后和观看前的差值除以观看前的值）作为因变量，显示模式等作为自变量，受试者作为随机变量进行ANOVA（Analysis of Variance）分析；选取p＜0.05 为差异有统计学意义，使用偏Eta 方（Partial eta squared，）作为效应量，的值介于0 和1 之间，值越大，效应越强，的值为0.01 是小效应，0.06 为中等效应，0.14 为大效应［22］。

3.1 视功能参数

配对样本T 检验结果表明，观看2D 和3D 显示前后的BCDVA（2D/3D：p＜0.001）、BCNVA（2D：p=0.001；3D：p＜0.001）、CSF（2D/3D：p＜0.001）和TBUT（2D/3D：p＜0.001）都有显著的变化。从图3 可以看出，观看2D 和3D 显示后的BCDVA、BCNVA、CSF和TBUT都比观看前的小。

图3 观看2D 和3D 显示前后视功能参数。（a） BCDVA；（b） BCNVA；（c） CSF；（d） TBUT 的平均值。误差条表示标准差（**表示p＜0.01）。Fig.3 Mean values of ophthalmological parameters before and after watching 2D and 3D display modes. （a） BCDVA；（b）BCNVA；（c） CSF；（d） TBUT. Error bars indicate standard deviation（**：p＜0.01）.

将BCDVA相对变化量（R_BCDVA）、BCNVA相对变化量（R_BCNVA）、CSF 相对变化量（R_CSF）和TBUT 相对变化量（R_TBUT）分别作为因变量，显示模式作为自变量，受试者作为随机变量进行ANOVA 分析，结果表明显示模式只对R_BCDVA（F1，16=10.79，p=0.005，=0.40）和R_TBUT（F1，16=29.89，p＜0.001，=0.65）有显著影响且效应较大。图4 为观看2D 和3D 显示前后的R_BCDVA 和R_TBUT 的平均值及标准差。从图4可以看出，观看3D显示后BCDVA和TBUT 减小的百分比均显著大于观看2D 显示。从视功能参数的变化可以看出，观看3D 显示后引起的视锐度下降和干眼症状比观看2D 显示后严重。

图4 视功能参数（a） R_BCDVA 和（b） R_TBUT 在2D 和3D显示模式下的平均值及标准差（**表示p＜0.01）。Fig.4 Mean values and standard deviation of （a） R_BCDVA and （b） R_TBUT under 2D and 3D display modes（**：p＜0.01）.

3.2 眼动参数

观看2D 和3D 显示前后眼动参数的配对样本T 检验结果表明，观看2D 和3D 显示前后微眼跳期间的瞳孔直径MMPD（p＜0.001）有显著的变化。图5 为观看2D 和3D 显示前后MMPD 的平均值及标准差。

图5 观看2D 和3D 显示前后MMPD 的平均值。误差条表示标准差（**表示p＜0.01）。Fig.5 Mean values of MMPD before and after watching 2D and 3D display. Error bars indicate standard deviation（**：p＜0.01）.

将MMPD 的相对变化量（R_MMPD）作为因变量，显示模式作为自变量，受试者作为随机变量进行ANOVA 分析，结果表明显示模式对R_MMPD 有显著影响且效应较大（F1，16=31.27，p＜0.001，=0.66）。图6 为观看2D 和3D 显示前后R_MMPD 的平均值及标准差。从图6 可以看到，观看3D 显示后R_MMPD 增加的百分比显著大于观看2D 显示。

图6 R_MMPD 在2D 和3D 显示模式下的平均值及标准差（**表示p＜0.01）。Fig.6 Mean values and standard deviation of R_MMPD under 2D and 3D display modes（**：p＜0.01）.

3.3 心电参数

观看2D 和3D 显示前后阅读5 min 电子书的TE1和TE2 时间段心电信号的配对样本T 检验结果表明，观看2D 显示前后的LF Power（ms2） （p=0.009）、HF Power（%）（p=0.001）和观看3D 显示前后的LF Power（ms2）（p=0.003）、HF Power（%）（p=0.006）、Shannon Entropy（p=0.008）有显著的变化。图7 为阅读电子书期间有显著变化的心电参数的平均值及标准差。

图7 观看2D 和3D 显示前后阅读电子书期间心电参数的平均值。（a） LF Power（ms2）；（b） HF Power（%）；（c） Shannon Entropy。误差条表示标准差（**表示p＜0.01）。Fig.7 Mean values of ECG parameters before and after watching 2D and 3D display modes during E-book reading. （a） LF Power（ms2）；（b） HF Power（%）；（c） Shannon Entropy. Error bars indicate standard deviation（**：p＜0.01）.

上述LF Power（ms2）相对变化量（R_LF Power（ms2）_1）、HF Power（%）相对变化量（R_HF Power（%））和Shannon Entropy 相对变化量（R_Shannon Entropy）分别作为因变量，显示模式作为自变量，受试者作为随机变量进行ANOVA 分析，结果表明显示模式仅对R_Shannon Entropy 有显著影响且效应较大（F1，16=8.99，p=0.01，=0.39）。图8 为观看2D 和3D 显示前后的R_Shannon Entropy 的平均值及标准差。可以看到，观看3D 显示后R_Shannon Entropy 比观看2D 显示后大。

图8 R_Shannon Entropy 在2D 和3D 显示模式下的平均值及标准差（*表示p＜0.05）。Fig.8 Mean values and standard deviation for R_Shannon Entropy under 2D and 3D display modes（*：p＜0.05）.

3.4 主观问卷

观看2D和3D显示前后7个主观症状配对样本T 检验结果表明，“眼睛感觉不舒适”（p＜0.001）、“眼睛疲劳”（p=0.004）和“眼睛酸”（p=0.001）在观看2D 显示前后有显著变化；“眼睛感觉不舒适”（p＜0.001）、“眼睛疲劳”（p＜0.001）、“眼睛酸”（p=0.004）、“眼干”（p=0.001）、“远近调节缓慢”（p＜0.05）和“头晕”（p＜0.05）在观看3D 显示前后有显著变化。图9 为观看2D 和3D 显示前后有显著变化的主观症状分数的平均值及标准差。

图9 观看（a） 2D 和（b） 3D 显示前后主观症状的分数平均值。误差条表示标准差（**表示p＜0.01，*表示p＜0.05）。Fig.9 Mean values of subjective symptoms score before and after watching （a） 2D and （b） 3D display. Error bars indicate standard deviation（**：p＜0.01；*：p＜0.05）.

将上述配对样本T 检验有显著变化的主观症状打分的相对变化量作为因变量，显示模式作为自变量，受试者作为随机变量进行ANOVA 分析，结果表明显示模式只对症状“眼睛疲劳”相对变化量（R_眼睛疲劳：F1，16=5.13，p=0.037，η2p=0.2）和“眼干”相对变化量（R_眼干：F1，16=6.76，p=0.019，=0.30）有显著影响且效应较大，对其他症状没有显著的影响。图10 为观看2D 和3D 显示前后主观症状分数相对值的平均值及标准差。可以看到，观看完3D 显示引起的“眼睛疲劳”和“眼干”增加的百分比均显著大于观看2D 显示。

图10 观看2D 和3D 显示前后主观症状分数相对值的平均值和标准差（*表示p＜0.05）。Fig.10 Mean values and standard deviation for relative subjective symptoms score before and after watching 2D and 3D display（*：p＜0.05）.

3.5 心电参数随时间的变化

为了研究显示模式、观看时间对心电参数的影响，我们将观看2D/3D 显示期间前5 min（TM1时间段）的心电数据作为参考值，以各5 min 数据段相对变化量（对应时间段的数据减去参考值然后再除以参考值）作为因变量，显示模式和时间作为自变量，受试者作为随机变量进行ANOVA 分析。表1 给出了观看2D 和3D 显示期间心电参数相对变化量的ANOVA 结果。从表1 可以看出，时间和显示模式对RR 相对变化量（R_RR）、HR相对变化量（R_HR）和LF Power（ms2）相对变化量（R_LF Power（ms2））有显著影响。此外，时间和显示模式的交互效应对3 个因变量没有显著影响。

表1 观看2D和3D显示期间心电参数相对变化量的ANOVA结果Tab.1 ANOVA results of relative ECG parameters during watching 2D and 3D display

图11为R_RR、R_HR 和R_LF Power（ms2）随时间变化的趋势图。从图11可以看出，R_RR 随着时间的增加而减小，R_HR 和R_LF Power（ms2）随着时间的增加而增大。此外，可以看出60 min时2D 和3D 显示之间的R_RR 和R_HR 分别有显著差异（p＜0.05），55 min 时2D 和3D 显示之间的R_LF Power（ms2）（p＜0.05）有显著差异。

图11 观看2D 和3D 显示期间心电参数（a） R_RR、（b） R_HR 和（c） R_LF Power（ms2）随时间变化趋势。误差条表示标准差（*表示p＜0.05）。Fig.11 Trend of （a） R_RR，（b） R_HR and （c） R_LF Power（ms2） over time during watching 2D and 3D display. Error bars indicate standard deviation（*：p＜0.05）.

4 讨论

视功能参数BCDVA、BCNVA 和CSF 定义视觉空间分辨率，反映一定距离内人眼辨别物体细节的能力。既往研究表明，视觉疲劳与人类通过双眼视觉编码视觉细节的能力有关［14］，与本文中相关的视功能参数在观看完2D 和3D 显示后都显著降低相吻合。人们普遍认为辐辏冲突是三维显示视疲劳的一种可能诱因，但是本实验与辐辏机制相关的视功能参数NPA 和NPC 在观看2D 和3D 显示后都没有显著变化，可能由于受试者都是青年人，其辐辏调节能力较强，因此，受试者年龄因素是我们未来研究的方向。

眼动参数结果表明，注视（微眼跳）期间的瞳孔大小在观看电影前后有显著变化，既往研究也表明瞳孔直径随着视疲劳增加而变大［23］。瞳孔大小受交感神经系统和副交感神经系统之间的平衡活动控制［17］，与觉醒和认知处理相关，在需要认知处理的任务中会扩大。觉醒与各种过程有关，包括情绪唤醒和疲劳程度。Wang 等人［15］验证了协调瞳孔和微眼跳的神经机制，以蓝斑核为中心神经通路一方面调节瞳孔大小，另一方面连接到以上丘为中心神经通道协调瞳孔和微眼跳响应，越大的瞳孔直径对应越高的扫视速度。此神经机制很好地解释了本实验中瞳孔大小的结果。

心电信号受自主神经系统调节，代表心脏对各种环境刺激的反应能力。既往研究［18］表明，疲劳的产生导致自主神经系统失衡，进而伴随着心率变异性的变化，如LF Power、LF/HF 增加、HF Power降低等，与本文结果相一致。LF和交感神经活动有关，HF 和副交感神经有关，而LF/HF 代表人体自主神经系统的调节能力。人类在安静状态下，副交感神经起调节作用；在觉醒状态（包括疲劳、兴奋和紧张等）有变化时，交感神经兴奋。Park 等人的研究表明，观看完3D 电视后，交感神经系统和副交感神经系统的反应分别被激活和关闭［24］。香农熵通常被认为是反映样本复杂性、不可预测性和不规则性的衡量标准。Viktor 从控制论角度分析人的行为特征，随着光、声音和热量等刺激信息的输入，人体正常信号交换和生理系统之间相关依赖性减少，表现出各生理系统的失控混乱以及熵的增加［25］。该机理很好地解释了本实验中观看电影后受试者心电信号的香农熵比观看前增加。

主观问卷中“眼干”症状增加和视功能参数TBUT缩短相一致，表明主观症状和客观视功能参数有很高的相关性。

此外，从观看70 min电影期间心率变异性参数变化可以看出，50 min 以后2D 和3D 显示引起的R_RR 和R_HR 的差异逐渐增加。Ramadan 等人通过测量心电参数和皮电参数发现，在近距离观看3D 显示50 min 后，身体压力显著增大，并随着观看时间的持续增加而增大，与本文结果相一致［20］。3D 电影制作商可以考虑50 min 左右尽量避开激烈打斗的电影场景，选择自然风光为主的舒缓放松场景来缓解视疲劳。

5 结论

本文采用主观问卷测量和客观测量相结合的评价方法，在暗环境下研究2D 和3D 显示对视疲劳的影响。结果表明，观看3D 显示后BCDVA和TBUT减小的百分比、香农熵、瞳孔直径、主观症状“眼睛疲劳”和“眼干”增加的百分比均显著大于观看2D 显示，说明观看3D 显示引起的视疲劳程度大于观看2D 显示。通过心率变异性参数变化可以看出，50 min 以后2D 和3D 显示引起的视疲劳程度逐渐增大，这个时间点对于3D 电影制作商具有指导意义。未来的研究我们将继续增加受试者数量和3D 景深程度，形成更加具有普适性的评估模型和结论。