近眼显示中光学畸变对视觉诱导晕动症的影响

马凤云，夏振平，程 成，彭子雄，张元申

（苏州科技大学 电子与信息工程学院，江苏 苏州 215009）

1 引言

近年来，虚拟现实（Virtual Reality，VR）技术在越来越多的领域得以广泛应用。VR 技术对影视、游戏、教育、医疗等行业的发展产生了极大的推进作用［1-3］。该技术通过计算机模拟立体（Three Dimensions，3D）环境，用户能够借助近眼显示（Near-Eye Display，NED）设备在虚拟世界中实现交互［4］，通过视觉、听觉、触觉等获得与在真实世界中相同的感受［5］。VR 技术的核心就是沉浸感，大的视场是产生沉浸感［6-8］、让人感觉身临其境的重要因素。通常NED 设备需要高放大倍率的透镜形成大视场来创建沉浸式虚拟环境，然而透镜会导致虚拟空间产生光学畸变［9］，这在给使用者提供强烈沉浸体验的同时，还可能引起部分用户在体验过程中产生视觉诱导晕动症（Visually Induced Motion Sickness，VIMS）［10-11］。

VIMS 通常被认为是视觉和前庭知觉信息冲突引起的生理性反应［12-13］，该症状在平面显示和立体显示中都存在，并且在立体显示中反应更为强烈。经验理论认为，当一个人的感知系统接收到的信息与其经验产生冲突时，VIMS 常常被诱发，伴有头晕脑胀、视觉疲劳、恶心甚至呕吐等症状［11-14］，该问题严重阻碍了VR 技术的推广与应用。在VR技术所呈现的虚拟场景中，用户所感知到的虚拟空间由于NED 设备产生光学畸变，导致空间中物体的形状、大小等发生变化，即虚拟世界出现扭曲［9］，使其感知到的虚拟场景与以往认知积累的经验不一致，导致感知上的冲突，这种冲突会引起用户认知上的疲劳与不适，进而可能诱发VIMS［13］。

消除光学畸变，提高VR 技术的体验舒适度是众多研究人员以及NED 设备生产厂家的共同追求目标，并且如今也取得了一定的成效。Rolland等人［9］将图像分割成小块，将重建畸变的多边形扩展到多边形中的像素点以实现整体图像重建。Pohl等人［15］采用像素着色器对已获取的图像预先调整颜色并且进行反畸变处理，以此对抗NED设备产生的失真。此外，还有许多处理图像或全景图的软件专门用于畸变校正［16］。然而由于目前立体影像显示技术的局限性，NED 设备还存在一些无法完全校正的光学畸变，这给用户带来感知上的影响，用户在使用的过程中容易出现头晕、恶心等症状［16］。

针对上述现象，本文详细分析了近眼立体显示设备使用者感知立体影像的过程，模拟其VR 技术体验，再现虚拟场景的畸变情境。设计了不同畸变参数下VIMS 等级评价的视觉感知实验，对实验数据进行统计分析，得到各畸变等级对VIMS 症状的影响趋势，明确立体空间畸变对VIMS 症状的影响机理。本文结果可为VR 技术体验的舒适度提升提供理论依据。

2 近眼显示中的视觉诱导晕动症

人的左眼与右眼处于不同空间位置。在现实世界中，人眼看到的同一物体落在双眼视网膜上的位置是不同的，因此两只眼睛接收到的图像略有不同，即具有一定的视差。目前的立体显示技术基本都是在模拟人眼双目视觉形成机制的基础上进行的［5］。

如图1所示，在距离眼睛不远处放置一个显示面板以填充用户视野，并使用透镜使图像聚焦。由于透镜会引起虚拟空间的扭曲，所以展示在显示面板上的图像需预先进行反畸变处理以抵消这种扭曲［15］。处理后的左、右视差图像在屏幕上连续交替显示，送入双眼产生立体感，模拟出人们观看真实世界的方式［17］。

图1 近眼显示图解1Fig.1 Near-eye display diagram 1

2.1 成像光学原理

NED 设备的镜片可以看成两个完全相同的放大透镜。透镜能够修正晶状体接收光源的角度，帮助人眼重新读取信息，达到增大视场角，放大画面的作用，从而为用户提供更广阔的视野，增强用户的沉浸体验。如图2 所示，人眼与光轴线交汇于焦点A 处，中间为透镜，上方为显示面板。人眼常规可观看范围为rs，由于透镜折射光线的作用，给人的感觉则是沿着虚线从更高处位置进入人眼，彷佛是将屏幕放大至rv范围。视场的大小会直接影响VR 体验的沉浸感，小视场（＜50°）会削弱自我运动的感知，大视场（＞100°）能够增强VR 的立体感与用户的沉浸感。

图2 近眼显示图解2Fig.2 Near-eye display diagram 2

为增强用户的沉浸感，NED 设备通常采用高放大率的透镜，这会导致观看图像的边缘产生光学畸变［6-18］。畸变就是图像扭曲，属于光学像差（即光经过透镜后产生的图像失真或模糊）的一种，是由于光线在真实光学系统中所遵循的路径与理想光学系统中光线的路径的不同造成的［19］。对于理想光学系统，透镜放大率是常数，但是对于实际的光学系统而言，物像的放大率随视场而定，如此会使物像相对物体失去相似性，从而产生畸变。对于球面镜片，畸变是不可避免的，并且随着视场的增大，边缘图像的畸变会更加明显［20］。光学畸变会影响感知深度，进而可能引发VIMS。

2.2 视觉诱导晕动症的产生机制

晕动症在日常生活中非常普遍，通常我们在乘坐汽车、飞机、轮船等交通工具时，会出现头晕、恶心、甚至呕吐等症状，这些症状统称为晕动症［11］。研究发现在虚拟场景当中，通常人们处于静止，但视觉处于刺激的状态下，也会出现上述症状，因此被称为视觉诱导晕动症。

关于VIMS 的产生原因，众说纷纭，当前主流观点主要有：（1）感官冲突理论；（2）姿态不稳定理论；（3）经验冲突理论。其中，感官冲突理论认为引起VIMS 的关键在于我们的感知系统发出的信号在相互之间产生了矛盾。感知系统包括前庭系统、视觉系统和体感系统。其中，前庭系统负责提供空间感和平衡感；体感系统是指自身对外界力的感知系统，包括触觉、痛觉、温觉以及自身运动的感知［12］。当我们的前庭系统没有感知到运动，而视觉系统感知到了运动时（如增强现实、VR、3D电影等），就会产生信号的冲突。此时，视觉系统与前庭系统传递给中枢神经的信息不一致，大脑接收到的是相反的信号，底层决策系统无法做出合适的反应，就会出现VIMS。例如在虚拟驾驶游戏当中，视觉系统意识到自身正在随汽车行驶，而前庭系统和体感系统感知到的信息却表明自身是静止不动的，此时就可能引发VIMS。

姿态稳定性理论主要强调人体的姿态稳定性对VIMS 症状的影响［21］。研究表明，在一个人的姿态稳定性受到挑战而需要额外努力来维持的情况下，就会容易产生VIMS。此外，对自身稳定性控制能力较弱的人相对来说更容易产生VIMS。

经验理论认为，当前感知到的信息和以往认知积累的信息不匹配是引发VIMS 的重要因素［13］。在近眼显示成像的过程当中，透镜畸变导致左眼与右眼图像之间局部不对齐，尤其是视场周边产生了扭曲，这些扭曲破坏立体融合，影响感知深度。用户感知到的影像产生几何畸变，与其预期场景不一致而发生冲突，可能引发VIMS。

当前的立体影像显示技术仍具有局限性，NED设备存在一些无法避免的光学畸变，导致人眼通过NED 设备感知到的虚拟空间场景与真实世界空间不一致。本文针对在近眼显示过程中的虚拟空间畸变对VIMS 的影响展开研究。

3 主观实验设计

3.1 影像畸变设计

NED 中所涉及到的畸变都是径向畸变［20］，主要包括桶形畸变和枕形畸变两种，如图3 所示。图像的像素点以畸变中心为中心点，沿着径向产生位置偏差，导致成像发生形变，这种畸变在普通廉价的镜头中表现得更加明显。

图3 径向畸变效果示意图。（a）原始图像；（b）桶形畸变；（c）枕形畸变。Fig.3 Radial distortion examples. （a） Original images；（b） Barrel distortion；（c） Pincushion distortion.

成像仪光轴中心的畸变为0，沿透镜半径向边缘移动，畸变越来越严重。畸变的数学模型可以用主点周围的泰勒级数展开式的前三项进行描述［15］，本文取第一项：

其中：k为畸变参数，(x，y)是畸变点在成像仪上的原始坐标，(x0，y0)是畸变后新的坐标。距离光心越远，径向位移越大，畸变也越严重。本文k取正数时为桶形畸变，取负数时为枕形畸变。

同一立体影像在不同的畸变等级下呈现，必然会产生不同的虚拟空间感知。本文模拟通常的NED 设备所产生的枕形畸变为k=-0.4，为研究不同畸变等级对晕动感知的影响，依据该枕形畸变，选取不同参数的桶形畸变分别与之匹配，对立体影像先后进行桶形畸变和枕形畸变的处理，模拟出3 种不同等级的空间畸变效果（图4）。经过测试，k1=0.4 时的畸变校正效果最佳，几乎可以实现无畸变；k1=0.2 时的校正效果为中等畸变；未采用桶形畸变校正的为严重畸变。对应的3 组畸变参数分别为：k1=0.4，k2=-0.4；k1=0.2，k2=-0.4；k1=0，k2=-0.4。后续直接用无畸变、中等畸变和严重畸变的表述。

图4 立体图像不同等级畸变校正设计。（a）无畸变立体图像；（b）中等畸变立体图像；（c）严重畸变立体图像。Fig.4 Design of distortion correction for stereo image at different levels. （a） Stereo images without distortion；（b） Moderately distorted stereo images；（c） Severely distorted stereo images.

与传统研究通常选用的简单图案不同，本文选用的主要是容易诱发VIMS 的高速运动场景影像，例如虚拟过山车或第一视角驾驶、射击游戏等。对每个影像抽帧并剪裁成独立的左、右视图，分别进行上述3 组不同等级的畸变处理。为确保受测者观看到的影像主体场景大小一致，对畸变处理后的影像进行剪裁与填补黑边，所有影像均是30 帧/s，分辨率为1 920 像素×1 080 像素。每组影像由15 个视频片段组成，每段3 min，视频片段顺序唯一。

3.2 实验设备

在近眼显示过程当中，NED 设备自身不完全的畸变校正会导致一定程度的空间畸变，这个“额外”的畸变使得在NED 设备上无法精确呈现畸变模拟效果。为了尽可能减少不必要的额外畸变，本文选用27 in（1 in=2.54 cm）偏光眼镜式立体显示器（PHILIPS 278G4DHSD），研究影响VIMS 的因素及其产生机理。准确的测量和量化方法尤为重要，本文采用主观与客观相结合的方法来量化与分析VIMS。其中，客观方法使用平衡板（Wii Balance Board，WBB）采集受测者的平衡能力数据；主观数据通过受测者填写模拟视觉诱导晕动症问卷（Simulator Sickness Questionnaire，SSQ）以及视觉诱导晕动症级别问卷（Visually Induced Motion Sickness Level，VIMSL）的形式记录［22-23］。

WBB 通过Matlab 可视化程序控制，可实时采集实验数据。人体压力中心（Center of Pressure，CoP）的坐标位置通过4 个压力传感器的值计算得出［24］，假设传感器的受力分别为fTL、fTR、fBL、fBR（单位：kg），WBB的尺寸是W×H（cm），其中，W和H的长度分别为43.3 cm 和22.8 cm。CoP（x，y）的具体计算过程如式（4）所示：

3.3 实验流程

参与实验之前，参与者需要填写一份视觉诱导晕动症易感性问卷（Motion Sickness Susceptibility Questionnaire，MSSQ）［25］，以确定其晕动症易感性。在影像观看前，受测者首先根据自身状态填写一份SSQ［22］；接着站立于WBB 标记处进行姿势稳定性测试［26］，要求受测者分别在睁眼（先）和闭眼（后）的状态下（双臂自然下垂放在身体两侧），尽力保持身体的平衡，测量1 min；观看后受测者需根据其当下情况再填写一份SSQ［22-26］（图5）。

图5 实验流程图示Fig.5 Experimental flow diagram

在实验过程中，受测者端坐于屏前3 倍屏高的位置处以固定的视角观看影像（图6，图中H为显示屏高度）。3 组不同等级畸变的立体影像随机呈现于显示屏上，受测者每观看完一段3 min 影像，对模拟VR 技术体验的立体影像进行无时间限制的VIMSL 评分，采用0～4 分评分标准［23］，具体分值对应的视觉诱导晕动症等级如表1 所示。在整个影像观看过程中，若受测者已经达到4 分（非常严重）的VIMS 等级且无法坚持继续观看，可立即停止本阶段实验，该阶段时长根据受测者个人的VIMS 承受能力而定。包括初始评分，共计最多16 次评分。

表1 视觉感知实验评分标准Tab.1 Grading standard of visual perception experiment

图6 视觉感知实验设置Fig.6 Visual perception experiment settings

所有实验均在同一地点进行，每位受测者每次实验时间点前后相差不超过0.5 h，且每次实验至少相隔48 h，以确保其不受上次实验影响。实验共邀请23 名受测者（人数达到视觉感知实验的最低要求，具有统计学意义，可排除个体间差异）［27］，男性18 名，女性5 名，包括来自不同专业的本科生、研究生以及教职员工。受测者年龄在19 岁～36 岁之间，平均年龄24 岁，视力均正常或矫正至正常水平，且没有影响平衡或姿势控制相关疾病。

4 实验结果分析

数据分析表明，不同的MSSQ 评分并未对分析结果产生显著性影响，因此最终未因MSSQ 评分删除任何受测者。

4.1 客观数据

每名受测者有4 种状态下的WBB 数据：实验前睁眼、实验前闭眼、实验后睁眼以及实验后闭眼。图7 展示了同一受测者在观看不同畸变立体影像后闭眼状态下的CoP 轨迹示例图。可以直观地看出，随着立体影像畸变程度增强，受测者的摇摆量变化明显，CoP 轨迹范围增大。然而实验前后具体状态的变化无法根据简单的轨迹图量化，本文采用WBB 的CoP 振幅标准偏差（Standard Deviation，SD）［24］以及95%置信椭圆（Confidence Ellipse Area，Area）［28］作为衡量受测者平衡能力的指标。

图7 一典型受测者观看不同畸变立体影像后闭眼状态的CoP 轨迹示例图。（a）无畸变；（b）中等畸变；（c）严重畸变。Fig.7 Sample graphs of CoP track in closed eye state of a typical subject after viewing stereo images with different distortion. （a） No distortion；（b） Medium distortion；（c） Severe distortion.

CoP振幅的标准偏差SDCoP反映压力中心点数据的离散程度，其数值越大，代表压力中心点的波动越大，即受测者摆动幅度越大，表征受测者的VIMS 症状越严重。SDCoP的具体表达如式（5）～（7）所示：

95%置信椭圆面积是CoP 点所经过区域的度量，它是通过取长轴（式（9））和短轴（式（10））半径，拟合成一个包含距离中心点约95%的CoP点的椭圆来确定的，其数值表征受测者压力中心点轨迹所占用的面积［29］，计算方法如表达式（8）～（12）所示：

其中，F0.05[2，n-2]是在95%置信水平下的F统计量，F0.05[2，∞]的值为3，Sxy为协方差。

图8（a）为受测者实验后较实验前SDCoP以及Area 的变化率，可知随着立体影像畸变程度的增大，SDCoP和Area 的变化率越大，即受测者的不稳定性越大，VIMS 症状越明显。

图8 不同等级畸变立体影像下客观与主观测量结果。（a） CoP 振幅标准偏差与95%置信椭圆面积变化率；（b）模拟视觉诱导晕动症问卷评分；（c）视觉诱导晕动症级别问卷评分。Fig.8 Mean values of objective and subjective measurement results under different levels of distortion stereo images. （a） SDCoP and 95% confidence ellipse area change rate；（b） SSQ score；（c） VIMS level.

4.2 主观数据

主观反馈也在一定程度上反映出不同畸变等级的立体影像对受测者VIMS 不同程度的影响。如图8（b）所示，立体影像观看后的SSQ 评分均高于观看前，且随立体影像畸变程度增大，受测者的不舒适程度增大。图8（c）反映了受测者在观看影像过程中VIMSL 的评分情况，能够直观地看出，随着立体影像畸变程度增加，VIMSL 评分呈上升趋势。整体而言，受测者VIMS 症状的严重程度与立体影像畸变等级趋势一致。

4.3 主观数据与客观数据的相关性

生理指标能够客观地描述VIMS 症状，主观数据则是受测者根据其观看立体影像前后的自身状态的如实反馈，相对来说可能更加贴合受测者的真实感受。

虽然数据的收集方式不同，但两者都能够反映受测者VIMS 症状的变化。从实验结果可以看出，当主观数据反映受测者的VIMS 症状增强时，客观数据所反映出的VIMS 症状程度也具有相同的趋势。但主观感知有时也会发生混乱，这就需要我们将主观数据与客观数据相结合，从而更加精准地分析出受测者实验前后的真实状态。

整理所有实验数据，使用SPSS 软件（IBM SPSS Statistics 26.0）对照不同实验状态下的指标进行分析。方差分析（ANOVA）（表2）结果表明，客观数据SDCoP与Area、主观数据VIMSL 以及SSQ 评分均与受测者VIMS 症状密切相关，立体影像畸变等级对受测者VIMS 症状程度具有显著影响（p＜0.05），且立体影像畸变等级越大，受测者VIMS 症状越明显。表2中，df是自由度，F为组方差值，Sig. 是显著性检验值。

表2 影像不同畸变量对受测者VIMS症状影响的ANOVA分析结果Tab.2 Results of ANOVA analysis of the effects of different video distortions on the VIMS symptoms of subjects

5 结论

VR 技术凭借其强烈的沉浸体验在娱乐、影视、医疗等行业有着极其广阔的发展前景。用户体验舒适度是VR 技术的基本需求。本文基于VR技术立体影像的获取、显示以及感知过程的分析，设计3 个不同畸变参数，进行VIMSL 评价的视觉感知实验，并对实验结果进行统计分析。结果表明，虚拟空间畸变对VIMS 具有显著影响。VR技术的使用感受与其能否顺利发展直接相关，该研究对提高VR 体验的舒适度、推进VR 技术的发展提供了理论参考。