3D电影视觉舒适性研究综述

戴帅凡,田丰,2,黄超,唐海峰,吕炜

(1.上海大学上海电影学院,上海 200072; 2.上海大学上海电影特效工程技术研究中心,上海 200072; 3.国家电网上海市电力公司市北供电公司,上海 200072; 4.上海航天信息研究所,上海 201109)

3D电影视觉舒适性研究综述

戴帅凡1,田丰1,2,黄超1,唐海峰3,吕炜4

(1.上海大学上海电影学院,上海 200072; 2.上海大学上海电影特效工程技术研究中心,上海 200072; 3.国家电网上海市电力公司市北供电公司,上海 200072; 4.上海航天信息研究所,上海 201109)

良好的视觉舒适性是改善3D观影体验的核心内容.影响视觉舒适性的原因可以分为观影心理因素和观影生理因素,已有研究具体包括视觉疲劳诱发因素分析、3D电影舒适度评估、3D电影舒适度改善.基于相关研究成果,阐述了3D视觉舒适性研究现状,归纳了3D视觉疲劳度的诱发因素,总结了3D视觉舒适度评估的实验方法,并对已有的评估模型进行分类,整理了3D视觉舒适性解决方案,分析了当前研究重点及其相互关系.最后展望了3D电影视觉舒适性研究未来的发展方向.

立体视觉;视觉舒适性;舒适度评估;舒适度改善

3D作为提升电影沉浸感的重要技术,已被广泛运用于影视制作和传播中[1].然而,3D电影的发展却面临着潜在的阻碍,其主要因素包括视觉舒适和视觉疲劳.这一问题不容忽视,因为这两个因素涉及作品的心理感知和艺术表达,并直接影响大众的观影体验.

视觉舒适性为观影的主观感受,而视觉疲劳度为客观测量值[2].视觉疲劳度的增加意味着视觉舒适性的降低.视觉疲劳的眼部症状具体表现为视野模糊、肌肉酸胀.若疲劳条件长时间存在,则会进一步发展成头痛目眩等严重后果[3].视觉疲劳的来源可以分为两部分：观影内容和观影环境[4].观影内容包括影片元素的运动、色彩、图像视差等;观影环境则包括显示与观看设备的尺寸等参数,以及观影距离与角度等[5].

对于3D视觉舒适性的探索属于多学科综合研究,其中包括计算机科学、人体工程学、脑电图学、生物医学等,具有交叉性、实践性、创新性和应用性.这无疑对研究人员的科学素养提出了更高的要求,如何从已有研究中总结出正确的科学思路、结合研究对象和研究环境使用合适的科学方法、匹配当前产业需求并提出高效的影视制作解决方案,已成为当前贯穿3D视觉舒适性研究的核心思路.

本工作根据已有研究,着重介绍了影响舒适性的几大因素：双目视差、视觉辐辏调节冲突等.并归纳了视觉舒适性的评估方式：主观评价法、基于人眼活动的客观评价法、基于大脑活动的客观评价法.随后总结了视觉舒适性的改善方案：基于视差重映射的方法、基于景深模糊的方法等.最后结合相关研究趋势,探讨了3D内容舒适度研究未来的发展方向.

1 3D视觉疲劳诱发因素

人体视觉系统有着复杂的结构,每只眼睛都有其独自的视野,并且通过心理和生理两方面来获取图像间的细微差异,产生深度感知.心理方面的因素包括透视、遮挡关系、大气透视、阴影、纹理和视尺寸;生理方面的因素包括双目视差、运动视差、自适应调节和融合现象[6].产生视觉疲劳的原因多种多样,已有研究多集中在3D视觉疲劳的早期研究阶段,其中人体双目视差和观影条件等问题是3D视觉疲劳研究中的重点内容.

1.1 双目视差诱发因素

在人体双目视觉中,双目视差指的是因瞳孔水平距离(一般为50∼75 mm)导致的双目所见画面位置的差值[7].大脑通过双目视差来提取视网膜上二维图像的深度信息.但在影视制作中,双目视差同时也指两张立体图像相似特征点之间的坐标差[8].水平视差又可分为零视差、正视差、负视差和发散视差[9].过大的双目视差将破坏双目融合,引起复视,是引起视觉疲劳的主要因素.

Chen等[10]将视觉系统处理外部信息的过程看作“信噪比”问题,并基于韦伯-弗希纳尔(Weber-Fechner)定律提出了一个对数幂级数形式的一般性模型来评估视觉舒适度,以描述视觉舒适性和候选因素之间的关系.韦伯-弗希纳尔定律作为最著名的心理量表之一,指的是感觉的差别阈限随原刺激量的变化而变化,且表现出一定的规律性.实验结果证明,视觉舒适度随着视差的增加而减小,舒适的视差范围在120∼150弧分之间.

舒适域是一个与双目视差相关的概念,其界限有着不同的定义,常见的测量方式为屏幕视差值[11].但是这一概念并不能单一为影片视觉舒适度定性,即使场景视差范围控制在舒适域内,仍会有其他因素引起视觉疲劳,如场景物体间过大的视差梯度也会导致双目融合失败[12].在自然状态下,人眼通过焦散来创建视觉深度域,在3D内容制作中,也会通过这种分层模糊的方式来增加视觉舒适性.双目融合也受立体空间目标的空间频率内容的影响,更小的刺激物宽度(也就是物体宽度)会减少双目融合的限制[13].

1.2 观影条件诱发因素

观影条件诱发因素包括3D显示设备和观影环境,前者包括当前立体显示设备所造成的视觉辐辏调节冲突问题、串扰现象、设备的电性能、左右视图的几何变形以及低刷新率造成的闪烁等;后者包括观影尺寸、观影距离、观影背景、环境亮度、环境温度等[12].

当人们观看3D电影时,视线在远、近物体之间的变换会导致眼球转向运动、瞳孔大小变化和晶状体变形[14].视觉辐辏调节冲突的本质如下：在如图1(a)所示的自然状态下,输入视觉系统的现实物体的深度刺激是一致的;然而在图1(b)的观影状态下,眼球的转向运动是根据屏幕视差而变化的,以此来感知物体的深度,而自适应调节仍旧固定在屏幕上.

图1 视觉辐辏调节冲突图解[15]Fig.1 Illustration of accommodation/vergence mismatch occurrences[15]

2 3D视觉舒适性评估

2.1 3D视觉舒适性评估方法

2.1.1 主观评价法

由于检测仪器的普及程度低、使用难度高,对3D电影的视觉舒适性评估仍以基于问卷形式的主观评价法为主;即使在众多新兴的评估方案中,依旧是将主观评价法作为原始数据来源和结果对比证实.该类型的实验往往要求被试者对舒适性进行分级,通过感知量化的方式,以舒适性分数作为分析数据,评估3D视频对被试者的感知影响.但缺少细节状态记录可能直接导致受试者忽略自身疲劳表现.如图2所示,在Shibata等[4]针对视觉舒适域的舒适性评估实验中,就采用了眼疲劳、视觉清晰度、脖背状态、头疼等细节评估项目.评估的具体方法主要有双重刺激连续质量等级(double stimulus continuous quality scale,DSCQS)法、单刺激连续质量评估(single stimulus continuous quality evaluation,SSCQE)、模拟器不适问卷(simulator sickness questionnaire,SSQ)和NASA任务负荷指数(NASA task load index,NASA-TLX)等[3].

图2 视觉舒适性评估结果统计[4]Fig.2 Results of the subjective assessment of visual comfort[4]

上述评估方法的具体定义和区别如下：采用DSCQS方法时,受试者依次观看由参考图像和待评估图像组成的图像组,然后在李克特氏五点量表上进行舒适度评分(见图3),其优点在于使用方法简单,可以快速得到图像质量评估,而且基于直觉的判断减少了受试者经验对实验结果的影响;与此相应,SSCQE用于没有参考图像的实验条件;SSQ则用于测量观看运动图像时的舒适度;NASA-TLX主要用于测量运动不适感,以及对3D观影相关的认知负荷的研究.

图3 DSCQS方法实验流程图[16]Fig.3 Flow chart of DSCQS method[16]

2.1.2 基于人眼状态的客观实验法

主观测量不可避免地会受到受试者经验和当前状态的影响,而人眼是评估视觉疲劳时最直接的观测对象.在疲劳状态下,视觉辐辏调节冲突将引起双目运动,眨眼频率会变高,瞳孔变化的反应时间也会变长,这些外显的特征数据可以通过眼动仪、自动验光仪等仪器记录下来,从而成为影片视觉舒适性的评估指标.

Ukai等[6]通过测量瞳孔大小来表现视觉辐辏调节冲突进程.如图4(a)所示,在横坐标(时间)的中心位置,视觉目标出现在屏幕前方.此时双目有转向变化,自适应调节也随之变化;但随后调节根据真实屏幕位置而发生变化,双目融合进程被破坏.瞳孔大小随着视觉辐辏调节冲突而在图中表现出抖动.在分析2D与3D视频的舒适性差异时,Lee等[17]使用了检测眨眼频率的方式,如图4(b)所示,红色区域为头戴式眼动仪识别出来的瞳孔位置,右下方红色数字为识别出的黑色像素数量(即瞳孔面积);Inoue等[18]采用了测量眼动的方式来评估视觉舒适性,通过计算生物信号数据得到录像眼动(video-oculography,VOG)记录和电子眼动(electro-oculography,EOG)记录两项指标.VOG是指通过头戴式仪器来测量瞳孔间距和瞳孔大小,基于视频内容且具有非侵入性;EOG则是眼电图,通过测量电位差来获取眼动指标,电极安放如图4(c)所示.对实验结果的数据分析得出,瞳孔距离是评估视觉疲劳的最佳指标.

Oh等[15]通过支持向量机的方式,提出了动态视觉辐辏调节的交互(dynamic accommodation vergence interaction,DAVI)模型.该模型源于Schor[19]提出的双重交互变换模型,以融合性辐辏机制的相位响应和反射响应为基础,同时包括其他3D感知因素,如帕努姆融合区和由焦深导致的锐度极限.该实验证实了通过立体视觉3D图像的深度图来评估生理反应的可靠性.尽管人眼状态识别具有很强的直观性,但是其最大的问题在于不能实时进行,同时也不能反映认知负荷的积累效应.

2.1.3 基于大脑活动的客观实验法

早期研究发现,脑电信号的频率分量与大脑活动密切相关,且频带的功率谱会随着疲劳程度而改变[20].图5显示了大脑中水平视差和眼动控制的活动过程.通过分析脑电信号中的视诱发皮质电位(visually evoked cortical potential,VECP),Emoto等[21]分析得出,水平双目视差随时间的变化将导致视觉信息在神经上的传输延迟.Frey等[22]也发现,平均大脑活动度会随着视觉辐辏调节冲突程度的变化而变化.此外,脑电可以在不打扰观察进程的条件下对参与者进行实时测量.考虑到研究相关性和实验友善度,大脑活动被认为是指示心理疲劳最重要、最值得信赖的生理信号[23].

图4 基于人眼状态的客观实验法Fig.4 Objective method based on detection of eyes state

图5 大脑中的水平视差和眼动控制[24]Fig.5 Horizontal disparity and vergence control in the brain[24]

Zou等[25]针对由视觉辐辏调节冲突所引起的视觉疲劳,提出了基于脑电图的评估方法.为了消除诸如透视、阴影和遮罩等深度信息的影响,同时保证视觉疲劳度的可控性,观察者将通过传统3D立体视觉显示设备观看单调且重复的随机点立体图,同时记录3个脑电图活动值(α,β和θ).实验中还使用了临界闪烁频率(critical fusion frequency,CFF)和调节(accommodative,ACC)幅度来保证该过程确实能引发视觉疲劳感.脑电图测量数据显示,随着实验的进行,θ始终保持稳定,而α活动极大增加,β活动快速减少(见图6).随后计算出6类比值指数(θ/β,α/β,α/θ,θ/(α+β),(α+θ)/β,(α+θ)/(α+β)),并结合主观评估分数等数据,分析指数项与立体视觉疲劳的相关性.实验结果证实,在脑电图的9项指数中,α是评估立体视觉疲劳最有效的指标,因为它不仅有效识别了疲劳状态,还对任务进程变化更加敏感.

图6 疲劳前后的脑电地形图[24]Fig.6 Topographical head maps before and after fatigue[24]

图7 fMRI实验结果[26]Fig.7 Results of fMRI[26]

除了脑电图,Yong等[26]还采用功能性磁共振成像(functional magnetic resonance imaging,fMRI)的方式来测量观看立体影片时大脑皮层的活动.实验结果显示,通过间断性播放舒适与不舒适的片段,在减去干扰数据的基础上,与观看舒适视频相比,具有过大屏幕视差的不舒适片段将在某些大脑皮层区域引起高度的活动反应(见图7),其中包括右侧额叶中回(middle frontal gyrus,MFG)、右侧下顶叶(inferior parietal lobule,IPL)和具有视觉加工功能的两侧舌回等区域.结合已有的有关大脑结构与人体生理对应关系的研究成果,该实验进一步得出结论,即人们对视觉疲劳的主观感受可能是由感知现象与运动现象所造成的,运动现象可能与非正常眼球运动有关(比如视觉辐辏调节冲突),而感知现象则可能与双目融合困难以及视觉清晰的主观感知有关.

2.2 3D电影视觉舒适性评估对象

对观影内容的评估,其本质上多为对视觉显著度的评估.视觉显著度作为3D电影中一项综合指标,包含了画面视差范围、复杂度、对比度等多个要素.

So等[27]利用3D立体内容中的一些基础构成部分来组成评估模型,比如视差范围的规模和强度、背景物体的复杂度、色彩的深度感知和帧之间像素上的视差变化.

图8 视觉舒适性评估结果Fig.8 Results of the visual comfort assessment

Yong等[28]提出了一种视觉舒适性可视化工具：视觉舒适度指数图.针对每一幅色彩图像及其对应的视差图像,通过基于显著度的测量方式来估算显著度指数;随后通过预测函数和视差特征值计算舒适度分数.如图8(a)所示,0对应不舒适,1对应舒适;二值之间映射了从红到蓝的色度带,以体现观看的舒适性程度.Jung等[29]也做了类似的可视化工作,使用图像对基于色彩和视差的显著疲劳区域,通过区域分割、视差特征提取以及获取的视差特征向量来得出图像的视觉舒适性指数.

针对运动显著度,Ye等[30]结合显著线索、运动线索和深度线索来提取显著运动区域,从而达到评估舒适性的目的.对3D立体视频进行显著物体检测、运动物体检测和视差估测后,导入视觉舒适模型计算视觉舒适度分数.图8(b)展示了显著区域检测算法流程：为原图像增加高斯差分(difference of Gaussian,DOG)滤镜,通过均值漂移和二值化后得到显著区域.该视觉舒适模型基于视差值和视觉舒适度权重之间的非线性映射,也就是说,视觉舒适度分数是基于视差值的视觉舒适度权重及其在视差直方图中的百分比计算得到的.

Cho等[31]选择了用颜色显著图、边缘显著图和视差图来评估视觉舒适性.该实验一共分为4个部分：①提取感知显著度区域;②计算运动深度;③计算显著物体的速度、提取深度以及注视时间;④视觉舒适性计算.图8(c)为该实验的感知显著区域提取,(i)∼(vi)分别为原图、颜色显著图、边缘显著图、视差图、组合显著图以及感知显著区域.

Tian等[32]则提出了一个基于时间序列的3D舒适度评估工具,并对多部高质量影片进行了分析.结果显示,《变形金刚：灭绝时代》(美)中约92%的舒适值落在1.0∼3.5区间内,《金刚》(中)的相应比例则仅为74%.

3 3D视觉舒适性改善

3D行业中针对视觉疲劳现象已经采取了一些防范措施,尤其是在3D内容生产的指导性原则和后期处理工具上.部分视疲劳问题可以在影片的后期处理中解决,比如图像之间的漏光和拍摄过程中摄像机校准问题导致的图像间几何差异.然而这些解决方案都需要投入大量的人力,同时耗费了大量的时间.因此对提高3D内容舒适度的自动化工具的开发需求日益强烈.

3.1 基于视差重映射的视觉舒适性改善

视差重映射是改善视觉辐辏调节冲突的常用方法,其操作本质即缩放图像视差范围,使物体的感知深度落在由最小视差和最大视差所框定的舒适域内.这也意味着对全局视差范围的调整必定会影响3D影片的娱乐价值.

Pan等[33]提出了一个可以根据环境、内容、观众偏好来调整影片视差的解决方案.该方案流程主要包括5大模块：①针对显示特性(尺寸、亮度等)和观影条件(观影距离、环境光等),通过建立人类视觉系统3D模型来计算最佳视差范围;②对图像对进行视差评估;③对双向视差映射结果进行遮挡检测;④结合双向视差映射结果、最佳视差范围以及观者偏好进行最终视差调整;⑤视图合成.实验结果案例如图9所示.

Lang等[34]则提出了一套基础的视差映射算子.这些算子以感知和生产为导向,为立体3D内容的非线性视差编辑提供了一系列规范指导原则.同时,还提出了一项基于立体翘曲的新技术来改善这些算子.这项技术可以使输入的视频流产生变形来满足视差范围的需求.实验结果案例如图10所示,通过图10(a)和(c)可以计算出局部视差s(d)的平均显著度,随后通过非线性深度映射算子ϕ(d)实现视差重映射.在输出帧(见图10(b))中,由于深度差的增加,主要角色得到了强调.

图9 综合视差调整结果Fig.9 Results of the integrated parallax adjustment

图10 基于显著度的视差重映射结果Fig.10 Results of the disparity mapping based on saliency

针对视觉舒适性和影片全局深度感知之间的矛盾,Sohn等[35]提出了一种全新的视差重映射框架,其中同样包括线性视差重映射和非线性视差重映射.线性视差重映射通过改变场景的视差来获得总体视觉目标的视差范围,以解决由过大视差而引起的视觉疲劳;非线性视差映射则可以选择性调整问题所在的局部区域的视差范围——视差域,而非空间域意义上的“局部”.调整结果如图11所示,其中实线框标示了正常显示部分,虚线框标示了非正常显示部分.

视差重映射至今仍是舒适度改善的主流.大部分非线性视差重映射法都是将影片视差范围直接调节至舒适域内,而Oh等[36]直接基于3项立体视频疲劳因素(空间频率、视差运动和视差大小),在预测结果的基础上进行了视差范围自适应调整和视差映射算子非线性化.针对深度感知与视差调整的冲突问题,Shao等[37]则选择在约束深度感知的基础上,重复调整视差范围,随后通过层间数据项、层内数据项和最小视觉深度差数据项组成的总能量函数进行进一步优化.安瑞[38]利用尺度不变特征变换(scale invariant feature transform,SIFT)算法来获得左右视图特征点的精确视差值,随后用二维投影变换来消除垂直视差并调整水平视差.主观评测结果表明,该方法将舒适度级别提高了4.82%.

图11 全局与局部视差综合调整结果Fig.11 Results of the global and focal disparity adjustment

3.2 基于其他对象的视觉舒适性改善

作为影响视觉舒适性的因素之一,立体显示器也是研究人员需要参考的对象.Yong等[39]提出了一个基于立体3D设备的新方法.该系统结构包括深度摄像机和色彩摄像机两部分,通过观影距离测量和视差映射评估,并结合显示器像素高度等信息以及预测函数进行视觉舒适性的客观评估.若仍对评估结果不满意,则查找可提升舒适性的视差变换值,并通过基于深度图像的绘制(depth image based rendering,DIBR)技术实现视差缩放,通过左右图像的平移实现视差移位.此外,Yong等[39]还基于影片的景深模糊处理,提出了以低通滤波的手段实现舒适性改善的方法,并且该方法能够可选择地作用于影片的视觉疲劳区域[40].如图12所示,在对左右视野图像进行视差映射评估后,对结果进行深度物体分割和视觉显著度映射评估;随后在深度分割结果中检测出造成过大相对视差的物体,并结合显著度评估结果对每个物体进行可选择的低通滤波处理,最后输出过滤后的立体图像对.

图12 视觉显著度映射评估实例Fig.12 Example of the visual importance map estimation

更进一步地,Yang等[41]就如下3种针对三维立体图像的滤波方法进行了比较：①多阈值抗锯齿滤波(用不均匀的截止频率处理图像对);②单阈值抗锯齿滤波(用均匀的截止频率处理图像对);③非对称抗锯齿滤波(用多阈值抗锯齿滤波仅处理右图像).实验结果如图13所示,图(a)是景深模糊开启与否情况下的各项疲劳反应平均值,3种方式分别对应蓝色、红色和绿色.当最小负视差的绝对值较小时,多阈值方法能够提高视觉舒适性,而单阈值方法将造成过度模糊并导致视觉疲劳.

随着3D显示设备的多样化,Carnegie等[42]也针对头盔显示器,研究了通过动态景深来减少3D影片视觉疲劳的方法.用头戴式显示器Oculus捕捉位置数据后,通过改善虚幻引擎中的实时动态景深系统来实现舒适度改善.图13(b)为实验的数据结果,纵轴为各项疲劳表现的程度,蓝色与黄色分别表示开启和关闭景深时的数据.Kramida[43]也综合阐述了在头盔显示器中解决AV冲突的方法,其中包括可变光学系统、多焦平面模型与深度融合、薄膜变形镜、双折射镜头、扫描光纤阵列、多视图视网膜显示、视差屏障等.

图13 舒适度改善实验主观分数结果[41-42]Fig.13 Results of the subjective assessment of visual comfort[41-42]

4 结束语

疲劳诱因、舒适评估、舒适改善之间的具体关系如下：疲劳诱因是所有研究工作的基础;舒适评估为舒适改善提供了方向指导和数据支持;而舒适改善则是一切研究的最终目的.从近年的诸多研究成果来看,对疲劳度诱因的分析多集中在2014年之前,在广度上已趋于完备,相关研究方向已转向探究其诱因之间更加深层的联系.2013年至今,对3D内容的舒适度评估一度是相关领域的热点研究内容,并不断显示出多领域交叉的研究趋势.随着VR技术的爆炸式发展,为了支持3D内容的高效生产并配合展示设备的不断更新,建立系统的舒适度评估模型、综合优化舒适性改善技术逐渐成为当前的主要任务和未来发展趋势.

进一步的研究对象将包括：疲劳因素的影响权重标准化与统一的实验数据库的建立;基于机器学习的内容生产流程中的舒适性实时评估;更全面的自动化3D内容视差调整;基于3D电影的舒适性技术向VR内容生产的指导性融合;舒适性改善技术的封装与用户级推广等.

参考文献：

[1]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[2]Kim D,Choi S,Sohn K.Visual fatigue modeling and analysis for stereoscopic video[J].Optical Engineering,2012,51(1)：7206.

[3]Park M C,Mun S.Overview of measurement methods for factors affecting the human visual system in 3D displays[J].Journal of Display Technology,2015,11(11)：877-888.

[4]Shibata T,Kim J,Hoffman D M,et al.The zone of comfort：predicting visual discomfort with stereo displays[J].Journal of Vision,2011,11(8)：11.

[5]Du S P,Masia B,Hu S M,et al.A metric of visual comfort for stereoscopic motion[J].ACM Transactions on Graphics,2013,DOI：10.1145/2508363.2508387.

[6]Ukai K,Howarth P A.Visual fatigue caused by viewing stereoscopic motion images：background,theories,and observations[J].Displays,2008,29(2)：106-116.

[7]Watanabe H,Ujike H.3D visual fatigue：interaction between ranges of binocular disparity and interocular rotational difference[C]//Consumer Electronics.2014：127-128.

[8]Kim T,Park J,Lee S,et al.3D visual discomfort prediction based on physiological optics of binocular vision and foveation[C]//Asia-Pacific Signal and Information Processing Association. 2015：1-4.

[9]付贝贝.立体显示视觉舒适度影响因素的研究[D].天津：天津大学,2012.

[10]Chen Z,Shi J,Huang X,et al.Visual comfort modeling for disparity in 3D contents based on Weber-Fechner’s law[J].Journal of Display Technology,2014,10(12)：1001-1009.

[11]Yano S,Emoto M,Mitsuhashi T.Two factors in visual fatigue caused by stereoscopic HDTV images[J].Displays,2004,25(4)：141-150.

[12]HeldRT,BanksMS.Misperceptionsinstereoscopicdisplays：avisionscience perspective[C]//APGV’08.2008：23-32.

[13]Lee S I,Yong J J,Sohn H,et al.Effect of stimulus width on the perceived visual discomfort in viewing stereoscopic 3-D-TV[J].IEEE Transactions on Broadcasting,2013,59(4)：580-590.

[14]Park J,Lee S,Bovik A C.3D visual discomfort prediction：vergence,foveation,and the physiological optics of accommodation[J].IEEE Journal of Selected Topics in Signal Processing, 2014,8(3)：415-427.

[15]Oh H,Lee S,Bovik A C.Stereoscopic 3D visual discomfort prediction：a dynamic accommodation and vergence interaction model[J].IEEE Transactions on Image Process,2016,25(2)： 615-629.

[16]Kawashima K,Okamoto J,Hayashi T.Verification on stability and reproducibility of DSCQS method for assessing 4K Ultra-HD video quality[C]//Sixth International Workshop on Quality of Multimedia Experience.2014：214-219.

[17]Lee E C,Heo H,Kang R P.The comparative measurements of eyestrain caused by 2D and 3D displays[J].IEEE Transactions on Consumer Electronics,2010,56(3)：1677-1683.

[18]Inoue T,Kato Y O,Ozawa J.Evaluating visual fatigue by sensing eye movement during viewing of 3D images[C]//IEEE Global Conference on Consumer Electronics.2012：486-490.

[19]Schor C M.A dynamic model of cross-coupling between accommodation and convergence： simulations of step and frequency responses[J].Optometry Vis Sci,1992,69(4)：258-269.

[20]Hsu B W,Wang M J.Evaluating the effectiveness of using electroencephalogram power indices to measure visual fatigue[J].Perceptual and Motor Skills,2013,116(1)：235-252.

[21]Emoto M,Niida T,Okano F.Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television[J].Journal of Display Technology,2005,1(2)：328-340.

[22]Frey J,Pommereau L,Lotte F,et al.Assessing the zone of comfort in stereoscopic displays using EEG[C]//CHI’14 Extended Abstracts on Human Factors in Computing Systems.2014： 2041-2046.

[23]Craig A,Tran Y,Wijesuriya N,et al.A controlled investigation into the psychological determinants of fatigue[J].Biological Psychology,2006,72(1)：78-87.

[24]Park J,Oh H,Lee S,et al.3D visual discomfort predictor：analysis of disparity and neural activity statistics[J].IEEE Transactions on Image Processing,2015,24(3)：1101-1114.

[25]Zou B,Liu Y,Guo M,et al.EEG-based assessment of stereoscopic 3D visual fatigue caused by vergence-accommodation conflict[J].Journal of Display Technology,2015,11(12)：1076-1083.

[26]Yong J J,Kim D,Sohn H,et al.Towards a physiology-based measure of visual discomfort： brain activity measurement while viewing stereoscopic images with different screen disparities[J]. Journal of Display Technology,2015,11(9)：730-743.

[27]So G J,Kim S H,Kim J Y.Evaluation model of the visual fatigue on the 3D stereoscopic video[J]. International Journal of Computer Theory and Engineering,2016,8(4)：336-342.

[28]Yong J J,Sohn H,Yong M R.Visual discomfort visualizer using stereo vision and time-of-flight depth cameras[J].IEEE Transactions on Consumer Electronics,2012,58(2)：246-254.

[29]Jung C,Liu H,Cui Y.Visual comfort assessment for stereoscopic 3D images based on salient discomfort regions[C]//IEEE International Conference on Image Processing.2015：4047-4051. [30]Ye B,Zhou J.A visual comfort metric for stereoscopic 3D video based on SMDE approach[C]// IEEE International Conference on Signal Processing,Communication and Computing.2012：72-77.

[31]Cho S H,Kang H B.Subjective evaluation of visual discomfort caused from stereoscopic 3D video using perceptual importance map[C]//TENCON 2012—2012 IEEE Region 10 Conference.2012：1-6.

[32]Tian F,Xu H,Feng X,et al.Comfort evaluation of 3D movies based on parallax and motion[J]. Journal of Display Technology,2016,12(12)：1695-1705.

[33]Pan H,Daly S.3D video disparity scaling for preference and prevention of discomfort[C]// Proceedings of SPIE.2011,DOI：10.1117/12.872582.

[34]Lang M,Hornung A,Wang O,et al.Nonlinear disparity mapping for stereoscopic 3D[J]. ACM Transactions on Graphics,2010,29(4)：1-10.

[35]Sohn H,Yong J J,Lee S I,et al.Visual comfort amelioration technique for stereoscopic images： disparity remapping to mitigate global and local discomfort causes[J].IEEE Transactions on Circuits&Systems for Video Technology,2014,24(5)：745-758.

[36]Oh C,Ham B,Choi S,et al.Visual fatigue relaxation for stereoscopic video via nonlinear disparity remapping[J].IEEE Transactions on Broadcasting,2015,61(2)：142-153.

[37]Shao F,Lin W,Li Z,et al.Toward simultaneous visual comfort and depth sensation optimization for stereoscopic 3-D experience[J].IEEE Transactions on Cybernetics,2016,PP(99)：1-13.

[38]安瑞.基于视差变化调节的立体视频舒适度增强方法研究[D].长春：吉林大学,2016.

[39]Yong J J,Sohn H,Lee S I,et al.Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort[J].IEEE Transactions on Consumer Electronics,2014,60(1)：1-9.

[40]Yong J J,Sohn H,Lee S I,et al.Visual importance-and discomfort region-selective lowpass filtering for reducing visual discomfort in stereoscopic displays[J].IEEE Transactions on Circuits&Systems for Video Technology,2013,23(8)：1408-1421.

[41]Yang Y,Xu T,Lu C,et al.Effects of spatial anti-aliasing methods for stereoscopic 3D image on visual comfort[C]//2015 8th International Congress on Image and Signal Processing(CISP). 2015：914-918.

[42]Carnegie K,Rhee T.Reducing visual discomfort with HMDs using dynamic depth of field[J]. IEEE Computer Graphics and Applications,2015,35(5)：34-41.

[43]Kramida G.Resolving the vergence-accommodation conflict in head-mounted displays[J].IEEE Transactions on Visualization&Computer Graphics,2016,22(7)：1912-1931.

本文彩色版可登陆本刊网站查询：http：//www.journal.shu.edu.cn

Survey on visual comfort of 3D movies

DAI Shuaifan1,TIAN Feng1,2,HUANG Chao1,TANG Haifeng3,Lü Wei4
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China; 2.Shanghai Engineering Research Center of Motion Picture Special Effects,Shanghai University, Shanghai 200072,China; 3.State Grid Shanghai Shibei Electric Power Supply Company,Shanghai 200072,China; 4.Shanghai Institute of Spaceflight Information,Shanghai 201109,China)

Visual comfort is important in stereoscopic 3D experience.The influence of visual comfort can be categorized into psychological and physiological factors.Existing work focuses on visual fatigue factor analysis,comfort evaluation and comfort enhancement of 3D movies.Based on the related research,this paper summarizes the factors of visual fatigue,reviews various measurement methods proposed to evaluate visual comfort,and provides an overview of recent advances in improving 3D image quality.Finally,this paper previews the future work for visual comfort of 3D movies.

stereoscopic video;visual comfort;comfort evaluation;comfort improvement

TP 391.41

A

1007-2861(2017)03-0364-14

10.12066/j.issn.1007-2861.1941

2017-04-12

上海市科委“科技创新行动计划”高新技术领域资助项目(15511105002);上海大学电影学高峰学科和上海电影特效工程技术研究中心资助项目(16dz2251300)

田丰(1976—),男,博士,研究方向为电影技术.E-mail：ouman888@126.com