基于视觉显著性图的立体图像视疲劳评价

谭泽富，丁妍芝，雷国平，彭 霞

(1.重庆邮电大学 通信与信息工程学院，重庆 400065；2.重庆三峡学院 信号与信息处理重点实验室，重庆 404100)



基于视觉显著性图的立体图像视疲劳评价

谭泽富1,2，丁妍芝1，雷国平2，彭 霞1

(1.重庆邮电大学 通信与信息工程学院，重庆 400065；2.重庆三峡学院 信号与信息处理重点实验室，重庆 404100)

随着立体显示技术的飞速发展，立体图像带来的视疲劳问题引发了人们的广泛关注。视觉显著性区域决定着立体图像的性质，而双目视差和观看时间是影响立体图像视疲劳程度的两个重要因素。为了评价观看立体图像后产生的视疲劳，提出了立体图像视疲劳的评价模型。该模型基于视觉显著性图，根据视差和观看时间得到对立体图像视疲劳的评价。生理心理实验表明，该模型预测结果的可靠率到达了93%以上，依据该评价模型可由视差和观看时间快速、准确地评价立体图像视疲劳，为立体图像视疲劳的评价及立体图像的改进提供了依据。

立体图像；视疲劳；评价模型

立体图像显示系统模仿人眼视觉系统，基于双目视差原理，利用光栅或者立体眼镜等工具，让双眼分别接收到视角轻微不同的两幅图像，经大脑融合得到基于双目视差的深度信息，产生立体感，使观众沉浸在立体图像所呈现的场景之中。

在自然情况下，人眼的辐辏和调节是一致的，但观看立体图像时却有所不同。观看立体图像时，调节距离是人眼与屏幕间的距离，是固定的，而辐辏距离却随着虚拟物象位置的变化而变化，造成了辐辏-调节冲突[1-2]，这是引发立体影像视疲劳的主要因素之一。

立体图像的双目视差决定了其辐辏-调节冲突的程度，因此，在评判立体图像视疲劳时，双目视差是必不可少的重要因素。目前已经有一些文献研究了对立体图像的视疲劳评价，文献[3-4]研究了立体图像视疲劳评价与平面图像视疲劳评价的异同；文献[5]研究了立体图像视疲劳的客观评价方法；文献[6]研究了立体显示视疲劳的主观评价方法；文献[7]通过主、客观实验，测量了双目视差对立体图像视疲劳的影响；文献[8]研究表明，正向视差与负向视差对立体图像视疲劳的影响效果不同。

然而这些研究都没有综合考虑视差、观看时间及视觉注意力对立体图像视疲劳的影响。本文通过生理心理实验，综合考虑双目视差和观看时间对立体图像视疲劳的影响，提出了基于视觉显著性图的立体图像视疲劳评价模型。

1 实验环境

实验过程中环境亮度保持为200 lx，环境温度和湿度为恒定值。有30名受试者，年龄在18～40岁之间，其中男、女各15人。所有受试者在评价立体图像视疲劳之前都接受了视觉检查，以确保其双目视觉功能正常。

立体图像显示设备是分辨率为1 920×1 080的27 in(1 in=2.54 cm)主动快门式立体电视，屏幕比例为16∶9。遵照电视图像质量主观评定方法(ITU-R BT.500-13)，实验时的观影距离是屏幕高度的3倍，约为1 010 mm，人的平均瞳间距离为65 mm，则立体图像深度与视差的关系如表1所示。

表1 立体图像视疲劳与视差的关系

2 建立评价模型

基于立体图像视疲劳的建模过程分为3个部分，首先利用3ds Max软件合成视差单一的立体图像，并结合生理心理实验，建立视差及观看时间与视疲劳关系的模型；然后提取出现实场景立体图像的视觉显著性图，运用空间汇集技术求得基于视觉显著性图的视差，带入模型即可得基于视觉显著性图的立体图像视疲劳评价；最后分析和比较基于视觉显著性图的评价结果和基于全局模型的评价结果，验证基于视觉显著性图的立体图像视疲劳评价模型的有效性。

2.1 立体图像视疲劳建模

利用3ds Max软件构建出符合实验要求的立体场景，得到所需的单一视差的立体图像组。本实验构建的立体场景为一个悬浮在空中的足球。调整3ds Max的相机参数，依据屏幕尺寸、观看距离和深度与视差的关系，将同一场景渲染成视差分别为-1.5°～+1.5°的11幅单一视差立体图像，其中“-”表示负向视差，此时有出屏的效果；“+”表示正向视差，此时有入屏的效果。

实验前，先让受试者闭目5 min，让眼睛得到放松，以消除受试者已有视疲劳。接着，用2 min让受试者做立体图像视疲劳的问卷，得到观看立体图像前视疲劳的基准值。然后，让受试者观看不同视差的11组立体图像，每组图放映结束后，受试者再利用2 min时间填写问卷调查，然后进行下一轮实验。每位受试者的连续实验过程不超过1 h。每幅立体图像分别放映10次，每次放映的时间为1～10 min。

视疲劳问卷中包含立体图像视疲劳的8个指标，对每一个指标用五分制评判(1分表示“完全没有”；2分表示“轻微”的；3分表示“有一些”；4分表示“糟糕的”；5分表示“难以忍受”的)。指标的内容和权重如表2所示[9]，将每个指标的评判得分加权求和，即得立体图像视疲劳程度的总体评价。

整理生理心理实验问卷数据，可得到不同视差和观看时间条件下立体图像视疲劳程度的评价得分。用多项式f(d)=k0+k1d+k2d2+k3d3拟合受试者观看不同视差立体图像10 min后视疲劳程度的数据，其中d表示立体图像的双目视差，f(d)表示受试者的视疲劳程度，ki(i=0,1,2,3)为模型参数。依据最小二乘准则求得模型参数ki(i=0,1,2,3)，可以得到

表2 视疲劳指标及其权重

f(d)=1.062 7-0.106 3d+1.506 1d2-0.075 5d3

(1)

观看立体图像10 min后视疲劳程度与视差的关系如图1所示。从中可以看出，随着双眼视差的增大，视疲劳程度增加明显，而且负向视差比正向视差更容易产生视疲劳。

图1 双目视差与视疲劳关系

用多项式f(d,t)=α0+α1d+α2d2+α3d3+α4t+α5t2+α6t3拟合立体图像视疲劳程度与立体图像视差及观看时间的关系，其中d表示立体图像双目视差，t表示观看立体图像的时间，f(d,t)表示双目视差为d并且观看时间为t时，观看者的视疲劳程度。依据实验数据，并基于最小二乘准则求得参数αi(i=0～6)，可得立体图像视疲劳评价模型为

f(d,t)=1.259 3-0.042 2d+0.742 2d2-0.062 0d3+

0.016 1t+0.017 2t2-0.000 5t3

(2)

通过此模型可由立体图像的双目视差及观看时间来预测观看者的立体图像视疲劳程度。

立体图像视疲劳程度与视差及观看时间的关系如图2所示，从中可以看出立体图像的双目视差和观看时间是影响立体图像视疲劳程度的重要因素。随着视差的增大和观看时间的增加，立体图像视疲劳程度增加明显。

2.2 基于视觉显著性图的立体图像视疲劳评价

此部分的实验图像为3D相机(富士3DW3)拍摄的40幅现实场景的立体图像，每幅图像都由包含大量不同景深、不同视差的景物。

观看立体图像时，人的注意力通常集中于图像的某些区域，这部分区域即所谓的视觉显著性区域，用视觉显著性图表示。相比图像中的其他区域，视觉显著性区域吸引了观看者绝大多数的视觉注意力，因为提出视觉显著性区域极可能是影响立体图像视疲劳评价得分的决定性因素。在此假设下，建立了基于视觉显著性区域的立体图像视疲劳评价模型，用视觉显著性区域的立体特征结合视疲劳评价模型评价现实场景的立体图像视疲劳。

图2 视疲劳关系与双目视差及观看时间建模

基于视觉显著性图的立体图像视疲劳评价是指根据立体图像特征提取出视觉显著性图，结合空间汇集技术求得基于视觉显著性图的立体图像视差，带入立体图像视疲劳评价模型，得到立体图像视疲劳评价。

立体图像的色彩分布、边缘轮廓以及视差是影响人视觉注意力的3个最重要的因素。因此，为了获得视觉显著性图必须先提取出色彩显著性图、边缘显著性图和视差图。首先根据立体图像的左眼视图提取出色彩显著性图和边缘显著性图，并根据左、右视图运用图割算法求取立体图像视差图。再根据式(3)得到合成图A，即

A=α1C+α2E+α3D

(3)

式中：A表示合成图；C表示色彩显著性图；E表示边缘显著性图；D表示立体图像的视差图。α1，α2，α3分别表示对应的权重，取值为α1=0.4，α2=0.3，α3=0.3[10]。将图A以0.5为阈值进行二值化处理，即得到视觉显著性图。

与用3ds Max软件制作的单一视差立体图像不同，现实场景立体图像中不同区域的视差是不一致的，为了获取现实场景立体图像的视差，引入了空间汇集技术。基于视觉显著性图的立体图像视疲劳评价，即基于视觉显著性图，运用空间汇集技术，将图像的视觉显著性区域按照一定的方式划分为多个板块，并依据图像的特征汇集统计方法对每个板块的视差进行处理，最终得到单一的立体图像视差统计表达D′，即立体图像的整体双目视差值可用D′表示。将D′带入视疲劳评价模型，最终得到基于视觉显著性图的立体图像视疲劳评价。

用皮尔逊相关系数和皮尔逊等级相关系数比较基于全局的视疲劳评价模型和基于视觉显著性区域的视疲劳评价模型，其中皮尔逊相关系数表示生理心理实验评价视疲劳主观得分与视疲劳评价模型预测得分的线性相关性，斯皮尔曼等级相关系数表示视疲劳评价模型预测分数与双目视差的相关关系，求取的相关系数如表3所示。从表3可以看出，与基于全图相比，基于视觉显著性图视疲劳评价模型的预测结果与视疲劳主观评价得分的相关度高，基于视觉显著性模型的视差与主观视疲劳评价得分的斯皮尔曼等级相关度高。

表3 两种模型皮尔逊相关系数及皮尔逊等级相关系数比较

这验证了此前的假设，即与基于全图的视疲劳评价模型相比，基于视觉显著性图的立体图像视疲劳评价模型能够给出更加合理并且接近视疲劳真实水平的预测值。这是因为观看者的视觉注意力集中于视觉显著性区域，即视觉显著性区域决定了观看者的生理、心理反应。

3 普适性验证

为了验证立体图像视疲劳评价模型，另选取了30幅由3D照相机拍摄出来的立体图像进行普适性验证。每幅立体图像的主观评价分数可由生理心理实验并结合如图2所示的主观视疲劳评价问卷得到。同时依据基于视觉显著性图的立体图像视疲劳评价模型得到视疲劳的预测值。若视疲劳评价模型的预测分数与主观评价分数的差异在主观评价分数的5%以内，则认为视疲劳评价模型的预测结果正确。

统计评价数据，其中正确评价的立体图像为28幅，即正确评价率为93.3%。实验结果表明，该视疲劳评价模型的立体图像视疲劳预测结果与主观评价结果有较高的一致性，即该立体图像视疲劳评价模型普适性好，能够解决主观视疲劳评价方法耗时长、过程繁琐和可移植性差的缺点。

4 小结

通过3ds Max制作出不同视差的单一视觉刺激的立体图像，通过生理、心理实验，得到立体图像视疲劳与视差及观看时间的关系并用多项式描述，并基于最小二乘准则拟合多项式系数，得到立体图像视疲劳的评价模型。为了评价现实场景立体图像，提出了基于视觉显著性图的立体图像视疲劳评价模型。首先根据色彩显著性图、边缘显著性图和视差图获取立体图像的视觉显著性图，用空间汇集技术提取出基于视觉显著性图的视差，并将其带入视疲劳评价模型，即可得到基于视觉显著性图的立体图像视疲劳评价。通过比较基于视觉显著性区域的视疲劳评价模型和基于全图的视疲劳评价模型的皮尔逊相关系数和斯皮尔曼等级相关系数，验证了基于视觉显著性区域的视疲劳评价模型的预测结果更加接近真实值，即基于视觉显著性区域的评价模型有更优的评价结果。最后通过普适性实验，验证了基于视觉显著性图的视疲劳评价模型的普适性。

依据本文提出的视疲劳评价模型，能够由视觉显著性区域的视差和观众的观看时间预测出立体图像视疲劳的程度，能够快速、准确地删选出不易使人产生视疲劳的立体图像，并为立体图像的改进提供了方向。

[1]韩振雷.3DTV的立体显像技术[J].电视技术，2012，36(6)：77-79.

[2]TAM W J, SPERANZA F, YANO S, et al.Stereoscopic 3D-TV:Visual comfort[J].IEEE Trans.Broadcasting，2011，57(2)：335-346.

[3]成于庆，姜秀华.立体电视视频质量影响因素分析[J].电视技术，2011，35(12)：80-83.

[4]PHAN P, ANDROUTSOS D.Robust semi-automatic depth map generation in unconstrained images and video sequences for 2D to stereoscopic 3D conversion[J].IEEE Trans.Multimedia，2014，16(1)：122-136.

[5]LIH-C O, SEO J, KHAM K, et al.Measurement of 3D visual fatigue using event-related potential (ERP):3D oddball paradigm[C]//Proc.3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video.Istanbul:IEEE Press,2008: 213-216.

[6]杜祥坤,姜秀华,王彩虹.立体电视视频质量主观评价方法研究[J].电视技术，2013，37(23)：241-245.

[7]SHAO F, LIN W, GU S, et al.Perceptual full-reference quality assessment of stereoscopic images by considering binocular visual characteristics[J].IEEE Trans.Image Processing，2013，22(5)：1940-1953.

[8]KIM D, JUNG Y J, KIM E, et al.Human brain response to visual fatigue caused by stereoscopic depth perception[C]//Proc.2011 17th International Conference on Digital Signal Processing.Corfu: IEEE Press，2011：1-5.

[9]ATALLAH P, PELAH A, WILKINS A.Visual stress symptoms from stereoscopic television[C]//Proc.2012 International Conference on 3D Imaging.Liege：IEEE Press，2012：1-7.

[10]FANG Y, WANG J, NARWARIA M, et al.Saliency detection for stereoscopic images[J].IEEE Trans.Image Processing，2014，23(6)：2625-2636.

谭泽富(1969— )，硕士，教授，主研3D立体电视、移动数字电视技术和宽带信号处理等；

丁妍芝(1991— )，硕士生，主研3D立体电视、移动多媒体广播；

雷国平(1983— )，硕士，讲师，主研3D立体电视、移动数字电视；

彭 霞(1991— )，硕士生，主研3D立体电视、移动多媒体广播。

责任编辑：薛 京

Attention Model-Based Visual Discomfort Evaluation Model of Stereoscopic Display

TAN Zefu1,2, DING Yanzhi1, LEI Guoping2, PENG Xia1

(1.DepartmentofCommunicationandInformationEngineering,ChongqingUniversityofPostsandTelecommunication,Chongqing400065,China；2.KeyLaboratoryofSignalandInformationProcessing,ChongqingThreeGorgesUniversity,Chongqing404100,China)

With the rapid development of stereoscopic display, broad attention of evaluating visual discomfort caused by stereoscopic display has been attracted.The nature of stereoscopic display is depended on perceptually significant regions, and both binocular disparity and viewing time are the dominant factors of stereoscopic discomfort.To evaluate visual discomfort caused by stereoscopic display, visual discomfort evaluation model is developed.Based on perceptually significant regions of stereoscopic images, the degree of visual discomfort is evaluated by the amount of binocular disparities as well as viewing time.According to psychophysical experiments, the reliability of the evaluation model reaches up to 93%.According to this evaluation model, visual discomfort caused by stereoscopic images can be assessed by binocular disparity and viewing time rapidly and accurately, and this model provides a basis to evaluate visual discomfort caused by stereoscopic as well as the development of stereoscopic display technology.

stereoscopic images; visual discomfort; evaluation model

TN949.13

A

10.16280/j.videoe.2015.07.025

2014-09-12

【本文献信息】谭泽富，丁妍芝，雷国平，等.基于视觉显著性图的立体图像视疲劳评价[J].电视技术,2015，39(7).