一种基于用户关注的立体图像舒适度评价算法

胡　岸，孟　放，郑郁劼

(中国传媒大学　信息工程学院，北京　100024)



一种基于用户关注的立体图像舒适度评价算法

胡岸，孟放，郑郁劼

(中国传媒大学信息工程学院，北京100024)

摘要:近年来，立体电视和立体电影的发展掀起了一股“3D”热潮。要让观众享受到高质量的立体内容，首先要解决人们在观看立体视频图像时的不舒适感。以立体图像的视差因素为切入点，结合人眼关注模型，设计并实现了一种立体图像舒适度的客观评价方法。该方法根据人造立体图像的主观实验评价结果，建立了视差—舒适度模型，同时结合图像显著信息，对立体图像的舒适度进行了预测。对比主观评价结果，所提出的立体图像舒适度客观评价方法所获取的评价结果与人眼感受具有较好的一致性。

关键词:立体图像；用户关注模型；客观评价

随着多媒体技术的发展，图像和视频的质量日渐提高，人们对视觉体验的要求也不断在提高。图像和视频仅有清晰度的提升并不能完全满足人们的需要，因此立体成像技术渐渐成为了热门。相比传统的二维图像/视频，立体显示内容加入了深度信息，提高了画面的逼真度和临场感。然而不合适的立体内容会使人眼在观看时产生明显的不舒适感。播放设备问题、图像受损以及过大的双目视差等都是引起立体内容不舒适的原因[1]。长时间观看不舒适的立体内容，轻则引起眼酸眼胀，重则会产生头痛恶心甚至呕吐等症状。因此，如何保证立体内容的安全性是立体显示行业需要面对的重要问题之一。

影响立体图像舒适度的因素有很多，包括视差、物体尺寸、颜色等，其中视差因素为影响舒适度的一个主要因素。多数学者以视差因素为基础，研究了立体图像舒适度客观评价方法[2]。但由于仅基于视差的立体图像舒适度预测没有考虑人眼在观察图像时的习惯、特性，不能很好地预测人眼实际的舒适度，于是，很多学者展开了对基于用关注的舒适度客观评价方法的研究。基于用户关注的舒适度客观评价模型一般包括图像的显著图信息及视差信息两个方面。在Jung等人[3]的立体图像舒适度预测模型中，首先提取了立体图像的视差图和显著图，然后将两张图线性合并生成了基于感知的视觉权重图，并以此图为权重加权计算了视差图中的视差参数，以此为依据对舒适度进行预测。Sohn等人[4]通过对简单的人造立体图像进行主观评价，建立舒适度模型模舒适度预测模型，利用该模型对立体图像舒适度进行了预测。

本文主要研究立体图像视差大小与人眼舒适度间的关系，通过对人造立体图像进行舒适度主观评价[5]，建立了视差—舒适度量化模型，并进一步结合人类视觉特性中的注意机制，建立基于用户关注的立体图像质量评价模型，对立体图像的舒适度进行预测。

1基于用户关注的立体图像舒适度的评价方法设计

本文结合用户关注模型，设计并实现了一种立体图像舒适度客观评价方法，算法结构如图1所示。具体步骤：1)对仅包含不同视差大小的人造立体图像进行立体舒适度主观评价，建立“视差—舒适度预测模型”；2)计算待评价立体图像的“显著图”和“视差图”，并合成“视觉关注加权图”；3)根据视差—舒适度模型计算一幅图中每个像素对应的舒适度值；4)将每个像素对应的舒适度值加权相加(即“空间汇集”)，最后得到的单一舒适度评分，即为客观评价结果。

1.1视差—舒适度模型的建立

为了建立视差—舒适度模型，首先需要研究立体图像中视差参数与人眼感知之间的关系。本文通过分析人造立体图像的舒适度主观评价结果，得到了视差与人眼舒适度感知的关系，以此建立了视差—舒适度模型。该模型显示了立体图像视差与舒适度之间的量化关系，可以用来预测立体图像中每个像素点的舒适度。

对于人造立体图像的舒适度评价，近年来已有过若干相关研究[4，6]。本实验中，为了建立视差—舒适度的对应关系，必须排除其他因素的干扰，例如颜色、视差分布、语义信息等。因此，本文舒适度评价实验所采用的实验素材的设计需满足以下3点要求：1)图像为灰度图像，不包含色彩信息；2)视差特征仅包含不同的水平视差大小，不包含其他可能引起不舒适的视差因素，如垂直视差、视差分布等；3)包含不同水平视差大小的图案应为中心对称图案，且同时具备高频及低频特征，以有助于观察员聚焦。基于以上要求，本实验中立体图像素材设计如图2所示。

本实验的素材图像包括背景和前景图案两个部分。其中：1)背景为椒盐噪声图案，即在一张纯白色图片中随机加入若干黑色的黑色噪声，并对其进行均值滤波。之所以使用这样的背景是因为过于简单的背景(比如单一的白色背景)可能会使观察员的双眼不能很好地融合看到单一的立体图案，而是仅看到单目图案(重影)。使用椒盐噪声背景可以使观察员可以清晰看到单一的立体图案。椒盐背景位于零视差的位置。2)前景图案采用黑色的马耳他十字(MalteseCross)，该图案同时包含了高频及低频特征信息。实验中，马耳他十字图案位于整个图像中心，在不同的图像素材中，该图案具有不同的负视差值。本实验的图片素材中包含了11个不同视差值的图案，分别为0°，0.33°，0.66°，1°，1.33°，1.66°，2°，2.5°，3°，4°，5°。

需要说明的是，本实验的素材视差只采用负视差及零视差是基于文献[7]的研究结果：人眼在观看立体图像时，会更倾向关注离他们较近的物体，即图像中负视差部分区域。而对于正视差的区域，尽管图像中超出安全范围的正视差也会引起不舒适，但是由于远离人眼，这部分区域受到的关注较少，因此相比负视差引起的不舒适，正视差所带来的不舒适并不明显。

对以上人造立体图像的舒适度主观评价实验根据ITU-RBT.500建议书[8]的建议采用单刺激法(SS)[9]，评价表使用连续5级评价量表评估立体图像的舒适度，5个等级分别为：极舒适、略舒适、一般、略不舒适、极不舒适。本实验邀请了15位评价员参与评价，每人都通过了立体视觉测试[10]。

通过对人造立体图像(图2)进行主观评价实验，得到了各视差下的立体图像舒适度评分。为了得到视差值与舒适度评分之间的量化关系，本文使用SPSS软件对均分结果进行曲线估计，图3为视差—舒适度曲线拟合图。本例选取了线性模型、多项式模型(二次和三次)以及指数模型三类常见模型进行估计，表1列出了估计结果。从决定系数(coefficientofdetermination)R2可以看出，二次模型、三次模型和指数模型都具有较好的拟合度，其中以三次模型拟合度最高。但是，结合实际情况，当负视差增大时，实际舒适度应该为单调递减，趋近于0。如图3所示，如果选用多项式模型，则曲线在(0，+∞)区间上无单调性，且没有随视差增大而趋近于0，而指数模型符合这一特性。因此，在考虑实际情况后，本文采用指数模型作为视差—舒适度评价模型，其拟合结果(见表1)如式(1)，其中x代表负视差值(单位为度)，y为舒适度评分。

y=4.558e-0.415x

(1)

1.2视觉关注加权图

如图1所示，“视觉关注加权图”是由“显著图”和“视差图”构成。根据研究，人眼对于立体图像的关注区域主要来自平面图像的显著区域[11]和立体图像中离人眼较近的区域(即负视差区域)，因此在预测立体舒适度时需着重考虑这两部分区域。本文采用已有的FT算法[12]提取显著图。视差图是通过采用Kolmogorov的图割法[13]对待评价图像对进行立体匹配得到的。视觉关注加权图的计算是由显著图和视差图按照一定比例的权重w1，w2合成，即

IC=w1×ID+w2×IS,w1+w2=1

(2)

合成效果如图4所示。视觉关注加权图的作用是为图像中的每个像素确定预测舒适度时的权重，图中亮度越大的部分，对于舒适度预测的贡献越大。在本实验中，权重w1，w2取值均为0.5。

1.3空间汇集法

在对自然图像对进行客观评价时，最终结果的得出利用了基于图像内容的权重空间汇集的方法。公式如式(3)所示

(3)

式中：mi代表每个像素的舒适度，结合视差图和视差—舒适度模型可以求得该值；wi为权重，该值由视觉关注加权图决定；Q为最终的舒适度评分。

2实验及结果分析

为确保本文所提出立体图像舒适度客观评价方法的正确性和有效性，笔者设计了如下实验：1)选取一定数量测试图像，分别提取每幅图像的视差图和显著图，并合成视觉关注加权图；2)结合视差图和视差—舒适度模型，求得一幅图像中每个像素的舒适度客观评分；3)结合视觉关注加权图，利用空间汇集法，将一幅图像的所有像素舒适度评分加权相加，即可得该图像的最终舒适度评价结果；4)对所有测试图像进行舒适度主观评分实验，最后将主观评分结果与客观评分结果进行对比分析。本节将从客观评价素材选择及实验结果分析几方面对实验进行介绍。

2.1客观评价实验素材的选择

本实验一共选取了50个测试图像作为客观评价素材。其中45张图像来源为[14-15]，其余5张来自Middlebury立体图像数据库[16]。50张图像的内容涵盖人物、动物、静物、风景等各种类型，部分测试图像如图5所示。需要指出的是，为了验证立体图像舒适度客观评价算法的准确性，已预先对本次实验所用素材图片进行了舒适度主观评分(该组图像的主观评分实验采用与人造立体图像主观实验相同的标准和方法，并选择相同的测试人员进行实验)。

2.2客观评价结果及分析

如图6为50张图的评价结果，包括指数模型的预测结果以及主观评价结果。经过计算，该模型预测的舒适度分数与主观评价评分Pearson线性相关度达到了0.865，可见本文设计的客观评价方法可以较好地预测立体图像的舒适度。

3总结

本文基于立体视觉原理，同时结合图像的视差信息和显著信息，设计并实现了一种立体图像舒适度客观评价方法，该方法可以较为准确地预测立体图像舒适度，对于改善立体内容舒适度的相关工作的研究，具有积极的推动作用。本文算法有两个特点：1)基于人造图像的舒适度主观评价实验，建立了视差—舒适度模型，该模型能够体现视差与人眼舒适度感知的量化关系；2)将视觉关注加权图融入到舒适度的预测过程中，使得本文客观评价方法的评价结果更符合人眼特性。经实验验证，本文实现的立体图像舒适度客观评价方法预测结果与主观评价结果具有较好的一致性。

本文的舒适度预测方法中重点讨论了视差因素带来的不适，对于其他舒适度影响因素讨论不多。为了进一步提高预测准确度，后续实验将会考虑在评价体系中加入更多可能影响舒适度的因素，如颜色、亮度、物体尺寸等。

参考文献：

[1]LAMBOOIJM，FORTUINM，HEYNDERICKXI，etal.Visualdiscomfortandvisualfatigueofstereoscopicdisplays：areview[J].Journalofimagingscienceandtechnology，2009， 53(3)：1-14.

[2]LAMBOOIJM，IJSSELSTEIJNWA，HEYNDERICKXI.Visualdiscomfortof3-DTV：assessmentmethodsandmodeling[J].Displays，2011，32(4)：209-218.

[3]JUNGYJ，SOHNH，LEES，etal.Predictingvisualdiscomfortofstereoscopicimagesusinghumanattentionmodel[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2013，23(12)：2077-2082.

[4]SOHNH，JUNGYJ，LEES，etal.Attentionmodel-basedvisualcomfortassessmentforstereoscopicdepthperception[C]// 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-6.

[5]杜祥坤，姜秀华，王彩虹.立体电视视频质量主观评价方法研究[J].电视技术，2013,37(23)：241-245.

[6]LIJing，BARKOWSKYM，WANGJ，etal.Studyonvisualdiscomfortinducedbystimulusmovementatfixeddepthonstereoscopicdisplaysusingshutterglasses[C]//Proc. 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-8.

[7]JANSENL，SELIMO，KÖNIGP.Influenceofdisparityonfixationandsaccadesinfreeviewingofnaturalscenes[J].JournalofVision，2009，9(1)：29.

[8]ITU-RRecommendationBT.500-13，Internationaltelecommunicationunion.Methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures[S].2012.

[9]阮卫泓，温娜，武晓光，等.3D电视主观评价方法研究[J].电视技术，2014，38(24)：60-64.

[10]ITU-RRecommendationBT.1438，Internationaltelecommunicationunion.subjectiveassessmentofstereoscopictelevisionpictures[S].2000.

[11]谭泽富，丁妍芝，雷国平，等.基于视觉显著性图的立体图像视疲劳评价[J].电视技术，2015，39(7)：114-116.

[12]ACHANTAR，HEMAMIS，ESTRADAF，etal.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.Miami：IEEEPress，2009：1597-1604.

[13]VLADIMIRK，ZABIHR.Multi-camerascenereconstructionviagraphcuts[C]//ComputerVision-ECCV2002.Copenhagen，Denmark：SpringerBerlinHeidelberg，2002：82-96.

[14]JUNGYJ，SOHNH，LEES，etal.IVYlabstereoscopicimagedatabase[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3DVCA/3DVCAhtm.

[15]SOHNH，JUNGYJ，LEESI，etal.IVYlabstereo3Dimagedatabasefordisparityremapping[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3D/DisparityRemapping.htm.

[16]HIRSCHMÜLLERH，SCHARSTEIND.Evaluationofcostfunctionsforstereomatching[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR2007).Minneapolis：IEEEPress，2007：1-8.

胡岸(1990— )，女，硕士生，主研数字电视技术、立体图像舒适度评价等；

孟放(1972— )，硕士生导师，主要研究方向为数字电视技术、视觉信息处理、视频图像处理等；

郑郁劼(1989— )，硕士生，主研数字电视技术、立体图像舒适度评价等。

责任编辑：闫雯雯

Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention

HUAn,MENGFang,ZHENGYujie

(School of Information Engineering,Communication University of China,Beijing 100024,China)

Keywords:stereoscopicimages;visualattentionmodel;objectiveassessment

Abstract:Inrecentyears,thedevelopmentofstereoscopicTVandmovieshasledakindof"3D"fashion.Visualdiscomfortinstereoscopicmoviesshouldbeeliminatedinordertoallowtheaudiencetoenjoythehighqualityofthe3Dcontent.Anobjectiveassessmentmethodonvisualcomfortofstereoscopicimagesbasedonthedisparityfactorandvisualattentionmodelisdesignedandimplemented.Inthismethod,adisparity-comfortmodeliscalculatedbasedonthesubjectiveassessmentresultoftheartificialimagesatfirst.Then,takingintoaccountboththedisparity-comfortmodelandsaliencyinformationofimages,thevisualcomfortofstereoscopicimagescanbepredicted.Theexperimentalresultsshowthatthepredictionperformanceoftheobjectiveassessmentmethodproposedinthispapercanbebetterconsistentwiththesubjectiveassessmentresults.

中图分类号：TN949.13

文献标志码：A

DOI：10.16280/j.videoe.2016.01.028

作者简介：

收稿日期：2015-08-06

文献引用格式：胡岸，孟放，郑郁劼.一种基于用户关注的立体图像舒适度评价算法[J].电视技术，2016,40(1)：141-144.

HUA,MENGF,ZHENGYJ.Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention[J].Videoengineering,2016,40(1)：141-144.