基于视差与分层渲染的立体显示效果评价研究*

谷灵康

（1.安徽省现代显示技术国家重点实验室省部共建培育基地（中航华东光电有限公司）2.安徽工程大学计算机与信息学院）

1 引言

随着2012年1月1日中国3D频道的开播，立体显示技术逐渐成为各国研发的重点。立体影像具有实感性、震撼性和非常逼真的感染力等特点。目前立体显示系统主要分为两大类：立体显示系统与自由立体显示系统。借助眼镜、头盔等设备的是立体显示系统；而应用空间更广阔的是自由立体显示系统，它不需戴上特殊眼镜就能看到立体影像，目前已经成为立体显示技术研究的主流。

较好的自由立体显示需兼顾诸多因素，如视差、着色和阴影、线性角度和运动视差等。这需要立体显示系统能够给左右两眼带来不同的画面，同时需要影像内容中具备更多的细节，这对硬件和软件都是一个巨大的考验[1]。对于立体显示，最关心的是立体显示效果，适当的评价标准与评价方法对立体显示技术的发展起着至关重要的作用。

2 国内外立体显示效果评价方法分析

目前国际上对于自动立体显示设备显示质量的评价一般有两种方法：一种是通过人的视觉来判定，即主观评价方法；第二种是客观评价方法，它是用测光、测色仪器对显示设备进行客观测定。以上两种方法通常结合起来使用。

对显示效果质量进行最终评价的，是经常面对着显示屏观赏图像娱乐的人，故通过视觉进行的主观评价是最关键的评价方法，但不同评价者，结果往往会出现差异。即使同一评定者对相同的产品，多次的评价结果也有可能出现很大的差异。这就需要引入一系列的评价方法来消除多个评定者之间的差异，最后将包含差异在内的数据进行筛选，找出其普遍性。因此，需要先进行评价的相关准备和长时间征集评定者的意见，然后才能进行评价。

测光量是在显示器的客观评价中所测定的最主要物理量，反映的是人的视觉特性。如果决定了测定条件及方法，其结果可以在短时间内得到，这就是客观评价方法的特点。由于我国自动立体显示器的测试标准还未制订，国内外这方面的资料也较少，故在确定具体测试项目和测试方法时，液晶显示器件测量方法的国家标准和国外相关的一些技术资料经常被拿来参照，再根据立体显示器的特点，确定测试中显示器的光学性能评测参数和具体的测量方法。

2.1 立体显示效果的客观评价指标[2]

对显示器的立体效果进行客观评定时，除了注意评价结果的准确性和重复性，还要考虑影响评价的条件。其中评价的环境状态和条件、测量仪器、测量用的显示图像、电源的稳定性和稳定时间、显示设备的状态等，都对评价结果影响较大。主要的客观评价指标有：图像分辨率、对比度、视角范围及视区、响应时间、亮度、亮度不均匀性、色度特性等。

2.2 立体显示效果的主观评价

主观评价法是指对显示器上显示的信息，由观察者从主观方面进行测定与评价的方法。相对于客观评价方法，主观评价是通过心理测定的方法实现的。观察者可以根据亲身感受来进行评价，这是主观评价方法最有利的方面，如对显示器可以通过精美程度、临场感等方面进行评价。

亮度、色调、对比度、信噪比、响应特性、空间频率特性、动态特性等，是主观评价的主要物理要素。

在数据采集上，主观评价采用心理学的测定法。这种测定法有很多种，由于方法的不同，进行判断的基准和所得到的感觉尺度会有一定的差别。因此，在选择方法时，通常是与评价实验的目的相配合，从多种心理学测定方法中，选择较适合的一种。调整法、极限法、常规法、评价尺度法、系列范畴法、二者择一法、成对比较法等，是目前主要的心理学评价方法。

左眼和右眼视图的分离决定左眼和右眼图像的三维显示效果，两个区间若存在严重的串扰则认为分离效果不好，人类的大脑就很难进行三维集成。因此，需要建立一套合适的理论和方法来评定一款立体显示器是否具有立体效果及如何评价和比较这种效果。

目前国内外专门研究立体显示效果和质量的评定方法的并不多。一种方法是用双目图像之间串扰的亮度百分比来描述自由立体显示器的效果[3]，它用助视眼镜立体显示技术的cross-talk levels来实现，可惜没有给出具体的测试方法；另一种方法则是使用亮度传感器，从观看位置衡量沿着弧形的亮度曲线，然后进行对比度比较，这显示为三维效果[4]。这些方法满足立体显示视图分离的亮度对比度，一定程度满足测试的需求。他们使用光的检测方法，左视图亚屏幕单色显示，右视图亚屏幕不显示。在显示器横向位置前的观看区域，测量亮度得到左眼球视图的亮度测量曲线，然后逆转，测出右眼视图的亮度曲线并通过亮度对比求出亮度分布特征。立体显示器有较好的效果是在大于10%亮度比值的情况下，但因为它需要两次重复测量引入的定位误差和复杂的亮度测试设备，结果很难显示较好的立体效果和独立视区域，并且这些方法往往是在观察区域的横向位置检测，三维显示可视区域的特点没有充分体现，也不能使用具体量值来表示三维显示效果的好坏。

针对上述两种方法的不足，国内外很多学者提出了改进方法，如北京邮电大学的刘克滨提出基于视差的方法[5]，南昌大学的梁发云提出使用立体度参数作为评价指标[6]，他们主要是利用立体度进行显示效果的评价。还有一些学者也提出了相应的方法。

由于立体显示技术是基于双目视差理论，左眼和右眼视图充分分离是裸眼立体显示的关键。下文尝试从这个特点来设计适当的评估方法和测量流程。

3 双眼视差

人类的立体视觉由生理立体视觉和心理立体视觉组成[7]。由人眼的晶状体调节、双眼会聚和双眼视差诸因素构成的立体视觉称为生理立体视觉，在这些因素中，人眼最强烈的生理立体视觉因素是双眼视差。在一切心理立体视觉排除之后，一组完全无异议的视觉刺激，在具备视差的条件下，就可以经双眼产生深度上的感觉，这一点已被 Julesz[8]利用随机点图证明，这说明双眼视差可以与任何视觉经验无关。

双眼视差[9]（Binocular Disparity）是指两只眼睛从两个稍微不同的角度观察客观的三维世界的场景，由于场景的几何光到人双眼的距离不同，形成一个在视网膜上的两个位置的差异，它反映了客观场景的深度。双目视差对于人能够感知深度，是一个非常重要的因素，大脑区域融合后，形成立体视觉，双目视差的大小由双眼视差角的大小决定。

视觉经验和视觉记忆可体现为心理立体视觉。在观看影像时，根据影像内容可判断影像上各个人物、物体之间的距离关系，其中阴影、遮挡、结构级差和几何透视等因素是构成心理立体视觉的主要因素。

观看者的视觉记忆、视觉经验、眼睛结构和用眼习惯是影响生理立体视觉和心理立体视觉的许多因素中的关键，但只有双眼视差与立体影像有直接关系。故立体影像中的双眼视差信息是影响人眼立体视觉的主要外界因素。

图1中，当双眼注视M 点时，设晶状体的中心为 o1和 o2，m1和 m2为两视网膜的中央凹[10]，假设视网膜上有两点p1和p2处于相应位置，即∠p1o1m1=∠p2o2m2，那么其对应点P双眼视差消失。经过几何证明可知，所有P点的轨迹是一个通过o1、M 和o2的圆。这个圆称为全息圆，在该圆上的所有点双眼视差为零。

图1 两眼观看物体示例

全息圆以外的点，如 Q点，在两视网膜上的对应位置不同，可以感觉得到双眼视差的存在，并可以识别其距离上存在的差别。

设点M和点Q到眼的距离为dM和dQ，可令δ =dQ－dM，一般情况下δ ＜＜ dM，所以简单的几何证明可得Q点在视网膜上的相应位置的偏差为：

Δθ 的大小直接反映人眼对两物体相对距离大小的感知；即当Δθ小时，人眼感到两物体间的相对距离小，反之亦然。深度视锐是指当两物体间的相对距离小到一定程度，人眼刚能感觉到两物体有距离差别时的Δθ。通常30 " ～ 60 "为人眼的深度视锐，训练过后可达到5" ～ 10" ，当深度视锐为10" 时，能感觉到的最小距离差为：

双眼视差信息是深度感的最重要线索，特别是对于中等视距。双眼视差可以同任何视觉经验无关，它对立体视觉的贡献最大。

4 基于视差与分层渲染的立体显示效果评价方法研究

自由立体显示技术的发展离不开评价标准与评价方法的支持，立体视差感知、视觉疲劳等主观因素都与立体显示有密切的联系，故人的主观参与对解决自由立体显示质量效果评价方法非常重要。现在，大部分立体显示效果评价方法的参考标准都是基于人眼的，但由于人自身受外在环境差异的影响，不同观者对同一视觉信息的评定存在差别[11]。如果想得到定量的评价体系研究成果，在现有的技术条件下，通过试验很难获取，故为了探寻可用于定性分析立体显示效果的评价方法，本文在前述人类自身因素的研究成果基础之上，采用定性研究的方法，依据视差进行研究。

研究及应用三维立体视觉质量的关键性问题是立体显示视差估计，这种方法主要运用基于图像特征的视差估计，采用灰度变换法和差分算子[12]对自由立体显示图像做变换、特征匹配与融合，并进行立体图像特征点的提取、特征匹配和融合的研究，再得到三维视图均衡化直方图。从采用匹配基元的不同可以把视差估计方法分为两种类型[13]：基于区域的方法和基于特征的方法。本文先得到视图均衡化直方图，然后再进行分层渲染[14]，从而可以分析视图的立体显示效果。下面是具体的实验用图及分析，其中原图见图2 。

图2 原图

采用直方图均衡化调整后得到图3 。

图3 直方图均衡化调整

进行分层渲染，如图4所示。

图4 分层渲染

再经过视差栅栏，可以得到图5的示意图像。

图5 基于视差与渲染示意图

最终观察者可以看到的效果见图6。

图6 实验效果图

通过实验可知，基于直方图均衡化调整的颜色与纹理的综合特征，再通过分层渲染，可以得到比较好的3D立体显示效果。这个实验比较直观，无需分哪些光线是左眼的，哪些是右眼的，而且速度相对较快。通过测试发现立体度基本达到所需标准，实际使用中，在合适的位置，看到立体图像重影的概率非常小，自由立体显示效果相对较好。

5 结束语

本文在充分分析国内外立体显示评价方法的基础上，提出了利用视差和分层渲染的方法进行立体显示效果的评价。今后的实验研究中，笔者认为应着重从人的角度出发来评价自由立体显示器的立体显示效果，其中要充分考虑观察者对自由立体显示的多项反映等因素，如视觉疲劳问题等，即不仅从自由立体显示器本身，还要注重人的视觉疲劳等不舒适的立体感觉方面进行综合的测试与评价，这是得到全面的自由立体显示效果的重要方法。从而促进立体显示技术的发展，研制出更加人性化、更接近于现实三维的立体显示器。

近些年基于全息技术的自由立体显示越来越受到更多研究者关注，它对于人们更好地了解自由立体显示技术、增加观察者的立体深度感、沉浸感和想象感有非常好的效果，有成为三维立体显示主流的潜力，当然它要真正应用，还有很长的路要走。

[1]N A Dodgson.Time-Sequential Multiprojector Autostereoscopic 3D Display[J].Soc. Information Display,2000,11(8):169-176.

[2]大石严,烟田丰彦,田村彻[日].显示技术基础[M].白玉林,王毓仁,译.北京:科学出版社,2003.

[3]Woodgate G J,Ezra D,Harrold J,et al.Autostereoscopic 3D display systems with observer tracking[J]. Signal Processing:Image Communication,1998,14:131-145.

[4]Huang Wan-Jian,Tsai Chao-Hsu,Wang Nai-Yueh,et al.The fabrication of a novel projection screen for autostereoscopic display systems[A]. Proc SPIE(Vol 5291)[C]. 2004:285-292.

[5]刘克滨.基于视差的自由立体显示效果评价研究[D].北京:北京邮电大学,2010.

[6]梁发云,邓善熙,杨永跃.裸眼立体显示器效果评定方法研究[J].中国图象图形学报,2007,12(8):1407-1411.

[7]侯春萍.平面图像立体化技术的研究[D].天津:天津大学电子信息工程学院,1998.

[8]Julesz B. Binocular depth perception of computer generated pattens[J]. Bell System Technical Journal,1960,39(5):1125-1162.

[9]Hartley R. Multiple View Geometry in Computer Vision[M].2nd ed.England：Cambridge University Press,2003.

[10]Winkler S. Digital Video Quality Vision Models and Metrics[M]. Switzerland:John Wiley & Sons Ltd,2005.

[11]吴爱民.视觉心理学在计算机视觉中的应用研究[D].北京:北京交通大学,2006.

[12]庄天戈,赵俊,钱晓平.生物医学图像处理[M].上海:上海交通大学,2007,6:110-130.

[13]陈佳坤,罗谦,曾玉林.一种用于立体图像匹配的改进稀疏匹配算法[J].计算机技术与发展,2011,21(10): 111-117.

[14]Jonathan Marbach. Gpu acceleration of stereoscopic and multi-view rendering for virtual reality applications,In Proceedings of the 16th ACM Symposium on Virtual Reality Software and Technology,ACM,2009,103-110.