大动态宽幅度自由立体显示背光控制系统*

黄开成，王元庆*，李鸣皋，高　原，韩　磊，周必业

（1.南京大学电子科学与工程学院，南京210023；2.海军总医院全军航海航空医学中心，北京100048）

大动态宽幅度自由立体显示背光控制系统*

黄开成1，王元庆1*，李鸣皋2，高原2，韩磊2，周必业2

（1.南京大学电子科学与工程学院，南京210023；2.海军总医院全军航海航空医学中心，北京100048）

提出并实现一种大动态宽幅度自由立体显示背光控制系统。本系统采用LCD作为基本显示屏幕，以柱镜光栅作为指向性光学部件，以LED阵列作为可寻址背光组件，以步进电机改变栅屏距离，采用Atmega128单片机作为控制处理器，辅以高精度实时人眼跟踪模块与之通信。本系统的大动态体现在观看视角较大且连续，宽幅度体现在可同时满足多个有效观看距离。

自由立体显示；背光控制；LED阵列；人眼跟踪

立体显示技术经过多年发展已经有了巨大的进步。在3D广告、游戏、教育、医疗等民用领域以及军用电子地图、军事仿真、航空航天等军事领域都将发挥巨大作用［1］。目前市场上商用的显示器大多数需要佩戴眼镜才能看到立体效果，这给观看者带来较大不便。而自由立体显示凭借其灵活、舒适、逼真等特性成为研究的热点以及3D市场发展的方向。自由立体显示［2］是指无须借助任何辅助设备便可观看到立体影像的裸眼立体显示方式，主要分为视差立体、体立体和全息立体。视差立体主要基于立体影像原理，使观看者的左右眼分别只看到对应立体图像对的左右图像。

本文结合实际项目需求，提出并实现一种大动态宽幅度自由立体显示背光控制系统。本系统旨在满足飞行员立体视觉检查的需要，设计一款无辅助立体显示器，同时满足0.4 m、1.0 m、5.0 m 3个有效观看距离，在这检查距离内，观看者在±8°立体视角内可以看到较强的立体感。同时该显示器须满足平面立体兼容。本系统的核心思想是利用柱镜光栅形成狭缝照明，利用LCD液晶显示屏空分显示左右视差图像像素，最终在期望观看距离处形成左右视域。

1　系统原理介绍

光栅式自由立体显示器主要利用LCD液晶显示屏和柱镜或狭缝光栅组合而形成固定观看区域，左右视差图像像素交错排列在液晶显示屏上，利用光栅的分光作用将左、右眼视差图像的光线向不同方向传播。当观看者位于合适的观看区域时，其左、右眼分别观看到左、右眼视差图像，经过大脑融合后便可感知到具有立体感的图像［1］。基于这一原理，本系统利用柱镜光栅产生等间隔点光源，利用LCD液晶显示屏空分显示左右视差图像像素，可在观看者的左右眼处形成指定出瞳，即观察视域［3］。如图1［2］所示。此外本系统装配人眼跟踪系统，从而近实时地动态出瞳，不仅实现了较大的观看视角而且使得立体效果连续。因此本系统方案可用于制作大动态宽幅度自由立体显示器，且由于采取亚像素的方式进行分光，只在水平方向损失一半分辨率［4］。

图1　大动态宽幅度自由立体显示系统原理图

图1中W表示相邻左右出瞳窗口的中心距离，一般不大于人两眼瞳孔间距离（65 mm左右），h表示观看距离，d表示光栅与LCD液晶显示屏间距离，t表示LCD屏相邻亚像素间距离，b表示柱镜光栅栅距，L代表左视图亚像素，R代表右视图亚像素。由简单的相似三角形，可推出如下公式：

由式（4）可知，在b和t固定的前提下，可通过改变光栅与LCD液晶显示屏间的间距d进而改变距离h，实现不同观看距离即宽幅度的立体图像观看。

2　背光控制系统组成

本系统工作过程如下：用户在上位机软件界面选择观看模式和观看距离，人眼跟踪模块实时跟踪人眼位置，上位机通过串口通信发送以上信息数据到主单片机，主单片机处理上位机传来数据，先输出IO引脚电平控制LED驱动模块，进而驱动LED阵列的亮灭，再输出IO引脚电平至从单片机，从单片机输出IO引脚电平控制步进电机驱动器，进而驱动步进电机转动到正确位置。整个背光控制系统框图如图2所示。

图2　背光控制系统组成框图

本系统主要包含的6个部件说明如下：可寻址LED阵列，为整个系统提供光源；步进电机模块，负责移动柱镜光栅改变栅屏距；单片机控制处理器，负责人眼跟踪模块和可寻址LED阵列之间的通信以及步进电机的转动控制；指向性光学部件，包括菲涅尔透镜、柱镜光栅等，形成指向性出瞳；人眼跟踪模块，实时跟踪观看者人眼位置；LCD液晶显示屏，空分显示左右视差图像像素。

LCD液晶屏空分显示左右视差图像像素，其左右图的亚像素融合规则如图3。

图3　LCD显示融合图亚像素融合规则

2.1可寻址LED阵列

本系统采用的LED是美国科锐公司型号为XLamp XHP70 LEDs的极大功率级LED，其最大光输出高达4022 lm，发散角为120°。单颗灯及其亮度分布如图4（a）、4（b）所示。

本系统驱动电路采用大功率LED恒流驱动模块，恒流驱动模块采用型号为XL4005降压型直流电源变换器芯片［5］，每一个模块输出2 A电流，驱动一颗LED，通过单片机IO引脚控制驱动模块上XL4005芯片引脚EN使能端通断，从而控制LED阵列的亮灭，实现LED阵列独立可寻址。

图4　单颗LED及亮度分布图

图5LED背光阵列排布

可寻址LED阵列实物图如图5，共采用16颗LED，编号为0～15。本系统采用菲涅尔透镜将LED阵列发出的束光源调整为平行光，能够显著提高显示面板四周亮度，从而提高整体显示亮度均匀性。又平行光的方向会随着LED灯位置的变化而变化，实际中每次点亮1颗LED，这样16颗LED总共有16种状态，这16种状态产生的平行光正好走过一个柱镜光栅栅距，如图6所示［2］，从而实现了动态出瞳，且出瞳连续，扩宽了视角。

图6　LED阵列与柱镜光栅相对位置关系

在平面模式下，只需将LED阵列全部点亮，LCD的显示内容为平面图像或文字，观察者的双眼可以同时观看到整个屏幕，如同普通的显示器一样，只是亮度相比立体模式会有所提升。

2.2单片机控制处理器

系统所采用的控制单元是基于Atmega128芯片的AVR系列单片机。它是一款8 bit精简指令集高速低功耗AVR单片机，在16 MHz的时钟频率下系统执行性能可达16 Minstruction/s，内带128 kbit的FlashROM、4 kbit的EPROM、4 k的系统SRAM，两个8 bit定时器/计数器，8个外部中断口，两路UART通讯口［6］。

本控制系统采用两个单片机，分别为主单片机和从单片机。其中主单片机主要实现的功能是向上通过UART串口与上位机通信获得人眼跟踪模块返回的用户位置信息，向下则驱动对应位置LED阵列的亮灭，近实时地将立体窗口投向用户的左右眼，同时输出观看距离信息至从单片机，从单片机输入主单片机传来观看距离信息，驱动步进电机驱动器以驱动步进电机转动至相应位置。

用户在上位机软件界面选择观看模式、观看距离后，人眼跟踪模块将实时获得用户的人眼位置。上位机串口采用微软公司提供的Active控件MSComm模块［7］，通信协议设置串口波特率为9 600 bit/s，帧格式为8 bit数据位，1 bit位停止位，无奇偶校验位。上位机发送数据为1 byte，其格式如图7所示。

图7　发送数据字格式

第8位0代表2D模式，1代表3D模式；第5位到第7位001代表0.4 m，010代表1 m，100代表5 m；第1位到第4位0000到1111分别代表16个LED灯位置编号。若观看者不在显示器前上位机就发送上一帧人眼位置数据。上位机的发送频率是30 Hz。

上位机串口设置和发送主要代码如下：

其中model的值为0或1，代表3D或2D观看模式；device_id表示3个摄像头编号，值分别为1、2、4，分别代表3个不同观看距离；pt_leye.x表示人眼像素横坐标位置，值为0到639。table［device_id］［pt_leye.x］表示在某一观看距离下，对应于某一人眼位置应该点亮的LED编号。Table［］［］我们称之为对应表，是人眼像素横坐标与LED阵列中LED灯位置编号的对应关系。在人眼跟踪模块固定之后，显示器播放一对立体感较强的左右视差图片，当点亮不同位置编号的LED时，用人眼在观看距离处寻找达到最佳立体感位置，然后记录下此时人眼跟踪模块检测到的左眼横坐标像素值，按此方法，测量在有效视角内从左端至右端相应的人眼坐标与LED对应点亮位置信息，这样一一对应，最后用这些数据拟合得到全像素范围内的对应表。

以观看距离1 m处为例，用Matlab拟合的对应表曲线如图8，横坐标表示人眼横坐标像素值，纵坐标表示LED灯位置编号。

图8　人眼坐标与LED灯位置标号对应表

由此分析如果没有人眼跟踪模块及指向性背光，比如LED阵列固定点亮编号7，那么在观看距离1 m处有8个出瞳，但是不连续。加上人眼跟踪模块及指向性背光后，随着观看者移动，LED阵列点亮的位置随之改变，这就实现了动态出瞳，使得观看者能够获得大视角连续观看的立体效果。

为了能够实时更新人眼坐标信息，同时改变指向性背光点亮的位置，本文采用 AVR Atmega128单片机与上位机人眼跟踪模块进行通信。通信协议设置与上位机MSComn模块一致。当准备工作全部完成后就可以设置中断允许，等待人眼跟踪模块发送位置信息。串口发送流程图如图9所示。

图9　串口发送流程图

串口初始化代码如下：

2.3步进电机模块

由式4分析，在不同的栅屏距下，有效观看距离不同。因此实现3个不同有效观看距离可以采用步进电机移动柱镜光栅从而实现不同的栅屏距。本系统采用两相混合式步进电机及配套驱动器，通过从单片机3个IO引脚控制驱动器进而驱动步进电机。如图10所示。

主单片机通过串口通信从人眼跟踪模块获取当前位置信息后，通过3个IO引脚与从单片机通信，3个引脚位置电平为“001”表明在0.4 m处，“010”表明在1 m处，“100”表明在5 m处。

从单片机即为图10中的控制器。因为系统上电之后步进电机可能处于任意位置，所以设置限位开关，使得步进电机复位。系统上电后，步进电机逆时针转动使柱镜光栅远离LCD屏幕直至触碰限位开关，产生低电平，触发单片机中断，步进电机顺时针转动回到0.4 m处。这也是步进电机的初始待命状态。之后主单片机通过IO引脚输出位置电平到从单片机，从单片机根据位置电平输出相应控制信号控制步进电机进行顺时针或者逆时针转动，达到对应观看距离下所需的栅屏距。

图10　步进电机驱动示意图

2.4人眼跟踪模块

人眼跟踪模块根据项目需求，分别使用3个观看距离的CMOS摄像头模块，0.4 m和1 m采用的是近焦摄像头，5 m则采用远焦摄像头，摄像头图像分辨率为640×480，帧率固定为30帧/s。系统采用的人眼跟踪技术完全自主研发［8］，基于人脸的肤色效应，运用基于Harr特征的连续型AdaBoost算法进行人脸检测识别［10］，运用ASM算法进行人眼瞳孔检测跟踪。

算法流程图如图11所示。

检测过程分为如下步骤：

（1）对摄像头捕捉到的场景进行肤色检测，选取最大的肤色区域作为人脸的候选区域；

（2）对选取的人脸候选区域进行Harr特征连续型AdaBoost算法检测人脸矩形区域范围；

（3）对人脸矩形区域使用ASM算法［11］定位人眼，从而确定人眼位置；

（4）对人眼位置进行模板匹配跟踪，使得人脸在一定范围内左右旋转、上下俯仰都能够准确获得人眼位置。

（5）采用Kalman预测算法预测下一帧的人眼位置，降低下一帧人眼检测时间。

实验结果表明：人眼跟踪模块能够达到近实时（30帧/s）的人眼检测速度以及97%以上的准确率。观看者正面、左右旋转、上下俯仰检测效果如图12所示。

图11　人眼跟踪模块算法流程图

图12　人眼检测实际效果图

3　系统整体效果分析

如图13为实际拍摄的整机正面实物图，其顶部为人眼跟踪模块的3个摄像头。显示屏采用明基24 inch XL2420系列，分辨率为1 920×1 080，亚像素尺t=0.092 mm。在实验中采用NASA航拍的视差立体图。该系统可以满足观看者在0.4 m，1.0 m，5.0 m位置处观看，观看者在可视角度内任意移动头部，均能达到较好立体观看效果。

图13　整机正面实物图

3.1亮度

由于采用的是高亮度的LED，由图13可得在正常环境光下，达到了正常显示器亮度。为了描述显示器在2D和3D模式下的亮度信息，分别在2种模式下对屏幕的9个典型区域［12］进行亮度测量，如图14，采用型号为SM208屏幕亮度计，所测得的亮度信息记录如表1，表中B2d为2D模式下的亮度，B3d为3D模式下的亮度。

图14　显示屏9个典型显示区域

表1　亮度测量表

3.2视角与有效显示距离

观看者在0.4 m，1 m，5 m位置处观看，观看者在可视角度内任意移动头部，均能达到较好立体观看效果。由于采用人眼跟踪装置，使得观看效果连续。在各个观看距离所测得的视角如表2所示。

表2　各观看距离的观看视角

4　结束语

立体显示是一门新兴的、有着广阔应用前景的技术。本文所介绍的大动态宽幅度自由立体显示背光控制系统，基于一种可寻址LED阵列背光技术，通过与特殊的光学部件配合，辅以人眼跟踪装置，可以在多有效观看距离下获得连续良好的立体效果。本系统设计的显示器已交付甲方海军总医院正常使用。当然该系统还存在一些可以改进的地方，下一步的研究将围绕提高系统反应速度及稳定性、压缩系统结构等进行。

［1］王爱红，王琼华.光栅式自由立体显示器概述［J］.现代显示，2009（10）：12-17.

［2］王元庆.基于LCD的自由立体显示技术［J］.液晶与显示，2003（2）：116-120.

［3］Surman P，Brar RS，Sexton I，et al.Muted and Helium3D Autostereoscopic Displays［C］//2010 IEEE International Conference on Multimedia and Expo ICME，LosAngeles：IEEE，2010：1594-1599.

［4］郝敦博，李大海，王琼华.柱面透镜自由立体显示器的分辨率损失研究［J］.液晶与显示，2008（4）：494-498.

［5］周志敏.LCD背光驱动电路设计与应用实例［M］.北京：人民邮电出版社，2009：105-110.

［6］Atmel Corporation.ATmega128/L Datasheet［DB/OL］.http：// www.atmel.com/images/doc2467.pdf.

［7］吴昊天，张燕林.基于MSComm控件的PC与AVR串口通信实现［J］.计算机与数字工程，2010（4）：176-180.

［8］苏胜利，项志宇.基于二维激光雷达的自动室内三维重建系统［J］.传感技术学报，2007，30（5）：985-989.

［9］严超，王元庆，张兆扬.基于AdaBoost和Kalman算法的人眼检测与跟踪［J］.南京大学学报（自然科学版），2010（6）：681-687.

［10］杨彦.基于人脸检测和多线索融合的实时人脸跟踪系统［J］.电子器件，2013，36（3）：304-308.

［11］Cootes T F，Taylor C J，Cooper D H，et al.Active Shapemodels-Theirtraining and Application［J］.Computer Vision and Image Un-derstanding，1995，61（1）：38-59.

［12］薛亚兰，王元庆，曹利群.头跟踪式多用户全分辨率自由立体显示器［J］.浙江大学学报（工学版），2015（6）：1041-1047，1054.

黄开成（1990-），男，汉族，籍贯福建泉州，硕士。2010年毕业于南京大学电子科学与工程学院，保送本校本院电子与通信工程专业，目前参与的项目是裸眼立体视窗。研究方向为自由立体显示技术及人眼跟踪技术，njuhkch@163.com；

王元庆（1963-），男，汉族，籍贯安徽芜湖，南京大学电子科学与工程学院博导，教授，研究方向为立体图像显示、立体图像获取、现代图像处理等，yqwang@nju. edu.cn。

Backlight Control System of Autostereoscopic Display with Large Dynamic and Wide Range*

HUANG Kaicheng1，WANG Yuanqing1*，LI Minggao2，GAO Yuan2，HAN Lei2，ZHOU Biye2
（1.School of Electronic Science and Engineering，Nanjing University，Nanjing 210023，China；2.Aviation and Diving Medical Center of Navy General Hospital，Beijing 100048，China）

A large dynamic and wide range autostereoscopic display backlight control system is proposed and realized.The system uses LCD as the basic display screen，uses lenticularlensas a directional optical component，uses LED array as the addressable backlight module，uses stepper motor to change the distance between lenticular lens and screen，uses Atmega128 microcontroller as the control processor，combined with high accuracy real time eye tracking module to communicatewith it.The system of the large dynamic reflected in viewing angle large and continuous，and the wide range reflected in itcan meet multiple effective viewing distance.

autostereoscopic display；backlight control；LED array；eye tracking

TN873

A

1005-9490（2016）05-1052-07

项目来源：江苏省普通高校研究生科研创新计划项目（SJZZ15_0016）；海军总医院重大专项项目（AHJ2011Z001）

2015-10-12修改日期：2015-11-18

EEACC:720010.3969/j.issn.1005-9490.2016.05.007