全息波导技术在眼跟踪系统中的应用研究
2011-07-04闫占军李文强周拥军康明武
闫占军, 李文强, 周拥军, 康明武
(1.光电控制技术重点实验室,河南洛阳 471009;2.中航工业洛阳电光设备研究所,河南洛阳 471009)
0 引言
在过去的几十年里,头盔显示技术已有显著的发展,但是由于头盔可视化范围有限,制约了视觉追踪能力。传统的头部跟踪系统通过精确测量头部姿态,能够在HMD上正确显示相关头部方位的信息,提高了实际的视角范围。然而,在空对空作战中,眼部运动可以有更大的视觉覆盖范围,使用眼睛去跟踪,实现对目标的连续捕捉。目前,发展较成熟,视觉追踪精度较高的眼跟踪技术是使用红外探测器探测眼睛受红外光照射时所形成的红外图像,提取眼部数据[1]。此类眼跟踪器的光学系统设计,通常采用反射镜及透镜组[2],具有体积和重量较大、结构松散的缺点,影响在HMD中的普遍应用。
全息波导技术将衍射成像全息光学元件和图像光线传输波导光学元件集成在一起,形成全息波导元件。全息波导元件与集成光学及微电子元件的兼容性很强[3]。近年来,已在光互联、指纹采集探测、图像准直显示[4-6]等领域中取得重大进展。针对分离光学元件构成的眼球跟踪光学系统存在的缺点,仅采用一片薄全息波导设计了一种全息波导眼跟踪光学结构。这种结构优点在于紧凑、体积小、质量轻、系统衍射效率高,具有较好的人机工效,能够有效校正像差。主要讨论了在眼跟踪系统中应用全息波导元件设计眼睛红外图像探测光路的方法。由于全息波导元件还具有很高的外景光透过率及灵敏的波长选择性,该设计不影响对外景图像的观察。这种眼跟踪系统可以安装在头盔显示、瞳孔及眼部运动监测、疲劳感知及眼睛控制系统等,例如开关设备、驾驶室、航空座舱等。
1 全息波导红外探测光路的基本原理
在传统的分离光学元件构成的眼跟踪系统中,通过反射镜改变出路方向,同时由透镜组将眼睛的红外图像聚焦成像在近红外CCD探测器上。图1为分离光学元件构成的眼球跟踪光学系统结构示意图[2]。图中:M1为热反射镜;M2为分光镜;L1和L2为透镜组,多个反射镜和透镜组共同构成了眼跟踪光学系统结构。
图1 分离光学元件眼跟踪光学结构示意图Fig.1 Custom structure of detached optical elements
全息波导眼部红外图像探测光路的原理示意图如图2所示。其中:图2a为眼部成像光路示意图;图2b为近红外LED照明布局。
图2 全息波导眼红外图像探测光路原理示意图Fig.2 The sketch map of optical detection system
整个探测光路由一个CCD红外探测器、一个红外光线准直透镜组、两个记录于同一透明近红外石英(或氟化PMMA)材料波导板上的全息透镜Hf和全息光栅Hg、4个近红外LED光源等部件组成。准直透镜组的光阑距全息光栅的距离为Rl,眼睛距全息透镜的距离为Re。该系统使用4个均匀分布于眼部周围的近红外LED光源照明眼睛,眼睛反射光线形成近红外图像,图像光线通过波导表面的红外全息透镜耦合进入近红外材料波导,并使得图像各视场光线的衍射角大于波导内全反射角,将图像光线约束在波导内以全反射形式传递到红外全息光栅,全息光栅将眼部红外图像光线再次耦合输出到波导板外的光学准直镜组,由准直透镜组将光线聚焦成像于小型红外探测CCD相机上。CCD相机不断记录眼部的红外图像,并传输红外图像数据到微处理器,由处理器依据预先设计的图像处理算法[7-8],提取眼睛凝视方位数据,实现眼跟踪。
2 系统设计
眼跟踪系统的主要部分是眼部红外图像的获取结构。采用折衍混合光学系统,衍射元件的色散性质与红外玻璃准直透镜组的色散性质相反,折衍混合光学系统可以消除部分纵向色差。红外准直透镜组的设计简单,技术成熟。因此,近红外波导全息元件的设计及眼部照明方法是全息波导眼跟踪系统的核心。
2.1 红外波导全息元件
近红外光束是不可见光,不利于记录光路的安排。一般全息记录材料对近红外光谱的敏感度很低,不能直接用红外光记录全息元件。红外全息光栅元件的记录与再现示意图如图3所示。实际中的红外全息元件的使用波长λc不同于记录波长λr,依据Bragg条件满足式(1)的矩阵形式:
其中:θgreen,r及 θred,c分别为记录光线及再现光线间的夹角。
图3 红外全息光栅元件的记录与再现示意图Fig.3 Reconstruction and recording of infrared hologram grating
由于该系统是非准直系统,本文中采用一个全息光栅和一个全息透镜,形成一个全息组合光学元件。全息光栅Hg的相位函数Hgf为
其中:λc为近红外再现波长;n为波导折射率;y为全息光栅Hg的侧向坐标;θdiff为波导中光线的衍射角。
横向色散的补偿可以由全息光栅Hg和全息透镜组合实现,纵向色散不变。在成像过程中,由于波导板的全反射,全息透镜的衍射成像光线就是全息光栅的再现光线,如图4所示。
图4 双全息光学元件消横向色散的组合示意图Fig.4 Diagram of double hologram for decreasing transversal chromatic aberration
由于条件 θgo= θfr,θfo= θgr满足,所以式(3)的条件一定成立
式中:下标g和f分别表示全息光栅和全息透镜;O和R分别表示预设光路的物光和参考光。两全息元件的横向色差可以得到校正。最终全息光学元件衍射后光束的中心角与初始入射光线的中心角有关,与成像波长无关[9]。
对于红外全息透镜,可由方程(4)确定光线的方向和成像位置
式中:u=λc/λr是波长变化比例因子,代表再现波长与记录波长之比;θo为物光束记录角;θr为参考光束记录角。红外全息透镜的主要问题是大的波长位移及离轴角引起的像差。如果仅使用球面波记录全息透镜,像差会很严重。为了补偿大像差,需要使用两个非球面波记录红外全息透镜。
全息光线元件的递归设计是一种常用的低像差全息透镜设计技术[10]。这种技术不需要使用计算全息图产生非球面波,可以简化记录过程。本文采用两个中间全息光学元件H1和H2用以产生两束具有像差的非球面波前分别作为最终全息光学元件Hf的物光和参考光。为了避免中心视场的大像散及慧差,简单的全息透镜Hf采用平面波及轴上球面波记录。中间全息元件H1和H2的参考光波采用平面波,物光波采用轴上球面波。红外全息透镜递归设计示意图,如图5所示。使用R1c和R2c两平面光波再现两个中间全息光学元件,产生的具有一定量像差的非球面波前,记录一个有像差的全息光学元件。当一束离轴再现成像光束Rfc再现时,就会聚焦在轴上Rfi,并且具有很高的衍射效率和较小的像差。
龙头企业带动型和合作社联动型农业产业化模式同时发挥作用的情况下,从事生产的农户都会尽量提高产量,有组织规划的龙头企业就成为想要提高销量农户的最佳选择,同时相关龙头企业销售出的农产品不仅价格有优势,质量也可以得到保障,也能够为龙头企业带动的农业经济合作社取得更大的市场份额,双方互利,达到共赢的局面。启动龙头企业带动农业经济合作模式具体办法如下:
图5 红外全息透镜递归设计示意图Fig.5 Illustration of recursive design of infrared hologram lens
根据探测光路,记录中间红外全息光学元件时使R1r=R2r=∞,再现时使用球面波,同时使 sinθ1o=sinθ2o=sinθ1c=sinθ2c=0。所以由方程(3)可知最终全息光学元件的成像方程为
由于眼红外图像特定点发出的光线只能照在全息透镜的部分位置,因此必须考虑全息透镜的局部像差,减小特定物点成像的像差。按照文献[11]为优化各部分视场的像差提出的观点,有结构参数的设置关系为
式中:ROL为零视场光线在全息光栅与全息透镜中心的光学总长。
根据全息光学元件的像差理论,令x为全息透镜的侧向坐标,可知球差、慧差、像散和场曲等像差公式分别为
由于小型CCD红外相机的孔径Dap远小于全息透镜的焦长,所以由方程(7)可知同时消像差的条件为
全息图的记录参数可由方程(5)和方程(8)得到,并且方程组的解有非唯一性。即可以具有不同的记录参数。
2.2 眼部照明
在眼跟踪系统中,使用非可见的近红外光对眼睛照明,典型的波长为850 nm。通过测量红外LED光线照射在角膜上产生的闪光与瞳孔的相对位置,追踪凝视方向,是一种非常精确的方法。采用近红外LED作为光源,为了眼睛的安全,还应该保持低辐射亮度。当使用红外光照耀人眼时,在角膜和眼睛的晶状体边缘产生多个反射。称为眼睛的普尔钦图(Purkinje),如图6所示。
图6 眼睛的普尔钦图Fig.6 Purkinje of eye
双普尔钦图像方法利用了来自角膜前面及来自晶状体后表面反射的第1种及第4种图像。这两种图像位于同一平面,具有相似亮度。由两图之间的距离差别,确定眼睛的转动角,这不受眼睛平移的影响,因为平移只使两张图在同一方向及同一幅值上偏移。跟踪精度可达1弧分数量级。眼红外图像探测光路的视场一般要小于±15°,因为眼睛运动角度小于±15°时,第1种普尔钦图像保持准静止。用以作为瞳孔运动的精确追踪参考点。可采用多个红外LED光源,提高照明均匀性,增强参考点精确性。针对这个问题,采用均匀分布于眼部周围的4个近红外LED光源照明眼部,如图2b所示。
3 设计实例分析
红外CCD探测器型号为Hitachi Kp-F120;有效探测面积为8.98 mm ×6.71 mm;像素尺寸为 6.45 μm ×6.45 μm;分辨率1392 ×1040;对角线尺寸为11.2 mm;准直透镜组的光阑孔径为12 mm,距全息光栅的距离Rl=3.6 mm;眼部探测范围为35 mm;眼睛中心距全息透镜的距离Re=42 mm;近红外石英波导板的波导折射率n=1.47;采用氦氖激光器的红光(632.8 nm)记录,主波长为850 nm的近红外LED光源再现。为了保持系统的紧凑性,CCD探测器的聚焦透镜组的光学总长要求小于35 mm;设计的聚焦透镜组光学总长30 nm;有效焦距为22.5 mm。
设计的全息波导红外图像探测光路的视场为±7°。由于全反射临界角为42.87°,因此为了保证波导中的全反射,取波导中的衍射角θdiff=50°。由方程(5)和方程(8)计算,得中间全息图的记录参数为:R1o=120 mm;R1c=41 mm;θ1r=60°;R2o=100 mm;R2c=200 mm;θ2r=-17.2°。
如图5所示,使用中间全息光学元件H1和H2的具有像差的光波波前记录全息光学透镜Hf,形成一个具有低像差,高光学衍射效率的图像。
对于全息光栅Hg的记录,近红外光线的衍射角为θred,c=50°,由式(1)得记录光线的角度 θgreen,r=36.68°。记录光路如图3所示。记录时采用Dupont光致聚合物材料。曝光强度为30 mJ/cm2,UV处理5 min,随后化学处理、烘烤、波长调控,提高衍射效率(约93%)。
采用的近红外石英波导板的厚度T=3 mm。全息透镜的尺寸35 mm,全息光栅的尺寸为11.5 mm。波导板的尺寸为70 mm×20 mm×3 mm,约10.5 g。
通过仿真分析计算可知,全息光栅与全息透镜的组合具有消横向色差的能力,递归设计的全息透镜具有降低像差的能力。全息透镜光学元件不同区域的局部像差曲线图,如图7所示。全息光栅、全息透镜及系统的总横向色散曲线如图8所示。系统的像差小于5 μm,系统的横向色散为零。纵向色散可由红外准直透镜组消除或减小。系统具有高品质的成像性能。
图7 红外全息透镜局部像差曲线Fig.7 Aberration curves of infrared hologram lens
图8 系统红外全息元件的横向色差Fig.8 Systemic transversal chromatic aberration of infrared hologram lens
眼瞳所在平面作为物面,位于全息透镜焦点处。全息光栅将波导中的图像光线耦合输出,最终由准直镜组聚焦成像在CCD感光像面上,形成眼睛的红外图像,如图9所示。
图9 物象对应关系示意图Fig.9 Relations of object and image
由于全息波导红外眼跟踪光学系统的像差很小,每一物点的光线都可以较理想地聚焦在CCD像面上。高分辨的CCD相机探测到高质量缩小倒置的眼红外图像。物面上眼球位置变化时,CCD像面上探测到的眼红外图像瞳孔中心点的位置坐标也会发生精确变化,微处理器依据算法处理探测到的眼红外图像,获得眼睛的凝视方向等信息。根据实际参数,物面任意坐标点O(xo,yo)与像面上成像坐标点I(xI,yI)的线性对应关系式为
4 结束语
设计了一种新的全息波导眼红外图像的探测光学系统,用于眼跟踪器。使用全息光栅和全息透镜组合消横向色差,两步递归法设计的全息透镜有效降低了像差。为了提高眼部照明均匀性,布置了多个近红外LED光源。由于生理上的限制,仅使用头部姿势调整,会引起想要观察的图像与实际观察到图像间的显著不同,因此,在头盔中集成眼跟踪系统很有必要。这一全息波导眼跟踪光学系统探测到的眼红外图像质量高、人机工效好,利于眼跟踪技术应用领域的推广。全息波导元件具有很高的外景光透过率及灵敏的波长选择性,该设计不影响对外景图像的观察,有望与显示系统完全集成在一起共享光路,为提高紧凑性、降低头盔质量及成本提供了思路。
[1]FRANCK L.Eye tracking equipment for helmet mounted displays on tactical aircraft[C]//SPIE,Helmet and Head Mounted Displays,USA,1998,3362:235-242.
[2]HONG Hua.Integration of eye tracking capability into optical see-through head-mounted displays[C]//SPIE,2001,4297:496-503.
[3]PUTILIN A,GUSTOMIASOV I.Application of holographic elements in displays and planar illuminators[C]//SPIE,2007,6337(63370N):1-7.
[4]宫爱玲,巩马理,张书练,等.与波导表面垂直等量发射的线阵全息波导光互联[J].激光技术,2001,25(1):60-63.
[5]DRAKE D,LIDD L,FRIDDY A.Waveguide hologram fingerprint entry device[J].Opt Eng,1996,35(9):2499-2505.
[6]CAMERON A.The application of holographic optical waveguide technology to Q-sight family of helmet mounted displays[C]//SPIE,2009,7326:1-11.
[7]张书强,来跃深,尚雅层,等.瞄准器的眼跟踪算法研究[J].国外电子元器件,2008,12:69-70.
[8]王书强,赵英杰,张书强.Hough算法在眼跟踪瞄准的应用[J].制造业自动化,2009,11(31):73-74.
[9]周海宪,程云芳.全息光学[M].北京:化学工业出版社,2006,60-70.
[10]AMITAI Y,FRIESEM A A.Design of a holographic optical elements by using recursive technique [J].J.Opt.Soc.Am.1998,702-712.
[11]AMITAI Y,REINHURN S,FRIESEM A A.Visor-display design based on planar holographic optics[J].App.Opt.,1995,34:1352-1356.