基于相机实拍的高分辨集成成像三维显示技术的研究

谢俊国，赵 慧

（广东轻工职业技术学院 电子通信工程系，广东 广州510300）

1 引 言

集成成像技术源于100多年前法国物理学家G.Lippmann提出的集成摄影术［1］（Integral Photography），它使用微透镜阵列（lens array）来记录和再现3D 空间场景，具有水平和垂直方向的连续视差，极具发展潜力。

早期的集成摄影的记录过程是通过微透镜单元或针孔成像在背部的银盐胶片经感光获取3D场景信息，感光胶片经显影定影得到2D 图像阵列；再现过程仍采用同样参数的微透镜阵列并将2D 图像阵列胶片放置于微透镜阵列的焦平面上，根据光路可逆原理，微透镜阵列将2D 图像元透射出来的光线再聚集还原，从而在微透镜阵列的正面重建出3D 场景的立体图像。

上述全光学的集成成像技术因受限于早期微透镜阵列制造困难和精度误差，以及光学胶片记录处理的不便，存在的种种缺陷和再现效果一直难于令人满意，使其面世近百年而一直未能商业化推广应用。

近年来随着精密加工技术和计算机处理技术的巨大进步，集成成像三维显示技术迎来了发展的热潮［2－3］，之前的诸多缺陷得到克服，如3D 深度翻转问题，实虚转换［4］问题及采集镜头巨多等都有了对应解决办法［5］，在增大分辨率、景深和观看视场角方面的研究也都有了相应的进展［6］，特别是计算机辅助集成成像记录和计算集成图像重建技术［7］使图像显示和深度重现质量有了明显提高。

在集成成像图像采集记录方面，利用计算机仿真建模和虚拟采集记录无疑具有很高的记录准确度，但集成成像未来发展应用，如实时视频采集转换离不开现场的实物拍摄，而实拍的参数及提高集成成像三维系统的显示分辨率是研究的关键，以下基于数码相机静物实拍为例进行分析，其结论对于动态视频的集成成像三维显示也有借鉴意义。

2 数码相机镜头成像分辨率分析

专业数码相机的镜头大多是由多组透镜组合以修正像差与畸变，镜头成像素质高，但仍可用薄透镜模型进行分析。如图1所示，设物距L0的物点B（物平面）成像在距透镜g0的感光平面（像平面）上汇聚为清晰的像点B’，在感光平面位置不变的情况下，所有偏离物点B 所在物平面的物点如A、C 将汇聚在感光平面的前后，因此，在感光平面上将出现散焦现象，由高斯成像公式及几何关系可计算物点A 或C 在感光平面上因散焦所形成的圆形光斑的直径为：

图1 薄透镜成像与散焦Fig.1 Thin lens imaging principle and defocusing

其中：L 是物点离透镜的距离，f 是透镜焦距，D为镜头光圈直径，将镜头光圈指数

代入整理得：

由式（3）可知当物距L＝L0时物体在感光平面上刚好完全聚焦呈现最清晰的高分辨率的图像，偏离L0的物体都不同程度存在散焦，减小散焦提高前后景分辨率可通过减小L－L0差值，增大F，也即采用小光圈增加景深，这在静物拍摄中不难实现，因此，在集成成像的实拍景物采集中可忽略镜头散焦的影响。

3 集成成像3D 显示的分辨率

根据微透镜阵列到显示屏液晶像素距离g与微透镜焦距f 间的关系，集成成像有3种显示模式——实模式、虚模式和聚焦模式，g＝f 的显示模式称聚焦模式，此种显示模式显示屏上的液晶像素经微透镜折射形成平行出射光线，可实现较大深度范围的3D 景深，但由于显示像点尺寸等同于透镜节距［8］，显示分辨率不高，这里不做过多讨论；当g＞f 的显示模式称实模式，如图2（a）所示，此时所显示的3D 图像浮现于微透镜阵列前方，为一实像；当g＜f 的显示模式称虚模式，如图2（b）所示，此时所显示的3D 图像处于微透镜阵列后方，为一虚像；实、虚显示模式下，当显示屏上的图像液晶像素阵列通过微透镜阵列重构的3D 图像位置与中心深度平面重合时，可重构最清晰的高分辨率图像，以下进行分析。

图2 集成成像的实虚显示模式Fig.2 Real／virtual mode display

3.1 中心深度平面的3D 成像的分辨率

中心深度平面是指显示屏上各像素经微透镜阵列折射成像后形成的系列交点所组成的平面，也即满足高斯成像公式：

式（4）所对应的距微透镜阵列距离L 的各像素的共轭成像平面。

以实像显示模式为例，如图3所示，在共轭成像情况下，A0成像于中心深度平面，液晶显示屏像素被透镜阵列放大，由几何关系可得到中心深度平面上的像素尺寸为：

图3 集成成像的实模式成像光路Fig.3 Real mode optical path

其中：L0为微透镜阵列到中心深度平面的距离，g0为显示屏距微透镜阵列的距离，这里g0＞f，p为液晶显示屏像素尺寸，P 为中心深度平面上的3D 像的像素尺寸，其倒数为显示图像的分辨率R：

其中：r＝1／p 为液晶显示屏像素分辨率。

由式（6）可见，在中心深度平面上成像的3D图像的分辨率正比于液晶屏像素分辨率，与微透镜元的节距无关，这一特点有别于聚焦显示模式。因此，实／虚显示模式不必过于追求减小微透镜阵列的节距，这样可降低光的衍射效应的影响，提高微透镜阵列光学系统的性能。

3.2 中心深度平面3D成像的深度范围

集成成像实／虚显示模式的三维图像，在中心深度平面具有最大的分辨率，保持该最大分辨率的3D 图像有一定的深度范围，仍以图3 为例分析如下：

设A0，A1，A2为不同微透镜元下子图阵列中对应像素尺寸的同一边缘物点（可视为无穷小点），该系列物点经各微透镜元成像在后平面的B点，B 点距中心深度平面ΔZ，为非共轭点，成像过程中点A0、A1、A2在像点B 处形成一个散焦斑，由几何光学理论可推导出，散焦斑的大小为：

因散焦使原放大像素扩大为原尺寸的2 倍时，相邻像素重叠，分辨率下降，因此，保持中心深度图像分辨率不变的极限条件为：

也即

将式（5）（7）代入式（8）可得：

满足上述公式对应的后平面称为后深度平面，考虑到几何关系的对称性，距中心深度平面之前ΔZ距离的平面为前深度平面，因此，保持式（6）所述可分辨的清晰3D 图像的深度范围为：

3D 成像需要一定的显示深度，由式（10）增大L0，减小D 或者牺牲部分显示分辨率R 都可增加显示深度，更好的方法是采用实／虚双模式的集成成像系统［9］同时显示实模式和虚模式3D 图像，将大大提高3D 场景的深度范围和实现高分辨的3D 图像显示。

4 实验验证

根据实／虚显示模式集成成像的原理，设计了相机实拍的集成成像图像采集与显示实验方案：利用数码相机沿导轨水平及纵向平移进行图像采集，基于集成成像原理进行图像处理合成后精密打印输出，再经过纵横柱镜光栅交叠衬垫透明薄膜胶片调整物距进行实验验证。

4.1 相机实拍集成成像采集系统

采集设备如图4所示，数码相机平移图像采集的拍摄参数如表1所示。

图4 相机实拍图像采集系统Fig.4 Cameras acquisition system

为提高相机图像的拍摄质量，相机镜头采用EF50mm 专业定焦镜头，所有参数采用手动模式，快门采用专用遥控线，拍摄平移间隔5 mm，纵横平移50～100次，因此，实拍采集面临大数据量的处理。以制作微透镜节距1 mm，面积50mm×50mm的二维集成成像样板为例，所需拍摄采集图像多达2 500个镜头，利用图像插帧技术可大大减少场景采集数量［10］。

表1 相机拍摄参数Tab.1 Camera parameters

4.2 实／虚模式集成成像实验样品

集成成像的实／虚显示模式要求微透镜阵列和显示屏的间距满足成实像或虚像的高斯成像公式的约束，否则不能在中心深度平面获得最高分辨率的3D 图像。目前市场上现有的柱镜光栅板大多设计为聚焦模式，也即其厚度等于柱镜光栅的焦距，实模式显示可通过调整衬垫透明薄膜胶片达到所需物间距，虚模式显示时需对柱镜光板进行适当磨削加工。

图5为实拍的虚模式显示集成成像样品，实拍镜头数目95，原始图像采集大小640×480像素，采集参数同表1，显示参数见表2，g0＝3.2，打印输出像素理论分辨率为50mm－1，实际测试为20mm－1，代入式（6）得R＝6.4mm－1，由式（10）计算得2ΔZ＝3.1mm。

图5 虚模式显示集成成像样品Fig.5 Virtual mode sample

该实验样品中心深度平面位于酒瓶表面，酒瓶花纹图案范围位于上述深度范围，显示极为清晰细致，背景静物超过上述深度范围，图像虚化，但仍具较强3D 显示效果。

表2 显示参数Tab.2 Display parameters

图6为计算集成实／虚显示模式的单幅人物集成成像实验样品，样品尺寸85mm×145mm。

图中左边美女为实模式显示样品，右边美女为虚模式显示样品，基本参数为：

透镜节距2.52mm，f＝3.25mm，实模式显示光栅板厚度d＝4.2mm，虚模式显示光栅板厚度d＝3.0mm。

图6的集成成像实／虚显示模式成像在中心深度平面，因而具有极高的显示分辨率，由图6中左边圆形放大区可见，处于透镜节距区内的发丝仍清晰可见，大大优于传统基于视差原理的多视点裸眼立体显示的分辨率［11］，也优于聚焦模式的集成成像显示分辨率。

图6 实虚模式集成成像样品Fig.6 Real／virtual display mode samples

5 结 论

通过几何光学的分析，对集成成像实／虚显示模式的分辨率作了分析，进一部推导出在中心深度给定分辨率下的深度范围，通过实拍数据采集进行实验，实验结果验证了该深度范围图像显示效果极佳，实／虚显示模式分辨率明显优于聚焦模式和传统基于视差原理的多视点裸眼立体显示的分辨率，理论与实验结果相符，为集成成像系统的设计和充分发挥集成成像三维显示的自身优势提供了实验依据。

［1］ Lippmann G.La Photograhie integrale［J］.Comptes Rendus Acad.Sci，1908，146：446－451.

［2］ Park J H，Hong K，Lee B.Recent progress in three－dimensional information processing based on integral imaging［J］.Appl.Opt，2009，48（34）：77－94.

［3］ Cho M，Daneshpanah M，Javidi B.Three－dimensional optical sensing and visualization using integral imaging［J］.Proc.IEE，2011，99（4）：556－575.

［4］ 王琼华.3D 显示技术与器件［M］.北京：科学出版社，2011：219－224.Wang Q H，3 D Display Technologies and Devices［M］.Beijing：Science Press，2011：219－224.（in Chinese）

［5］ Deng H，Wang Q H，Li D H.Method of generating orthoscopic elemental image array from sparse camera array［J］.Chinese Optics Letters，2012，10（6）：061102（1－3）.

［6］ Park J H，Jung S，Choi H，et al.Integral imaging with multiple image planes using a uniaxial crystal plate［J］.Opt.Express，2003，11（16）：1862－1875.

［7］ Shin D H，Yoo H.Image quality enhancement in 3Dcomputational integral imaging by use of interpolation methods［J］.Optics Express，2007，15（19）：12039－12049.

［8］ Lee B，Park Jae－Hyeung，Min Sung－Wook.Three－dimensional display and information processing based on integral imaging［C］／／Digital Holography and Three－Dimensional Display，US：Springer，2006：333－378.

［9］ Kim Y，Park J H，Choiet H，et al.Depth－enhanced three－dimensional integral imaging by use of multilayered display devices［J］.Appl.Opt，2006，45（1）：4334－4343.

［10］ Zitnick C L，Jojic N，Kang S B.Consistent segmentation for optical flow estimation［C］／／Proc.IEEE Int.Conf.Computer Vision，US：Springor，2005：1308－1315.

［11］ 郝敦博，李大海，王琼华，等.柱面透镜自由立体显示器的分辨率损失研究［J］.液晶与显示，2008，23（4）：494－498.Hao D B，Li D H，Wang Q H，et al.Resolution loss of autostereoscopic display based on lenticular［J］.Chinese Journal of Liquid Crystals and Display，2008，23（4）：494－498.（in Chinese）