单镜头真3D立体摄像技术

张德忠

(四川信息职业技术学院，四川 广元 628017)

单镜头真3D立体摄像技术

张德忠

(四川信息职业技术学院，四川 广元 628017)

针对集成成像技术记录图像呈现立体深度小、图像摄取技术要求高等缺点，提出一种单镜头真3D立体摄像系统，并从系统结构、原理、核心元件参数设计、显示效果等方面对系统进行分析。研究表明，单镜头真3D立体摄像系统能记录并呈现更深的三维场景，且可在一定范围内进行焦距调整，其结构简单，有利于真3D立体图像技术的推广，具有较高的研究与应用价值。

集成成像；真3D立体；视差；立体深度；视区

集成成像技术是利用微透镜阵列对物空间场景进行记录，并再现立体空间场景的一种无观看视觉疲劳的真3D图像技术，与全息3D技术相比，具有较小的数据量，无需相干光源照明等苛刻要求，成为目前国际上最前沿的3D显示方式之一[1]。但集成成像系统在图像记录时，微透镜阵列将物空间场景分解成多个图像元，由于设备分辨率限制，合成图像的视差为临近图像元记录的有限视差，形成立体图像的深度小；同时，由于记录透镜阵列中各透镜元主轴平行，空间物点通过任意两透镜元记录在两图像元的同一相对方位，在深度反转后显示时形成正视差[2]，显示的立体图像只呈现在屏的后方，这将使人的主观感知深度进一步下降。由于人们的视觉习惯，观看屏后方的立体图像时会不由自主地向屏前移动，这样必然对显示设备分辨率提出更高要求。为确保集成成像系统图像元间互不串扰，要求摄像微透镜阵列中各透镜元光路独立[3]，要在透镜元间加入挡光介质，光栅制作成本高；透镜元光路独立前提下很难实现焦距变化与调整，系统可使用范围小。与普通双目3D技术相比，集成成像系统记录的图像呈现立体深度小，图像摄取的技术要求高、制作成本大、使用范围小，极大程度地限制了集成成像技术的使用与推广。

本文提出一种单镜头真3D立体摄像系统，相对于集成成像系统，可形成正负视差与零视差，能在显示器件前后同时再现立体场景，极大地提高了立体呈现深度，有效降低了显示器分辨率要求。同时透镜元间无需再进行光线隔离，光栅制作成本低，并可在一定范围内进行调焦，使用范围广，立体图像摄取成本低。本文将从系统结构、原理、透镜阵列的参数设计、显示效果几方面对系统进行介绍与分析。文中出现的透镜阵列在水平与垂直方向的透镜个数均假定为奇数，偶数时推理与分析类同，本文不再论述。

1 单镜头真3D立体摄像原理

1.1 单镜头真3D立体摄像系统结构

单镜头真3D立体摄像系统如图1所示，它主要由平面摄像机、覆盖在摄像机CCD上的球面光栅、深度反转模块构成。系统工作时，镜头将场景聚焦成像于CCD前的球面光栅上，球面光栅将镜头孔径光阑平面不同子区域聚焦形成物像的各像点折射分配到不同位置特性的像素感光点上，CCD记录这些图像后送深度反转电路，消除由球面光栅引起的显示场景在空间上的深度反转，所得图像重现并覆盖上相应的球面光栅，在一定视场内，就可裸眼观看真3D立体图像[4]。

图1 单镜头真3D立体摄像系统结构

1.2 摄像球面光栅安装要求与结构参数

球面光栅结构如图2a和2b所示，它是一个由M×N个具有相同光学参数的微形光学透镜构成的微透镜阵列。每一透镜元对应CCD上的I×J个像素点称为一个立体像素元。X×Y像素的CCD上任一像素点P(x,y)在所处像素元内的行列位置可用取整和取余函数表示为

P(m,n,i,j)=P(int(x/I),int(y/J),

mod(x,I),mod(y,J))

(1)

如图2c所示，球面光栅的透镜元第一主点与感光器平面距离Δ、透镜元第二主点(球面顶点)与镜头孔径光阑平面间的距离v、透镜元焦距fs、透镜元水平节距p、CCD像素宽度δ、成像镜头孔径光阑直径D满足式(2)～式(4)描述的结构与安装位置要求

(2)

(3)

(4)

图2 光栅结构及其安装示意图

由式(2)～式(4)分别可得光栅曲率半径r、光栅厚度d、透镜元节距p分别为[5]

(5)

(6)

(7)

1.3 单镜头真3D立体摄像原理

(8)

由于CCD像素点之间间隙小，孔径光阑工作面上的相临子区域可视为无缝连接，CCD上记录的是I×J个连续变化的无视觉跳变现象发生的、不会产生视觉疲劳的真3D图像[8]。

由式(3)可知，镜头孔径光阑在各透镜元下的像(即立体像素元)彼此相邻且无重叠，使各透镜元光路独立，保证了像素元上任一像素点记录的方位信息的唯一性。由于镜头孔径光阑通常为圆形面，通过微透镜在方形像素元上成像为圆形，造成像素元四角上像素点的浪费，降低了CCD像素点利用率。为此，工程中通常将镜头孔径光阑设计成与像素元形状匹配的长方形状。式(4)是对球面光栅水平节距(即透镜元宽度)的一个限定。由于垂直方向分析类同，本文只在水平方向进行分析。

1.4 深度反转模块作用

单镜头真3D立体摄像所得图像在显示时需进行视差图像分离才能再现立体空间。显示球面光栅屏作用是将各视差图像折射到不同方向，送入处于不同空间位置的左右眼中形成真3D立体视觉。

由于透镜成像的空间倒像作用，图像摄取与显示过程中，场景会经镜头透镜与显示屏两次倒像，而包含深度信息的像素元经记录透镜阵列、显示屏、显示球面光栅阵列三次倒像，视差图像形成的立体空间方位在纵深上存在倒置现象，直接通过球面光栅阵列观看会看到与原物空间存在深度反转的赝像[9]。为此加入深度反转模块，它将每一像素元内的各像素点按上下左右位置倒置重排，使用显示球面光栅屏分像后呈现的立体图像与原空间方位一致。数字图像信号中可用数字运算器通过像素映射过程来实现深度反转，其数学变换模型为

P2(x,y)=P(m,n,I-i,J-j)=P(int(x/I),

int(y/J),I-mod(x,I),J-mod(y,J))

(9)

2 显示球面光栅屏与视区

2.1 显示球面光栅参数

在像素宽度为δ0的平面显示器上倒像显示P2(x,y)，并在显示器上覆盖与像素元对应的球面光栅阵列，如图3所示。其中：Δ0为显示球面光栅透镜元第一主点与显示平面距离，正对显示屏的双眼在任意方向总能透过光栅屏看到两幅不同的视差图像，形成全视觉真3D立体图像。

图3 显示球面光栅屏与视区

当光栅处于聚焦模式时Δ0=f0(f0为显示球面光栅焦距)，显示3D图像的像素尺寸与光栅透镜元尺寸p0相同[8]。设人眼刚好能看清p0的最佳视距S0上的视点间距为θ0，此时有

(10)

为保证在最佳视距上的视点透过透镜阵列能从平面显示器上看到一幅完整的视差图像，要求光栅屏的每一透镜主光轴应会聚于最佳视距上的一点。此时有

(11)

可得显示器光栅的曲率半径r0、光栅厚度d0、透镜元节距p0分别为

(12)

(13)

(14)

其中，n0为显示光栅的折射率；ε0为光栅与显示器间的安装间隙。

2.2 立体视区

显示球面光栅确定后，通过光栅正常观看立体图像的空间区域称视区，在视区内的任意视点上都能看到一幅完整视差图像的区域称主视区，所以主视区应是显示器边缘像素元通过光栅屏的公共可视区域。

(15)

(16)

(17)

(18)

在最佳视距上的视点间距为

(19)

由于人眼瞳孔间距不可变，要求θ0≤P，否则应对光栅重新设计。

当人双眼在最佳视距上向左(右)移动出主视区时，人眼就进入左(右)第1边视区，左(右)第1边视区中的观看图像会失去屏上左(右)最外一列图像而使立体图像的总宽度变为(M-1)p0，左(右)第k边视区图像总宽度为(M-k)p0[10]。

3 景深与立体深度

3.1 立体图像的景深

(20)

(21)

(22)

3.2 立体图像的视差

单镜头真3D立体摄像属于单镜立体摄像，它同样是利用镜头光路的对称结构，将立体纵深信息转变为平面视差的变化。镜头孔径光阑水平方向上相距为a的最远两子区域对物空间一点形成的视差为Δx′[12]，其值为

Δx′=K1aΔu/(u-Δu)

(23)

式中：Δu为空间物点与焦平面的相对距离。

(24)

(25)

式中：ΔuN为近点与焦平面的相对距离。

立体图像虽然是以像素元为单位记录在CCD上的，但总是通过透镜元对外呈现的，且每一透镜元对应一像素元，故可知在显示端倒像显示后的近、远点视差为

ΔxN=-ΔxF=-K2(I-1)p=-(I-1)p0

(26)

3.3 显示立体深度

(27)

(28)

同理可得近点ZN显示深度为

(29)

则最大显示深度为

(30)

通常P>(I-1)Iδ0，当取p0=Iδ0时有

(31)

图4 显示深度示意图

3.4 镜头光圈直径D与立体深度关系

立体显示中，立体图像的呈现深度由视差确定，由式(24)、(25)、(30)、(31)可知，单镜头真3D立体摄像所能记录的最大视差与呈现的最大立体深度均与镜头孔径光阑直径D无关，增大像素元内像素点数能有效地提高立体呈现深度。

当镜头孔径光阑直径确定时，由式(23)可知，空间物点记录视差由其相对焦平面位置决定，当物点处在焦平面上时为零视差，当物点处在焦平面近、远侧时为正、负视差。

远点与近点为系统可能清晰记录与呈现立体图像的物空间深度极点，在立体摄像机景深内的所有物点都将呈现清晰的立体图像。由式(20)和式(21)可知，远点与近点位置是由镜头F(F=f/D)决定，因此，可用需清晰呈现立体场景远、近点为依据来确定镜头D值，得

(32)

或

(33)

超出景深的物点将变得模糊不清，但它们的物像更接近或远离观众，对立体场景的渲染起到不可低估的作用。

3.5 与集成成像系统记录深度对比

集成成像3D技术记录图像的最大显示深度在p0=Iδ0时仅为[14]

ΔSmax=(I-2)Δ0

(34)

且立体影像只显示在屏幕的后方，所呈现的立体图像深度有限。对比式(31)可知，本系统的显示立体深度与集成成像3D技术相比有了很大提高。并可通过控制P与(I-1)Iδ0关系来达到所需的显示深度。

当系统对焦于1 m，显示放大倍率K2=10，由式(22)、式(31)、式(34)得图5所示单镜头真3D立体摄像的记录景深、显示立体深度与集成成像显示深度与I的对应关系图。

图5 记录景深、立体深度

4 结论

真3D立体摄像与显示是立体摄像发展的必然趋势，在现代通信、医疗、军事中有着非常重要的作用。单镜头真3D立体摄像系统结构简单，技术要求不高，能呈现较深的三维场景，有利于真3D立体图像技术推广，具有较高的研究与应用价值。

[1] 郑华东，于瀛洁，程维明.三维立体显示技术研究新进展[J].光学技术，2008，34(3)：426-430.

[2] 邓欢，王琼华，李大海，等.平行摄像机阵列移位法获取视差图像的研究[J].光子学报，2009，38(11)：2985-2988.

[3] 全春洪，杨杨，游福成.三维全景图像生成技术[C]//立体图像技术及其应用研讨会论文集.天津：[出版者不详]，2005：23-26.

[4] 张德忠.球面光栅全息立体图像摄取设备：中国，CN 201926863 U[P].2011-08-10.

[5] 周磊，琼华，李大海，等.立体显示用柱面透镜光栅的设计[J].光子学报，2009，38(1)：30-33.

[6] 张德忠，贾正松.复眼立体机器人视觉仿真[J].电视技术，2011，35(20)：35-37.

[7] 谢俊国，周永明，于丙涛. 基于微透镜阵列实现全真立体显示技术的研究[J].中国体视学与图像分析，2008(1)：42-46.

[8] 张德忠，贾正松，王志强.无重影立体电视摄像技术的研究[J].电视技术，2008，32(2)：75-77.

[9] 焦甜甜，王琼华，李大海，等. 基于3DS MAX的集成成像研究[J]. 液晶与显示，2008，23(5)：621-623.

[10] 郝敦博，李大海，王琼华，等.柱面透镜自由主体显示器的分辨率损失研究[J].液晶与显示，2008(8)：494-498.

[11] 王清英.景深公式的推导[J].南阳师范学院学报，2003(3)：24-26.

[12] 贾正松，张德忠.无重影立体图像特点与应用[J].电视技术，2011，35(5)：62-64.

[13] 张德忠，贾正松.无重影立体电视显示技术的研究[J].电视技术，2009，33(9)：35-37.

[14] 王芳，黎达，赵星，等.集成成像三维显示系统立体深度的研究[J]. 中国激光，2011，38(12)：1-5.

Single Lens Really 3D Stereo Camera Technology

ZHANG Dezhong

(SichuanCollegeofInformationTechnology,SichuanGuangyuan628017，China)

Aiming at the integrated recording imaging technology has the shortcomings such as stereoscopic depth is small, image capturing technology requires higher, one kind of single lens really 3D stereo camera system is proposed. The system structure, principle, parameter design, the core element of the display effect of several aspects of system are analyzed. Research shows that, single lens really 3D stereo camera 3D scene system can record and present the deeper, and can make the focal adjustment in a certain range, and has the advantages of simple structure, is conducive to the promotion of stereo image technology really 3D, has high value of research and application.

integrated imaging; true 3D stereo;parallax; stereo depth; viewport

四川省教育厅重点项目(13ZA0329)

TN949.13；TN942

A

10.16280/j.videoe.2015.16.013

2014-12-25

【本文献信息】张德忠.单镜头真3D立体摄像技术[J].电视技术,2015，39(16).

张德忠(1970— )，教授级高工，主要研究方向为立体电视技术。

责任编辑：闫雯雯