基于平面图像的集成成像方法研究

汪文琪

（武汉大学 印刷与包装系，湖北 武汉 430072）

基于平面图像的集成成像方法研究

汪文琪

（武汉大学 印刷与包装系，湖北 武汉 430072）

集成成像技术是一种能够较为真实地再现三维场景的立体显示技术，研究发现平面图像在经过计算机处理后能够得到其视差图像。本文基于集成成像技术的原理提出一种适用于各类层次分明平面图像的计算机生成集成成像方法，该方法通过对平面图像进行分层和像素平移来获取视差图像，从而得到子图像阵列，并使用连续抽样法和间隔抽样法将子图像阵列转换为单元图像阵列。实验证明，在对视差图像形成中位移量等参数设定合理的情况下，本文提出的方法可取得较好的立体显示效果。

集成成像；平面图像；图像分层；像素平移

近年来，基于计算机的集成成像技术已成为当今集成成像技术的主流发展方向。基于平面图像的集成成像技术主要依托于人的双眼视差，即大脑分析左右眼看到的不同景物从而得到深度信息。2002年侯春萍[1]针对含有心理视觉暗示的平面图提出一种通过引入随机视差异的方法将平面图像立体化。2009年张超等人[2]利用MATLAB建立曲面模型为平面图像的规则区域赋予立体信息，并在多视点自由立体显示器上显示，为已知形状的规则图形的立体图的视差图获取提供了新思路。近年来，研究表明[3]单幅图像在经过计算机处理后能够生成光栅立体图，随后，有学者[4]在连续抽条的基础上提出间隔抽条法。根据集成图像与单方向光栅立体图像成像原理的相似性可知，单幅图通过计算机也能生成子图像阵列，通过抽样和合成制作成单元图像阵列，再利用微透镜光栅或正交光栅等光学器件重建人眼可见的裸视自由立体图像。劳国华和王琼华等人[5, 6]在各自的专利中都使用了连续抽样法；谢俊国[7]也采用连续抽样法生成单元图像阵列。彭爱华[8]在柱透镜单方向立体图间隔抽条的基础上，使用间隔抽样的方式制作集成图像单元图像阵列。关于此方法的立体重现方式，劳国华[5]在2003年提出使用两张柱透镜光栅90°叠加观察立体图的方法[3]；2008年，谢俊国等人[7]提出一种用狭缝光栅和柱镜光栅膜复合的显示屏结构方案，综合了两者各自的优势[7]。

本文基于集成成像技术的原理提出一种适用于各类层次分明平面图像的计算机生成集成成像方法，该方法通过对平面图像进行分层和像素平移来获取视差图像，从而得到子图像阵列，并使用连续抽样法和间隔抽样法将子图像阵列转换为单元图像阵列。

1　集成成像方法及原理

集成成像分为记录和重现两个阶段，根据记录和重现立体三维场景的方式的不同，集成成像技术分为以下四类：全光学集成成像、计算集成成像、计算机生成集成成像和全数字集成成像。本文将采用计算机生成集成成像技术，使用计算机获得子图像阵列，并生成单元图像阵列，再通过正交光栅直观再现立体场景。

集成成像技术是一门基于立体视觉原理和立体显示原理的技术，首先基于双眼视差的原理获取深度信息，再通过立体显示原理再现深度信息。其中，人工立体视觉是一种基于双眼视差的人工立体技术，通过不同通道将左、右视差图分别传输给左、右两眼，通过大脑整合视差图像并在大脑中形成深度信息，使得人眼同时注视两幅图时会出现立体感。在人工立体视觉中，决定像点景深的因素有位移方向和位移量。关于位移量的公式有很多，本文将选取普拉斯经验值公式和侯春萍生理限制公式对位移量的设定进行指导[9]。

1.1 拉斯经验值限制

为了保证立体效果且满足显示效果和视觉舒适度，普拉斯公司提出根据经验视差图像的最佳位移量公式。此公式指出，视差图像的位移量与光栅材料的厚度相关。设选定的光栅厚度为t(mm)，视差图中前景的总位移Δx1(mm)，后景的总位移为Δx2(mm)，则t、Δx1和Δx2满足如普拉斯经验公式(1)和(2)所示的关系：

通过Δx1、Δx2的结果，可进一步求出前景和后景每两幅视差图的位移量Δn1与Δn2：

公式中，m为视差图像的幅数；Δn1和Δn2分别为前景和后景为每两幅视差图之间的位移量，单位为像素，规定前景位移量统一取负值；p为图像分辨率。

1.2 侯春萍生理限制

侯春萍等人结合人眼生理限制和理论限制，推导出了人眼舒适范围内可容忍的最大视差图像位移量公式（5）:

其中D为人眼瞳孔直径，S为观视距离，Ee为瞳间距，η为视锐度，取，Pσ为立体图像的像素间隔，此处m为单方向视差图像幅数，l为立体显示光栅板的光栅线数。

2　基于平面图像的集成成像方法

本文基于集成成像技术的原理提出一种适用于各类层次分明平面图像的计算机生成集成成像方法，该方法通过对平面图像进行分层和像素平移来获取视差图像，从而得到子图像阵列，并使用连续抽样法和间隔抽样法将子图像阵列转换为单元图像阵列。计算机生成集成成像的流程如图1所示。

首先将平面图像中的景物根据人眼视觉习惯分为前、中、后景图层，根据景深的不同进行位移量的设定，在水平方向复制M幅，在水平序列图的基础上将各图层在向垂直方向复制M幅，分别合并所有景物的相应视差图图层可获得子图像M×M幅。再使用软件将子图像阵列进行抽样并合成为集成图像。

图1　计算机生成集成成像流程

2.1 子图像阵列的获取方法

将平面图像转化为具有立体感的图像，首先需要根据线性透视、经验、遮挡、阴影等心理立体视觉因素，将平面图像中的景物分为前、中、后景；分离出前、中、后景后，再对其进行排序，规定中间层位置为0，最前景位置为X，最后景位置为-X，根据景物层次数的不同，X可做适当调整；随后根据各个景物间的层次关系确定各个景物的位置，前景的位置均在0～X之间，后景的位置均在-X～0之间；最后，需模拟微透镜阵列从各个角度对立体场景曝光的效果，即将各个层次景物进行相应位移。将同一视角的景物合成到同一张图像上，生成一张子图像，将所有视角的景物依次均合成完毕后，将得到子图像阵列。

2.2 单元图像阵列的合成方法

对所有子图像进行抽样编码后生成的大幅图像称为单元图像阵列，其单元称为单元图像，单元图像中的每一个像素点均来自不同子图像，单元图像中的像素数与子图像的幅数相同。由三维场景模拟拍摄或平面图像经处理生成个数为M×M的子图像阵列后，将进行单元图像阵列的合成。目前，常用的单元图像阵列合成方式有两种：间隔抽样法和连续抽样法。

2.2.1 连续抽样法

连续抽样法中每幅子图像阵列中的所有像素点都将用于单元图像的合成。每个子图像的每个单元中的所有像素点均被提取出，用于合成单元图像。假设子图像幅数为M×M，将子图像以n×n像素为单位分为众多单元。每一个单元图像的像素将取自所有子图像中的一个相应子图像单元，来自相同位置的子图像单元像素将合成一个M×M的单元图像包含像素点M2×n2个。

图2(a)所示是由2×2幅子图像组的子图像阵列进行续抽样编码的过程。对子图像以2×2像素为单位进行横、纵分割。将2×2幅子图像中抽取的所有像素点如图2(a)的方式排列，合成单元图像阵列。最后更改单元图像阵列的分辨率为l×2×2以确保每个透镜单元下对应一个4×4像素的单元图像。

2.2.2 间隔抽样法

使用间隔抽样法生成集成图像时只需在每幅子图像中抽取一个像素点用于单元图像的合成。假设子图像幅数为M×M，将子图像以M×M像素为单位分为众多单元。每个单元图像的像素取自每个子图像中相同单元的不同位置的像素，故单元图像包含像素M×M个。

图2(b)所示是对由2×2幅子图像组成的子图像阵列进行间隔样编码的过程。

图2　单元图像阵列合成方法示意图

对子图像以2×2像素为单位进行横、纵分割。将2×2幅子图像中抽取的不同位置的像素点进行如图2(b)的方式编码排列，合成单元图像阵列。最后更改单元图像阵列的分辨率为2×l以确保每个透镜单元下对应一个2×2像素的单元图像。

3　实验及分析

3.1 实验参数的设定

根据第1部分的两种指导公式算出来的正负位移量限制如表1所示。

表1　正负位移量指导值

由于位移量的单位为像素，因此需对其进行取整。本实验决定在理论参考值附近取值进行实验，所取实验值如表2所示。

表2　位移量实验值设计

3.2 基于徽章类平面图像的集成成像实验

由于徽章类图像具有层次清晰、色彩明快的优势，本文以徽章类平面图像为例，进行了集成成像实验。实验中使用线数为75.55lpi、厚度为0.45mm的光栅板凸对凸叠加组成正交光栅。子图像阵列为4×4，子图像单元为4×4，以PHOTOSHOP的分层功能为辅助，使用PSDTO3D软件生成子图像阵列，再通过MATLAB使用间隔抽条和连续抽条两种方式合成单元图像阵列。最终使用EPSON STYLUS PHOTO R2880进行集成图像的输出。

3.2.1 基于PSDTO3D的视差图像阵列获取

（1）原始图像首次分层

将原始图片分辨率在PHOTOSHOP中设置为302.2dpi，大小设置为9cm×9cm。由于房屋和环形的遮挡关系，前景选择房屋；中景最清晰，因此选择较小的数字和小圈；后景选择大环，因其面积大，立体效果明显。按照层次顺序使用PHOTOSHOP进行分层，如图3所示。

（2）生成基础序列图像

将（1）中的分层文件导入PSDTP3D软件,来制作位移量为（-12,12）的子图像阵列。设置光栅线数l75.55lpi，镜头数为4，焦点层为2，精度即图片分辨率p为302.2dpi。移位值，移位值为第一幅视差图到最后一幅视差图间的像素间隔。带入位移量12、-12和序列图幅数4得到总位移量，便可生成如图4所示的四副基础序列图像。

图3　平面图像前、中、后景和组合图

图4　基础序列图像

图5　二次分层方法示意图

（3）图像二次分层

在PSDTO3D中制作了基础序列图像后，还需再次将其转换为分层图像，顺时将4幅基础序列图导入PHOTOSHOP中。拖入预先制作好的前、中、后景图层至第一张序列图，首先在垂直方向对齐，再水平调节各图层位置使其与原图完全重合，添加白色底色，删除原序列图，仅保留前、中、后景和底色图层。将图像顺时针旋转90°，如图5。

恢复旋转的步骤，将第二幅视差图拖入窗口，调节位置至图片边角（并非徽章部分）完全重合。调节前、后景图层使其与徽章部分完全重合。将原视差图像删除，将图像顺时针旋转90°。以此方法依次处理剩余两幅视差图。

（4）PSDTO3D生成子图像阵列

将4幅旋转后的视差图像分别在PSDTO3D中进行处理生成各自的纵向视差图像，方法同（1），参数保持不变。处理完成后一共得到16幅子图像。将16幅子图像逆时针旋转90°，根据其视角的不同依次命名为A、B、……O、P，如图6所示。

3.2.2 基于MATLAB的合成

实验中我们分别采用了连续抽样法和间隔抽样法来实现子图像阵列合成单元图像阵列，并借助MATLAB予以实现，实验结果如图7所示。

图6　子图像阵列

图7　子图像合成单元图像结果图

3.3 实验结果及分析

3.3.1 单元图像阵列合成时间评价

由于间隔抽样和连续抽样的集成图像分辨率相差4倍，待处理像素数相差16倍，因此使用MATLAB用来合成集成图像的时间也有差异。整个程序的运行时间测量结果见表3。

表3　MATLAB运行时间统计表

结果表明对像素大小为1071×1071的16幅子图像进行连续抽样的平均耗时为48.75秒，进行间隔抽样的平均耗时为4.22秒，相差十倍以上，故连续抽样法在处理速度上并无优势。

3.3.2 单元图像阵列效果评价

子图像阵列规模为4×4，子图像中一个单元的像素数为4×4，可得使用连续抽样法生成的单元图像包含像素数256，使用间隔抽样法生成的单元图像包含像素数16。如图8，选取徽章中较鲜明的特征位置，同时放大连续抽样和间隔抽样的两幅集成图像至能看清像素点，可发现连续抽样法比间隔抽样法要更加细腻。由于连续抽样法保留了全部立体信息，因此包含的信息量较间隔抽样法更大。

图8　连续抽样法与间隔抽样法局部对比

3.3.3 立体效果评价

本文分别对采用连续抽样法和间隔抽样法制作的集成图像进行了立体效果评价。经过综合评定，连续抽样法并未得到应有立体效果，而使用间隔抽样法制作集成图像且位移量选择(-14,14)时，在舒适度和立体感方面表现均优秀，为最佳位移量，如图9所示，此时能够清晰展现前、中、后景的位置差异。

图9　(-14,14)位移量间隔抽样法集成图像各方向展示图

4　总结

本文基于集成成像技术的原理提出一种适用于各类层次分明平面图像的计算机生成集成成像方法，该方法通过对平面图像进行分层和像素平移来获取视差图像，从而得到子图像阵列，并使用连续抽样法和间隔抽样法将子图像阵列转换为单元图像阵列。本文基于不同指导公式对位移量的参数设定进行了讨论和实验，通过相关实验确定了该实验条件下的最佳位移量。实验证明，该方法可得到高精度子图像阵列和单元图像阵列，能够实现较好的立体效果。

[1] 侯春萍，俞斯乐．一种平面图像立体化的新方法[J]．电子学报，2002，30(12)：1861-1864．

[2] 张超，王琼华，李大海，等．从平面图生成多视点自由立体显示视差图的研究[J]．液晶与显示，2009，(2)：258-261．

[3] 董永贵，沈立，冯冠平，等．一种基于柱透镜光栅的计算机辅助彩色立体图片合成方法[J]．光学技术，1999，(3)．

[4] 陈君，方志良，杨勇等．基于光学/数字图像处理的平面图像立体化技术[J]．光电子·激光，2005，16(12)：1510-1513．

[5] 劳国华．全方位立体图片的制作方法和所采用的透镜光栅组合[P]．中国专利：CN1580868，2005-02-16．

[6] 王琼华，邓欢，赵悟翔．基于稀疏摄像机阵列的集成成像微图像阵列生成方法[P]．中国专利：CN102300113A，2011-12-28．

[7] 谢俊国，周永明，于丙涛．基于微透镜阵列实现全真立体显示技术的研究[J]．中国体视学与图像分析，2008，13(1)：42-46．

[8] 彭爱华，朱化凤．应用于立体印刷的矩阵式透镜光栅的原理[J]．燕山大学学报，2010，(3)：262-265．

[9] 侯春萍，阿陆南，俞斯乐．立体成像系统数学模型和视差控制方法[J]．天津大学学报：自然科学与工程技术版，2005，38(5)：455-460．

Research of Integral Imaging Method Based on 2D Image

WANG Wen-qi
（School of Printing and Packaging，Wuhan University，Wuhan Hubei 430072，China）

The technique of integral imaging is a technique capable of displaying 3D images with continuous parallax in full natural color. With the improvement of computer application technology，studies have shown that parallax images can be generated from 2D images with computer technology. A technique of generating integral images from 2D images with the aid of computer has been presented in this paper. This technique applies to a wide range of 2D images. The methods of the 2D image's layering and pixel-moving are adopted in obtaining the sub-image array and the methods of sampling and encoding and are adopted in obtaining the computer-generated elemental image array. Experiments showed that when parameters，such as the displacement and so on，were reasonably set in the parallax image formation，the stereoscopic display effect can be better realized by the method proposed in this paper.

integral imaging； 2D image； image's layering； pixel-moving

TN141

A

2095－414X(2016)03－0075－06

汪文琪（1993-），女，硕士研究生，研究方向：图像处理.