基于分层聚类二维视点合成的集成成像系统

邢毓华, 胡晓龙, 杨琛

(西安理工大学自动化与信息工程学院, 陕西 西安 710048)

0 引 言

随着人们生活水平的提高,对显示的要求也越来越高,普通的二维显示已经无法满足人类的需求。集成成像3D 显示技术具有全视差、真彩色、无观看视觉疲劳和结构简单等优点,是目前最有发展前景的裸眼真3D 显示技术之一[1-4]。集成成像系统由采集和显示两部分组成,采集过程得到包含物体三维信息的微单元图像阵列,显示过程再现三维立体图像[1-4]。目前,采集方法主要包括透镜阵列采集[5-9]和相机阵列采集[10-13]。

透镜阵列采集能够一次性同时采集所有单元图像,无需机械移动、分时复用等,但视角小和分辨率低的问题限制了透镜阵列采集法的发展。为解决此问题,2003 年,Jang 等[5]利用移动阵列小透镜技术实现了集成成像的观看分辨率和视角的同时提高。2015 年,Zhang 等[6]使用光纤耦合单中心透镜阵列实现了广角集成成像,进一步提高了可视角度,同年,Yang 等[7]将超分辨率技术应用于集成成像系统中,提高了集成成像显示分辨率。2016 年,Kwon 等[8]提出双视频通道和微透镜阵列组成空间复用结构的集成成像系统,与传统的集成成像系统相比,该方法大幅度提高了重建像的景深。2019 年Chen 等[9]提出利用曲面拾取方法建立集成成像系统的数学模型,提高了集成成像的观看角度和角度分辨率,并消除了因曲面拾取过程形成的畸变。这些方法在一定程度上解决了透镜采集视角小、分辨率差的问题,但透镜阵列采集始终受限于视点采样和空间采样之间的相互权衡。

相机阵列采集可以提高采集分辨率、扩大观看视角。2015 年,Okaichi 等[10]提出一种三维场景采集系统,通过增加相机数量提升了观看视角。2018 年,Xing 等[11]利用8×8 相机阵列搭建了集成成像采集系统,并通过重映射的方法得到微单元图像阵列,通过GPU 加速实现高质量渲染过程。随着显示规模的提高,相机阵列的规模也在扩大,造成成本的增加。为了减少采集成本,并保证观看视角和视点采集的质量,2014 年,LYU 等[12]利用稀疏相机阵列采集三维光场,并利用立体视觉与三维重构得到拍摄到的图像序列中所有像素点的空间位置,通过映射得到立体元图像阵列。2019 年,Wang 等[13]通过采集稀疏视点图像,然后映射成低分辨率微单元图像阵列,利用超分辨率的方法得到了高分辨率的微单元图像阵列,实现了高质量显示过程。

以上对集成成像采集系统的研究大都基于透镜阵列、相机阵列或者单个相机结合平移台模拟相机阵列。透镜阵列采集系统装置简单,只需一次拍摄就可以实现采集过程,但是采集分辨差、视角小;相机阵列采集系统可以实现高分辨率、大视角的采集过程,但是随着视点的增加采集成本也在增加;单个相机结合平移台模拟相机阵列采集方法保证了大视角、高分辨的采集过程,但是采集效率较低。虚拟视点合成方法虽然可以提高集成成像信息采集过程的效率,但是由于视点合成过程中的遮挡问题会使视点合成的质量下降,导致集成成像显示过程分辨率降低。为解决这些问题,本文将二维视点合成方法和分层聚类去遮挡技术相结合应用到集成成像系统中,既实现了高分辨率大视角的采集过程,又解决了集成成像采集成本高、采集时间长的问题。

1 基本原理

集成成像系统主要由记录和显示两部分组成,原理如Fig.1 所示,记录过程利用透镜阵列或者相机阵列,通过一次或多次的采集过程得到包含物体所有三维信息的微单元图像阵列。显示过程中将微单元图像阵列通过显示面板进行显示,通过与记录参数相同的透镜阵列观察显示面板,基于光路可逆原理,就可以再现三维立体图像。

电动平移台搭载单个相机集成成像记录系统,可以实现大视角、高分辨率三维信息采集过程,以及大规模立体显示。该采集系统在采集较多视点时效率较低,使用二维视点合成的方法可以在保证图像质量的同时提高信息采集的效率。根据视点合成的原理,可以将集成成像系统设计成Fig.2 的形式。

图1 集成成像原理示意图Fig.1 Schematic diagram of integral imaging principle

图2 基于视点合成的集成成像系统流程图Fig.2 Flow chart of integral imaging based on viewpoint synthesis

二维虚拟视点合成的过程如Fig.3(a)所示,以2×2 稀疏视点图像阵列生成3×3 多视点图像阵列为例。其中I 为实际采集图像,II 和III 由I 经水平方向和垂直方向视点合成得到,IV 由II 和III 视点合成得到。Fig.3(b)是水平方向视点合成流程图,以左右视点为参考图像,经3D 变换[14]将二维图像点投影到三维空间点,然后平移、旋转,再重投影到新的二维图像点,得到两个初始虚拟视点图像,可分别表示为

式中α ∈(0,1), 表示虚拟视点到右视点或左视点的距离与左、右视点间距的比值。I0、I1和d0、d1分别为左右参考视图和视差图,像素大小为为初始虚拟视点图像。i= 0, 1, ··· ,C-1,j=0, 1, ··· ,R-1 分别为像素点和视差值在参考视图和视差图中的位置坐标。通过控制α 的值可以实现两视点之间任意位置的视点合成。

图3 二维视点合成原理图。 (a)横向和纵向视点合成;(b)横向视点合成流程图Fig.3 Principle diagram of 2D viewpoint synthesis.(a)Horizontal and vertical viewpoint synthesis;(b)Flow chart of horizontal viewpoint synthesis

生成的视点图像由于前景的遮挡会造成重影失真,结合右参考相机合成同样位置的虚拟视点,然后将两个视点融合以减少重影失真的情况。利用线性融合的方式得It× Dt,融合过程可表示为

由于区域遮挡和图像采样率不足的问题,融合后的图像依然存在空洞,使用层次聚类去遮挡填充技术[15]对融合后的深度图进行处理,并协助彩色图像的修复。通过探索每个孔周围相邻像素的深度分布,确定周围深度平面的数量。对于每个孔洞,根据其深度值将分层聚类应用于其三阶相邻像素,每个像素以集群的形式开始。每个像素均以聚类开始,如果两个集群A、B 满足

则进行合并。这意味着最接近的集群首先合并,每个集群都被视为一个深度平面,当其余集群之间的所有成对距离都超过τd时,融合过程将停止。剩余最远的像素C(H)i将有助于恢复孔洞Hi,包含空洞的像素x 的填充过程可表示为

式中y ∈N3(x)∩C(Hi), N3表示三阶邻域,median 是取像素的中值。

得到多视点图像阵列后,利用像素映射得到微单元图像阵列,用于集成成像显示过程。像素映射关系[16,17]可以表示为

式中f1、 f2是映射前、后的图片, x、y 表示f1中的像素位置。% 是取余,是向下取整, x =(0,1,2,··· ,mi-1), y = (0,1,2,··· ,nj-1), 映射后图片由i× j 个映射单元图片组成, 每个映射单元图片的像素是m×n。Fig.4 为映射的过程,映射前的图像由2×2 个图像组成,每个图像的像素为3×3,映射后的图像由3×3 个映射单元组成,每个映射单元的像素是2×2。

图4 像素映射关系示意图Fig.4 Schematic diagram of pixel mapping relationship

2 实验结果

为了验证基于分层聚类的二维视点合成技术,可以在保证合成视点质量的同时提高视点采集效率,使用采集平台对三维目标进行成像,将所得图像作为实际采集结果,抽取其中一部分进行视点合成实验。Fig.5(a)为实验场景的示意图。三维场景由乐高玩具组成,乐高玩具与镜头间距离z= 45 cm,相机焦距为50 mm,分辨率为5184 pixel×3456 pixel。乐高玩具的长、宽、高大小分别约为4、5、15 cm。Fig.5(b)是相机移动过程的示意图,视点采集过程中将相机安装在电动平移台上,通过电脑编程控制电动平移台的移动和停止。电脑控制平移台的水平轴和垂直轴等间隔地移动,每次移动的距离为5 mm,以获得相机在不同位置下拍摄到的图像信息。在同一水平方向拍摄完成后回到初始位置,然后向垂直方向移动一定距离,再次进行水平方向拍摄。在相机的移动过程中,使用遥控器控制相机对三维目标进行成像。

图5 三维场景视点采集。(a)实验场景示意图;(b)视点采集路径Fig.5 3D scene viewpoint collection.(a)Schematic diagram of the experimental scene;(b)Viewpoint collection path

利用采集平台得到9×9 多视点图像阵列,记录得到的图像如Fig.6(a)所示。在视点合成实验过程中,抽取奇数行和列作为参考图像,在此基础上合成偶数行和列,生成一组9×9 的图像阵列。Fig.6(b)为参考图像,其余视点采用视点合成方法得到(α=0.5)。进行两组对比实验,分别利用文献[18]、[19]的方法和所提出方法进行二维视点合成,用客观评价标准峰值信噪比(PSNR)和图像结构相似度指标(SSIM)对部分合成图像与原图像进行计算,来衡量合成视点图像的质量,进一步证明基于分层聚类的二维视点合成技术的可靠性。计算结果如Table 1 所示,其给出了部分合成虚拟视点的PSNR 和SSIM 值。结果表明,文献[18]方法的PSNR、SSIM 值平均为30.27 dB、0.90。文献[19]方法的PSNR、SSIM 值平均为31.08 dB、0.92。所提出方法的PSNR、SSIM 值平均为34.08 dB、0.94。由计算结果可知,所提出方法的视点合成质量有一定的提高;但由Table 1 的标准差可看出,所提出方法相比于另外两种方法不够稳定。

图6 稀疏视点图像阵列。 (a)9×9;(b)5×5Fig.6 Sparse viewpoint image array.(a)9×9;(b)5×5

表1 部分虚拟视点合成图像的PSNR(dB)和SSIMTable 1 PSNR(dB)and SSIM of partial virtual viewpoint composite image

将合成得到的虚拟视点和参考视点进行拼接,按照Fig.4 的方法映射得到微单元图像阵列,如Fig.7所示。由(7)式的映射关系可知,采集视点的数量等于每个微单元图像的像素数。每个微单元图像包含的像素数决定了显示的质量,因此增加采集视点的数量可以提升显示的分辨率。若要提高微单元像素数,则需要增加视点采集的数量,所以随着显示分辨率的提高,采集视点数量也会大幅度增加。利用视点合成,可以通过控制α 的值实现两视点之间任意位置的视点合成。例如,利用5×5 多视点图像阵列,通过设置不同的α 值(α = 0.25, 0.5, 075),可以得到17×17 多视点图像阵列,所以该方法可以提高集成成像视点的采集效率。

为验证合成的微单元图像的可用性,用计算集成成像算法[20]实现对三维场景的重建,得到如Fig.8所示的具有不同深度值的图像序列。Fig.8(a)、(b)分别是在47 cm、49 cm 处的重建结果。可以看出,随着重建距离的改变,物体聚焦在不同的位置,可以实现集成成像计算重建过程。

图7 微单元图像阵列Fig.7 Elemental image array

图8 在(a)47 cm 和(b)49 cm 处的集成成像重建结果Fig.8 Integral imaging reconstruction results at(a)47 cm and(b)49 cm

3 结 论

将分层聚类的二维视点合成技术应用在集成成像系统中。采用编程控制采集平台的方式获取稀疏视点图像阵列;利用部分图像序列,合成得到多视点图像序列,提高了视点采集效率,减少了集成成像视点采集过程中的拍摄成本和工作量。实验结果表明,该系统以及分层聚类二维视点合成技术可以在保证合成视点质量的同时,有效解决视点采集效率较低的问题,并且视点数量可以自由地控制,系统更加灵活,对集成成像的实际应用有一定的理论指导作用。