基于多图像融合的裸眼3D视频技术研究

安玲玲 于雷

摘  要： 裸眼3D视频的制作是裸眼3D显示和播放中的最为重要的环节，现有柱状透镜式的裸眼3D视频在制作过程中，必须在同一时刻对多个视点图像进行拍摄，成本较高，并且制作视频流程较复杂。以人眼多视点观察的相关理论为研究基础，提出一种图像匹配算法，由单个视点图像生成多视点图像，并对多视点图像进行融合处理，实现将双目视频转换为可在柱状透镜裸眼3D显示器上播放的3D视频，从而降低3D视频制作的复杂度和成本。测试结果表明，该算法的视频转换效果符合预期指标，具有较好的推广价值。

关键词： 裸眼3D; 双目视频; 多视点图像融合; 图像匹配

中图分类号：TP311          文献标志码：A     文章编号：1006-8228（2018）12-04-04

Abstracts： The production of naked eye 3D video is the most important part of the naked eye 3D display and play. The existing columnar lens type naked eye 3D video must be photographed at the same time， and the cost is high and the video process is more complex. Based on the related theory of eye multiple view observation， an image matching algorithm is proposed， which generates multiple view images from a single point of view image， and converts multiple view image into a 3D video that can be played on a columnar naked eye 3D display， and could reduce the complexity and cost of 3D video production. The test results show that the video conversion effect of the algorithm meets the expected target and has good popularization value.

Key words： naked eye 3D; binocular video; multiple view image fusion; image matching

0 引言

裸眼3D顯示技术无需佩戴如3D眼镜等辅助工具即可观察到3D图像，其中应用最为广泛的是柱状透镜式技术。目前，采用基于双目摄像头来实现3D视频拍摄与制作的方式逐渐成为主流。因此，如何将双目视频高效地、低成本地转为裸眼3D视频就成为研究焦点所在[1]。本文提出一种基于图像匹配算法（Sum of absolute differences，SAD），由单个视点图像生成多视点图像，并对多视点图像进行融合处理，实现双目视频到可播放的3D视频的转换，能够有效降低3D视频制作的复杂度和成本[2]。

1 柱状透镜裸眼3D显示技术原理

柱状透镜技术是当前裸眼3D显示的主流，其原理是将微柱透镜加在普通LCD液晶屏上，并将LCD屏像素划分成R、G、B三种子像素[3]。在图像显示的过程中，受柱状透镜的影响，各个RBG子像素都将产生不同角度的折射。由于人的左右眼之间存在一定的位置差，因此各个像素折射到人眼中的图像就会呈现出立体感。但与此同时，柱状透镜也会放大各子像素的间距，从而对立体显示的效果产生不良影响[4]。

2 基于SAD算法的多视点图像生成

通过扩大显示器可视点的范围，可以改善柱状透镜3D设备的观看角度和观看效果，前提是视差图也要随之大幅增多[5]。基于SAD算法来生成多视点图像，可以实现将双目图像的左右视差图转成多个视差图，能够有效降低视差图的拍摄成本。

2.1 SAD算法

左右眼图像是有一定微小差别的，视差图在完成转换之前，必须先采用图像识别算法将左右眼图像中同一景物的具体位置加以定位，并以此计算视差数据，然后结合实际需求将视差进行调节，最终转换为多视点图像。SAD算法是应用较为广泛的区域匹配算法[6]，该算法的原理如下：找出基准图像的待匹配点，并以此作为中心像素来构建矩形窗口，窗口尺寸为W×W，采用窗口内的像素灰度值表示各像素。通过在配准图像内按照视差范围沿极线方向进行搜索，得到与基准点相同尺寸的矩形窗口，并按照次序与匹配点相比较，直到找出最大的相似点即为最佳匹配，两点坐标之差即为所求视差。

通过SAD算法可以得出图像内某个窗口的具体位置，如果想要实现多点转换，则必须将全图像像素视差加以提取，利用图像扫描获取和记录视差数据，最终获得双目图像的视差分布矩阵。具体流程如图1所示。

2.2 多视点图像生成处理

目前主流的裸眼3D显示器至少是八个视点，但是双目图像仅为一个视点，因此需将双目图像转为多视点图像。观察者所处的位置不同，在屏幕中观察到的图像视点也有所不同，从而导致人眼所见的物体景深存在差别[7]。要生成多视点图像，就必须采用相应算法来得到图像景深信息，再推导出场景内各物体前后分布信息，然后将视野内位置较远的物体进行平移，最终达到变换物体视角的效果。

在双目图像中，两眼视图间存在一定的视差，空间三维场景的具体分布已蕴含其中，通过对双目图像的视差矩阵进行分析提取，理论上可得到整个空间物体的分布情况和距离标准平面的深度，由此计算出在屏幕前不同视点之间的物体遮挡变化差值，即可对各个视点与标准视差的具体关系加以分析，通过一定的映射公式推导出各视点之间的位移偏移大小，最后再对图像进行调节，从而完成多视点合成。

景深信息提取具体算法流程如下。

⑴ 对输入的视差按次序排列，相同景深的物体视差相差无几，变化较小;但不同层次的物体视差就会有很大变化。

⑵ 通过设定变化率阈值来查寻具有较大景深变化率的位置并截断数据。

⑶ 将截断的数据加以保存并取得各视差的位置坐标。

⑷ 对数据处理过程完毕与否加以判断：若尚未处理完成，则返回⑵、⑶步骤;，若已经处理完毕，则输出数据。

为了获得更为逼真的视角，在图像中的深度信息提取完成之后需要对图像内的物体加以遮挡调节。最终的多视点合成图像流程如图2所示。

3 多视点图像融合处理

多视点图像产生后，必须重排像素才可，在柱状透镜式裸眼3D显示设备上播放[8]。通过提高可观看视点数，就能够扩大3D显示设备可观看的角度范围，所以需将各视点图像融合并重排像素。

多视点图像融合算法的原理是，基于光栅的裸眼显示3D视频技术，通过该算法来抽取已生成的多视点双目图像子像素，再依据裸眼3D显示器的光栅像素表排列，最终产生适于光栅显示的裸眼3D立体图像。

3.1 视点图像的融合原理

为使观察者处于不同位置观看3D显示器时均可获得上不同的视点图像，根据柱状透镜的分光特性需要对多视点图像进行融合拼接，最后形成在柱状透镜宽度下视点的全覆盖。柱状透境所包含的八个视点图像各自含有两个左右视差图像，RGB三个像素点包含于各个视差图像之中[9]，多视点图像融合实际上就是将各个视点像素次序重排的过程。视点数量直接影响裸眼3D显示器的分辨率，对八视点裸眼3D图像来说，其显示分辨率将减小十六倍。此外，柱状透镜倾斜还将造成图像错乱，使得像素分布也必须随透镜倾斜的角度来排列[10]。

3.2 多视点像素排列算法

通过对课题研究中具体使用的显示器参数进行建模推导，得出该算法的像素映射如图3所示。

图3中，X是坐标为（x，y）的子像素与透镜边缘的水平距离位移，PX是透镜位于像素行方向的宽度分量大小。假设显示器的视点数用N'表示，视点和子像素（x，y）之间的RGB分量用N表示，显示器的RGB像素宽度为Ph，则有：

综上所述，RGB子像素（x，y）的横纵坐标均为已知，n，α，N，参数的大小取决于所用立体显示器。此RGB子像素所显示图像是由自视点N的RGB分量而来，再通过计算裸眼3D显示装置的相关参数，就能够得出子像素排列分布的具体情况。

4 八视点视频转裸眼3D视频流程

八视点视频的左右图像所包含的十六个视频数据均产生于相同的视点视频，因此具有相等数量的图像帧。要实现八视点视频到裸眼3D视频的转换，必须提前依照视点自左向右的次序将视频数据进行排序，再按顺序对数据进行读取并调节视频分辨率以满足显示器的需求，然后构建十六个与显示器具有相同分辨率的数据块以保存全部图像数据，最后将像素重排即可得到裸眼3D视频。

课题研究中自行制作的视频最终播放在裸眼3D显示器上的显示效果如图4所示。在该角度下观看图像融合转换后的视频，能够较为明显的观察到双目视差的立体图像。

5 结束语

本文针对当前柱状透镜式裸眼3D视频制作的弊端，提出一种图像匹配算法，由单个视点图像生成多视点图像，并对多视点图像进行融合处理。测试结果表明，该算法的视频转换效果符合预期，具有较好的推广价值。下一步将针对以下三点开展研究：①当视角较大时，会出现较为明显的错位平移，可以采取相应补偿措施，减小甚至消除位移偏差;②SAD算进行视差搜索的过程中可以针对图像尺寸灵活设定窗口，并优化扫描步长，从而提升图像匹配的精确程度;③可以优化图像视差，增强控制精确度，从而提高3D视频显示的立体效果。

参考文献（References）：

[1] 孙博.裸眼3D显示技术的现状与发展[J].科技传播，2017.9（21）：58-59

[2] 潘繼水.基于多视点转换的裸眼3D技术研究[J].电子测试，2017.14：134-135

[3] 陈东.高清裸眼3D电视图像信号处理技术研究[D].南昌大学，2017.

[4] 陈思羽.裸眼3D立体视觉设计及应用研究[D].北京工业大学，2016.

[5] 蒋健.多视点裸眼3D视频实时采集处理系统的软件优化[D].东南大学，2016.

[6] 张昊煜.多模式裸眼3D合成显示SOC系统设计[D].浙江大学，2017.

[7] 徐遥令.一种裸眼3D电视系统的设计方案[J].电子产品世界，2016.23（11）：36-38

[8] 刘红.基于障壁和渐变孔径狭缝光栅的裸眼3D显示系统设计[J].电子世界，2018.11：56-57

[9] 李柏霖.夹缝光栅裸眼3D立体显示器的串扰研究[J].电子设计工程，2018.26（5）：44-47

[10] 赵悟翔.弱化莫尔条纹的LED裸眼3D显示[J].电子技术与软件工程，2017.23：83-84