基于多视点转换的裸眼3D技术研究
2017-04-13潘继水陈雪芳曾秀媚叶李新
潘继水,陈雪芳,曾秀媚,叶李新
(1. 东莞康佳电子有限公司,广东东莞,523685;2.东莞理工学院,广东东莞,523808)
基于多视点转换的裸眼3D技术研究
潘继水1,陈雪芳2,曾秀媚2,叶李新2
(1. 东莞康佳电子有限公司,广东东莞,523685;2.东莞理工学院,广东东莞,523808)
本项目通过选用5适点技术,经过测试,屏幕的分辨率到达理想效果,为3D裸眼技术产业化发展提供了技术依据。
3D显示技术;多视点转换;裸眼3D;FPGA设计
0 引言
多视点转换的裸眼3D技术[1]是指将目前的3D裸眼技术进行技术创新,使显示分辨率、观看视角、画面纵深度和观看舒适度等方面都有良好体验。裸眼3D技术尽管已经给观看者带来观赏3D的便捷性,但是在观赏3D技术时还是会出现一些问题,如:因为3D画面的闪烁感太强,如果过长时间的观看,往往会出现一些不适的症状,如头晕、头胀等。而且,观看者所在的位置必须正对屏幕,双眼也要与屏幕保持水平。而多视点转换的裸眼3D技术将采用有源狭缝光栅裸眼3D超高清液晶屏[2],同时在一台高配计算机上,对视频图像数据进行多视点转换,其次,从片源内容制作端开始,将画面的“深度数据”嵌入在图像数据中,液晶屏光栅施加电压,让液晶屏显示3D图像,测试裸眼3D效果。
1 选择裸眼3D液晶屏
该技术采用有源狭缝光栅(Active Barrier)裸眼3D超高清液晶屏,光栅的形态是一块液晶玻璃,位于显示屏最前面,具有2种状态,可相互切换。不施加电压时,液晶玻璃是一块透明玻璃,应用于2D模式;给液晶玻璃施加电压时,液晶玻璃形成一块狭缝光栅,影响图像光路,配合3D电子驱动而产生3D效果。为了解决裸眼3D模式下画面亮度偏低的问题,LED背光源具有2种工作模式,3D模式为满功率输出,2D模式为部分功率输出,即解决了3D模式下亮度偏低问题,也确保了2D模式下的节能环保。
2 多视点转换算法计算机验证
首先,在一台高配置计算机上,对视频文件的图像数据进行多视点转换,得到另一个视频文件,然后,播放该视频文件,从计算机显卡HDMI输出4K@60Hz信号给电视主板,主板驱动裸眼3D液晶屏显示图像,光栅要施加电压,测试裸眼3D效果。如果效果不满足要求,适当修改多视点转换参数,直到测试3D效果满足要求为止。
3 多视点转换算法FPGA[3]设计
要进行实时多视点转换,画面的深度数据必不可少。为了不在局部上存在深度数据失真,影响3D显示效果,本技术采用的是“杜比3D”格式的3D技术[4],它允许工作室保持其创意的完整性,通过整个链控制内容的意图。它也确保了一致的内容交换的各个阶段的格式和图片质量。格式使用来自生产的可用元数据生成高质量立体荧光观察的深度图。杜比3D最大化可用深度范围和智能维护导演的对象放置在那里,确保正确的观众焦点。播放,杜比3D格式的解码工作用压缩深度图和嵌入式元数据提供准确无眼镜3D显示器的预编码特征的绘制。从片源内容制作端开始,将画面的“深度数据”嵌入在图像数据中,因深度数据的数据量不大,不会增加信号带宽,与现有传输设备兼容。
其次,电路上需要“实时多视点”转换处理,本项目FPGA选用Altera公司生产的5AGXFB3H6F35C6芯片。由双镜头照相机拍摄左右视察图像,其图像对应点上视察大小与场景的深度信息密切相关,通过对相应点视察大小的计算,即根据不同的基元,分为相位,特征,区域匹配的立体匹配运算,可以得到左右视察图像的深度信息,形成该场景深度图像,利用深度图像与其中一幅视差图像,便可形成多幅视差图像,最终实现多视点之间转换。
4 关于电路设计
本技术电路系统由开关电源、电视主板、实时多视点转换电路(FPGA)、LVDS转VByOne电路、帧率转换电路(FRC)、智能背光驱动电路、视障光栅控制电路、液晶屏体等组成。开关电源给“电视主板”和“背光驱动电路”提供电源,经选通控制后主板给其它电路板提供电源。视频信号按顺序“视频源→电视主板→实时多视点转换→LVDS转VByOne电路→帧率转换电路→液晶屏体”传输。
4.1 集成的视频信号处理电路(TV SOC)
本电路支持各种目前常用的视频信号源,如AV、YPbPr、VGA、HDMI、USB及网络视频源等,支持2D信号、3D信号及2D转3D功能。所有视频输入经本级电路后,统一格式输出视频信号给下一级电路,输出信号格式为1920x1080@120Hz(简写FHD@120Hz).
4.2 实时多视点转换电路(FPGA)
本项目FPGA设计支持杜比3D格式信号,杜比3D格式信号,传输信号内嵌有画面深度数据,本方案能提取这些深度数据,3D效果更完美。
4.3 帧率转换电路(FRC)
帧率转换电路是直接驱动液晶屏的电路,液晶屏要求的驱动信号是相对固定的,本项目液晶屏要求3840x2160@120Hz(简写QFHD@120Hz)信号驱动,这样,FRC电路接收前级视频信号,经过帧率转换、图像缩放、有时还包括运动补偿(MEMC),输出QFHD@120Hz信号,驱动液晶屏显示图像。
4.4 LVDS转VByOne电路
随着图像信号分辨率、帧率的不断提高,芯片输出LVDS格式的视频信号所需引脚越来越多,受芯片封装限制,引脚数不可能无限增加。
4.5 视频信号的处理
本方案电路上对视频信号[6]的处理,分为3级:第一级是电视主板,即TV SOC,主芯片采用Mstar新一代Smart TV芯片MSD6A818A;第二级实时多视点转换电路,即FPGA,实现两视点到多视点转换功能,多视点转换是实现裸眼3D的关键技术之一;第三级,采用MST6M40[5]实现FRC即帧率转换功能.
5 软件设计方案
整个软件系统主要由Android基本系统模块、4K2K系统模块组成。本项目软件开发采用MSD6A818A平台,该方案除了实现基本Android4.2系统、KONKA中间件架构、以及实现第三方应用。通过4通道的LVDS输出 FHD@120Hz的2D信号,或FHD@120Hz Frame Sequence 3D信号,给FPGA电路,实现3D模式下实时多视点转换功能,最终在4K屏上实现裸眼3D显示。
6 小结
多视点转换的裸眼3D技术还没有正式投入到我们的生活中。在这个科技大发展的时代背景下,为人们带来了更多便捷与舒适。
[1]郭冠军.裸眼3D视频转换技术研究[D].电子科技大学,2013.
[2]芮明昭.多视点裸眼3D电视技术及其应用系统开发[D].厦门大学,2014.
Research of Naked Eye 3D Technology Based on Multi View Conversion
Pan Jishui1,Chen Xuefang2,Zeng Xiumei2,Ye Lixin2
Dongguan KangJia Electric Corporation, Dongguan Guangdong,523685;2.Dongguan University of Technology, Dongguan Guangdong, 523808)
In this project, 5 suitable point technology is selected. After testing, the resolution of the screen reaches the ideal result, which provides the technical basis for the industrialization development of naked eye 3D technology.
3D Display Technology; Multi-view Conversion; Naked Eye 3D; FPGA Design
广东科技计划项目(2016B090918009,2016A01010101038)。