立体视觉编辑技术研究与设计

韩志宏，余 刚，谢世斌

（成都索贝数码科技股份有限公司 基础技术研究院，四川 成都 610041）

立体视觉编辑技术研究与设计

韩志宏，余 刚，谢世斌

（成都索贝数码科技股份有限公司 基础技术研究院，四川 成都 610041）

首先对立体视觉编辑的关键技术如3D IO硬件、编解码效率优化、渲染引擎以及编辑系统的功能和流程等进行了研究和阐述，并对目前3D编辑设备的支持情况进行了介绍。然后，重点介绍了索贝公司的E10系列非线性编辑系统。最后，对立体视觉编辑的关键技术进行总结。

3D编辑；3D IO硬件；渲染引擎

立体视觉内容基于人眼双目立体视觉特性，一般采用双视点同步视频或图像，利用立体显示设备为观众提供立体内容。视音频及图文等多媒体内容，由于容易创作及接受，在文化产业中处于重要的地位。而基于立体视觉的视音频及图文等多媒体内容（以下简称3D），对受众有越来越强的吸引力。近年来，大量的3D大片、动画上映，收视火爆，也印证了这个趋势。

相比于传统的视觉内容制作，在立体视觉内容制作方面，需要通过控制双目摄像机的同步拍摄来获取立体内容。同时，在立体视觉内容的加工过程中，需要支持对双轨立体视频内容进行同步处理，如调色、特效、字幕等，传统的非线性编辑软件无法支持。因此，立体视觉内容制作需要投入大量成本，建设立体拍摄平台、立体内容后期处理制作平台，这形成了立体视觉内容制作的成本门槛。

立体视觉内容相比于传统的平面视觉内容，由于利用了人眼的双目立体视觉特性，通过人眼的汇聚以及大脑的视觉融合得到内容场景中的深度感。在这个过程中，不合适的立体内容将导致人眼的立体视觉疲劳，并由此影响人体健康。因此立体视觉内容制作有着更高的技术要求。

1 立体视觉编辑技术

立体视觉编辑的关键技术包括3D IO硬件、编解码效率优化、渲染引擎以及编辑系统的流程开发等。

1.1 3D IO硬件

3D IO硬件开发中主要存在的难点在于解决数据量问题，以3D SDI的输入、输出出为例，其基带数据是之前的两倍。3D IO采集卡，必须具备更高的数据带宽，以及更快的DSP处理速度。

索贝公司的MG 5000E板卡在设计中，采用PCI-EXPRESS×8接口技术，高达20 Gbit/s的双向带宽，支持同时播出和采集4路高清信号，由于有充足的传输带宽，视频可支持10 bit量化处理，同时也兼容其他量化精度。板卡支持DDR2-SDRAM内存，更高的内存带宽，更低的芯片价格，满足板卡处理大批量数据的要求。图1是MG5000E的外观图。

图1 MG5000E外观图

1.2 编解码效率优化

针对3D立体视觉的应用流程，本文在设计中采用了3D代理文件，通过存储若干个一般视频和音频信息，形成一个3D文件。它是一个虚拟文件，即它的音频和视频文件是单独存储在磁盘上的。通过3D代理文件索引找到视频和音频文件，从而模拟普通的文件格式。

在开发和设计中，需做好并行调度和同步处理，同时对3D代理的左右眼及音频文件进行解码，以满足3D非编处理的需要。图2为编解码引擎的架构图。

图2 3D文件解码架构图

1.3 渲染引擎

GPU并行图像渲染能力是CPU几十倍以上，采用CPU+GPU视频图像处理技术，可提高图像处理速度的同时解放了CPU，利用CPU提高视频解码、编码的速度和IO操作的能力，设计中需完成CPU和GPU协作工作的图像处理流程[1-2]。

其中，CPU主要负责视频数据的硬盘读取和解码、视频的帧率变换、数据关键帧处理、数据流程控制，对GPU处理后的图像基带数据进行编码并写入硬盘或传递到IO设备、信号质量监控等。GPU主要负责图像的颜色空间转换，高标清、不同幅面之间适配，图像叠加、渲染和特技处理等[3-4]。

本设计中，首先对数据量进行充分的压缩，并统一调度CPU与GPU的任务，从而提高整体性能。该技术的突破是CPU+GPU实现3D非编技术的关键。同时实现非编引擎针对以下场景的优化：

1）核心引擎对2K和4K幅面的支持，扩展高端应用领域；2）支持10 bit和16 bit，可提供更好的图像质量；3）采用DirectX 11构建视觉效果平台，烟雾、新粒子系统等；4）面向高端制作、3D合成、超高清的优化处理流程。

1.4 3D非编流程及功能设计

1）编辑流程

图3为3D编辑的主体流程，包括双目信号实时采集和输出、文件上下载、实时预监、3D full side by side文件生成等，编码格式可选择高清MPEG-2 I帧、高清H.264、高清WMV等。

图3 3D立体视觉编辑流程图

2）左右眼调节实现

3D左右眼调节功能偏重于左右眼独立调节，配合丰富的调节参数，提高3D非编对3D视频的处理能力，满足客户的实际需求。调整界面如图4所示。

图4 3D左右眼调节界面示意图（截图）

3）与第三方软件协同交互机制

如图5所示，通过AAF，EDL等实现与米斯泰克、SMOKE、达芬奇、FCP、Avid、第三方音频工作站的文件交换。

图5 与第三方软件协同示意

4）绚丽的视频图文特效的实现

通过高质量的图形图形算法与GPU实现相结合[5]，以实现绚丽的视频图文特效，如图6所示。

图6 频图文特效（截图）

2 3D非线性编辑软件

目前国内外主流厂商已推出了支持双目3D制作的非线性编辑产品。

索贝公司的E10采用自行开发的MG5000E板卡进行dual-link 3D双目信号实时采集和输出，采用基于ART4引擎的3D立体视觉编辑核心，以及全面更新的引擎，实现分辨率无关以及格式无关的混合编辑技术可以帮助用户灵活使用各种素材进行节目制作，平滑完成高标清兼容与过渡。优秀的高清GPU特技能力，性能领先；丰富的高清实时特技种类，达到包装级效果；并具有强大的音频编辑功能。

E10可以对CG施加通用视频特技、可以设置CG对象沿任意轨迹运动；具有自己独立的入屏、出屏和停留特技，可与视频特技一起组合出非常复杂的特技效果。

E10实现了AFAP（As Fast As Possible）高效率设计，界面设计人性化，用户可自定义界面组合并随时呼叫不同的界面模式来配合不同的编辑工作，并提供了大量的便捷工具，大幅度地帮助用户提高节目制作效率。

3 结束语

本文对立体视觉编辑的关键技术进行了研究和阐述，包括：

1）3D IO硬件。主要包括3D IO硬件MG5000E板卡的结构设计和解决3D数据量问题的基本方法。

2）编解码效率优化方面。同时对3D代理的左右眼及音频文件进行解码，做好并行调度和同步处理，以满足3D非编处理的需要。

3）渲染引擎。采用DirectX11的GPU平台，提高CPU和GPU的调度优化，并实现绚丽的3D效果。

4）双目3D非编。需涵盖立体视觉影视节目编辑全流程的系统功能模块，并兼容2D影视节目编辑内容。

[1]CHONG A，SOURIN A，LEVINSKIK.Grid-based computer ani⁃mation rendering[C]//Proc.4th International Conference on Com⁃puter Graphics and Interactive Techniques in Australasia and Southeast Asia.Kuala Lumpur，Malaysia：[s.n.]，2006：39-47.

[2]MILLER K，PRZYBYLA D，PEGAH M.Soothing the many-head⁃ed beast：improving the rendering process in the world of 3D ani⁃mation[C]//Proc.32nd Annual ACM SIGUCCSConference on Us⁃er Services.New York，USA：[s.n.]，2004：381-384.

[3]李建明，万单领，迟忠先，等.一种基于GPU加速的细粒度并行粒子群算法[J].哈尔滨工业大学学报，2006，38（12）：2162-2166.

[4]PHARR M．GPU精粹2——高性能图形芯片和通用计算编成技巧[M]．龚敏敏，译．北京：清华大学出版社，2007．

[5]昊恩华.图形处理器用于通用计算的技术现状及其挑战[J].软件学报，2004，15（10）：1493-1504．

TP391

B

�� 雯

2014-09-24

【本文献信息】韩志宏，余刚，谢世斌.立体视觉编辑技术研究与设计[J].电视技术，2014，38（22）.