影视内容的高端特效包装系统论述

■文/郑鹏程 见 良 刘铁华

影视内容的高端特效包装系统论述

■文/郑鹏程 见 良 刘铁华

影视内容的高端特效包装系统研发是面向数字影视行业特效处理的重大需求，研发无损抠像技术研发、遮罩技术研发、多点跟踪技术研发及三维合成技术研发等模块，最终形成符合国内用户操作习惯的全流程特效包装合成系统。该系统从一体化的工作流程理念出发，不仅是一个简单的包装软件，而是建立一个完整的工作站体系，完成影视后期制作从素材采集、在时间线上进行粗编，完成视觉特效制作、精编配乐，直至打包输出的全流程工作。

影视；特效；系统；

该研发成果从底层开始拥有自主知识产权，提升了影视传媒领域的技术装备。研发成果将科技和百姓社会文化生活融合在一起，目的在于让电影和电视的画面更加精彩，以更好地服务百姓文化生活，满足大众更高的精神文化追求，为社会文化事业的可持续发展作出贡献。

1.高端特效包装系统简介

1.1 技术定义

影视节目的包装，是指由数字艺术工作者利用视觉特效合成系统，对原始实拍素材、辅助2D及3D素材，按照节目需求，进行编辑、特效处理及合成，并最终生成我们在影视中所见到的成片效果。

图1表现的是实际拍摄的画面，图2表现的是经过合成技术后呈现的包装效果。

图1 拍摄画面

图2 经过合成技术后呈现的包装效果

1.2 产品现状

目前特效包装产品严重依赖国外，数字艺术人才严重短缺，高端影视后期包装产品一直是国外品牌的天下，其中最为知名的是全球最大的二维、三维设计和工程软件公司——Autodesk公司。这类软件都运行在专业的图形工作站上，它们的功能非常强大，但是价位极昂贵，非一般电视台和影视制作公司能够承受。在产品性能方面也有明显地弊端：一般的后期包装合成系统采用的传统抠像技术只能通过给定的参数利用既定的算法计算出键图像，抠像结果不细致；二维动态跟踪无法兼备实时性和准确性；三维摄像机反求方面还存在诸多弊端，反求出的结果准确性无法得到验证。

1.3 要解决的主要技术和问题

影视特效包装系统的关键技术难点主要集中于特效处理的精细性、算法的实时性及系统各项关键算法有效集成与调用，系统主要包括抠像、校色、合成、跟踪、噪声处理技术点，其中最为关键的是抠像技术和三维特征点跟踪技术。

2.广播级的自适应抠像技术

抠像的特殊任务决定了它是整个特效合成系统的重中之重，处于整个软件处理流程的前端，它从拍摄素材中提取出的有用信息，直接应用到后续各种特效处理以及合成中。

抠像的技术难点主要在于以下几个方面：第一，由于光照以及幕布本身色彩纯度不均匀，导致抠像出的前景目标包含了背景信息。第二，噪声对于抠像过程的干扰无法避免。如数字摄像机在拍摄过程中会引入热噪声，胶片摄像机由于胶片的卤化银感光成像原理会产生颗粒噪声，这些都会影响抠像的质量。第三，对于头发、塑料瓶等细微或半透明的物体需要更加精细的抠像。

2.1 基础色键

我们色度键工作在YUV空间也即亮度/色差空间。在抠像之前我们需要先将原始的RGB图像信号转换为YUV信号，然后根据用户抠像目标颜色的色度及饱和度信息在YUV空间求解出原始图像每个象素的键值。同时，为了让抠像更为精确，我们还利用了抠像目标颜色亮度与原始图像每个象素的亮度进行比较来优化键信号，从而达到了非常精确的抠像处理结果。

图3 原始图像

图4 对原图进行抠像后的键信号

上面两张图中的图3是原始的图像，图4就是我们对原始图像中的蓝色进抠像之后的键信号，可以看出我们的色度键的效果还是很好的，抠像结果的键信号不仅将大面积的蓝色都抠掉，并且最重要的是很多原始图像中不应该抠掉的细节，比如发丝都得到了保留。

2.2 对抠像原始图像进行去噪处理

去噪技术关注与图像边缘的清晰度以保证后续抠像的准确性，而对于图像细节的保护并不十分关心。因此，并不适合于想保留图像边缘的去噪处理。本系统提出了一种新型的去噪算法，该算法可以根据用户输入噪声的具体性质，如大小、增益、横纵比等因素对图像中的噪声有针对性地进行去噪。提出一种基于多参数曲线可调的图像彩色噪声去除算法，可以根据划定的区域内白噪声进行双边滤波来去除图像中的噪声。

图5 带有噪声的原图

图6 经过去噪后的画面

2.3 原始画面溢色的处理

在实际的影片拍摄中，需要抠像的画面往往是在一个专门搭建的摄影棚里面拍摄的，这个摄影棚的背景一般是一大块绿布或者是蓝布，这样便于包装软件进行精确的抠像。这样做虽然有好处，但同时也带来一个问题，那就是绿布或者蓝布的颜色会反射到演员的脸上或者衣服上，使得被抠的图像叠加了新的背景后显得非常假，这是由反射的颜色与叠加的背景不符造成的，这种现象叫做溢色。

我们的抠像算法对溢色有专门的处理。像色度键一样，我们也需要知道抠像目标颜色，这个颜色就作为去除溢色的依据。我们会将原始图像变换YUV空间，之后根据目标颜色（也就是溢色的那个颜色）的色度和饱和度信息对原始信号进行处理，将与溢色颜色相近的颜色从原始信号中去掉，之后将溢色处理过的图像与新的背景进行叠加，从而达到去溢色的目的。

图7 合成后无溢色处理画面

图8 合成后经过溢色处理画面

图7是抠像合成图没有进行溢色处理的效果，可以明显看出图中人物的头发边缘，脸颊以及衣服上都有明显的蓝色反射光，这是由于摄影棚的蓝布导致的。图8则是进行溢色处理之后的效果，可以看出蓝色的溢色已经被去除，整个合成画面显得更为真实。

2.4 对色度键进行补丁(Patch)调优

基于补丁的键信号调优算法。这种算法的思想是：用户觉得初始的色度键不满意，那么用户就通过某种交互方式告诉抠像工具具体是哪一部分颜色他觉得抠的不干净。为此，我们给用户提供了抠像补丁功能，也就是让用户对抠像不满意的地方在图像上面进行直观地选取，在得到选取的颜色信息之后，抠像补丁算法就会在RGB空间依据所选取的颜色进行三维包围盒建模，之后对原始的图像变换到三维包围盒建模之后的空间，然后再这个空间中对原始键信号进行处理，将本来应该抠掉的像素抠得更干净，从而达到了键信号调优的目的。

图9 色键度的直接结果

图10 经过补丁调优后效果

图9是色度键的直接结果，可以看到在人物的周围还是有一些没有抠干净的像素。图10则是经过了补丁调优后的键信号，可以看出人物的周围可以说是一干二净，完全达到了调优的目的。另外我们可以看出虽然我们抠掉了更多的东西，但是对于人物的头发丝等细节部分仍然保留得完好无损，这也说明我们的调优算法可以做到无损失，高质量的调优。

补丁（Patch） 数学模型如下：

3.基于特征点跟踪技术

跟踪是通过对画面中的某个点或某些点的追踪，获取图像中运动元素的运动轨迹。

三维跟踪技术的核心之一是摄像机定标，它也是计算机视觉领域的一个重要课题，即需要根据摄像机拍摄的二维图象提取三维空间信息，建立起物景空间的世界坐标与图像空间的图像坐标的映射关系。

摄像机自定标指的是只利用图像之间的特征点对应关系，计算出摄像机内外参数的过程；三维点云指的是根据图像中特征点二维位置信息和摄像机参数反推出这些点的三维坐标信息。

像机参数标定和三维点云生成算法牵涉的技术很多，如图像特征点生成以及跟踪算法；摄像机模型；摄像机内外参数多视点几何关系；三维点重建；直接线性变换；Levenberg-Marquardt优化方法等等。

自主开发的基于特征点跟踪技术算法将综合上述所有技术精确的标定摄像机参数和三维点云的生成。首先生成图像序列（视频）画面的特征点信息，包括特征点的像素位置和匹配关系、颜色信息；然后根据视点对极几何关系[(Epipolar geometry)，即极线约束：（其中F是秩为2的 3× 3矩阵，称为基础矩阵（Fundamental matrix），m为第一幅图象上的三维点投射点，m＇为第二幅图象上的三同一个维点投射点），将那些不满足极线约束的特征点剔除。选取初始帧对结构与运动（Structure From Motion，SFM）进行初始化，初始帧的选取需要满足两个条件：需要有足够多的特征点匹配，帧之间距离不能太近，即基线（baseline）不能太短。否则求解的结构会有较大误差。基线的大小可以通过其中单应矩阵（Homography）是一个3 * 3的满秩矩阵，表示两个平面之间的映射关系，用所有误差在阈值以内的匹配点，求取两帧（i,k）之间使得b 最小的 H。单应矩阵（Homography）要满足下面的公式：

当从图像序列（视频）中选出需要进行求解的关键帧，这些关键帧的选取既要保证间隔要大，即基线越长，求解越有利，同时要保证有足够多的特征点匹配。一般我们推荐选择的这些关键帧有150个以上的特征点匹配。我们将根据间隔自动从图像序列（视频）中选取这些关键帧。按照一定比例选取关键帧加入求解过程，我们先采用最小二乘法对

4.结束语

本系统是在国外同类产品技术高度的基础上，自主研发的国内首个面向影视内容的影视后期包装系统。它采用抠像修补技术，提供多次调优抠像结果的能力，确保合成画面更加细致逼真；采用实时二维特征点动态跟踪技术，兼具光流矢量准确性和粒子滤波高效性，比国际同类技术速度高出15%左右；采用摄像机轨迹反求技术，精准求解出摄像机参数和三维空间点，实现拍摄画面与虚拟物体的真实结合，求解速度是国际同类技术1倍以上。

本系统的实施转化是国内在该领域的重大创新，产品技术水平达到与国外领先水平相抗衡。

（作者单位：新奥特（北京）视频技术有限公司）

TN948

A

1671-0134（2016）11-076-03

10.19483/j.cnki.11-4653/n.2016.11.032

2014年国家科技支撑计划“面向影视内容的高端特效包装系统研发及应用”，课题编号：2014BAK14B02