三维视频信号的增强处理

崔 磊，杨兴全

1.哈尔滨人民防空办公室；2.东北农业大学成栋学院

三维视频信号的增强处理

崔 磊1，杨兴全2

1.哈尔滨人民防空办公室；2.东北农业大学成栋学院

视频是现阶段人们生活当中不可缺少的一部分，视频将原先由文字表达的内容转变为了由平面图像生动的表达出来的一种技术，给人们带来了真实的视觉体验，而随着视频技术的不断发展，目前处于视频处理领域的热点是三维视频技术的发展，本文就将针对三维视频进行相应的分析，并对其信号的增强处理进行探讨。

三维视频；信号；增强处理

1．国内外研究情况

1.1 三维视频视觉质量

三维视频的视觉质量主要是为观看双目图像的时候视觉系统对所呈现的立体影像质量的一种综合性的评价。这种评价分为两种情况，一种是三维视频的视觉质量与所显示的双目图像是有直接的关系的，而图像中的视觉失真就会直接的影像到三维视频的视觉质量。而另一方面三维视频不仅包括传统的按照纹理清晰度和真实度来决定图像质量，还包括以视觉三维场景的自然度的深度质量。

在三维视频系统当中，三维的场景其光信息会经过很多个环节，最后才能够进入人们的眼中，而这些环节按照物理信号到图像信号的转换，一般可以归纳为三个类别，分别是图像的采集、图像的处理以及图像显示三个类别，这些环节都有可能损坏到理想的双目视觉信号。图像的采集一般是通过传感器将光信号转换为图像信号的，而图像处理则是对图像信号进行相应的操作，比如说对表达形式的转换就是一种操作，而图像的显示则是利用了一部分光学器件以及相应的光路设计将图像的信号再重新转换为了光信号。

由于图像采集中，不同的视点相机存在镜头光学畸变以及成像板光电特性的差异，因此不同的视点图像之间就有可能会存在几何变形和色彩上的差异。而且多个摄像机之间如果协调控制不准确的话还有可能会引起双目信号的时间出现异步的情况，此外，对于深度测距来说，一般情况也会出现一定的错误，也会影响到真实场景的三维空间关系。如果在图像采集的过程当中出现了信号失真的情况，可以通过采集后处理进行相应的校正。

传统意义上的三维视屏图像处理主要包括数据的压缩、深度生成、数据的传送以及视点的合成这四个主要的部分，而在深度生成这一环节中有可能会出现错误的深度值，尤其是在物体边缘这些相对较为特殊的区域中，对视频进行压缩会丢失之前的数据，从而出现图像模糊等图像失真的情况出现，而在之后的传输过程当中，数据的丢失会造成重建图像中一部分区域的信息缺失，由于视点合成是采用了像素映射的原理，所以相机视点重建纹理图像中的失真会相应的传递到合成视点图像当中。

1.2 三维视频视觉质量研究

与传统的二维视频视觉质量研究相比，三维视频视觉质量的研究有很多和二维视频视觉质量研究相似的地方，三维视频视觉质量研究有两个主要的分支，分别是主管质量评价和客观的质量评价。主管质量评价主要是利用所谓的观看者作为工具，主要的工作就是收集分析这些观看者对三维视频的综合质量评价以及受控的综合质量进行相应的判定，从而产生主观的实验数据。主观质量评价主要是以严格受控的实验流程来消除个体之间差异以及主观测量的波动性，因此重复的代价是比较高的，所以说主要用于提供客观质量评价研究所需要的主观样本数据。而客观质量研究一般是以定性的视觉特征作为主要的基础，从而建立视觉质量评价计算的方法，从而实现自动分析图像失真轻度、估算视觉质量的目的。这种评价也在一定程度上降低了重复的成本，因此，主观质量评价为客观质量评价提供了相应的理论依据和验证的数据，而客观质量评价则在一定程度上体现了主观质量评价的实际应用价值。

此外，为了更好的设计主观实验方法和客观的评价计算模型，主观质量评价和客观质量评价都要以定性或者是定量的视觉特性作为理论指导，尤其是对乐观质量评价，客观质量评价一般都是以若干个非常重要的视觉特性模型来作为整个评价方法核心的，所以说建立一个视觉特性相对应的计算模型是视觉特性模型领域的一项基础性的研究。

2．视频信号的增强处理

2.1 深度生成

深度生成是目前三维视频系统当中最不熟悉的环节之一，因为深度数据的准确性和视点合成的图像质量是有着非常密切的关系的，可是从目前的情况来看，还是很难自动有效的获取准确的深度数据，现阶段对于深度估计的主要方法就是立体匹配，但是立体匹配却存在一个不大不小的理论缺陷，那就是对于纹理相对较为平坦的区域，这时的图像特征是比较弱的，而且立体匹配也很难通过分析图像特征来找准确的匹配点，而随后出现的全局优化的方法就以深度的空间相关性为假设，有效的利用强特征区域视差信息对相邻弱特征区域的视差信息进行了修正，有效的缓解了立体匹配存在的理论缺陷。随着光程相机等一些物理测距的方式被逐渐的引入到深度生成当中之后，物理测距不再依赖场景的纹理内容，因此就可以很好的弥补立体匹配在理论上存在的不足，但是物理测距也是有一些问题存在的，比如说，由于物理测距所采集的深度图像的空间分辨率一般情况下是小于问题图像的空间分辨率的，而且两者的视点也是不同的，因此一定要建立一个合适的深度图像上采样方法。由于受到环境的影响，所采集的深度图像上一般都会有很大的噪声存在，因此需要采取一定的方法来提升采集深度数据的稳定性。

2.2 视点合成

视点合成也会出现不同类型的视觉失真，比如说边缘的破损，物体的变形等等，因此抑制不同类型的合成失真将会直接的提高合成视点的图像质量，现阶段已经提出的方法有：一是提高交叉验证的方法来确保数据的可靠性来排除可疑投影点的；二是对深度图像进行时域滤波，从而达到降低合成视点中时域噪声的作用。除了能够提高合成视点图像质量之外，视点合成还能够用于调节双目视差以及场景深度感的作用。

[1]A,Kubota.A.Smolic.M.Magnor,M.Tanimoto,T.Chen and C Zhang,"Multiview imaging and 3DTV,”IEEE SignalProcessing Magazine,vol.24,no,6、pp.10-21,Nov,2007.

[2]L.Onural."Signal processing and 3DTV,""IEEE Signal Processing Magazine,vol.27,no.5,pp.144-142.Sept.2010.