2D转3D处理中深度图超平滑处理算法的研究与硬件设计

滕立伟　刘卫东

摘要：该文研究了一种2D转3D处理中深度图超平滑处理算法，本算法在加权平均滤波器的基础上引入像素相关度，对平滑窗内的像素点进行选择，减少了区域外的点对中心像素的影响，有效解决了均值滤波器能引起区域边缘模糊的问题。同时，使用verilog语言实现了此算法，并且通过modelsim仿真软件进行了仿真。

关键词：3D视频处理；平滑滤波；深度图；相关度；边缘检测

中图分类号：TN492 文献标识码：A 文章编号：1009-3044（2013）08-1933-05

3D视频技术已经成为电视发展的主流方向。针对目前3D视频片源稀少的状况，将现有丰富的2D片源转换成3D片源成为主流的解决方案。其中基于深度图像的绘制（DIBR）技术[1]是主流的2D视频转3D视频的方法，该方法利用参考图像及其对应的深度图合成3D图像，重现原始的3D场景。为了改善图像的质量，更好地满足人眼的视觉，需要对生成的深度图进行超平滑处理。常用的中值滤波法或加权平均滤波法在抑制噪声的同时会使得图像的边缘细节被抑制[2]。为了能更多的保留图像的边缘细节，该文采用对深度图平滑处理的方法，引入像素间的相关度，有选择的对深度图的像素进行加权平均，并用硬件实现。

1 深度图超平滑算法

1.1像素相关度

1.2平滑滤波器

2 深度图超平滑模块的硬件设计

原图像为RGB图像，需要对R、G、B信号分别处理。第一、二行寄存器处理R分量，第三、四行寄存器处理G分量，第五、六行寄存器处理B分量。计算相关度时需要对中心像素点上下左右四个方向进行计算，考虑到中心像素与其下面和右面的像素点的相关度是一致的，平滑滤波时可直接使用其下面和右面像素点的相关度值。因此，只需要输入中心像素行和其上面一行数据，计算中心像素点与上面和左面两个像素点的相关度即可。这样有利于简化硬件设计，避免重复计算。为了能同时计算出当前中心像素与其左面像素点和上面像素点的相关度，采用两级寄存器，分别对D4、D8、D12三个位置求相关度。数据经过减法器求差分值，进入abs求绝对值，然后将RGB三个分量的相应方向上差分绝对值相加与设定的阈值进行比较。如果为上下边界比较器1的输出为1，否则输出0；如果为左右边界比较器2输出为1，否则输出0。比较器的输出作为多路选择器的选通信号，两个多路选通器输出分别为a、b。a和b进行按位或运算得到像素相关度值。

2.2控制模块的设计

3 仿真结果

经过仿真，验证结果与设计一致，本设计能够实现对深度图的超平滑滤波处理。

4 结论

2D转3D视频处理中对深度图像进行平滑处理是目前比较常用的抑制噪声的方法。该文研究了一种基于像素相关度的加权平均滤波的深度图超平滑算法。通过对深度图进行边缘检测，得到像素间的相关度，由像素相关度对参与加权平均滤波计算的像素点进行选择，减少了区域外像素点对中心像素点的影响。像素相关度的引入解决了均值滤波引起区域图像边缘模糊的问题，平滑效果显著。本算法用Verilog硬件编程语言实现，并通过仿真对硬件设计进行了验证，验证结果表明硬件设计可以实现对图像的超平滑处理。

参考文献：

[1] 徐萍.基于深度图像绘制的二维转三维视频关键技术研究[D].南京：南京邮电大学，2011.

[2] 王思贤.平滑图像噪声的差值滤波法[J].电子科学学刊.2000.22（3）：411-415.

[3] 冯象初.图像去噪的改进迭代非局部平均滤波方法[J].西安电子科技大学学报，2010，37（4）：722-725.

[4] 张宇.自适应中心加权的改进均值滤波算法[J].清华大学学报，1999，39（9）：76-78.

[5] 周颖.深度图像的获取及其处理[D].西安：西安电子科技大学，2008.

[6] 贺曦.基于深度信息立体图像生成算法的研究[D].北京：北京邮电大学，2010.

[7] 阮秋奇.数字图像处理学[M].北京：电子工业出版社，2001：199-203.

[8] John Ens，Peter Lawrence.An Investigation of Methods for Determining Depth from Focus[J].ieee transcations on pattern analysis and machine intelligence，1993（15）：97-108.

[9] Mark W R.Post-Rendering 3D Image Warping：Visibility，Reconstruction，and Performance for Depth-Image Warping[D]. University of North Carolina at Chapel Hill，1999.

[10] JUNK.2D/3D mixed service in T-DMB system using depth image based rendering[C].Proc of ICACT08 Phoenix Park. 2008.