一种基于WMF-ACA的深度图像修复算法

沈慧中 张倩 王斌 孙艺晋 吴玉静 王晓慧

摘  要： 針对RGBD相机由于硬件条件的限制，所获取的深度图像往往存在空洞与噪声的问题，提出一种彩色图像引导的深度图像空洞填补方法.对深度图像边缘区域采用基于局部直方图的加权模式滤波器（WMF）进行处理，在有效保留深度图边缘与细节的前提下，消除图像噪声.对深度图像非边缘区域采用一种异步元胞自动机（ACA）模型算法，根据邻域和迭代规则对深度图空洞进行填补，快速、准确地完成任务.在立体匹配数据集Middlebury上测试所提算法实现性能，实验结果表明：该算法的结构相似性（SSIM）与峰值信噪比（PSNR）更高，能够准确地填补深度图空洞，同时保持深度图边缘清晰.

关键词： 深度图; 空洞填补; 加权模式滤波器（WMF）; 异步元胞自动机（ACA）

Abstract： To solve the problem of holes and noise in the depth image due to the limitation of RGBD camera hardware， a color image-guided method for filling holes in depth image was proposed. Firstly， for the boundary area of the depth image， a weighted mode filter（WMF） based on local histogram was used for processing which effectively preserved the boundary and details and eliminated noise of the depth image. Secondly， an asynchronous cellular automaton （ACA） model algorithm was adopted for the non-boundary area of the depth image.The depth map holes were filled by using the neighborhood and iteration rules and the mission was completed fleetly and accurately. Finally， the performance of the proposed algorithm was tested on Middlebury. Experimental results showed that the proposed algorithm in this paper could accurately fill the holes in the depth map with a clear boundary.

Key words： depth image; hole filling; weighted mode filter（WMF）; asynchronous cellular automaton（ACA）

0  引言

深度图像是一种表示场景深度信息的特殊图像.随着消费级深度相机的出现，深度图像被广泛应用于三维重建、人脸识别、语义分割等领域.深度相机虽然具有价格低廉、可实时获取深度图像的优点，但是受制于硬件条件以及环境的变化，所获取的深度图像往往存在深度信息丢失的问题，影响深度图的后续应用.

目前针对深度图像空洞填补以及质量优化方面的工作主要分为两类：第一类是只依赖深度图像内部信息进行深度修复;第二类是利用与深度图像对应的彩色图引导深度图的修补.在第一类方法中，VIJAYANAGAR等[1]利用高斯滤波估计缺失的深度值，然而此方法仅考虑了空洞周围像素点的深度信息，未考虑物体边缘像素的差异性，存在边缘模糊问题.CAMPLANI等[2]利用双边滤波实现空洞填补，通过像素点的空间位置以及自身像素值，计算滤波权值的大小.虽然可有效保留边缘信息，但当空洞较大时，置信度较低.TELEA[3]利用快速行进法（FMM）计算出空洞邻域像素点的方向因子，通过加权平均估算空洞深度值，但该方法容易在修复边界和等照度线上产生模糊现象.在第二类方法中，LE等[4]提出了联合双边滤波方法，利用RGB图像引导深度图像修补，但当物体与背景颜色较近时，该方法易产生误差.WANG等[5]利用视频序列估计背景深度来恢复深度图，该方法计算量大，且无法应用于单个深度图.WANG等[6]利用马尔可夫随机场模型将彩色图的颜色、平滑先验信息等与原始深度图融合，达到恢复深度图的目的，然而深度图与彩色图边缘的不一致会导致边缘模糊问题.基于上述研究，本文作者提出了一种使用彩色图引导深度图空洞填补的方法，采用加权模式滤波器（WMF）与异步元胞自动机（ACA），分别对深度图像边缘与非边缘区域进行空洞修复，最终得到结构完整、边缘清晰的深度图.

1  算法实现

1.1 边缘区域深度图的修复

深度值往往在物体内部连续变化，而在边缘处呈现出明显不连续的特征，针对边界区域深度值的恢复，采用基于局部直方图的WMF进行处理.在图像领域，直方图表示数字图像中像素强度的分布，统计每一个强度值所具有的像素个数，在局部直方图的基础上定义WMF.通过指定窗口大小内的邻域像素q，计算像素点p具有深度值d的局部直方图。

1.2 非边缘区域深度图的修复

元胞自动机是由冯·诺伊曼为模拟生命系统自我复制功能所提出的一个时间、空间都离散的动力学系统.元胞空间中的每一个元胞都取有限个状态，并且每个元胞的个体演变仅与其当前状态以及其邻域有关，元胞之间通过相同的作用规则相互作用构成动态系统演化.深度值通常存在集群性，尤其在非边缘区域颜色相似的像素往往具有相似的深度值，采用元胞自动机模型的彩色图来引导深度图进行空洞填补，该方法不但规则简单，易于实现，并且具有较快的运行速度，能较为准确地完成深度图的修复.

元胞自动机由元胞、元胞空間和邻居组成.元胞是元胞自动机的基本组成部分，离散地分布在欧几里得空间;元胞空间是欧几里得空间上的网格点集合，可分为一维、二维和三维;邻居是单个元胞进行状态更新时需要搜索的空间域.

由于图像采用矩阵的方式进行存储，每一个数字代表着对应的像素，所以在本文中将每个数字看作单个元胞，本算法采用Moore类型邻域规则对空间相邻的元胞进行计算比较.设元胞X的状态为S，当X为非深度缺失像素时，在t+1时刻X的状态=St，像素原始深度值保持不变;当X为深度缺失像素时，则在t+1时刻计算彩色图中X像素点与其周围8个邻居像素点颜色特征向量的欧几里得距离：

2  实验结果

本算法使用Matlab R2018b软件，计算机配置为i7处理器：主频为2.60 GHz，8内核，8 GB内存，Windows 10系统.为了验证算法的有效性，从Middlebury公开数据集选取多幅深度图及彩色图进行实验，并将实验结果与文献[7]中基于卷积神经网络的深度图修复（DeCNN）方法，及文献[8]中基于改进的最小二乘法的深度图修复（EWLS）方法进行比较，深度图修复效果如图2所示.

从实验结果可以看出，DeCNN由于该网络结构相对简单，所获得的特征较少，EWLS算法只使用了彩色图像的单尺度引导，两种方法都将造成所恢复的深度图像出现边缘模糊现象;而本算法不仅能够较好地填充空洞，还能保持边缘细节以及结构的完整，在图像平滑性和质量方面都有提升.

为了客观评价图像修复质量，引入结构相似性（SSIM）和峰值信噪比（PSNR）对各算法的执行效果进行客观评价.SSIM衡量两幅图像的相似度，PSNR表示图像抗噪性能，两个指标的值越大越好.结果如表1～2所示.由表1～2可见，相较于DeCNN和EWLS算法，本算法对图像的修复效果更好.

3  结 论

本文作者针对深度图像存在深度缺失与噪声的问题，用彩色图引导深度图，提出了一种新的图像修复方法.利用算法复杂度较低的ACA算法处理深度值连续变化的非边缘区域，并使用WMF算法解决由噪声引起的边缘模糊问题，对于不同区域采用不同的修复算法，在提升深度图修复质量的同时，降低了算法复杂度.实验结果表明：本算法在修复大面积空洞的同时，保持了边缘细节以及结构完整性，达到了良好的修复效果，得到了较高质量的深度图像.另外，空洞区域周围场景的复杂度会对修复结果造成很大影响，对复杂场景的修复，本算法仍存在不足，下一步将对不足之处做出改进.

参考文献：

[1] VIJAYANAGAR K R， LOGHMAN M， KIM J. Refinement of depth maps generated by low-cost depth sensors [C]// Soc Design Conference. Jeju Island： IEEE，2012：355-358.

[2] CAMPLANI M， SALGADO L. Efficient spatio-temporal hole filling strategy for Kinect depth maps [J]. The International Society for Optical Engineering，2012（1）：1-10.

[3] TELEA A. An image inpainting technique based on the fast marching method [J]. Journal of Graphics Tools，2004，9（1）：23-34.

[4] LE A， JUNG S W， WON C. Directional joint bilateral filter for depth images [J]. Sensors，2014，14（7）：11362-11378.

[5] 王奎， 安平， 张兆杨， 等. Kinect 深度图像快速修复算法 [J]. 上海大学学报（自然科学版），2012，18（10）：454-458.

WANG K， AN P， ZHANG Z Y， et al. A fast repair algorithm of depth image [J]. Journal of Shanghai University（Nature Science Edition），2012，18（10）：454-458.

[6] WANG Y， ZHONG F， PENG Q， et al. Depth map enhancement based on color and depth consistency [J]. The Visual Computer，2014，30（10）：1157-1168.

[7] ZHANG X， WU R. Fast depth image denoising and enhancement using a deep convolutional network [C]// International Conference on Acoustics Speech and Signal Processing. Shanghai：IEEE，2016：2499-2503.

[8] LIU W， CHEN X， YANG J， et al. Robust color guided depth map restoration [J]. IEEE Transaction Image Process， 2016， 26（1）：315-327.

[9] MIN D， LU J， DO M N. Depth video enhancement based on weighted mode filtering [J]. IEEE Transaction Image Process，2012，21（3）：1176-1190.

[10] LIU J， GONG X. Guided depth enhancement via anisotropic diffusion [C]// Pacific-Rim Conference on Multimedia. Cham：IEEE，2013：408-417.

[11] CHANG T， LIAO W， YANG J. Robust depth enhancement based on texture and depth consistency [J]. IET Signal Processing，2017，12（1）：119-128.

[12] XU D， FAN X，ZHANG S， et al. Multiscale directional fusion for depth map super resolution with denoising [C]// IEEE International Conference on Acoustics Speech and Signal Processing. Brighton： IEEE，2019：2342-2346.

[13] TANG S， ZHU Q， CHEN W， et al. Enhanced RGB-D mapping method for detailed 3D indoor and outdoor modeling [J]. Sensors，2016，16（10）：1589-1616.

[14] ZHANG X， GUO Q， GUAN Y， et al. Color-guided restoration and local adjustment of multi-resolution depth map [J].Smart Innovations in Communication and Computational Sciences，2018，2：131-138.

[15] LIU J Z， WU W H， CHENG C，et al.Depth image inpainting method based on pixel filtering and median filtering [J].Journal of Optoelectronics Laser，2018，29（5）：539-544.

（責任编辑：包震宇）