采用曲率扩散和边缘重建的深度图像空洞修复
2020-06-16牟琦夏蕾李占利李洪安
牟琦 夏蕾 李占利 李洪安
摘 要:傳统的深度图像空洞修复算法,针对离散空洞和物体内部及背景中的空洞修复效果较好,但当物体边缘处存在较大面积空洞时,采用传统的修复方法,会出现物体边缘过填充或欠填充现象,造成边缘几何失真、边界模糊等问题。采用曲率扩散和边缘重建的深度图像空洞修复方法。首先获取深度图像空洞掩膜,确定空洞区域;然后使用曲率扩散模型填充空洞,并使用二值分割滤波获取边缘信息,得到待重建的像素;最后,通过马尔科夫随机场模型重建深度图像中的物体边缘纹理,去除模糊现象。曲率扩散模型将深度图像视为一个流体扩散方程,利用等照度线和曲率分布确定扩散强度,将局部结构从空洞的外部向内部扩散,能够准确的填充较大面积的空洞结构;马尔科夫随机场模型利用邻域系和连通系的能量函数表示结构信息,能够有效重建修复后的深度图像边缘纹理,从而去除物体边缘模糊。实验结果表明,相比传统的深度图像修复方法,采用文中方法修复后深度图像的平均梯度指标提高了10%-25%,可以有效地实现对深度图像中物体边缘处较大面积空洞的修复,得到结构完整、边缘纹理清晰的深度图像。
关键词:深度图像修复;空洞掩膜;曲率扩散模型;二值分割;马尔科夫随机场模型
中图分类号:TP 391.41
文献标志码:A
文章编号:1672-9315(2020)02-0369-08
DOI:10.13800/j.cnki.xakjdxxb.2020.0225开放科学(资源服务)标识码(OSID):
Depth image hole inpainting method using
curvature diffusion and edge reconstruction
MU Qi1,2,XIA Lei1,LI Zhan-li1,LI Hong-an1
(1.College of Computer Science and Engineering,Xian University of Science and Technology,Xian 710054,China;
2.College of Mechanical and Engineering,Xian University of Science and Technology,Xian 710054,China)Abstract:The traditional depth image hole inpainting methods fill discrete hole points,and the inner part of the object and the hole in the image background achieve better results.However,when there is a large area of the hole at the edge of the object in the image,the traditional inpainting methods may cause over-filling or under-filling of the edge of the object,causing geometric distortion of the edge and blurring of the boundary.To solve the above problems,this paperproposes a depth image hole inpainting method based on curvature diffusion and edge reconstruction,combining holes filling and texture restoration.Firstly,the depth image hole mask is obtained to determine the holes region.Then the holes are filled with the Curvature Driven Diffusion(CDD)model,and the edge blur pixels are removed by binary segmentation filtering to obtain the pixels to be reconstructed.Finally,the edge texture details of the object in the depth image are reconstructed by the Markov Random Field(MRF).The CDD model considers the depth image as a fluid diffusion equation,and uses the isolux line and curvature distribution to determine the diffusion intensity,and spreads the local structure from the outside to the inside of the holes,which can better fill the large-area hole structure;MRF model uses the energy functions of the neighborhood system and the communication system to introduce structural information,which can effectively reconstruct the edge information of the restored depth image,thus effectively avoiding object edge blur.The experimental results show that compared with the traditional depth image inpainting methods,the average gradient value of the depth imageis improved by 10%~25% processed by the proposed method,
which can effectively fill the large-area holes both in the interior and edge of the object in the depth image,and a depth image with complete structure and clear edge texture is obtained.
Key words:depth image inpainting;hole mask;curvature driven diffusion model;binary segmentation;Markov random field model
0 引 言
深度图像是一种表示传感器与场景物体之间距离的图像。近年来,随着深度传感器的普及应用,深度图像在三维重建[1-2]、语义分割[3-4]、目标检测[5]与跟踪等领域得到了越来越广泛的应用。目前,深度传感器普遍采用结构光技术和飞行时间技术,其优点是实时性好,深度图像获取方便,但其获取的深度图像质量会受到目标物体材质[6]、环境或设备自身特性的影响[7],造成深度图像中存在大量离散空洞点、以及具有一定面积的空洞区域,从而严重影响深度图像的后续应用。
目前的深度图像修复方法,大致可分为滤波法、差值法以及函数优化法。基于滤波的修复方法中
利用高斯滤波(Guassian Filter)来修复深度图像Vijayanagar[8-11],通过加权平均像素空间位置信息来修复空洞像素。但该方法所采用的信息单一,未考虑物体边缘像素差异,造成图像中物体边缘模糊。Camplani利用双边滤波(Bilateral Filter)方法来对深度图像进行修复,通过深度图像素的空间位置和像素值共同确定权值大小,更好的保留了深度图像的纹理细节[12]。但对于边缘处较大面积的空洞区域,由于滤波窗口内有效像素少,导致该算法可信度较低。在此基础上,Le采用联合双边滤波(Joint Bilateral Filter,JBF)对深度图像进行修复,使用彩色图像信息作为引导图,通过彩色图像中的颜色信息确定权值[13]。该方法提高了空洞修复的准确性,但当引导图中物体和背景颜色相似,会使深度图像修复过程中产生误差。
基于插值的修复方法中,
Kulkarni等提出的使用张量的深度图修复方法,利用局部边缘和深度信息来合成缺失值,对于纹理不太复杂的空洞区域效果较好[14]。Telea的快速进行法[15](Fast Marching Method,FMM)及其改进方法[16-17],通过对空洞邻域像素点方向因子、几何因子和水平集因子的计算,估计空洞像素值。但该方法对已知和修复后像素采用同等权重,导致修复误差的积累,对图像中物体边缘空洞易产生模糊效应。
基于函数优化[18-19]的修复方法中,Wang等采用马尔科夫随机场(Markov Random Field,MRF)优化框架将彩色图像的颜色、边缘和平滑先验信息与原始深度值融合[20],从而填充空洞。但深度边缘和颜色边缘之间的不一致性,可能会导致图像边缘模糊[21]。Li等通过训练卷积网络模型[22],预测彩色图像的表面法线和遮挡边界特征,用函数优化求解空洞处深度值。该方法对空洞填充及细节保留效果较好,但卷积神经网络结构复杂,训练耗时长,而且修复效果受训练数据集影响较大。
Chan等提出曲率扩散(Curvature Driven Diffusion,CDD)模型[23],用于修复彩色图像。该模型基于流体扩散思想,通过提取破损区域邻域内有效像素的等照度线和曲率驱动因子,确定扩散信息和扩散强度,从而有效修复图像。考虑到曲率扩散模型具备利用邻域内有效像素信息进行扩散的能力,可将其应用于深度图像修复,文中提出了一种采用曲率扩散和边缘重建的深度图像空洞修复方法(CDD+MRF)。通过曲率扩散来填充空洞,实现了对较大空洞区域的准确填充。但由于其平滑扩散的特点,修复物体边缘处较大面积空洞时,可能会造成纹理信息缺失,导致边界模糊。因此采用马尔科夫随机场模型对空洞填充后的区域进行边缘纹理重建。该模型通过深度图像邻域系和连通系的能量函数引入结构信息,再对填充后的
边缘纹理进行重建,可消除因空洞造成的边缘纹理模糊问题,有效恢复深度图像的边缘纹理信息。
1 研究思路与方法
深度图像中的空洞分布于图像物体内部及物体边缘区域。由于场景中同一物体不同部分与传感器的距离大致相同,深度图像中物体内部像素值之间深度差别较小,因此,处于物体内部的空洞通常较为平滑,易于修复,而物体边缘区域的空洞通常包含较多纹理信息,修复后容易造成边缘模糊。基于以上现象,文中方法采用空洞填充和边缘纹理重建相结合的方法,分别对内部及边缘空洞进行修复。
首先通过原始深度图像直方图提取空洞位置,利用二值化方法获取掩膜图像,确定待修复区域;然后采用曲率扩散模型,对空洞结构进行填充。因物体内部的空洞不存在纹理缺失,通过曲率扩散模型修复就能够取得较好的效果。但对于边缘处空洞,容易造成边缘纹理信息丢失,文中通过检测填充后存在边缘模糊的区域,并对其进行二值分割滤波,提取边界像素;最后使用马尔科夫随机场模型重建边缘纹理,得到结构完整,边缘清晰的深度图像。
1.1 空洞填充
为了提高空洞填充效率和准确度,在空洞填充前,首先采用硬阈值方法生成掩膜圖像,对深度图像上非空洞区域进行屏蔽,准确获取空洞位置。具体方法如下:对深度图做直方化,根据深度直方图确定空洞区域的阈值,然后对深度图做二值化处理,生成掩膜图。
文中采用曲率扩散模型填充空洞,该模型是在全变分模型基础上引入曲率驱动来控制图像扩散强度的改进模型。其主要思想是通过提取空洞邻域内有效像素的等照度线和曲率驱动因子,确定扩散信息和扩散强度,将空洞区域边界的有效像素值信息各向异性地扩散到空洞中,从而修复图像空洞。由于其平滑扩散的特点,适用于内部纹理细节较少的空洞修复。
全变分修复模型采用了各项异性的扩散方式,通过Euler-Lagrange方程,如公式(1)所示,求解该模型所得到的极值即修复后的图像。
式中
D为待修复区域;E为修复区域外邻域;u为目标图像内像素点;u为u(x,y)的函数梯度;λ为Lagrange乘子。根据变分原理,可以得到对应的Euler-Lagrange方程,如公式(2)所示,求解u(x,y).
其中 [u/|u|]为扩散因子;1/|u|为扩散系数。
全变分模型的扩散强度仅由等照度线决定,所以,当修复区域的范围大于图像自身的宽度时,修复图像将不满足人类视觉的连通性准则,如图3所示。
为了解决全变分模型存在的问题,曲率扩散模型引进曲率驱动因子k,将扩散系数1/|u|改为g(|k|)/|u|,使扩散强度受到等照度线上的几何信息影响,在大曲率区域增强扩散,小曲率区域减弱扩散,使修复后图像具有连通性效果。
曲率扩散模型方程如公式(4)所示
曲率扩散模型修复方法对缺乏纹理信息图像的空洞修复有明显优势,但当空洞处于深度图像物体边缘区域时,该方法默认空洞的内部是平滑的,因此修复边缘处空洞时未考虑边缘纹理信息的修复,可能会导致物体边缘模糊。
1.2 边缘纹理修复
深度图像中的大量信息存在于边缘纹理部分,边缘丢失将严重影响深度图像的后续应用。在图像修复中,纹理上的缺失部分可通过其邻域中的有效区域修复。根据这一原理,可使用马尔科夫随机场模型重建物体边界[24]。MRF模型通过图像邻域系和连通系上的能量函数引入结构信息,表示图像数据的空间相关性,根据其相关性通过图像的先验信息有效重建物体边界,去除边界模糊现象。但空洞面积过大可能导致原本连通的区域被空洞分隔开,形成不连通区域。经过空洞填充后,若直接使用MRF模型可能丢失物体结构信息。为了避免这一问题,文中方法首先对模糊区域进行二值分割,获取物体边缘信息,得到待重建的像素;然后再进行MRF重建。这样可以有效提升邊界重建的准确度,同时降低MRF重建时边界检索的复杂度。
1.2.1 边缘提取
首先对空洞填充后的区域进行模糊检测,仅对检测到的边缘纹理模糊区域像素使用二值分割滤波。模糊区域检测方法如下:当修复后像素点的像素值与其4邻域内像素值的绝对差值小于或等于设定阈值1时,定义为可靠像素,大于阈值则为模糊像素,从而划分为可靠区域与模糊区域。获取深度图像模糊区域后对其像素点使用二值分割滤波,去除模糊像素点,得到待修复的像素点。
二值分割滤波具体原理如图4所示:确定图像模糊区域像素I(3,3)后,以该像素点为中心定义一个3*3的滤波窗口如图4(b)所示,表示为W(3,3)。通过公式(6)计算滤波窗口内像素点的均值,利用均值将窗口内像素分为2类,大于平均值的一类称为前景区域F,小于平均值的一类称为背景区域B.当前像素点若归为前景,则窗口内前景区域像素均值MF为原有像素值;若归为背景,则用背景区域像素均值MB为原有像素值,最终将2个平均值分配给相应区域中的像素。
其他待修复区域内的像素,以相同的方式形成滤波窗口I(4,3)和I(4,4)如图4(c)和图4(d),执行上述分类操作,计算平均值和划分当前像素归属前景或是背景区域。由于滤波窗口一次仅移动一个像素,使得每个像素出现在多个窗口中,所以当所有待修复区域像素计算完成,每个待修复像素会生成多个平均值,多个平均值再求均值获得每个待修复区域像素的滤波输出值,如图4(e)所示。
1.2.2 边缘重建
提取像素模糊区域边缘后,对其进行基于马尔科夫随机场模型的边缘纹理重建。具体原理如下:马尔科夫随机场模型是通过连接深度图像有效像素值与重建估计值重建图像物体边界。通过以下能量函数建模估计深度图像的概率分布
f*为需要重建的像素点;E(f|R1,IF)为由数据项和平滑项组成的能量函数,数据项的目的是通过深度图像的有效像素值回归重建边缘深度像素值,平滑项则强调IF(i)及其邻域内像素之间的相关性,矩阵形式如下
α为所述数据项和平滑项之间的平衡因子。从IF中估计深度图像像素点f*,然后通过求解最大后验概率得出,等同于方程中求解能量函数最小化。
从图5可以看出,图像边缘模糊区域经过边缘提取和马尔科夫随机场模型重建后,边缘纹理信息得到了有效的修复。
2 实验对比
为了验证文中方法的有效性,选取Middlebury数据集、RGBZ数据集[25]和Kinect 2.0传感器采集的深度数据进行实验。Middlebury数据集包含21组带空洞的深度图像和同场景下的彩色图像,RGBZ数据集包含了9组无空洞的深度图像和同场景下的彩色图像;Kinect 2.0传感器采集数据包含4组带空洞深度图。实验使用MATLAB R2016b,在Windows 7操作系统的计算机上进行。
2.1 人工空洞修复实验
对深度图像人为添加空洞,然后分别采用联合双边滤波方法(Joint Bilateral Filtering,JBF)[26]、快速进行法(Fast Marching Method,FMM)[27]以及文中提出的CDD和CDD+MRF方法进行实验,通过对比原始深度图像与修复后图像,检测方法的有效性。
图6实验采用RGBZ数据编号为01的深度图像作为实验数据,图6(b)是对其手臂边缘、头部边缘和桌面内部添加空洞后图像,图6(c)~(f)分别是使用JBF,FMM,CDD法和CDD+MRF方法修复后的结果。
图7使用Middlebury库中提供的Lundry深度图像作为实验对象,并对其背景,瓶身边缘等地方添加空洞,图7(c)~(f)分别是使用JBF,FMM,CDD和CDD+MRF方法修复后的结果。
图6,图7实验效果表明,采用传统的方法进行深度图像修复,背景区域和物体内部空洞修复效果较好,但不能准确修复物体边缘处空洞,造成空洞填充不完整、边缘纹理细节模糊。如图6(c)与图7(c)中物体边缘处空洞修复,没能准确的划分前景和背景边界,造成手臂和瓶身边缘修复存在欠填充问题,部分属于手臂和瓶子的部位填充成了背景深度。而图6(d)与图7(d)方法的修复结果出现了相似的问题,且在图像物体边缘处存在纹理模糊。相对前几种修复方法,图6(e)与图7(e)方法对缺失部分的补全相对完整,说明采用CDD模型对较大面积的空洞区域有较好的修复效果。但是在填充边缘空洞时,仍存在物体边界模糊的现象。图6(f)、图7(f)为CDD+MRF方法的修复效果,可以看出,该方法不仅能够更好地对空洞结构进行完整填充,同时准确地恢复了物体边缘处的纹理细节,使得修复后图像的边缘更清晰完整。
文中采用平均梯度作为客观评价指标,对RGBZ数据的6幅修复后的深度图像进行评价。平均梯度指标通过对原始图像与修复后图像的细节对比来反映图像微小细节反差和纹理变化特征,同时也能评价图像中物体边缘纹理的清晰度。分析表1结果可知,相比较传统的JBF,FMM方法,文中方法修复后的深度图像的平均梯度值提高了10%~25%,对深度图像中物体内部和边缘处的空洞的修复更具优势。
2.2 对自然空洞修复实验
为了进一步说明文中修复方法的有效性,采用公开数据库Middlebury库中提供的数据集和Kinect 2.0传感器采集深度数据作为自然空洞修复实验对象,图8是分别选取Baby 3,Bowling 2和Flowerpots 3幅存在物体边缘处空洞的深度图进行实验的效果图。图8(a)为原始深度图像,图8(b)~(e)分别是使用JBF,FMM,CDD法和CDD+MFR修复后的结果。通过修复后图像边缘纹理放大对比,传统方法在修复边缘处空洞时,出现过填充或欠填充现象,造成修复后图像中物体边缘几何失真和模糊。CDD模型对较大面积的空洞区域有较好的修复效果。但是在填充边缘空洞时,仍存在物体边界模糊的现象,但CDD+MFR方法在空洞填充准确性和完整性以及边界清晰度上,相比于前几种方法均有明显提升。
图9是使用Kinect 2.0深度传感器对实验室场景物体进行采集的深度图像。
Kinect 2.0获取的深度图像中,物体内部及边缘均存在大量空洞。图10(a)~(d)分别采用JBF,FMM,CDD方法和CDD+MFR方法对深度图进行修复。通过实验效果可以看出,CDD方法空洞填充较好,但边缘纹理较为模糊,CDD+MFR方法对深度图像修复的完整性和边缘清晰度都表现出了更佳的性能。
3 结 論
深度图像中的物体边缘部分出现较大面积空洞时,采用传统的修复方法(如JBF,FMM等)会出现过填充或欠填充,造成边缘几何失真、边缘模糊等现象。针对以上问题,文中提出了一种基于曲率扩散和边缘重建的深度图像空洞修复方法。该方法将曲率扩散模型应用于深度图像空洞填充,并采用马尔科夫随机场模型对填充后的区域进行纹理重建,从而有效修复空洞并且消除物体边缘模糊现象。实验结果表明,相比JBF,FMM等修复方法,文中提出的方法对深度图像中存在物体边缘处空洞缺失现象的修复效果更佳,且平均梯度指标结果也具有明显提高。
参考文献(References):
[1]杨宇翔,高明煜,尹 克,等.结合同场景立体图对的高质量深度图像重建[J]. 中国图象图形学报,2015,20(1):1-10.
YANG Yu-xiang,GAO Ming-yi,YINKe,et al.High-quality depth map reconstruction combining stereo image pair[J]. Journal of Image and Graphics,2015,20(1):1-10.
[2]
李诗锐,李 琪.基于Kinect v2的实时精确三维重建系统[J].软件学报,2016,27(10):2519-2529.
LI Shi-rui,LI Qi. Real-time accurate 3D reconstruction based on Kinect v2[J].Journal of Software,2016,27(10):2519-2529.
[3]Schwarz M,Milan A,Periyasamy A S,et al.RGB-D object detection and semantic segmentation for autonomous manipulation in clutter[J].The International Journal of Robotics Research,2018,37(4-5):437-451.
[4]刘天亮,冯希龙,顾雁秋.一种由粗至精的RGB-D室内场景语义分割方法[J].东南大学学报(自然科学版),2016,46(4):681-687.
LIU Tian-liang,FENG Xi-long,GU Yan-qiu.Coarse-to-Fine semantic parsing method for RGB-D indoor scenes[J].Journal of Southeast University(Natural Science Edition),2016,46(4):681-687.
[5]季一木,陈治宇,田鹏浩.无人驾驶中3D目标检测方法研究综述[J].南京邮电大学学报(自然科学版),2019(4):72-79.
JI Yi-mu,CHEN Zhi-yu,TIAN Peng-hao.Research review of 3D target detection method in unmanned vehicle[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science Edition),2019(4):72-79.
[6]Atapour-Abarghouei A,Breckon T P.A comparative review of plausible hole filling strategies in the context of scene depth image completion[J].Computers & Graphics,2018,72(5):39-58.
[7]Mallick T,Das P P,Majumdar A K.Characterizations of noise in kinect depth images:a review[J].IEEE Sensors Journal,2014,14(6):1731-1740.
[8]劉继忠,吴文虎,程 承,等.基于像素滤波和中值滤波的深度图像修复方法[J].光电子·激光,2018,29(5):539-544.
LIU Ji-zhong,WU Wen-hu,CHENG Cheng,et al.Depth image repair method based on pixel filter and median filter[J].Journal of Optoelectronics Laser,2018,29(5):539-544.
[9]李少敏,张 倩,王 沛.基于高斯混合模型的Kinect深度图像增强算法[J].上海师范大学学报(自然科学版),2016,45(1):28-33.
LI Shao-min,ZHANG Qian,WANG Pei.Kinect sensor's depth image enhancement based on gaussian mixture model[J].Journal of Shanghai Normal University(Natural Sciences),2016,45(1):28-33.
[10]吕朝辉,沈萦华,李精华.基于Kinect的深度图像修复方法[J].吉林大学学报(工学版),2016,186(5):1697-1703.
LU Zhao-hui,SHEN Ying-hua,LI Jing-hua.Depth map inpainting method based on Kinect sensor[J].Journal of Jilin University(Engineering and Technology Edition),2016,186(5):1697-1703.
[11]胡天佑,彭宗举,焦任直,等.基于超像素分割的深度图像修复算法[J].光电子·激光,2016(27):1120-1128.
HU Tian-you,PENG Zong-ju,JIAO Ren-zhi,et al.Depth map inpainting algorithm based on superpixel segmentation[J].Journal of Optoelectronics Laser,2016(27):1120-1128.
[12]Camplani M,Salgado L.Efficient spatio-temporal hole filling strategy for Kinect depthmaps[J].Proceedings of SPIE,2012(1):316-320.
[13] Le A,Jung S W,Won C.Directional joint bilateral filter for depth images[J].Sensors,2014,14(7):11362-11378.
[14]Kulkarni M,Rajagopalan A N.Depth inpainting by tensor voting[J].Journal of the Optical Society of America Aoptics Image Science and Vision,2013,30(6):1155-1165.
[15]Telea Alexandru.An image inpainting technique based on the fast marching method[J].Journal of Graphics Tools,2004,9(1):23-34.
[16]Gong X,Liu J,Zhou W,et al.Guided depth enhancement via a fast marching method[J].Image and Vision Computing,2013,31(10):695-703.
[17]万 红,钱 锐.模糊C-均值聚类引导的Kinect深度图像修复算法[J].计算机应用研究,2019,36(5):290-294.
WAN Hong,QIAN Rui.Kinect depth map inpainting under fuzzy C-mean clustering guidance[J].Application Research of Computers,2019,36(5):290-294.
[18]陈国军,程 琰,曹 岳.基于目标特征的植株深度图像修复[J].图学学报,2019,40(3):460-465.
CHEN Guo-jun,CHENG Yan,CAO Yue.Plant depth maps recovery based on target features[J].Journal of Graphics,2019,40(3):460-465.
[19]王殿伟,陈 鹏,李大湘,等.融合纹理信息的深度图像修复[J].系统工程与电子技术,2019,41(8):1720-1725.
WANG Dian-wei,CHEN Peng,LI Da-xiang,et al.Depth maps inpainting with fused texture information[J].Systems Engineering and Electronics,2019,41(8):1720-1725.
[20] Wang Y,Zhong F,Peng Q,et al.Depth map enhancement based on color and depth consistency[J].The Visual Computer,2014,30(10):1157-1168.
[21]Zuo Y,Wu Q,Zhang J,et al.Explicit edge inconsistency evaluation model for color-guided depth map enhancement[J].Transactions on Circuits and Systems for Video Technology,2018,28(2):439-453.
[22]Li J,Gao W,Wu Y.High-quality 3D reconstruction with depth super-resolution and completion[J].IEEE Access,2019(7):19370-19381.
[23]Chan T F,Shen J.Nontexture inpainting by curvature-driven diffusions[J].Journal of Visual Communication and Image Representation,2001,12(4):436-449.
[24]Zhao L,Bai H,Wang A,et al.Two-stage filtering of compressed depth images with markov random field[J].Signal Processing:Image Communication,2017(54):11-22.
[25]Richardt C,Stoll C,Dodgson N A,et al.Coherent spatiotemporal filtering, upsampling and rendering of RGBZ videos[J].Computer Graphics Forum,2012,31(2):247-256.
[26]李知菲,陳 源.基于联合双边滤波器的Kinect深度图像滤波算法[J].计算机应用,2014,34(8):2231-2234.
LI Zhi-fei,CHEN Yuan.Kinect depth image filtering algorithm based on joint bilateral filter[J].Journal of Computer Applications,2014,34(8):2231-2234.