深度图像的法向指导GPU滤波

崇斯杰，王士玮，刘利刚

深度图像的法向指导GPU滤波

崇斯杰，王士玮，刘利刚

(中国科学技术大学数学科学学院，安徽 合肥 230022)

深度相机获取深度图像由于硬件精度问题，往往会丢失大量细节信息。因此，对深度图像的滤波，已经成为深度视觉领域一个重要的课题。然而，现阶段大多数滤波的方法对于深度图像中的尖锐特征保留能力不足，往往会出现过光滑现象。针对深度图像滤波中的尖锐特征难以保留的问题，提出了一种新的深度图像的联合双边滤波方法。首先求解深度图像每个像素的法向，以投票的方式对法向的权重进行计算以进行联合双边滤波，最后根据滤波后的法向更新顶点坐标。该方法引入了高精度的纹理作为指导信息,能获取更可信的滤波效果。另外，该方法基于点云的局部信息，不需要求解很大的矩阵，且基于GPU并行，运算效率极高。实验表明，该方法能更好地保留法向的边界，具有更好的几何特征保留能力。

深度图像；点云；联合双边滤波；纹理；法向滤波

随着深度相机的发展，人们获得物体的三维数据越来越便捷，并得到广泛地应用。但是，由于受测量精度以及采集环境的影响，现有的深度相机所获取的深度图像(深度点云数据)往往存在大量的噪音。因此，对深度图像进行有效地滤波与去噪，是一个非常重要的问题。

关于网格曲面的滤波已有大量的工作[1]。虽然许多深度图像的滤波方法均来自网格曲面滤波的启发，但直接用于深度点云数据还存在着不足。首先，由于深度点云数据无拓扑连接关系，许多方法对于尖锐几何特征保留并不能得到很好的效果。其次，由于在GPU中不便获取网格曲面的顶点的邻域信息，网格曲面的滤波方法大多采用CPU串行计算，无法进行实时处理。

对于深度图像，本文提出一种新的2步式的滤波算法。首先，利用深度图像的局部深度信息，计算出深度数据在各像素处的法向，并通过投票来获取基于局部法向与纹理信息的指导法向，依照指导法向进行联合双边滤波。其次，通过迭代更新，使得每个数据点在深度方向上均进行小幅度的位移修正，使其局部法向逼近其滤波后的法向。

该方法同时考虑了数据的几何信息与纹理信息，并且由于每一步计算的局部性，可以将每一个像素的计算分配到GPU的一个独立的线程中，极大地加快了运算效率，能实时得到滤波的结果。

1 相关工作

1.1 网格曲面去噪

网格曲面去噪一直是图形学的一个热门课题。最初研究者们使用基于局部Laplacian坐标的方法来进行去噪，该方法实现快捷但易导致网格产生较大的变形，且对于几何特征的保留能力不足。FLEISHMAN等[2]提出使用双边滤波的方法对网格法向进行滤波，其能很好地保留法向的边界，使得局部法向变换较大的几何特征得已保留；LEE和WANG[3]采用最小化顶点法向积分的最小二乘误差(least square estimate，LSE)来更新滤波后的顶点；ZHANG等[4]在曲面上使用了高斯球面定义的法向来进行滤波，使得法向滤波的结果更自然，对较大的噪声表现效果更好；SHEN等[5]通过局部法向变化分类的方法实现了对网格的锐化；WEI等[6]提出了一种基于点分类的办法来进一步提高滤波对特征的保留能力；ZHANG等[7]则在法向滤波的基础上，通过投票的方式对局部法向进行了边缘检测与光滑度检测，以控制联合双边滤波的权重，并使得对尖锐特征的保留能力大大增强。

1.2 点云去噪

关于点云的滤波也已经有了大量的研究。如杜小燕等[8]通过点云邻域的局部法向的双边滤波对点云模型实现了保局部特征的滤波；HAN等[9]则将联合双边滤波引入了3D点云的滤波中，使得其对特征保留能力更强。而深度图由于其余图片的极大相似程度，人们对于其滤波也展开了大量研究。如MUELLER等[10]通过自适应交叉三边中值滤波(adaptive cross-trilateral depth map filtering，ACTMF)改进了对深度图的滤波；HU等[11]通过对深度图像的像素进行聚类分块，并在GBT域中进行阈值分类以增强其稀疏性，获得更好地去噪效果；DU和MIAO[12]通过MeanShift方法对大尺寸无效区域及其相邻区域对应的RGB图像像素进行聚类，以填充深度图像中缺失的像素并去噪；HUANG等[13]通过颜色引导的信息，使得深度图像的去噪能更好地保留像素视觉上的边界；IBRAHIM和LIU[14]则在颜色引导滤波的基础上，使用优化的Markov随机场来减轻模糊效应。

由于深度图像本身的特性，其每个像素的邻域很容易获取，这样的滤波方法可很方便地使用GPU进行并行计算以加速算法，该方法在实时重建等应用中已经得到广泛地使用。

1.3 联合双边滤波

双边滤波[15]是利用局部信息且能很好地保存边界信息的一种滤波方式。该方法已经广泛运用于处理那些噪音过大的图像。其方法简单而有效，在视频和计算机视觉中被大量使用[16-19]。同时在网格去噪和点云去噪中，也得到了相当广泛地应用。文献[20]介绍了关于双边滤波及其应用。

联合双边滤波是双边滤波的一种延伸，其使用适当的指导信号，来分配滤波时不同位置的信息对其影响的权重。该方法在图像处理中已经获得了成功地应用[21-22]，即

其中，()为选定点的邻域；与为高斯滤波参数，决定了高斯滤波器的平滑程度；G与G为点与点处的指导信息，其具有比原始信息更强地指导作用。

这个方法的思路在于，指导图G能够提供更加有效的滤波信息，以获得更合适的权重，将滤波器导向更佳的结果。在该过程中，如何获得一张合适的指导图G是最大的挑战。此外，在双边滤波中，由于对每一个点的处理只用到局部信息，所以非常适合在GPU上并行加速[23]。

2 法向指导的GPU滤波

2.1 点法向计算

本文通过点4周相邻的邻域点来计算点的法向。如果4个邻域点均存在，则求这4个点的最小二乘拟合平面的法向作为该点的法向；如果只存在3个邻域点，则将3个点所定义的平面作为该点的法向；其他情况不定义该点法向。将定义该点法向的邻域点的数量记为n。图1为深度点云的法向渲染图。

图1 法向渲染图示例

2.2 点的局部片段

对于非边界点，定义其局部片段为包含该点的×大小的邻域；对于边界点，尽量取该点为“中心”的×大小的邻域为其局部片段，如图2所示。本文取不小于3的奇数。

图2 包含顶点的3×3片段的不同情况

定义每个点的局部片段的目的是将该点出现的局部扫描误差的风险平均到周围的点上。当获得了一个点的所有片段后，即可对这些片段进行比较，并对其可信程度进行评价，选取其中光滑程度最高的一个片段的平均法向来作为指导该点进行滤波的指导法向。

2.3 片段的误差系数

由于每个片段所包含的点在空间中的距离很近，所以一个片段越光滑，说明其在测量时误差较低，则保留原始法向的可能性会更高。

对于每个片段，通过定义()来估计该片段上所有像素法向之间的误差系数，并衡量其法向的置信度为

其中，()为该片段上差异最大的2个像素的法向差值的模，用于衡量其光滑程度为

其中，()为边缘检测函数，用于检测该片段是否包含一条尖锐的边缘。如果包含，其法向的误差系数则增大为

<

其中，为一个充分小的正数，用来保证分母非负。

当片段包含了一条明显的边缘时，()会明显变大；E为片段上2个相邻像素之间的边；(e)为衡量像素1，2之间边e的显著程度。

特别的，在考虑对法向投票的同时，本文引入了深度图像的纹理信息，并利用这些高精度的纹理信息进一步指导原本投票时法向的选取。

由于现在的RGB相机精度已经很高，所以该参数可以起到用高精度信息指导低精度信息滤波的作用，即

其中，()为该片段上差异最大的2个像素的颜色差值的模，需检测其颜色。

误差系数越低的片段越光滑，法向可信程度则越高。该片段在后续联合滤波时，被选为指导法向的可能性越大。

为了防止原本光滑的平面因为表面颜色差异而被系统误判，本文给()添加一条限制条件，若当()的值小于一个阈值，则()直接设为常数1。当法向判定该片段近似于一个平面时，()不对误差系数产生影响。于是，一个光滑的平面因为表面颜色或光影导致的纹理差异将会被忽略。

图3展示了引入系数()后，对滤波效果的影响。其中的几个模型，边缘由于和相机法向夹角很小，采样点不够密集，在不引入纹理信息作为参考时，会在模型边缘出现一条明显和该面法向不同的宽边。然而，引入纹理后，对于边缘采样点不够时，能大大改善其边界的滤波效果。

图3 纹理系数对滤波结果的影响((a)原始深度图；(b)法向渲染图；(c)未引入纹理结果；(d)引入纹理结果)

2.4 确定指导法向

双边联合滤波是解决原有信息噪声过大问题的有效方案。在图片的滤波中，以双边滤波为基础，通过一张预先定义或计算得到一个指导信息，用其代替原有滤波时的颜色域，从而获得每个像素周围点滤波的权重。

类似于图片的滤波，在这里要滤波的是点云的法向。而其与图像双边滤波对应的2个域为法向域和距离域。但原本的法向噪音很大，因此需要用一个精确度更高的信息来替代原法向域。

本文利用对片段投票的方法指导法向进行构造，该方法首先获取每个点所在的局部片段，对其进行投票，并从中选取最可信的法向作为该点的指导法向。

基于之前定义的片段和误差系数，需取包含每一个点的所有片段，比较其误差系数，取其误差系数最小的一个片段，并将所有点的平均法向作为该点的指导法向。

2.5 联合双边滤波

在获得了所有点的指导法向后，便可以利用其对该深度图像进行双边联合滤波，即

3 顶点更新

在更新点坐标时，首先需要保证这些点在满足深度图像的像素同时，仅有深度值可更改的特性，且其连接关系不变。所以对每一个点进行单独更新时，令只在深度方向轴上位移，不更改其，坐标。并将该位移称为D。

对于每一个非边界点(即4个邻点均有定义)，找到通过该点，且法向为新法向的平面，并计算该平面与4个邻点所在深度方向的直线的交点。如果4个邻点在轴方向上均位移至新的交点，那么按照2.1中法向的定义，该点的新法向将满足本文法向的计算(图4)。

图4 根据邻点的法向计算对点位移的影响

接下来设p点的法向要求原位置为的邻点位移至的新位置，并求对点期望的位移量D=-。

因为滤波要求保持其深度图像点云密度均匀的特性，所以限制每个点只在深度方向移动，即D只在方向有值，所以有

其中，N为p点滤波后的法向；N[]为N在轴上的分量。

但是，由于每个点在位移时会影响到周围数个邻点的法向，所以未令其直接等于某一个邻点的法向要求的值。因此，在对某个邻点p进行法向修正时，实际只执行n分之一的偏移量，n与点相邻的且拥有新法向的像素数为

本文对所有的像素，均需进行4个邻点的遍历，并得到邻点法向在深度方向上的位移偏差，用式(13)进行计算，即可获得迭代一次过后的新深度图像。

4 算法步骤

本文算法步骤如下：

输入.深度图像。

输出.滤波后的深度图像。

步骤1.对深度图像每个点的所有邻点计算其最小二乘平面的法向；

步骤2.对每一个像素所在的所有局部片段计算其误差函数；

步骤3.通过投票获得每个像素的指导法向；

步骤4.利用指导法向进行联合双边滤波；

步骤5.根据联合双边滤波的结果更新点云深度；

步骤6.根据需要可以重复迭代步骤1～5数次，以达到更平滑的滤波效果。

5 实验结果与分析

本文对局部片段取不同的值，对分辨率不同的几幅深度图进行了数组对照试验，同时比较了滤波效果。实验环境为2.90 GHz的CPU，16 GB内存的PC机，使用Visual Studo 2019作为编译工具，并使用CUDA11.1作为并行计算库。

图5～6和图8是采用kinect2.0采集的分辨率为640×480的常见场景的深度图，图7是采用工业相机采集的分辨率为1025×820的实际工业场景下的一帧三通管深度图。

图5展示了算法对于光滑桌面的滤波结果。可以看出，算法能够使得原本由于相机误差导致的凹凸不平的表面明显变得光滑，随着取值变大，光滑程度也会随之提高。在实验过程中可以获得较好地滤波效果，同时使算法运行速度下降。相较于不使用指导法向的方法，本文算法在光滑度上并没有很大差别。

图6和图7属于几何特征较为明显的场景。如可见场景中物体的棱角，基于指导法向的双边滤波相较于普通的法向滤波而言，对于尖锐的几何特征有更好地保留效果。这对于几何识别非常有用，在工业界对于几何构件的位置获取展现出了良好的潜力。随着取值的变大，能够将指导域的范围扩大，获取更具有可信度的局部片段。但若过大，反而会导致过光滑现象。经实验发现，其能够获得较好的效果。

图5 平面指导滤波结果((a)原始点云；(b) k=3；(c) k=4；(d)未使用指导法向)

图6 几何构件指导滤波结果((a)原始点云；(b) k=3；(c) k=4；(d)未使用指导法向)

图7 三通管指导滤波结果((a)原始点云；(b) k=3；(c) k=4；(d)未使用指导法向)

图8 人脸指导滤波结果((a)原始点云；(b) k=3；(c) k=4；(d)未使用指导法向)

图8属于几何特征不那么尖锐的人脸场景。在该场景下，本文算法仍然能够获得较好的滤波效果，但与未使用指导法向的法向滤波相比，相差不大，仅在眼镜边框等较为尖锐的区域保留效果较为明显。

表1为点云图在不同迭代次数下所需要的时间。

从表1可以发现，对于640×480的深度图像，本文单次迭代只需要几十毫秒的时间便可得到非常良好的滤波效果。

表1 不同深度图各迭代次数所需运行时间(ms)

若原本深度图像上的点并未填充整个图像的话，滤波时间还可以进一步减少。比如对Kinect扫描获取的人脸点云的滤波，迭代一次仅需要22 ms，这在人脸的实时重建中展现出了良好的潜力。

为了进一步展示本文方法对于边缘特征的保留能力，图9选取了深度图滤波的样例图Teddy在不同的参数下进行滤波，并与NLGBT[11]，OGLR[24]和FCG[13]方法相对比。

图9 不同方法对Teddy滤波的法向渲染图，其中d～f为本文方法法向域在不同s下的结果((a)纹理图像；(b)深度图像；(c)带噪音法向渲染图；(d) s=10；(e) s =0.4；(f) s =0.2；(g) NLGBT；(h) OGLR；(i) FCG)

为了对比不同方法对于几何特征的保留能力，图9展示了相同噪声下的深度图滤波后结果的法向渲染图。其中颜色差异越大，代表局部法向差异越大，以此来判断其尖锐特征是否得以保留。可以看到，本文方法在进行双边滤波时，法向域越小，其对几何特征的保留能力越强，但是平滑的效果会相对变差。图中显示，本文方法在尖锐边缘处的法向差异更明显，能够更显著地保留其在深度图法向上尖锐的特征。

6 结束语

本文提出了一种基于点云法向和纹理的滤波方法，其使用GPU加速对深度图像进行快速滤波，计算效率得到大幅提高，并具有以下优点：

(1) 该方法通过对法向的联合双边滤波，较好地在光滑点云的同时保留了模型上那些尖锐的特征，即视觉和空间上的“边缘”。

(2) 该方法通过引入高精度的数码相机所获取的信息，来指导低精度的深度相机所获取的具有噪声的点云的法向滤波，加强了滤波的法向可信程度。

在未来可以结合提取连续帧的方法来消除随机误差，增加时间维度，对深度相机获取的连续数帧点云进行三边滤波，以减小深度相机由于采样不均匀导致的误差，进一步提高滤波的准确率。

[1] 李智琦, 毛心怡, 汪俊, 等. 保持特征的三角网格曲面去噪技术综述与展望[J]. 计算机辅助设计与图形学学报, 2020, 32(1): 1-15.

LI Z Q, MAO X Y, WANG J, et al. Feature-preserving triangular mesh surface denoising: a survey and prospective[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(1): 1-15 (in Chinese).

[2] FLEISHMAN S, DRORI I, COHEN-OR D. Bilateral mesh denoising[J]. ACM Transactions on Graphics, 2003, 22(3): 950-953.

[3] LEE K W, WANG W P. Feature-preserving mesh denoising via bilateral normal filtering[EB/OL]. [2021-04-12]. https://ieeexplore.ieee.org/document/1604647.

[4] ZHENG Y Y, FU H B, AU O K C, et al. Bilateral normal filtering for mesh denoising[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(10): 1521-1530.

[5] SHEN J G, ZHANG S Y, CHEN Z Y, et al. Mesh sharpening via normal filtering[J]. Journal of Zhejiang University-SCIENCE A, 2009, 10(4): 546-553.

[6] WEI M Q, YU J Z, PANG W M, et al. Bi-normal filtering for mesh denoising[J]. IEEE Transactions on Visualization and Computer Graphics, 2015, 21(1): 43-55.

[7] ZHANG W Y, DENG B L, ZHANG J Y, et al. Guided mesh normal filtering[J]. Computer Graphics Forum, 2015, 34(7): 23-34.

[8] 杜小燕, 姜晓峰, 郝传刚, 等. 点云模型的双边滤波去噪算法[J]. 计算机应用与软件, 2010, 27(7): 245-246, 264.

DU X Y, JIANG X F, HAO C G, et al. Bilateral filtering denoising algorithm for point-cloud model[J]. Computer Applications and Software, 2010, 27(7): 245-246, 264 (in Chinese).

[9] HAN X F, JIN J S, WANG M J, et al. Guided 3D point cloud filtering[J]. Multimedia Tools and Applications, 2018, 77(13): 17397-17411.

[10] MUELLER M, ZILLY F, KAUFF P. Adaptive cross-trilateral depth map filtering[EB/OL]. [2021-04-07]. http://www.doc88.com/p-498186627297.html.

[11] HU W, LI X, CHEUNG G, et al. Depth map denoising using graph-based transform and group sparsity[EB/OL]. [2021-04-25]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.676.2354.

[12] DU H Y, MIAO Z J. Kinect depth maps preprocessing based on RGB-D data clustering and bilateral filtering[C]//2015 Chinese Automation Congress. New York: IEEE Press, 2015: 732-736.

[13] HUANG Q W, LI R K, JIANG Z D, et al. Fast color-guided depth denoising for RGB-D images by graph filtering[C]//2019 53rd Asilomar Conference on Signals, Systems, and Computers. New York: IEEE Press, 2019: 1811-1815.

[14] IBRAHIM M M, LIU Q. Optimized color-guided filter for depth image denoising[C]//2019 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2019: 8568-8572.

[15] TOOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]//1998 IEEE International Conference on Computer Vision, Bombay. New York: IEEE Xplore, 1998: 839-846.

[16] OH B M, CHEN M, DORSEY J, et al. Image-based modeling and photo editing[C]//The 28th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 2001: 433-442.

[17] DURAND F, DORSEY J. Fast bilateral filtering for the display of high-dynamic-range images[J]. ACM Transactions on Graphics, 2002, 21(3): 257-266.

[18] CHO H, LEE H, KANG H, et al. Bilateral texture filtering[J]. ACM Transactions on Graphics, 2014, 33(4): 1-8.

[19] ZHANG M, GUNTURK B K. Multiresolution bilateral filtering for image denoising[J]. IEEE Transactions on Image Processing, 2008, 17(12): 2324-2333.

[20] PARIS S. A gentle introduction to bilateral filtering and its applications[EB/OL]. [2021-04-04]. https://dl.acm.org/doi/10.1145/1281500.1281604.

[21] PETSCHNIGG G, SZELISKI R, AGRAWALA M, et al. Digital photography with flash and no-flash image pairs[J]. ACM Transactions on Graphics, 2004, 23(3): 664-672.

[22] EISEMANN E, DURAND F. Flash photography enhancement via intrinsic relighting[J]. ACM Transactions on Graphics, 2004, 23(3): 673-678.

[23] SRISUK S, KESJINDATANAWAJ W, ONGKITTIKUL S. Real-time bilateral filtering using GPGPU[J]. Applied Mechanics and Materials, 2015, 781: 568-571.

[24] PANG J H, CHEUNG G. Graph Laplacian regularization for image denoising: analysis in the continuous domain[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1770-1785.

Guided normal GPU filtering of depth images

CHONG Si-jie, WANG Shi-wei, LIU Li-gang

(School of Mathematical Sciences University of Science and Technology of China, Hefei Anhui 230022, China)

Depth images acquired by depth cameras generally contain noises and lose detailed geometric information. Thus, the filtering of depth images has become an important topic in both computer graphics and computer vision.However, most current filtering methods can hardly preserve the sharp features in the objects and often result in over-smoothing results. To this end, we proposed a novel joint bilateral filtering method for filtering depth images. First, we estimated the normal of each pixel in the depth image. Then we computed the weight of the normals by voting to perform joint bilateral filtering on all pixels. Finally, the vertex coordinates were updated according to the filtered normals. This method took into account the texture information with high accuracy as guidance information, which can yield more reliable filtering effects. In addition, this method was based on the local information of the point cloud, did not need to solve large matrixes, and employed GPU parallelism leading to extremely high computational efficiency. Experiments show that our method can highly preserve the edges in the normal field, thus preserving sharp features better than previous methods.

depth images; point cloud; joint bilateral filtering; texture; normal filtering

23 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010118

A

2095-302X(2022)01-0118-07

2021-06-23；

2021-07-26

26 July，2021

崇斯杰(1995–)，男，硕士研究生。主要研究方向为计算机图形学。E-mail：476449992@qq.com

CHONG Si-jie (1995–), master student. His main research interest covers computer graphics. E-mail：476449992@qq.com

刘利刚(1975–)，男，教授，博士。主要研究方向为计算机图形学等。E-mail：lgliu@ustc.edu.cn

LIU Li-gang (1975–), professor, Ph.D. His main research interests cover computer graphics, etc. E-mail：lgliu@ustc.edu.cn