一种基于动态点云的三维监控与压缩系统

万 杰，廖燕俊，朱映韬，罗承明，陈 建，2*

（1.福州大学 先进制造学院，福建 泉州 362200；2.福州大学 物理与信息工程学院，福建 福州 350116）

0 引言

动态点云[1]能准确表达三维空间位置关系，相较于二维影像，在目标检测、姿态跟踪、虚拟现实（Virtual Reality，VR）[2]、增强现实（Augmented Reality，AR）[3]以及三维场景可视化等方面具有更好的表现，因此在视频监控领域具有广阔应用前景。基于此，本文实现了一种基于动态点云的三维监控与压缩系统。该系统以双目相机作为三维点云获取设备，以NVIDIA 公司的Jetson Nano 作为压缩编码的处理器，以个人计算机作为远程监控终端，将所提出的改进的动态点云编解码框架[4]嵌入三维视频监控系统中，实现了动态点云的获取、呈现、压缩与传输的完整系统流程，为3D 目标监控、3D 远程会议和AR/VR 等新兴智能产业提供一定的学术参考和应用实例。本文的主要贡献如下。第一，实现了一种基于动态点云的三维监控与压缩系统，实现了三维监控场景下点云数据的获取、预处理、呈现以及压缩存储的整个流程。第二，提出了一种针对监控场景的视频点云编码方法，基于监控场景动静特性，对点云帧进行前景动态目标识别并使用改进的帧间压缩算法进行编码，而后对背景点云计算帧间误差实现选择性编码，实现了对3D 监控视频的高效压缩和存储。

1 方法

1.1 系统编解码框架

本文以双目相机为核心硬件，以提出的适用于监控场景的改进动态点云编码器为编码方式，配合当前点云处理中经典的三维获取和预处理技术[5]，共同实现对三维场景的实时监控与动态点云视频的压缩存储。图1 展示了系统采集与编码端的整体框架，分为以下步骤。

图1 基于动态点云的三维监控与压缩系统编码框架

步骤一，点云数据的获取。通过双目相机的双红绿蓝（Red Green Blue，RGB）摄像头进行二维图像采集，之后依据三角测量原理进行深度信息计算，实现从二维视频到三维动态点云视频的生成。

步骤二，对获取点云数据的预处理。在实验中发现，双目相机噪点以离散、随机的方式出现于物体边缘和前后景空隙处，采用基于统计学的离群点去除方法[6]对原始点云去噪。

步骤三，对预处理点云数据的可视化。去噪后的点云序列分为两个路径，先是通过ZED 公司提供的可视化接口在监控前台进行实时可视化展示，实现监控环境的三维监视效果。

步骤四，对点云数据的压缩编码。对点云序列进行前后景分割，得到监控背景和监控前景两个不同性质的点云序列。前景点云被认为是存在运动变化的监控主体，选择所提出的基于视频的点云压缩标准（Video-based Point Cloud Compression，V-PCC）[7]改进算法进行编码。而背景点云被认为是几乎不存在运动的非主体静态对象，通过帧间变化程度判定以选择是否需要进一步编码。对于变化不大的帧间背景点云进行舍弃，由前帧复用实现完整的监控场景重构；对于存在足够差异的背景点云，通过点云库中的八叉树编码进行编码。

对于编码后的点云数据，需要通过解码重构才能进行回放，解码重构流程如图2所示。由图2可知，本文的解码框架可以理解为编码的逆过程。

图2 基于动态点云的三维监控与压缩系统解码框架

1.2 动态点云的获取及预处理

本文的基于动态点云的三维监控与压缩系统中，采用的硬件如图3 所示，通过ZED 软件开发工具包（Software Development Kit，SDK）创建InitParameters 对象对关键信息初始化，实现基于双目相机的三维点云数据的获取功能。

图3 系统搭建所涉及的硬件

图4 展示了室内测试场景下系统采集到的点云示例。可以观察到，直接捕获的点云数据存在一定噪点。这些点是由于采集过程中受限于视角差、光线、振动等外界客观因素，导致三维构建中目标的边缘可能存在深度信息估计不精准的问题。

图4 双目相机获取的点云示例图

在噪声滤波阶段，所采用的算法为统计学滤波算法。双目相机采集得到的三维点云中，各点相较于k个邻近点间的距离在一定领域内大致服从高斯分布，可用概率密度函数表示为

式中：xi为点云第i个点在当前邻域k个邻近点的平均距离，μ为距离均值，σ为标准差。

由于离群点噪声分布相对稀疏，因此通过遍历点及邻近区域点的平均距离来确定。对于当前帧点云P共有n个点，遍历每个pi点，其中(xi,yi,zi)为该点几何坐标，之后建立KD 树查找最近的k个点计算平均距离di；依据设定的离群点阈值D，将平均值超过该阈值的点去除，在算法中D=μ±ασ，α为标准差倍数，平均距离与标准差的计算公式为

对采集点云使用不同k与α进行多次测试后去噪的比较，经多次实验，当取k=16、α=0.5 时，在图5 的主观视图中取得最佳的降噪结果。该参数下实现了3.99%的去噪比，尽管随着参数的进一步提升能实现更高的去噪比例，但会导致过度滤波。因此，本文均以k=16、α=0.5 作为运行时的滤波参数。

图5 不同k 与α 参数下的滤波效果图

1.3 监控场景的动态点云分割编码

双目相机采集动态点云序列后，需传输和存储大量的监控数据。以使用的1 080 分辨率、30 f·s-1的采集率为例，每帧动态点云序列包含两百余万点，大约需要80 MB 空间存储，1 min 的录制信息需要上百吉字节存储空间，因而必须进行相关压缩编码处理以节省存储消耗。本文提出了一种基于深度信息的动静分割方法，实现了监控目标与背景的轻便分离。

进行前后景点云分割的目的在于依据点云特性采用相对应的编码方式进行编码。其中，前景为存在运动变化的监控主体目标，采用提出的V-PCC改进算法进行动态点云的编码，减少帧间信息冗余性。其中，为实现改进算法的应用以提高帧间编码性能，需对监控前景进行尺度转换使其满足编码要求，并在解码后与背景点云融合。图6 给出了尺度转换的步骤。

图6 适用于改进V-PCC 编码的尺度变换步骤图

背景点云是几乎不存在运动的非主体如墙面、固定物体等静态对象。本文中，通过对当前帧背景与上一个需要编码的背景点云进行几何相似度判定，以确定当前帧中的背景信息是否存在明显变化，若误差较大，则舍弃。帧间误差的判定方式为

式中：cur 为当前待判定背景点云帧，ref 为上一个需要进行编码的背景点云帧，表示cur 与ref 两帧间的几何误差，Φ为背景编码判定阈值。

当CNeedCode值为1，表示帧间差异较大，应当保留当前背景点云；CNeedCode值为0 时则可舍弃。由于采集到的背景点云依旧存在较多孔隙及离散区域，无法适用于提出的V-PCC 改进算法。因此，通过引入PCL 库中的八叉树编码进行背景点云的压缩。

2 实验结果及分析

为测试提出的三维监控与压缩系统的点云质量和压缩性能，首先与标准数据集进行主观对比，衡量三维点云质量。之后，与动态图像专家组（Moving Pictures Experts Group，MPEG）提出的V-PCC 标准进行对比，以分析提出的基于三维监控场景的基于V-PCC 改进的压缩算法在实际应用中的性能表现。

2.1 主观质量对比

图7 以MPEG 点云压缩标准推荐的8iVSLF 数据集中的Red and Black 模型为例，将其与室内监控下捕获的前景点云人物进行细节对比，采集到的点云具有较为丰富的细节。

图7 实验前景点云相较于8iVSLF 数据集点云细节对比图

2.2 监控目标的编码性能测试

在针对前景点云序列进行性能分析的实验中，选取30 帧实际场景采集的动态点云作为测试数据展开测试。观察图8 展示的针对几何D1属性Luma的峰值信噪比（Peak Signal to Noise Ratio，PSNR）增益曲线，提出的改进算法在前景点云的编码中，相较于V-PCC 在不同量化等级中均实现了性能增益。进一步分析可发现，几何D1在各分量的增益曲线相较于属性Luma 的改善较小，原因在于双目相机对帧间光线变化敏感，使得属性信息在帧间差异相较于几何信息变化较大。

图8 改进算法的BD-PSNR 曲线图（相较于V-PCC）

进一步地，针对几何与属性，与V-PCC 进行比较，平均BD-BR 负增益的实验结果如表1 所示。

表1 压缩平均BD-BR 增益表

2.3 系统整体压缩性能分析

为了对所提出的动态点云监控与压缩系统在编码压缩中对于存储空间的节省程度，在此选取了室内监控场景中的30 帧实时监控数据进行测试。其中，在背景点云编码中需尽可能实现与前景动态点云R1～R5相匹配的码率控制量化参数，因此通过对式（4）中背景编码判定阈值Φ参数进行背景点是否进行编码的误差设置，以调整编码与丢弃的背景点云帧比例来改变不同码率下编码码流的高低。其中，Φ参数的设置分别从R1至R5取3.0、2.5、2.0、1.5、1.0 展开压缩性能测试实验。整体压缩性能如表2 所示。

表2 各量化等级下的压缩性能统计表

观察表2 可发现，在最低量化等级R1下，相较于原始数据仅需1.1%的存储空间，尽管随着量化等级提升压缩性能随之下降，但在最高量化等级R5中，依旧取得了10.1%的压缩率。该结果表明，所提出的基于动态点云的三维监控与压缩系统在整体压缩性能的测试中实现了较好的表现，具备应用前景。

3 结语

本文以双目相机作为采集设备，以提出的自适应分割的视频点云帧间编码方法作为编码手段，结合PCL 点云库中的经典点云压缩方法共同设计实现了一个基于动态点云的三维监控与压缩系统，完整实现了从双目相机的动态点云数据获取、预处理到应用改进帧间编码器实现压缩的整个系统框架流程。在系统实现中，提出的根据监控场景特点灵活应用不同编码方式，实现了编码比特消耗的节省。经过主观对比与客观误差分析验证，所提出的系统在点云录制质量与编码性能上均达到了理想效果，符合低成本下实现动态点云获取与编码的设计目标，具备落地应用前景。