基于三维场景的视频融合技术在电厂智能巡视系统中应用的研究

王跃军，易力

（1.神华国华寿光发电有限责任公司，山东 潍坊 262700；2.北京电科智擎科技有限公司，北京 100000）

传统的电厂视频巡视系统缺乏整合大量离散视频信息的有效方法，无法将大量分散的监控摄像机有效的拼接成一起，也无法直观与实际巡检场景有效关联起来，无法实时动态查看监控区域内全景情况，缺乏宏观视图，不能很好地满足电厂的巡检需要，不能为巡检工作和应急响应提供强有力的技术支持。而三维场景下的视频融合技术将多个摄像机采集的相同场景下的多个视频图像与关联的虚拟场景相结合，通过一定算法将三维静态模型和拼接好的动态视频画面重构，生成新的动静结合的新模型。三维与视频融合增加了虚拟场景与现实画面的互动，提高了虚拟模型的信息承载能力，搭建了现实与虚拟之间的桥梁，更方便电厂的工作，有效提高电厂的生产管理效率。

1 三维场景下的视频融合技术应用的主要功能需求

（1）通过对圆形煤场、汽机房、GIS室、翻车机室等各个重点巡检区域进行三维与视频融合的应用，将各个监控点、各个视角的监控视频与真实三维场景进行全景融合，建立视频信息之间的相关性，提取真正有价值的信息，在三维场景中进行实时视频拼接融合，实现视频监控从“局部”到“全面”的提升。展示系统不仅可以在一个大屏幕上实现整个区域的三维场景，还可以在一个子屏幕上显示局部细节。

（2）借助激光点云技术和三维建模技术对电厂内部重点巡检区域进行三维全景重建（包括各种设备、管线等）。扫描区域内激光点云轮廓清晰，各设备与管线等必须清晰、可见。具体包括：设备轮廓、铭牌、配件、仪表等细节，通过三维场景实时渲染以还原真实场景。

（3）采用先进的视频融合技术，对分布在重点监控区域周围的高点摄像机的视频数据进行拼接、记录、校正和融合。在视频全覆盖的情况下，实现对重要区域和房间的全天候不间断全景视频监控，实时捕捉监控区域的全景视觉动态。

（4）三维与视频融合通过三维重建技术与实时视频相结合，叠加设备运行参数、测温数据、智能分析数据、环境联合检测等实时数据，以及温度异常、环境异常等实时警报。

2 三维场景下的视频融合技术应用的基本框架

为满足电厂巡检工作的实际需要，将不同位置、不同视角的监控视频实时拼接融合，同时打造完全逼真的该区域下的三维模型，实现巡检区域、设备状态、人员进出的全景巡检监控。管理员无需实地检查就可以全面准确地掌握监控摄像头所在位置以及监控区域，不必频繁切换画面就可以在控制中心直观看到实时全景，从而有效应对各类突发事件。系统的基本框架如图1所示。

图1 电厂全景巡视系统基本框架

图1 中，右上角的照片是摄像头的分镜头视频，右下照片则是监控中心展示的三维全景融合图像。融合过程主要分为：第一步，基于三维视频融合技术检测并分离前景目标，再通过摄像头自动标定技术获取目标的空间坐标，最后，基于对应的时间序列进行三维全景视频拼接融合。

3 电厂全景巡视系统关键技术

3.1 前景目标检测

在三维视频融合系统中，核心任务是重构移动目标，将目标无缝融入三维场景，从而做到全面逼真的画面呈现。为完成这个任务需要进行前景目标检测，检测过程包括以下两个方面：

（1）针对前景目标进行多级前景背景建模，这是提取前景目标的关键环节，先提取目标图像的前景，让前景更接近当前图像背景，对视频当前帧、当前背景图像加权平均，达到背景调节的目的。但是，实践中，建模之后得到的背景往往因为光照变化等因素的影响而亮度不足，加之目标移动速度始终在变化或长期静止，可能导致关键目标遗漏。因此，需要采用多级高斯混合模型，用于对不同速度（包括运动到静止）的目标进行目标进行鲁棒检验，从而有些消除光照、物体移动等因素的影响，同时解决物体长期静止导致的目标遗漏问题。

（2）运动目标阴影、噪音抑制、缺失校正。阴影常被误认为目标，造成目标视频图像分割错误。因此必须全面考虑阴影颜色、空间、纹理等特征，通过纹理校正、颜色形变补偿的方式抑制阴影、噪声，基于数学形态学快速滤波校正缺失部分图像。

3.2 构建植全景模型

传统的三维建模技术难以有效确保模型大小、位置关系与实际场景相符，同时还存在建模速度慢、操作复杂、环境要求高等问题，尤其对于电厂这类庞大复杂的场景，三维建模精度和效率要求很高。因此，需要利用激光扫描技术实现点云数据的精准快速采集，为三维重建提供可靠的基础数据。但是，由于三维扫描设备视角窄且固定，有效测量距离短，对扫描环境要求高，应用仍局限于室内几何测量、短距离、小物体。即使是真实的电厂场景也很困难，目前还没有对所有形状的物体都适用的通用技术。

3.3 三维与视频融合

三维与视频融合的目的是在三维模型上实时还原二维视频信息，通过三维视角对真实场景进行全方位立体监控。

（1）将实时视频流信息，通过三维空间坐标转换投影至场景中，将摄像头视域范围内流数据展现实时展示，并检测场景的二维视频和三维模型的特征点，选择正确的算法实现基于特征点的图像配准，通过特征点描述符来衡量两个图像中特征的相似性，通过对应的特征描述图像之间的对齐匹配关系。可以引入多尺度匹配算法，以适应图像尺度的变化，提高配准算法的准确性。

（2）通过自动或半自动的特征匹配，反算从三维场景模型到二维视频的投影变化矩阵和三维物理摄像头的确切，将投影摄像机在三维场景中虚拟化，再将视频动态投影到场景表面，实现三维重建。

（3）通过分析视频信息，检测出前景目标。根据摄像头参数，可以将目标的像素坐标实时转换为三维位置信息，用于动态目标的三维建模。在融合过程中，只需要将背景信息投影到场景的静态三维模型上，将目标前景物体投影到动态重建的目标三维模型上。

3.4 全景可视化展示

通过将摄像机虚拟到三维场景中可以任意设置视点，从当前视点监控关键区域全景动态。

首先，系统支持自定义巡视轨迹，根据预设显示角度和速度自动巡视。巡视路线由多个路线控制点组成，通过设置路线控制点，可以创建直线、弧线、环线、圆线和复合路线等多种巡视路线，同时还可以设置巡视速度。

其次，全景视频与平面地图同步呈现，摄像头位置、覆盖区域等都能在地图中标记出来。根据目标或自动链接所有监控该目标的摄像机。

最后，可从存储设备读取历史视频数据，将历史视频数据可视化为三维模型，在全景场景中进行正向或反向搜索，具有逐帧播放、逐帧倒带、停止、快进、倒带和随机位置播放功能，以提高系统回溯查询效率。

4 结语

综上所述，基于三维视频融合技术的全景巡视系统的研发和应用可满足电厂日常监控、应急指挥、远程监控、设备运行状态监控等需求，改变以前分镜头的传统视频监控模式，对电厂关键区域进行全景三维监控，为提高电厂运行管理和应急响应能力提供可靠的技术支持。