三维视频融合平台研究与应用

周 颀

（华电青岛发电公司 山东 青岛 266000）

0 引言

安全高效运营是发电企业生产经营管理中永恒的主题，如何夯实基础、创新手段，有效提升安全生产管控水平，是当前形势下我们需要着重考虑的问题之一[1]。随着网络的普及和信息技术的飞速发展，信息化已经成为生产经营管理的基础，如何高效融合现有的信息资源，打破信息孤岛现象，将各种信息与公司生产实践更好结合，目前已成为信息化建设工作的重点[2]。

信息融合（information fusion）技术最早是20世纪70年代提出来的，随着近代基础科学和应用技术的进步，信息融合早已不仅仅局限于一维、二维信号的融合叠加，而是更深层次更彻底的融合，比如三维现实场景的视频融合技术。目前，三维现实场景的视频融合技术内容丰富，理论依据扎实，融合过程也更容易操作，一般来说，三维现实场景的视频融合一般包含以下几个关键步骤：（1）多信源融合，将不同信源信号或同一信源不同层次的信号融合；（2）信号合并，将多信源统一成一种表现形式，完成多信源的关联程度分析；（3）融合后信息输出，以三维现实场景视频为例，可实现多信源信号的综合输出[3]。

三维现实场景的视频融合已在视频监控、工业生产，安全救援等领域发挥了重要作用，三维现实场景的视频融合已得到广泛关注，各大高校和企业已相继展开相关理论及技术应用研究。此外，视频融合技术应用的权威组织，也在为推动三维现实场景的视频融合做出积极的推动作用，动态图像专家组和国际化标准组织早在2008年就已启动了三维视频技术的标准化进程。在视频融合的理论及技术应用研究中，视频信号的采集和存储是视频融合技术发展中的一项艰巨任务，视频信号的采集包括摄像头的选取和拍摄位置选择，色彩校准等；视频的存储也不是单纯的放置在硬盘中，而是需要视频剪辑，将一个视频段分段储存。其次，在确定采集场景和配置好摄像头之后，需要注意的是，世界坐标轴的统一，保证各个摄像头的输出数据是同种格式同种数据类型的，坐标匹配是视频融合的基础。另外,视频压缩处理和多视角图像的匹配融合也是研究的重点内容。

在理论研究方面，伦更永[4]探讨了实景三维与视频融合技术的技术原理与应用前景，并在核电智慧工地中得到了现场应用。吉向东[5]则针对更加复杂的机场场景，针对机场三维动态场景，应用视频全融合感知技术，搭建机场视频融合系统，实现机场场景的三维视频融合。在应用场景方面，柴少强等[6]将三维全景视频融合技术应用于视频监控方面，实现现实场景的全时空监控。王跃军等[7]将三维场景的视频融合技术应用于电厂智能巡视系统方面，实现现实电厂场景的全景监控。随着工程应用的推进，国遥新天地三维视频融合监控平台依托于已有三维地理信息系统，实现了面向全球广域范围内的三维地理信息可视化融合应用。通过经纬度、海拔等地理信息坐标体系，实现基于时空位置智能精准定位和时空动态分析，从而提升视频分析及人工智能的应用价值。

1 三维视频融合的意义

三维现实场景的视频融合技术比传统的二维视频技术有着明显的技术优势，这集中体现在视频感受方面，我们知道，二维视频是丢失了深度特征的，无法为用户带来“身临其境”的视觉感受，三维现实场景的视频信息更贴近我们的日常生活，从而提升视频的感官感受[8]。除此之外，三维现实场景的视频信息还能够与观众进行交互，用户可以自由选择从何种视角来获取视频信息，目前这项技术已广泛应用于旅游景点和实景地图中。通过使用视频融合的方法，将旅游景点的全部景色融合在一起，让游客能够根据自己喜好，自由地“在线旅游”，在实景地图中，部分游客由于对方向不敏感，实景地图能够帮助他们更好地辨别方向，选择合适的路线。

视频监控系统作为一种现代化的监视手段，在企业生产经营实时监管方面发挥重要作用，为各种异常情况下的现场追忆和事后分析提供了可信的依据。在传统的视频监控系统中，监管人员需要同时观看多个分镜头画面，并且很难将各个屏幕的内容整合到一起，形成完整的视频解读，更无法对大场景进行全局实时监测。

随着国家信息化建设不断深化，集实景三维、视频监控、云计算、大数据、智能分析等技术于一体的三维视频融合系统成为重大工程项目研究的热点。实景三维可以提升工程现场虚拟现实效果，视频监控能够协助施工现场安全监管、调查取证。能够帮助监管人员对某一时间段的事件进行快速回溯查找，让监管人员能快速捕捉有效信息，更能看懂监控视频信息。三维现实场景的视频融合技术极大了促进了VR技术的发展，给用户带来完美的沉浸式体验，技术厂商通过视频融合技术，将画面投放到VR设备中，形成一幅无死角，超大型现实场景画面，随着视频融合技术的成熟，融合后的视频不会随着视角的移动造成画面错位等现象的产生，符合现实场景。

从国家政策和各大高校和企业的研究重点来看，视频的深度融合是当前的研究重点，也具有广泛的市场前景，正是在这样的背景下,对基于三维视频融合综合平台建设这一课题进行深入研究,具有重要的理论意义和应用价值。

2 三维视频融合综合平台建设

2.1 框架设计

三维视频融合平台结合了先进的视频管理、虚实融合、三维动态等技术，平台主要由以下几部分组成：摄像机（枪机）、摄像机（球机）、数字视频图像帧延时器、三维图形图像渲染器、多层数字键合成处理器、图形图像与数据处理工作站等。

系统的基本工作原理是：由于一个固定视像头只能获取特定区域的视频信息，首先通过全场景的摄像头覆盖获取全场景信息，再利用视频融合技术，去除冗余的视频信息，重新构成一幅完整的视频画面。最后利用全场景视频重建一个虚拟的视频场景，即融合后的三维现实场景视频。视频融合的目的是增加虚拟场景与现实的互动性，增加虚拟模型的信息承载量，为现实与虚拟之间架起一座桥梁。系统的构成结构如图1所示。

2.2 功能介绍

在用摄像机对发电企业现场监控区域进行实时拍摄过程中，通过网络实时传输三维地图进行实时解码，同时使用三维图形图像渲染器对三维模型实时生成虚拟体图像，并随现场摄像机的运动轨迹严格地按照动态的空间透视坐标关系进行变化。计算机图形图像渲染器生成的虚拟场景与实景监控按照真实的空间透视坐标关系实时地融合在一起。在此基础上再根据发电企业巡检等业务需要，用户自定义线路进行巡检线路规划，在规划巡检线路上自动或手工巡检，系统能获取到现场的实时视频、红外成像图像及设备指定部位的温度，同时通过将三维视频融合监控平台中的设备信息与生产实时系统的测点信息建立映射关系，平台也能在巡检过程中获取到设备的当前运行状态信息。通过对采集到的设备温度信息及运行状态信息进行对比分析，可以判断是否存在异常情况，并将出现的报警信息第一时间通知值班人员。在每一次巡检完成后，系统都将自动生成本次巡检的巡检日志、巡检报表及报警记录。

2.3 应用场景

三维现实场景的视频融合平台不仅能够为用户带来良好的视觉体验，还能与用户进行实景交互，给观众带来全场景的视觉体验，此外，由于当前的视频融合不仅仅是视频信息的拼接融合，更是可以将位置信息，声音信号等其他信息传递给用户，带来更智能化的感官体验，通过接入不同的传感设备，将监控区域变成带有上帝视角的全景监控，为用户提供了一个完整的视图，所以三维现实场景的视频融合平台可以应用于工厂生产监控、危险源实景监控和游戏、生活的娱乐型场景。

平台在不改变原有监控系统硬件设备和系统结构的前提下，可实现三维视频融合、全景展示、报警源定位、区域人员统计分析、安全管理、人员管理、区域禁入、枪球联动、生产指标动态展示、自动巡检线路管理、巡检回溯、分级管控及报警和多角度监看等功能。

3 三维视频融合综合平台的具体应用

为了确保课题研究具有代表性及便于实施，经认真甄选，选定了燃料、氢区、油区、氨区、主厂房等日常生产管理中的几个关键区域进行研究，每个区域的巡检特点不同，但都对保障电厂的安全和正常运转起到至关重要的作用；同时，这些区域原有监控摄像机分布较为密集、施工布线工程量小，便于课题的整体推进。

3.1 基于倾斜摄影技术的三维建模

针对传统三维视频建模手段中存在的细节信号丢失、失真、场景倾斜等问题，本文提出一种基于倾斜摄影技术的三维建模方法，该方法不仅能够估算建筑物轮廓与高度信息自动提取场景模型，还能结合纹理与细节特征，保证细节信号的完整，提高建模精度，由于基于倾斜摄影技术的三维建模是以自动的方式获取物体模型的，所以其能够大大提高生产效率，其效率是传统人工建模效率的三倍以上，降低了企业的时间成本与人力成本。

在大型实景场景的构建中，像城市模型构建、山区、丛林场景构建中，倾斜摄影测量技术凭借高精度的建模内容和高效的建模速度已经得到了广泛的应用。因此，在课题中，建议基于该项技术生成发电企业电子3D沙盘，应用于监控画面实时自动拼接集成（RTSP）、运行参数、安防报警、巡检线路、人员定位、地下管网定位、危险源、工程分布、区域人员统计、危险区域等级生成等数据的基础展示。

课题首先要解决传统视频监控系统及应用缺乏对海量离散视频信息进行有效整合的手段，无法将海量的离散分镜头监控与真实多维场景进行有效关联，无法实时动态地感知监控区域的大场景整体态势，不足以对用户日常巡检、应对突发事件等提供有力的技术支撑的问题。解决方法是通过对电厂重点区域（燃料、氢区、油区、氨区、主厂房）进行多维重建，将处在不同位置、具有不同视点视角的监控视频与真实多维场景进行全景立体监控融合。同时，找到离散视频信息之间的关联，提取其中真正有价值的部分，实时拼接融合到大视野场景中，实现视频监控从“看得清”到“看得懂”的本质提升。融合后的视频监控，既可以在单一画面中实现对整体区域的全局立体监控，又能够在分画面中展现细节，满足了生产现场人员的多维度管理需求。

3.2 报警源实时定位

为了达到较好的全景监控效果，需要结合电厂实际复杂的生产环境，科学、合理地规划视频监控点位，配置相应的摄像机型号及数量，设计摄像机的安全高度及角度，在不产生视频资源重叠浪费的前提下，实现无盲区覆盖。要做到画面时空连续，克服分镜头带来的不连续，达到直观辨别跟踪跨镜头目标。同时，需要对所有固定分镜头视频做全面分析，检测分离出前景目标，根据自动的相机标定技术精确计算出其空间位置，按照其对应的时间序列信息，将视频与三维全真模型自动配准。

选择利用虚拟引擎平台将分布的重点监控摄像机位置标记在3D沙盘上，利用图像算法模型结合现场监控视频流（RTSP）进行深度学习，当现场出现违规现象，图像算法模块在后台自动启动三维内监控报警展示标签，标签自动显示报警画面及报警信息，也可以通过标签调取现场监控画面，实现视频与三维模型的“虚实结合”。在视频全覆盖情况下，实现重要区域和部位的全天候不间断全景视频监控并主动报警，掌握监控区域整体场景内的可视实时态势。

保证关键区域摄像机的完整覆盖是视频融合的基本条件，此外，可以通过设定注意力机制，重点关注其感兴趣区域，动态地观察整个场景，key track自动巡航技术可以定制巡航路线。系统可以根据预设的对齐和视角自动观察整个场景，并调整对齐和视角以观察整个场景中的局部场景。然而，由于技术因素的限制，原有的分段镜头视频监控系统只能根据每个分段镜头在矩阵中的位置描述进行视频切换。在这种模式下，透视视图是唯一的，与物理环境无关，很容易导致遗漏。对于操作员来说，有必要熟悉其所在区域内每个摄像头的位置和覆盖范围，这将导致相当大的劳动力成本。在3D视频融合平台模式下，无需手动切换即可进行自动巡检。只要摄像头完全覆盖场景，就没有遗漏。它不仅可以连续监测重要地区的天气，还可以节省人力。同时，平台上显示的大场景明显优于小规模人员巡逻，便于快速发现问题和排除故障。

3.3 全景实时监控与生产指标动态标签融合显示

为了打破原有信息孤岛现象的存在，平台可实现与电厂原有EAM、鹰眼防误管控平台，运行规范化平台，环保管理平台等第三方相关信息系统的无缝对接，实时提取对现场生产管理有价值的运行、调度、环保、检修、备品备件、设备台账等数据，以虚拟标签的方式，浮动在实时图像或管控平台上。现场管理人员不需要再单独到每个子系统上查看相关信息，所有重要信息都能结合当前全局视频画面直观展示，实现一站式管控。

在此基础上，以电厂智能巡检服务为核心，利用电厂综合数据协议转换接入网和视频流接口接入设备，利用开放式接口实现电厂各监控系统的可视化、对象化、综合监控和视频策略连接，应用服务器等。此外，它还支持垂直系统访问、互联和水平应用视图，打开不同系统之间的数据共享和业务集成通道，实现基于三维全景的电站智能视频监控系统的总体架构。通过视频智能连接装置和串口连接装置，可以实现系统中视频系统的智能分析和连接等应用功能，并可以访问系统中其他系统的报警和状态数据。扩展业务功能和其他服务。系统传输的数据应包括音频和视频媒体数据、控制和连接数据、状态和报警数据以及其他综合数据。

为了保证研究成果能有效应用于发电企业生产现场，平台应同时兼顾先进性、实用性与经济性。有几个关键和难点问题，是我们在研究过程中尤其需要加以关注的，也决定了最终投入的应用平台能否取得较好的预期效果。

4 结语

三维视频融合平台将信息技术与生产管理需求有机结合起来，在发电企业安全生产管理中有较为广阔的应用前景和实际作用。本文系统阐述了三维视频融合平台研究现状和发展前景，并根据现实生产环境，像燃料、氢区、油区、氨区、主厂房等日常生产管理中的几个关键区域，搭建了三维视频融合综合平台，使该三维视频融合平台能有效应用于现实三维场景，在实际应用中同时兼顾先进性、实用性与经济性。