三维视频融合监控系统在服务区的应用研究

李小勇 王玲容 唐文娟

摘要：高速公路服务区是高速公路的重要组成部分。服务区车辆人员复杂，流动性强，为了维护服务区业务有序化，加强车辆人员管理，需建立一个良好的监控系统。文章提出采用三维视频融合监控技术，将相邻摄像头的图像进行拼接融合处理，形成一幅大的全景图像，拼接后将实时全景画面投射到三维场景模型上，实现对服务区进行全局大场景的监控，方便跨镜头协同追踪车辆或人员，给服务区的监控和调度带来极大的便利。

关键词：服务区;三维场景;视频融合;拼接;监控

0 引言

过去，高速公路服务区多采用传统分镜头视频监控，存在如下弊端：每一个镜头只能从镜头所在的视点观看视频图像;每一个监控摄像机所拍摄到的视频图像和周围的环境是割裂的，每个摄像机和摄像机之间也是割裂的，只有对周围环境十分熟悉的工作人员，才能知道摄像头所拍摄的位置。本文针对高速公路服务区关于车辆、人员的安全管理，以及对应急事件的快速反应做综合调控的项目需求，采用三维视频融合技术，将离散的具有不同视角的监控视频进行实时拼接处理，然后与监控场景的GIS三维模型进行视频融合、渲染，形成场景内多路视频单一画面显示，实现三维场景与视频融合的一体化监控体系[1]，支持在单一监控画面中对整体区域的全局立体监控、分画面中监控细节展示、用户可自定义的视频自动巡逻监控等功能。通过这种虚实融合技术，可以达到在服务区重点防控区域内实时融合不同位置的动态视频到一个虚拟三维现实环境，达到全景一体化，一目了然，实现数字化、智能化、可视化的视频融合监控与预警管理，提高处置突发事件的能力，大大提升视频监测的实用效能。

本文以广西那马服务区为示范点，实现三维场景与视频图像的实时融合，构建智慧化服务区三维可视管控平台体系，提升监控系统价值，提供辅助管理和决策，快速推进广西高速公路智慧服务区信息化建设，实现高速智慧服务区综合应用平台转型升级。

1 三维场景与视频融合系统的设计

本文提出的智慧服务区三维视频融合监控系统实现方式是结合GIS地理信息系统建立高精度的三维场景模型，将摄像机获取的实时视频图像进行拼接处理，经与GIS三维场景进行精确配准后，与监控场景的GIS三维模型进行视频融合、渲染、显示[2]，实现跨越区域、空间的三维全景视频融合展示，对服务区进行全方位监控。系统主要模块及实现功能有：三维GIS建模、视频图像校正拼接、三維场景与监控视频融合、三维视频融合系统管控平台。系统的模块组成及实现数据流如图1所示，系统拓扑如图2所示。

2 服务区三维GIS建模

三维GIS建模是利用Osg GIS库实现服务区三维场景模型及地理信息的可视化[2]。该过程以三维数字地球为支撑，结合多级混合精度的三维地理数据，通过加载真实的、大范围的、高精度的地理信息数据，加载三维建筑模型及二维矢量电子地图，创建较真实的三维可视化虚拟环境。该过程具体实施步骤如下：

（1）利用无人机对服务区整体场景进行航拍，获取覆盖服务区全景的连续图片，此次拍摄图片1 064张，该系列图片包含无人机的pos信息数据。

（2）利用软件导入无人机航拍的连续图片，读取图片的pos信息。

（3）根据获取的图片的pos信息进行空三计算，得到影像拍摄位置的数字高程模型DEM信息，以及图片之间的空间位置关系。

（4）利用开源的Osg GIS库构建三维项目工程，按照1∶1的比例进行建模，倾斜摄影模型输出为osgb格式，并支持多地块的LOD层级结构。

建立服务区三维模型可直观快速掌握服务区的整体状况，模型的三维地理信息与监控视频数据结合，可追踪目标移动路径，从而实现在全局角度对服务区态势进行调度和指挥。

3 视频数据采集及校正拼接

3.1 摄像机布设及原始视频获取

为能获得覆盖服务区所有角度的场景信息，并且能够实现视频拼接，形成全局监控，以及实现目标跟踪和综合调度，需在服务区指定监控点布设高清摄像头。本文研究的重点是实现服务区停车区的全局监控，但是设计时考虑到系统的延展性以及施工安装便利性，故针对整个服务区进行设计及布设摄像机。根据服务区现场情况，可得到如图3（a）所示的摄像头分布情况，小圆点即为摄像机杆件安装点，摄像机杆件高度为20 m。摄像机分布如图3（b）所示，每一摄像机杆件上安装一台球机以及不同数量的枪机，并且摄像机均具有不同的安装方位角度。

本研究选用的枪机品牌型号为：海康威视DS-2CD2T45（D）P1-I，该摄像机分辨率为400万像素，视场角为180°，是超广角型网络摄像机，用于全景图像的拼接和三维视频融合。选用的球机品牌型号为：海康威视DS-2DC4420IW-D，用于实现目标追踪、快速定位等。

摄像机安装完成以及调整好角度之后，将摄像机视频信号接入服务区视频监控平台，通过平台软件获取实验所需的视频图像进行实验研究。图4分别为停车区1、2、3号杆上的1、2、3号枪机采集的图像数据。由图4可知，各路摄像机之间均有≥30%的重叠区域，适合进行全局图像拼接。

3.2 图像畸变校正及拼接

由图4可以明显看出，摄像机图像存在严重的畸变，难以直接进行拼接处理，故需要对摄像机进行标定及畸变校正。相机标定就是计算出三维场景信息与其在图像中对应点之间的映射关系的摄像机参数的过程[3]，包含摄像机内部参数和外部参数。本文采用自标定的方法，利用图像大小、停车区地面网格、摄像机安装高度等信息计算摄像机的内外参数。

摄像机的主要内部参数有：主点坐标（u0，v0）、焦距（fx，fy）、径向畸变系数（k1，k2）;外部参数有旋转矩阵R和平移向量T。图像大小为[w，h]，则有u0=w/2，v0=h/2。假设图像中任一点的像素坐标为[u，v]，其对应三维空间点坐标为[Xw，Yw，Zw]，根据地面网格大小DX=DY=4 m，相机安装高度h=20 m，以及相机成像模型：

4 三维视频融合监控系统

4.1 三维场景与监控视频融合

全景拼接只是二维场景的展示，不能进行全方位的立体监控，故需将实时视频与三维场景进行融合，建立服务区全局三维视频融合展示平台。在专门用于融合处理的高性能图形服务器上，本文采用基于GPU加速的流水线裁剪与剔除、多线程分块并行渲染的方式，对初步得到的服务区三维模型场景进行拟真级三维仿真实时渲染处理，创建一个高精度、高仿真的服务区三维模型。根据经拼接处理的全景图像内容，与GIS三维模型场景进行精准匹配融合渲染，实现在三维场景与视频图像的实时融合展示，并且可以从不同角度对融合监控场景进行视频漫游展示，达到对服务区进行整体全方位监控的目的，提供摄像机无盲区点位规划以及多类型资源管控。

4.2 三维视频融合系统管控平台

三维视频融合管控平台通过高性能图形服务器大屏控制器和大屏前操作台显示器相连，将三维视频融合真实感实时渲染输出结果显示到操作台和大屏幕上。在操作台显示平台操作界面，通过操作台将全景视频、球机视频及报警信息等展示到大屏幕上，以方便管理人员进行宏观指挥调度。同时支持以下相关功能：

（1）二维/三维信息同步关联。平台支持三维视频融合画面与二维分镜头视频画面同步联动显示。选定某重点观察区域，即可马上获取所有可以拍摄到该地区的摄像机，以供指挥人员选擇最佳观察视角，为快速从中获取该运动目标的细节信息提供辅助手段，从而为指挥人员快速决策提供有效工具。形成了全局与局部、二维与三维的有机结合，能够快速定位监控视频，解决了传统分镜头画面与真实场景无法对应，只能依靠熟记摄像机位置信息以及覆盖范围的问题。

（2）关键路径自动巡检。系统支持自定义巡更路径，可自动按照事先定义好的线路和视角观察监控场景，改变了传统分镜头视频监控系统只能按照每一个分镜头的位置描述信息切换不同视频以实现巡检功能的工作模式。

（3）历史事件全景回溯。系统通过在三维场景中框选，即可实现历史视频在该区域的三维模型中以全景融合形式播放。以整体画面描述事件来龙去脉，提高对历史事件的查询能力及对事件的全场景重现能力，改变了重点防控区域治安监控管理人员依赖分镜头零散倒查的传统工作模式，能够有效提升历史事件的回查效率，降低资源的投入量。

（4）球机目标追视。在三维场景中指定目标点，可反向控制球机云台，跨视域追视目标。

（5）系统兼容传统的九宫格播放形式，摄像头播放数量和位置用户可自定义调整。

5 结语

本文设计和建立了广西那马服务区三维视频融合监控系统，通过多路视频拼接以及与三维GIS模型的实时融合显示，用户不仅能够从全局角度直观、快速地理解视频监控内容，而且通过二、三维信息同步关联等功能，追踪目标移动路径，从而实现在全局角度对服务区态势进行调度和指挥。本文采用视频融合监控技术，是面向视频监控领域的一套新型高科技、综合、网络化的系统，可以在高速公路服务区以及园区、广场等大场景推广使用。

参考文献：

[1]雷培梁，伍朝辉.虚拟现实在智慧校园中的应用与创新[J].长春大学学报，2020，242（4）：42-45，50.

[2]马原野，赵 刚，何 彬.3DGIS与多视频融合系统的设计与实现[J].计算机应用与软件，2012（6）：109-112.

[3]鲁国峰.图像自动拼接及三维重建方法的研究[D].湘潭：湖南科技大学，2017.