基于多摄像头全景图像拼接的实时视频监控技术研究

史建林 郝培升

中国神华能源股份有限公司神朔铁路分公司 陕西榆林 719316

1 全景图像拼接监控技术的介绍

全景图像拼接监控技术，指的是借助多个摄像头收集信息进而根据收集到的信息来进行监控，防护以及备份的管理。比起传统的监控系统，全景图像拼接监控系统主要是采取数位交互的方式来进一步的实现多个图像，全景摄取以及监控的管理。简单来说，就是借助软件技术来原先的上位机制来控制多个摄像头进而完成对应的收集图像的工作，同时还要对收集到的图像进行几何，色差等的调整，之后再借助对应的算法来对图像进行再次的优化处理，最终将修改调整好的图像参数传输到工控机，接着将图像的数据信息传输到多路IPC视频的拼接处理器中，最终由处理器对图像进行处理，最终将处理完的图像信息投放在大屏幕中，实现实景到屏幕中的转换。在此过程中，需要软件与硬件之间进行融合，才能够实现全景图像的实时拼接，最终便于进行监控与管理工作[1]。

2 多摄像头全景图像拼接的实时视频监控技术研究的背景

在传统的视频监控系统中，仅仅是能观察到一些周边的情况，而且观察到的情况有一定的模糊性，并不能清晰的观察到对应物体的具体情况，视线较为狭窄，水平方向和垂直方向仅仅是在30-60°左右，如果选用传统的视频监控系统来进行工作，相关的视频监控管理人员需要对多个屏幕来进行观察分析，有些视频中的图像只是有一小部分的区别，因而增加了工作人员的工作负担，工作量繁重。而且最关键的是，视频监控的管理人员不能及时的观察到对应具体的事物变化情况，可能有些安全隐患的发生，但是无法及时的收集到信息因而无法做出及时的解决措施，进而造成了一定的损失，不利于企业的发展。而多摄像头全景图像拼接的实时视频监控技术，是将多个图像中具有共同的重叠区域进行消除，进而将图像拼接成具有宽视角和高分辩率的图像，也就是形成了基于图像三维全景的视频监控系统，进一步的减少了工作人员的工作量。同时还能够实现实时的监控管理，进而提高了工作过程中的安全性[2]。

3 多摄像头全景图像拼接视频监控技术研究项目中的创新技术分析

3.1 全景融合拼接技术

全景视频融合拼接技术的原理是利用当前国内领先水平的视频融合专利技术和计算机视觉混合现实技术来机械能融合，从而能够将分布在重点监控区域中的多路高点监控摄像机的视频数据，借助视频图像特征来进行提取，同时结合摄像机参数、点位位置、角度等条件，基于CPU和GPU异构并行架构，进而实现大规模数据并发处理以及超高分辨率实时全景融合处理，其中包含的多路视频GPU并行渲染和动态拼缝融合等技术关键点，对图像数据进行拼接、配准、矫正及融合等处理。进而实现在视频全覆盖情况下，能够对相关的重要区域和部位的全天候不间断全景视频监控，便于相关的管理人员能够可以掌握监控区域整体场景内的可视实时态势，进一步的根据实时的视频监控信息来及时的进行管理与控制。

3.2 全景视频的多业务动态展示

全景视频的技术中，可以借助平台之间的对接，进而能够对多个系统进行整合，从而将相关的数据资源进行统一的规划展示，并在管理指挥工作中不断优化，使得管理人员能够及时的掌握监控区域中的信息，从而制定出对应的处理方案，进一步的提高管理指挥人员的工作效率，降低管理的风险，最终形成一套基于全景视频的综合管理指挥系统，实现全景视频的多业务动态展示。

4 多摄像头全景图像拼接的实时视频监控技术研究项目的主要内容

4.1 三维的全景摄像装置

根据当前传统的视频监控系统中存在的视野盲区，同时结合当前的科学技术，研究出了三维的全景摄像装置，进而解决了传统视频监控摄像中存在的视野盲区，具体就是将在传统视频监控摄像中的监控图像镜头分隔的缺陷进行了改进与设计，进而能够抵御整体的监控视野区域中进行全景的监控管理，能够实时多方位多角度的监控管理。再者是，传统的视频监控摄像机中所能监控到的角度仅仅是某一个方向，能够观察到的范围较小，而三维的全景摄像装置能够实现摄像机的多角度无缝的结合，进而避免了工作人员要对多个视频的监控图像的观察分析，节约了一定的时间，使得工作人员能够快速准确的观察到视频中的异常情况，从而根据具体的实是观察来分析出原因进行及时的管理[3]。

4.2 三维全景融合软件系统

三维全景融合软件系统中，主要是借助三维的建模，视频的重构技术，对视频监控信息的收集以及三维全景摄像装置的书数据来进一步的建立出对应的的三维全景模型，进一步得实现由单一的视图来显示出对应的全景额三维视图，同时能够对某一个局部来进行放大和缩小，以及能够实现远程的操控与管理。简单来说，第一是能够实现全景和局部视图的有机结合，借助三维的球机协同追视系统来对全景融合监控范围中的目标情况进行准确的指挥与查看。再者是在全景三维模型和全景视频的基础上，实现区域的自动巡航，对关键区域的准确定位与处理。

4.3 多屏合一的技术研究

多屏合一的记住，主要是指在全景视频的运转室中建立起对应的拼接屏幕，在三维时空技术的基础上，实现三维全景融合系统，对应的图像数据以及TMIS数据信息的同步显示，进而视频管理人员能够根据显示出的图像数据信息，来进一步的进行指挥工作，及时的作出调整。

5 多摄像头全景图像拼接中要实现的主要功能的具体设计

5.1 基础视频监控管理

基础的视频监控管理，就是指在一般的视频摄像监控的基础上，严格按照规定的操作步骤来进行监控管理，注意监控设备的运行情况，不能随意的中断监控，或者是随意的删除监控信息。再者是管理人员如果发现了进击的情况来及时向上级汇报信息。再者是对每天的监控信息进行保存，从而为后期进行核查提供信息。

5.2 全景视频拼接显示

全景视频拼接显示功能是利用处于国内领先水平的视频融合专利技术和计算机视觉混合现实技术，将分布在重点监控区域周围建筑物等高点的监控摄像机的视频数据进行拼接、配准、矫正及融合等处理。从而能够在视频全覆盖情况下，实现对重要区域和部位的全天候不间断全景视频监控。管理人员可以掌握监控区域整体场景内的可视实时态势，处理过程为解码、拼接、显、编码、流媒体输出。

5.3 全景多路低点视频关联显示

全景多路低点视频关联显示，是指事先将部署在场景内的多路低点视频与全景视频建立关联关系。在开启时，低点枪机的图标就会显示在全景画面中，通过点击图标，就可以在独立窗口中调看对应摄像机的实时视频监控。在操作的过程中，操作人员不需要记住每个摄像机的编号就可以快速准确定位到目标视频，极大地减轻了操作负担。

5.4 全景视频枪球联动“一点即视”

全景视频枪球联动“一点即视”，是指事先将场景内的球机进行标定，进而建立起对应的球机姿态、最佳焦距与全景画面像素位置的对应关系，之后由操作人员在全景视频画面中点击或框选目标区域，系统则驱动球机对准目标区域并进行变倍放大，进一步的减轻了操作人员的工作负担。

5.5 设定路线自动巡航

在设定路线自动巡航中，首先是以场景的二维平面图作为基础，再将摄像机点位标绘在二维地图中。因而，操作人员可以根据地图手动调取任意摄像机的视频。同时，操作人员也可以设置自动巡航模式，也就是在二维平面图或三维地图中设定路径节点后，系统路径节点设定顺序创建巡航路径，并基于此巡航路径将相关的视频进行关联匹配。当开启漫游巡航功能后，系统从当前所处的位置开始依次显示视频。在巡航过程中，画面边角处显示鹰眼地图，提示当前视口摄像机位置和方位指向。

5.6 全景历史视频同步回放

根据回放请求，来对任意时刻的全景视频及选定的低点视频进行整体同步回放。该功能适用于大范围区域内事件发生全过程的回放，能够直观的、全景式的呈现历史事件的发生始末，解决了传统视频监控需要针对多个分镜头进行逐一回放、且画面支离破碎的问题。

5.7 全景视频解码器上屏

通过“1+N”的管理模式（即：1台管理客户端+N台解码显示客户端），实现任意多路全景视频的上屏显示。管理客户端能够将多个区域的全景视频及普通单路视频进行预览，在显示大屏数量满足的解码显示客户端的输出要求的前提下，可直接拖拽多个区域的全景视频及普通单路视频到对应监控大屏的虚拟电视墙窗口，便于指挥中心指挥管控人员直观、全面、便捷、完整的实时掌控大场景内的整体态势[4]。

6 多摄像头全景图像拼接实时监控系统建设在神朔铁路中的具体应用

6.1 全景视频摄像机点位安装部署

（1）全景视频摄像机点位安装部署的原则。首先，全景视频监控在安装时，摄像机部署货场区周边的制高点位置，从而能够实现对整个货场区100%视频全覆盖。再者，各个摄像机的监控区域之间的视角重合度要大于15度左右，进而便于视频之间进行全面的融合处理，而且为了保证视频展示中视觉的一致性，要求摄像机布置的方位要呈现出扇骨状分布，这样才能够保证视频监控中的一致性。

（2）摄像机的点位专项设计。

①伸缩铁路中全景总覆盖区域。由于神朔铁路车站的整体监控区域呈现细长的形状，根据调查研究，监控范围全长2公里，宽约30米。经过对神朔铁路现场的仔细勘察，在孤山川车站设计三组全景点位，中间的全景点位在站房屋顶，东西两组分别在距离站房500-600米的灯架上。

②（A）全景点位设计。西侧灯架距离站房约560米，安装3台枪机用于全景拼接，1台球机用于全景关联操作。灯架高约25米，摄像机安装在灯架升降架底部横梁位置，通过抱箍方式固定，采用吊装支架。3台摄像机呈扇骨状分布，每天摄像机水平视角约85°，垂直视角约47°。同时安装1台球机，作为全景关联操作使用，通过软件对球机的PTZ控制，能够在全景上精确定位，并自动调整方向、变倍和焦距。球机采用吊装支架，安装于枪机附近2米范围内，能够覆盖全景监控范围，且不遮挡全景画面的位置。覆盖股道西端咽喉区以及安装位置半径300米范围区域。灯架底部会有半径约10米盲区范围。

③（B）全景点位设计。站房楼顶屋面中间位置，安装3台枪机用于全景拼接，1台球机用于全景关联操作。站房高约25米，利用排水沟侧面水泥墙体，定做安装摄像机支架，通过法兰方式固定，摄像机装在排水沟侧墙顶部。3台摄像机呈扇骨状分布，每天摄像机水平视角约85°，垂直视角约47°。

④（C）全景点位设计。东侧灯架距离站房约600米，安装3台枪机用于全景拼接，1台球机用于全景关联操作。灯架高约25米，摄像机安装在灯架升降架底部横梁位置，通过抱箍方式固定，采用吊装支架。3台摄像机呈扇骨状分布，每天摄像机水平视角约85°，垂直视角约47°。同时安装1台球机，作为全景关联操作使用，通过软件对球机的PTZ控制，能够在全景上精确定位，并自动调整方向、变倍和焦距。球机采用吊装支架，安装于枪机附近2米范围内，能够覆盖全景监控范围，且不遮挡全景画面的位置。覆盖股道西端咽喉区以及安装位置半径300米范围区域。灯架底部会有半径约10米盲区范围。

⑤（D）球机点位设计。东端咽喉区域距离站房较远，需要额外增加1台球机用于监控此区域。作为全景C的低点位关联摄像机，可以从全景视频中调用，弹窗查看。一般球机安装于围界立柱顶部，采用抱箍固定壁装支架方式安装，主要覆盖东端咽喉区域，以及转弯区域。

（3）全景视频摄像机选型。在选择全景视频摄像机的型号是一般是选择海康DS-2CD7A27EWD-IZS高清红外一体化摄像机，200万星光级1/1.8”CMOS筒型网络摄像机高清红外一体摄像机，电动变焦，水平视角最大能够达到90度。同时，最好是摄像机的尾部是固定的。再者是海康DS-2DF8231IW-AW高清智能球形摄像机，海康威视具有200万像素星光级红外网络高清高速智能球机31倍光学变焦网络球机，支持透雾功能，吊装和壁装支架。

6.2 多摄像头全景图像监控拼接结构的介绍

（1）服务器端的部署。神朔铁路各站区全景可视化运行管理系统，通过前端视频采集，通过局域网络传输到数据机房，数据机房集中部署1台全景视频拼接管理服务器，实时后台算法处理多组前端摄像机的视频码流拼接，并分发、转发给1台视频管理平台服务器，由平台管理服务器对视频源进行统一管理，并进行录像存储。

（2）客户端的部署。神朔铁路各站区全景可视化运行管理系统，经数据机房全景视频拼接管理服务器拼接完成后并分发、转发给视频管理平台服务器，通过局域网络传输到站房指挥中心值班席位，值班席位配置1台全景客户端工作站用于本地监看，同时配置1台全景解码工作站，用于视频无损输出给3组1＊3并行排列吊装的46寸液晶拼接屏，方便日常值班领导和其他工作人员对车站运行状况的全局监看和掌控。

（3）多路IPC视频拼接处理器。简单来说，多路IPC视频拼接处理器可以对所有的视频信息来进行调整和处理，包括了交换，传送等等。同时，摄像头可以将收集到的图像信息来借助多路IPC视频拼接处理器来进行专项的处理，进而将处理过的信息来投放到对应的监控屏幕中，多路IPC视频拼接处理器的主要功能是以特殊的硬件配置作为了支撑，从而能够借助硬件配置中的FPGA来对摄像头中收集到的图像信息进行处理[5]。

6.3 多摄像头全景图像拼接实时监控系统建设在神朔铁路中的预期效果

根据神朔铁路的实际需求，在现代信息化技术为基础，遵循相关标准和规范，建设车站全景管理指挥平台。借助车站全景管理指挥平台，实现车站值班员对运输生产过程的可视化，并对生产信息实时监控与处理，提高运输生产的可控性。根据对站场咽喉位置的视频观察、动态分析，形成有助于管理指挥的综合系统，提高车站的工作效率。

7 结语

总的来说，多摄像头全景图像拼接的实时视频监控技术在监控领域已经得到了重视和重用，在本文中对多摄像头全景图像拼接的实时视频监控技术进行了全面综合的分析，并重点对多摄像头全景图像拼接的实时视频监控技术在神朔铁路中的具体应用进行了分析与研究，建立了对应的全景管理监控指挥平台，最终进一步的提升了监控管理人员对生产过程中的可视化管理，提高了工作的效率。