基于全时空立体智能监控平台的实训教学设计

罗万杰， 曾昭龙， 李培岳， 刘 建

(1.中国人民公安大学安全防范系，北京 102600;2.石家庄市新华区检察院，河北石家庄 050051)

0 引言

随着“平安城市”、“智慧城市”建设的快速推进，很多省市都在构建以视频监控系统为核心的治安防控指挥平台，每个城市的重点地域都安装了监控摄像机，积攒了丰厚的视频监控资源。但这些资源的利用率较为低下是目前实际应用中普遍存在的问题，主要表现在无法对由多个监控摄像机所覆盖的场景及周边环境进行整体的全景实时监控，从而无法获取目标在全场景中的行为轨迹［1］。

全时空立体智能监控平台是利用视频监控系统的监控图像资源，整合重点区域的图像、图纸、安全防范等级等信息，基于视频信息的目标行为模式智能感知、计算机视觉、三维建模与虚拟现实等技术，构建满足社会安全防范需求的可视化平台。此平台可将部署在重点区域的前端摄像机作为视频传感器，超越依赖分镜头监控的传统管理和指挥模式，直观地将处在不同位置、具有不同视点视角的分镜头监控图像实时智能地拼接到三维复杂真实场景中，在一个画面中实现对整体监控范围的实时全局监控，从而实现对重点地区或重点区域大场景的全局监控和智能分析，具有全方位、全空间的安全态势感知和应急反应协调功能，目前正逐渐在各行业的安全防范、大型综合交通枢纽的智能监控、智慧城市建设等领域展开应用，将会成为新一代智能监控的重要工具［2］。基于我校环境构建全时空立体智能监控系统并开发相关实训项目，可使学生在熟悉的环境中快速掌握全时空立体智能监控的功能，学习智能视频监控技术，提高现场指挥调度能力。

1 全时空立体智能监控实训教学系统的构建

以监控场景及建筑物的全方位三维立体模型为基础，利用已有前端监控点，通过在后台监控中心设置高性能集群式立体监控控制器，并辅以定制开发立体监控专用软件系统，全时空立体智能监控平台可将现实世界中的监控视频无缝融合在数字三维全真模型中。通过将部署在重点区域的前端网络摄像机作为视频传感器进行实时拼接融合，从而超越依赖分镜头监控的传统管理和指挥模式，真正实现全场景时空融合环境下实时立体智能监控。

1.1 系统的硬件构成

目前基于我校环境构建的全时空立体智能监控平台是一个验证性质的演示平台，三维全真模型可离线生成，所以平台的硬件构架相对比较简单，由管理主机、前端摄像机、集成监控中心、千兆以太网交换机和显示屏组成，如图1所示。

前端摄像机为日夜型高清网络摄像机，可满足24小时监控需要，并输出实时数字视频，保证全景实时拼接能在清晰度较高的数字图像基础上进行。所有前端摄像机通过千兆以太网交换机接入系统主干网，集成监控中心把各前端摄像机的实时视频流汇聚到中心监控矩阵，实现场景视频拼接的整体实时效果。管理主机中的图形工作站是视频图像管理系统，具有集中接收和发送、备份和存储视频图像的功能。

图1 全时空立体智能监控系统拓扑图

1.2 前端摄像机的部署

全时空立体智能监控系统前端摄像机的部署是以校园内已建视频监控系统的传输路由和安全防范系指挥中心实验室为基础，以便于图像能够实时拼接并融合成为大场景监控为原则，在东配楼顶外围将5台720P HD高清网络摄像机呈U型设计部署，如图2所示，构成如图3所示的实际防范区域，主要包括:1号监控点位于东配楼顶西侧偏南，防范区域为主楼门前及主楼前东西马路;2号监控点位于东配楼顶西南角，防范区域为学校大门及大门外马路，实现与1号监控点防范区域有限重合;3号监控点位于东配楼顶南侧中间稍偏西位置，防范区域为东配楼南侧东西向马路，实现与2号监控点防范区域的有限重合;4号监控点位于东配楼顶东南角偏南，防范区域东配楼南侧东西向马路，实现与3号监控点防范区域的有限重合;5号监控点位于东配楼顶东北角，防范区域为东配楼东侧南北向马路，实现与4号监控点防范区域的有限重合。

1.3 系统的软件架构

一个基本的全时空立体智能视频监控平台由三维全真建模服务、视频接入、立体全息监控基础服务、立体全息监控应用、全景智能分析等5个子系统组成。平台为模块化设计，5个子系统即是5个独立的功能模块，每个模块实现各自的功能任务，各模块之间的操作连接就可构成完整的平台。各模块功能如下［3］:

图2 摄像机部署及防范区域示意图

图3 实际防范区域示意图

1)三维全真建模服务:该部分实现对所布控区域附近自动三维全真重建，重建得到的三维全真场景模型是实现后续立体全息监控系统的基础。

2)视频接入系统:该系统实现对网络摄像机数据的接入控制、解码、压缩和转发功能，根据不同的网络摄像机型号做定制开发，并将其转换成统一的TS流格式，方便后续处理。

3)立体全息监控基础服务系统:实现全景式三维视频监控系统平台的基本控制与管理，用于驱动立体监控场景及动态视频，为实现平台可视化功能和视频存储提供基础服务。

4)立体全息监控应用系统:实现用户资源管理、平台立体全息的漫游、巡航、地图、反向关联和历史回溯等主要功能。

5)全景智能分析系统:根据实际的业务需求，定制开发针对监控全场景的智能分析功能，如跨镜头追踪、人流车流统计、对特定区域的目标异常行为进行基本检测。

全时空立体智能监控平台将处在不同位置、具有不同视点视角的分镜头监控视频实时动态的拼接融合到三维模型中，在一个画面中实现对整体监控范围实时全局监控。图4的右上角为4路前端摄像机采集的视频图像用传统4画面显示的效果;右下角则是将这一区域内安装的多个摄像画面实时动态的拼接融合到三维模型中，实现了这一区域的整个场景的实时全局监控。操作人员无须了解具体监控摄像机位置及其覆盖区域，也无需进行画面切换操作，即可在整体区域内完成跨镜头多区域实时跟踪可疑目标，进而达到及时发布报警信息、根据事态发展推演预案、及时处置各种突发事件的目的。

图4 全时空立体智能监控显示

1.4 系统的主要功能及优势

1.4.1 全局漫游

系统提供在全时空立体智能监控环境里自由漫游的功能。全景图像显示为监控场景的三维立体模型和嵌入的监控图像，通过视点移动，可实现在各种视点视角监看场景内的实时动态图像，及时准确的判断可疑目标的位置以及目标周边场景的状况。这样就很好的解决了原有分镜头视频监控模式下的诸多弊端，如:只能从镜头所在的视点监看图像，任何两路视频图像之间没有任何联系，只有对周围环境十分熟悉的值机人员才能知道所拍摄的位置等。

图5 目标检测与跟踪

1.4.2 路径巡航

系统提供自定义巡航路线功能。系统可自动按照事先定义好的路径、视角监看全场景，也可以随机调整线路和视角来监看全场景中的任意局部场景。

在分镜头视频监控系统中，由矩阵完成不同视频图像的切换显示，连续切换的视频图像在实际环境中并没有地理位置的关联与联系，这有可能造成显示遗漏，同时还要求监看人员熟记每一个摄像机的位置信息及其覆盖范围，以快速反应看到的图像场景与实际的环境场景的对应关系。而全时空立体智能监控系统可以自动地按照路径巡视，不需要进行任何人为切换，只要摄像机的监控范围相对场景覆盖完整，则不会造成遗漏，因而摄像机的位置信息及其覆盖范围对操作人员来说是透明的。

1.4.3 检测与跟踪

系统可在全场景中跨镜头自动跟踪目标。基于运动检测，通过识别目标的独立特征，由系统对锁定目标进行视觉效果判选，系统将自动调用显示最佳可视化信息，在三维整体大场景下跨镜头锁定目标，实现可疑目标的自动连续跟踪(如图5所示)。

1.4.4 历史回溯

系统在支持三维场景实时可视化的同时，保存的分镜头历史视频也可重建到三维场景里，形成三维场景的历史视频可视化，从而实现三维场景的全景还原回溯，可方便地对历史事件进行全时空正向或反向播放搜索。

在分镜头监控系统中，还原可疑目标案发前的运动轨迹是件极其耗时而艰难的工作，需要以发现可疑目标的监控图像为原点，以可能的活动半径为范围，全方位反向反复查看所有的视频资料，寻找可疑目标的运动轨迹，这是难以估量的工作量。在本系统中，只要前端摄像机的监控范围对全场景覆盖良好，那么通过时空的关联对比，系统自动将拼好的图像反向播放，可以直接显示出可疑目标的行动轨迹并进行轨迹跟踪。

2 基于全时空立体智能监控平台的实训教学设计

2.1 实训教学的目的

基于全时空立体智能监控平台进行实训教学，意在使学生能够全面了解全时空立体智能监控系统的组成、软件平台的操作方法，基本掌握如何将前端摄像机监控范围进行全景融合、如何找到视频信息之间的联系、如何提取真正有价值的视频图像信息，从而实现视频监控从“看得清”到“看得懂”的理念提升;掌握全时空智能视频分析技术，实时感知态势进程、分析威胁程度，最终达到具备实战决策指挥能力的目的。

2.2 实训项目及实现方法

2.2.1 平台基本功能实现及操作训练项目

1)实训目的。本实训项目的设计目的是:了解全时空立体智能监控系统的原理结构、了解全时空立体智能监控平台各模块的功能，熟悉实现平台基本功能的操作方法并能进行基本功能的演示。

2)实训步骤。首先，点击全时空立体智能监控平台的图标进入该系统，显示屏出现预设视点、沉浸式监控巡视区、全景式导航区、监控视频源、动态视频显示区5大区域，如图6所示。然后等待沉浸式监控巡视区的加载完毕，显示三维模拟图像，用鼠标右键点击系统左上方的按钮点击扩展全屏，在扩展屏显示沉浸式监控巡视区的三维模拟图像。

图6 系统操作界面

①场景漫游中鼠标与键盘操作规定练习(略)

②基本功能实现的操作方法

进入网络摄像机监控区域有两种方法。第一种是从沉浸式监控巡视区内初始位置或者图像所在任意位置直接双击你所要观看的网络摄像机，沉浸式监控巡视区会从你所在位置漫游到该网络摄像机所在区域，这种方式耗时较长，可以观测从漫游起始位置到所选择网络摄像机路径上的各个区域的影像。第二种是双击网络摄像机附近的一点，沉浸式监控巡视区的视角将直接切换到该指定位置，再双击你所要观看的网络摄像机，视角也会漫游至所选定的摄像机，这种方式耗时较短，可以迅速地捕捉到想看到的影像。动态视频显示器在你的图像到达摄像机时便会显示监控区域的实时图像。点击沉浸式监控巡视区内Modelcoat按钮，该网络摄像机及该视野范围内能映射图像的摄像机的监控图像便会加载到沉浸式监控巡视区上的三维模拟场景上，这样便能以三维模拟场景为空间看到实时的映射到模拟场景内部的更直观的监控摄像。

双击预设视点区域视频列表的下级选项，便可以以图像漫游的方式漫游到该设定场景。比如双击预设视点区域视频列表内的“大门”选项，沉浸式监控巡视区的初始图像将开始漫游，漫游到已设定的“大门”(中国人民公安大学团河校区南门)位置停止，对“大门”区域进行实时监控。

双击预设视点区域路径列表的“场景浏览”选项，沉浸式监控巡视区便可进行学校的三维漫游，网络摄像机所捕捉的图像将映射到途经的摄像机覆盖区域实现实时全时空的校园动态场景浏览。

双击预设视点区域路径列表的“视频预览”选项，全景导航区的网络摄像机图标便会出现在1号网络摄像机处，以从1号到5号的摄像机顺序进行漫游，动态视频显示区显示漫游途径的网络摄像机监控区域的监控摄像，沉浸式监控巡视区将直观地显示1到5号监控摄像实时智能拼接后映射在三维模拟场景的全时空场景图。

用鼠标右键单击系统主界面左上方的蓝绿色图标，单击退出选项后确定，便可安全退出全时空立体智能监控平台。

2.2.2 可疑目标跟踪训练项目

1)实训目的。本实训项目的设计目的是:通过利用全时空立体智能监控平台进行人员跟踪的实训，使学生们更好的了解与运用人员跟踪的功能。

2)实训步骤。进入全时空立体智能监控平台，通过漫游的方式，浏览到2号3号网络摄像机所覆盖的区域。当在这两个摄像机所布控的区域内有移动物体(如:人、车辆等)经过时，动态视频显示区中的移动物体将被自动捕捉，用红色方框将其包围，突出显示。鼠标点击沉浸式监控巡视区，并按键盘F9键后，鼠标单击所选定的跟踪对象(可以多选)，则在沉浸式监控巡视区，被选定跟踪的对象将被浅红色条框覆盖，对象运动时并留下蓝色的行踪轨迹。

实训时，可将人员分成两部分并相互交替展开实训，一部分学生在控制中心对系统进行操作，另一部分学生在摄像机监控区域内自由活动，自由活动包括随意走动、搭载交通工具运动等，以测试人员跟踪的效率和速度。

2.2.3 利用监控录像信息完成历史回溯训练项目

1)实训目的。本实训项目的设计目的是:通过录制实时的动态监控视频，更加熟悉全时空立体智能监控平台的基本操作，并利用录制的视频进行历史回溯。

2)实训步骤。打开TsRecord应用程序，通过状态栏可看到各个网络摄像机的实时录像状态，在未进行录像时，网络摄像机将呈现"已停止"状态。用左键单击选择要进行录像的摄像机(可选择多个网络摄像机)，点击“开始选中”按钮，所选中的网络摄像机在状态栏里显示为“录制中”，在大小(Mb)和时间状态栏里会显示你所录制的监控录像的大小和时间长度。在文件路径栏中，会显示所录制的监控录像保存的位置。如显示路径为“D:公安大学TSRoad ecordCH012012-9-16”，说明录像保存在D盘公安大学TSRoad中的record文件夹中的CH01文件夹中，视频录像保存格式为.avi格式。按照路径寻找到所拍摄的监控录像，在页面中点击全部停止便可观看所拍摄的录像，并加载到系统中进行视频回放，完成历史回溯功能。

2.3 实训教学的组织实施

全时空立体智能监控平台的主控终端工作站空间面积有限，放置的设备较多，所以可容纳的人数有限，在组织实训教学时，建议采用分组的形式。实训组织以小组为单位，每组10人左右为宜，每组设一名负责人，负责本组实训时的纪律以及室内的清洁卫生、设备安全。这样每区队可设4组，在实训前区队长应将4组名单以及负责人名单上报给任课教师。实训时，一组在室外监控区域作为被监控对象，由负责人带领组员进行单兵活动、散乱活动及快速活动;另一组则在室内对全时空立体智能监控平台进行操控，观察并记录相关监控现象及数据，分析系统目标跟踪的能力;随后两组互换，进行相同实训内容。

3 结束语

相比传统监控技术，全时空立体智能监控系统突破了传统视频监控系统显示分镜头视频画面的局限，实现了对整个监控区域整体大场景全时空的实时立体展示，可以以任意视点对整体场景的动态目标进行实时监控;同时可实现二维GIS地图与立体监控的结合，摄像机的安装位置和监控覆盖区域以及用户当前视点可同步显示在二维地图及三维场景中。以此技术应用展开实训教学可配合我校安全防范工程专业及其他相关专业的本科生、研究生更好地了解智能监控领域的前沿技术，掌握全景智能监控的要领，进一步巩固学生知识体系结构，培养学生的自主学习能力，充分调动学生的主观能动性，并通过各实训环节，加深对智能监控技术的理解，提高学生实践应用水平。

目前实训课程使用的系统平台为演示版本，还有部分功能尚未安装在本实训平台中，如反向关联功能。随着安全防范技术与风险评估公安部重点实验室的建设，系统功能将不断完善，届时将根据系统功能的逐步完善，陆续增加相应的实训项目，充分发挥该系统在教学实践中的作用。

［1］ 中国安防网.城市监控存在安全漏洞出现高投资低回报现象［EB/OL］.［2012-08-20］.http:∥cn.made-inchina.com/info/article-377654.html.

［2］ 洪卫军.安全防范系统与工程［M］.北京:中国人民公安大学出版社，2006.

［3］ 北京正安融翰技术有限公司.产品与解决方案［EB/OL］.［2012-08-20］.http:∥www.innovisgroup.com.