一种基于螺旋摘要的监控视频可视分析系统

姜红涛，陈晓华，石 玥，马翠霞

一种基于螺旋摘要的监控视频可视分析系统

姜红涛1，陈晓华1，石 玥2,3，马翠霞2,3

(1. 中国石化销售股份有限公司华南分公司，广东 广州 510000；2.中国科学院大学计算机科学与技术学院，北京 100190；3. 中国科学院软件研究所人机交互北京市重点实验室，北京 100190)

监控视频是安防系统的重要组成部分。在如今的各行各业中，只要涉及到安全，均离不开监控视频。但对监控视频内容的分析主要依靠大量人工来完成，人力和时间成本巨大。随着监控视频数据越来越多，如何提高针对视频内容的分析效率、降低用户认知负荷是拓展视频利用率的重要方面。为此，针对监控视频存在的冗余信息较多、人工获取视频关键内容效率低的问题，采用螺旋视频摘要及相应交互技术，开发了一种面向监控视频内容的可视分析系统，结合运动目标检测结果数据，基于螺旋摘要的展示优势实现多角度可视化视频目标统计信息，并辅以针对螺旋摘要的导航、定位操作以及草图交互等方式，实现对监控视频内容的快速有效获取。

监控视频；螺旋摘要；草图交互；目标检测；运动目标检测

随着互联网的发展，纯粹文本内容早已不是数据交互的主要形式，用于交互的诸多数据都是图像或视频格式。如何从视频数据中高效定位用户感兴趣区域，并对其内容进行快速分析，成为热点问题。视频是由一系列相互关联的图片按照一定的时序顺序合成的流媒体。视频提供的信息量非常巨大，用户通常也难以在短时间内获取到视频的主要内容。当前主流的视频应用往往通过水平时间轴提供给用与视频进行交互的功能，用户可以通过点击时间轴或快进的方式观看视频，然而此种交互极易导致用户跳过重要的镜头与场景。因此，通过视频摘要来概括视频主要内容是一个能帮助用户快速获取视频内容的有效方式。

监控视频数据通常有以下特点[1]：①数据量大；②数据格式多样、处理速度慢、成本高；③视频可利用信息密度低。同时，与电影、动漫等视频不同，由于要迎合观众需求，给观众更好的视听效果，视频画面中的主要目标通常是位于镜头中央，且清晰度、对比度等质量也比较高。而监控视频由于摄像机放置位置、拍摄角度、光线等原因，视频质量比电影等视频明显要差，且镜头中的目标往往不位于镜头中央，有时也不很明显。除此之外，监控视频冗余信息较多，往往几个小时的监控视频，有效内容仅有几分钟。传统监控视频获取有效内容往往需要耗费大量的人力、物力，超强的认知负荷导致工作人员很容易漏掉关键信息，因此对监控视频内容的可视分析非常必要。

本文提出面向监控视频的交互式螺旋摘要技术，可解决当前监控视频冗余信息较多、有效获取关键信息较为困难的问题。相比普通的以直线或网格状对视频摘要进行排列的方式[2]，螺旋摘要一方面能够在有限的空间内呈现更多的视频信息；另一方面，螺旋摘要以螺旋线为时间轴来排列关键帧，不存在传统网格状排列方式分行间隔的问题，保持了用户视觉上的连续性，使内容呈现更符合用户认知习惯[3]。因此本文采用螺旋摘要技术[3]来展现监控视频信息，给出了一种基于监控视频内容的可视分析方法。针对监控视频，改进文献[4]提出的基于图像直方图提取关键帧的算法，基于yolov3[5]的目标检测结果给出感兴趣区域提取算法，结合运动目标检测结果数据(使用torchseg (https://github.com/ISCAS007/torchseg)中motionNet工具包对监控视频做运动目标检测)，基于螺旋摘要的展示优势实现多角度可视化视频目标统计信息，并辅以视频摘要导航定位视频、螺旋视频摘要多尺度浏览、草图注释等交互功能，实现对监控视频内容的快速有效获取。

1 相关工作

1.1 视频摘要

近年来，国内外有很多针对监控视频摘要方法的研究，主要基于提取视频主要部分而过滤掉冗余成分的思路，达到压缩视频内容的目的。如何提取关键帧是视频摘要的一个重要前提，现有的大多视频摘要技术关注的是视频内容的提取与分析。文献[6]在以往视频摘要提取方法的基础上，提出结合视频的自然语言描述来增强视频摘要提取效果。文献[7]则利用扩展内存来保存整个视频的视觉信息，从视频全局视角去预测视频中每个镜头的重要分数，并在SumMe及TVSum 2个视频库上取得很好的效果。

由于静态摘要需要将关键帧以不同的形式展现出来，所以多位学者将目光投向了视频摘要的可视化形式。文献[3]以螺旋形式的视频摘要展现视频内容，提供给用户对视频内容的多尺度浏览功能，如图1所示。文献[8]将视频建模为一个包含时间、空间的立方体，可对运动场景进行可视化或对静态场景进行全景可视化，如图2(a)所示。文献[9]通过结合视频弹幕信息，将关键帧聚合得到视频会话，会话聚类得到场景树，然后将其组合为场景森林，以场景森林的形式来表达视频内容，如图2(b)所示。本文采用螺旋形式的视频摘要展现监控视频内容，螺旋形式的视频摘要能够在有限空间内呈现更多的监控视频信息，更符合用户的认知习惯，能够带给用户更好地视觉体验。

1.2 智能监控技术

当前针对智能监控技术已有了大量研究，主要通过目标检测跟踪、数据挖掘、事件分析、视频内容可视化等方法辅助用户理解监控视频内容。王梦来等[10]基于卷积神经网络(convolutional neural network，CNN)实现对复杂监控视频中事件的检测与分析，提出了一套基于CNN级联网络和轨迹分析的监控视频事件检测分析的综合方案。代科学等[11]基于传统数据挖掘算法，关联规则算法(Apriori)，提出了一种监控视频中运动目标的频繁轨迹模式挖掘算法，实现对监控视频中运动目标的频繁轨迹隐含模式进行数据挖掘。郭洋等[12]提出一种基于运动目标三维轨迹的关联视频可视分析方法来辅助人工分析视频，通过前景分离、光流等方法处理视频信息，结合草图交互实现检测视频中异常行为的功能，可达到辅助用户决策的目的。

蔡瑞初等[13]提出一种基于多尺度时间递归神经网络的监控视频人群异常事件检测和定位方法。胡芝兰等[14]提出基于运动方向的异常行为检测算法，该算法能够对单人及多人的复杂行为进行有效检测，具有较好的鲁棒性，且能够实时检测异常行为。王相海等[15]基于贝叶斯的车辆视频背景建模及运动目标检测算法，提出一种基于Meanshift粒子滤波(mean shift particle filter，MSPF)的多目标跟踪算法。文献[4]提出通过图像直方图提取视频关键帧，也是当前较常见的一种关键帧提取算法，然而该算法需要预先设定阈值，阈值的大小严重影响算法的精度与速度。朱映映和周洞汝[16]提出了一种基于聚类的关键帧提取算法。张婵等[17]提出一种基于C模式聚类的关键帧提取算法。然而，基于聚类的关键帧提取算法尽管不受阈值的影响，但是其运行速度往往比较慢。本文提出的自适应阈值关键帧提取算法能够实时提取视频关键帧。

1.3 智能监控系统

近几年来，也有大量针对监控视频系统研发的工作被提出来。文献[18]开发了visual surveillance and monitoring (VSAM)系统，该系统使用多个协同工作的传感器对混杂环境中行人与交通工具进行检测与分析。文献[19]开发出ADVISOR (annotated digital video for intelligent surveillance and optimised retrieval)，通过追踪行人并分析其行为来检测可能发生意外的情况，以确保公共交通安全，如图3(a)所示。文献[20]开发了Knight系统，一种用于检测、分类、追踪复杂场景中移动物体的商业智能监控系统。文献[21]则开发出Vs-star，主要致力于研究监控视频中人车运动的自动行为分析，包含对目标的运动检测、分类、识别和跟踪，以及行为分析，可实现对监控视频中异常行为的检测。

文献[22]提出了针对机场环境的智能监控系统-IBM smart surveillance system (S3)。S3不仅提供对视觉场景的监控，还提供对监控视频数据的管理、基于事件的检索、实时警报以及数据统计等功能，如图3(b)所示。宋红和石峰[23]提出基于人脸检测与跟踪的智能监控系统，使用对称差分以及人脸肤色识别、人脸验证算法定位人脸，且提出新的基于肤色信息和维护运动人脸缓冲池的方法跟踪目标人脸。该系统能够实时可靠地检测、跟踪运动人脸。文献[24]提出一种新型的监控视频可视分析系统sVISIT，通过分析监控视频中运动目标的多视角运动信息来实现对视频内容可视化。文中通过组合包含运动目标的多帧图像合成一个运动快照图像，同时使用时空立方体来增强运动快照的可视效果，以可视化目标运动轨迹的时空特征，如图4所示。

图3 ADVISOR智能监控系统[19]与IBM:S3智能监控系统[22]

本文针对监控视频有效信息密度低，不利于理解的问题，结合监控视频中运动目标检测结果，设计了一种基于螺旋视频摘要的监控视频可视分析系统。监控视频的螺旋摘要以螺旋线为时间轴排列关键帧，能够在有限的空间内呈现更多监控视频信息，从而避免了传统的网格形式摘要产生的视觉间断性，向用户提供更好的视觉体验并且更有利于用户对监控视频内容的分析。同时，该系统从多个角度展示视频中目标的统计信息，结合多尺度浏览、草图注释等交互功能，来实现对监控视频内容的分析与理解。

2 监控视频预处理

本文在颜色直方图关键帧提取算法[4]及目标检测算法Yolov3[5]的基础上，给出针对于监控视频的关键帧提取算法以及感兴趣区域提取算法，并基于螺旋摘要技术[2]，设计了面向监控视频的可视分析系统，实现对监控视频内容的可视分析。

图4 sVISIT[24]

2.1 关键帧提取

鉴于监控视频分析系统实时性的要求，本文通过改进文献[4]提出的基于颜色直方图提取关键帧的算法，给出基于监控视频的自适应阈值实时关键帧提取算法。该算法通过比较2幅图像的颜色直方图差异定义图像的相似度，每次只保留与已有关键帧集合中最后一帧相似度小于某个阈值的帧作为新的关键帧，插入关键帧集合。

因不同的监控视频目标出现频率不同，设置参数，即每隔取一帧并与前一个关键帧计算相似度，在监控视频中目标较少的情况下，增大的值，以加快处理速度，在目标较多的情况下，减小的数值，使结果更精确。

与以往依赖于固定阈值的关键帧提取算法相比，本文提出的自适应阈值关键帧提取算法能够在不漏掉监控视频主要信息的同时，使所提取的关键帧集合中冗余信息尽可能少。传统基于聚类的关键帧提取算法需要对每张图片反复比对，其时间复杂度为(2)；能够以()的时间复杂度快速提取视频关键帧(其中，为视频中包含的总帧数)，而自适应阈值则保证了所提取关键帧集合能够概括视频内容而几乎不存在冗余。经测试，本文算法在CPU上可以达到25 FPS (frame per second)，即每秒传输帧数)的实时关键帧提取速度。其中，帧间相似度定义为帧图片对应的颜色直方图之间的差异度，关键性耗时主要存在于计算帧图像的图像直方图，以及通过对比图像直方图来确定帧间差异度的过程。该算法具体流程如下：

算法1.关键帧提取算法。

输入：监控视频。

输出：从监控视频中提取的关键帧集合。

1. 初始化为0.5，定义关键帧集。

2. 从监控视频中按时间顺序抽取一帧记做，如果是第一帧，则保存为关键帧，并将该帧记为，其在原视频帧中的序数记为。否则按照每隔取一帧的原则，从视频中抽取一帧，其在原视频帧中序数记为。

3. 计算当前帧以及最新关键帧各自的颜色直方图分别记为以及，并对直方图做归一化，计算与的差异度记做。

4. 自适应阈值更新原则如下：

2.2 感兴趣区域(region of interest，ROI)提取

为了使螺旋摘要能够表达更充分的信息，需要对螺旋线上相邻关键帧之间进行去边界和融合处理。在该过程中，如果没有对关键帧进行ROI提取，则有可能丢失重要的前景信息。所以，本文通过关键帧进行ROI提取，以突出视频关键帧中重要的前景信息。

对于监控视频，往往镜头中目标数量较多，个体较小，分布较广，且通常不会恰好位于镜头中央区域，传统的ROI提取算法[25]在监控视频上表现比较差。另外，目前已有的图像分割算法比如经典的图割(GraphCuts)算法以及目前效果最好的深度学习分割算法deeplabv3+[26]，在监控视频的复杂场景上表现也一般，往往会漏掉大量重要前景信息。

本文针对监控视频，基于yolov3[5]检测结果来提取关键帧的ROI，即先由目标检测定位当前关键帧中目标位置(主要包含5个类别：“person”，“car”，“bus”，“truck”，“rider”)，然后计算当前帧中所有目标的最小包围框，如果最小包围框面积大于200 px，将原图中对应最小包围框的区域调整大小后输出为ROI，否则认定该关键帧不存在目标，舍弃该关键帧(关键帧二次筛选)，即可得到满足需求的ROI。Yolov3[4]可以实现对监控视频中出现的几乎所有目标的精确定位，因而本文算法提取到的ROI精度比分割以及传统ROI提取算法要高很多，其效果图如图5所示，左边为关键帧，右边为从关键帧中提取的ROI。本文算法流程示意图如图6所示。

图5 ROI提取效果图

2.3 运动目标检测与目标统计信息生成

监控视频中有效信息密度较低，理解起来比较困难。文中对监控视频内容进行运动目标检测，以是否包含运动目标将螺旋时间轴划分为多个区域，以提升用户对监控视频内容的分析和检索效率。同时，本文通过对监控视频内容进行目标检测来生成对视频中各类别目标的统计信息，并从不同角度对统计信息进行可视化，降低用户的认知负荷。本文通过motionNet对由监控视频中提取的关键帧进行运动目标检测，以是否存在运动目标将关键帧集合区分开，再以螺旋摘要的形式展现给用户，提高用户理解与分析监控视频内容的效率。通过yolov3[5]对关键帧进行目标检测以得到当前视频中各类别目标的统计信息。本文对“person”，“rider”，“car”，“bus”和“truck” 5个类别的目标数量进行了统计，生成统计信息并以多个角度对其进行可视化。

图6 ROI提取算法流程图

3 系统实现

监控视频存在有效内容较少，有效信息密度低的特点，导致用户对监控视频进行浏览分析时，存在3个主要问题，即锁定目标困难、视频快速浏览困难、视频场景关联构建困难。本文针对以上问题，开发了一种面向监控视频内容的可视分析系统(系统主界面如图7所示)，分别对以上3个问题提出相应的解决方案。

3.1 多角度信息展示

使用传统方法浏览视频时，往往大量精力被耗费在监控视频冗余信息上，在耗费大量人力与时间的同时，还容易漏掉重要的信息。本文以螺旋视频摘要为中心，通过饼状图(图7(c))、螺旋摘要目标类型分布图(图7(d))，结合运动目标检测结果，快速定位用户感兴趣目标在螺旋时间轴上的大致分布区域，在保证精度的情况下，提高用户浏览效率。

本文提出的监控视频分析系统通过目标分布饼状图(图7(d))从宏观上了解该监控视频中出现的各个类别的目标及其数量占比，确认监控视频中是否存在感兴趣的目标类别。若存在感兴趣目标，需要进一步确定目标在监控视频中的确切位置。监控视频分析系统基于螺旋摘要对监控视频内容进行组织，对螺旋摘要时间轴上的每一关键帧图像中的目标信息进行统计，并设计螺旋摘要目标类型分布图进一步对监控视频中的目标进行可视化，方便用户了解监控视频中各类别目标在螺旋视频摘要时间轴上的分布情况。在螺旋摘要目标类型分布图中使用红、白、绿、黄和蓝5种颜色的圆点来代表监控视频中常出现的5类目标“person”，“rider”，“car”，“bus”和“truck”。圆点的半径越大，代表当前时间段存在的该类目标越多，如图7(c)所示。因此可由螺旋摘要目标类型分布图快速定位用户感兴趣目标类别在螺旋时间轴上的分布区域，达到缩小查找区域的效果。

在实际中，用户感兴趣的目标往往是运动目标，太多的静态目标在浪费工作人员精力的同时，也会形成一定的干扰，因此本文基于螺旋视频摘要，通过运动目标检测进一步缩小查找区域。 图7(b)所示，螺旋线上排布的是经去边界融合后再通过运动目标检测得到的ROI，其中灰色区域表示时间轴上当前区域不存在运动目标，彩色区域表示时间轴上存在运动目标的区域。螺旋线上的红点代表当前监控视频播放进度。用户可通过排除静态目标所在区域，进一步缩小查找区域。

本文设计的监控视频分析系统基于螺旋视频摘要技术对监控视频内容的有效组织，借助饼状图和螺旋摘要目标类型分布图两种方式对螺旋监控视频摘要中的目标统计信息进行可视化，并结合基于螺旋视频摘要的运动目标检测结果，能够有效地缩小查找区域，确保用户可以通过简单的交互方式在螺旋视频摘要上对目标进行快速定位。

图7 系统主界面((a) 监控视频；(b) 结合运动目标检测后的螺旋摘要；(c) 螺旋视频摘要目标类型分布图；(d) 各类别目标数量对比图；(e) 界面切换按钮；(f) 目标数量-时间变化趋势图)

3.2 视频快速浏览

在螺旋时间轴上锁定用户感兴趣目标所在大致区域后，还存在如何迅速浏览感兴趣目标所在区域，使用户能够高效精确地获取视频内容的问题。本文围绕螺旋视频摘要，通过螺旋摘要导航定位监控视频，基于螺旋摘要的多尺度浏览，草图注释功能帮助用户快速精确获取监控视频内容。

用户在通过视频摘要了解监控视频时，可由螺旋摘要上感兴趣片段导航到监控视频中对应片段了解详情。同时，为了使用户能够更方便地了解视频内容，系统提供感兴趣片段预览功能以及感兴趣片段附近2 s视频的预览功能，图8(a)为预览当前ROI对应的关键帧，图8(b)为预览该关键前后1 s的视频内容。用户在对ROI进行浏览时，可以通过系统提供的多尺度浏览功能在不同粒度下查看视频摘要，从全局总览到局部细查，多个层次充分理解视频内容。除此之外，用户可以通过目标数量-时间变化趋势图(如图7(f)所示)来快速得到当前摄像头所在地段各类别目标数量随时间波动情况，比如高峰期与低谷期出现的时间段等，掌握该地段各类目标数量在时间轴上的波动规律，在反常情况出现时，便可以重点关注。

图8 视频摘要预览效果图

3.3 视频场景关联构建

实际应用中，监控视频场景间有时可能存在时间或空间上的联系，比如同一地点不同时间拍摄的几段监控视频，或者拍摄时间、地点相同，拍摄视角不同的几段监控视频，甚至同一监控视频内部的某些场景可能存在某些关联。如何快速构建这些相关联的视频场景之间的联系是一个难题(关联场景的确定见3.1与3.2)。

本文通过螺旋摘要超链接实现监控视频场景间关联的构建，用户可以通过草图交互来实现关联场景的超链接构建，并通过这些关联在不同监控视频间或监控视频内部实现多个场景间的快速跳转，实现对监控视频情节的关联性分析。如图9所示，界面中3个螺旋摘要分别代表3个镜头下的监控视频，图中通过草图交互连接不同镜头下同一辆车(图中红框所示)出现的位置，即可实现对该车在不同镜头下出现的场景的关联性分析。本文还通过对螺旋摘要进行选取与合并操作实现对监控视频关联场景的剪辑与合并，从而实现对监控视频关联场景之间联系的构建。如图10所示，界面中左上与右上2个螺旋摘要分别对应2段场景存在联系的监控视频，用户可在螺旋摘要上使用草图交互选择相关联的场景片段，并生成相应预览，再经过螺旋视频摘要的合并操作来实现对两段监控视频中关联场景的关联性进行分析。

图10 基于螺旋摘要的场景剪辑与合并示意图

4 结束语

本文针对监控视频的冗余信息较多、人工获取关键信息效率低下的问题，提出了一种面向监控视频的交互式螺旋摘要技术，针对监控视频，提出了一种实时的关键帧提取算法和一种ROI提取算法。并结合运动目标检测结果，基于螺旋摘要在空间利用率和时间连续性上的优势，从多个角度来可视化监控视频的各类统计信息，辅以关键帧定位视频、草图注释、螺旋摘要目标类别分布图等功能，实现对监控视频关键信息的高效获取。

[1] 马瑞泽. 监控视频摘要技术探究[J]. 科技经济导刊, 2018, 26(25): 30.

[2] LU Z, GRAUMAN K. Story-driven summarization for egocentric video[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 350.

[3] LIU Y J, MA C X, ZHAO G Z, et al. An interactive SpiralTape video summarization[J]. IEEE Transactions on Multimedia, 2016, 18(7): 1269-1282.

[4] KUMTHEKAR M V, MAHADEV P. Key frame extraction using color histogram method[EB/OL]. [2019-12-09]. https://www.semanticscholar.org/paper/ Key-frame-extraction-using-color-histogram-method- Kumthekar-Patil/ce3277d13d1e49c180ec0b9b1511d8dd7b75a0d6#citing-papers.

[5] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2019-12-09]. http://xueshu.baidu. com/usercenter/paper/show?paperid=e02671f7b0527c6ecee43ce8bd7918b6&site=xueshu_se&hitarticle=1.

[6] PLUMMER B A, BROWN M, LAZEBNIK S. Enhancing video summarization via vision-language embedding[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017.

[7] FENG L T, LI Z Y, KUANG Z H, et al. Extractive video summarizer with memory augmented neural networks[C]//2018 ACM Multimedia Conference on Multimedia Conference-MM’18. New York: ACM Press, 2018: 22-26.

[8] NGUYEN C, NIU Y Z, LIU F. Video summagator: an interface for video summarization and navigation[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 647-650.

[9] SUN Z D, SUN M F, CAO N, et al. VideoForest: interactive visual summarization of video streams based on Danmu data[C]//SIGGRAPH ASIA 2016 Symposium on Visualization on-SA’16. New York: ACM Press, 2016: 1-8.

[10] 王梦来, 李想, 陈奇, 等. 基于CNN的监控视频事件检测[J]. 自动化学报, 2016, 42(6): 892-903.

[11] 代科学, 张军, 李国辉, 等. 监控视频运动目标的频繁轨迹模式挖掘[J]. 国防科技大学学报, 2006, 28(6): 108-113.

[12] 郭洋, 马翠霞, 滕东兴, 等. 运动目标三维轨迹可视化与关联分析方法[J]. 软件学报, 2016, 27(5): 1151-1162.

[13] 蔡瑞初, 谢伟浩, 郝志峰, 等. 基于多尺度时间递归神经网络的人群异常检测[J]. 软件学报, 2015, 26(11): 2884-2896.

[14] 胡芝兰, 江帆, 王贵锦, 等. 基于运动方向的异常行为检测[J]. 自动化学报, 2008, 34(11): 1348-1357.

[15] 王相海, 方玲玲, 丛志环. 基于MSPF的实时监控多目标跟踪算法研究[J]. 自动化学报, 2012, 38(1): 139-144.

[16] 朱映映, 周洞汝. 一种基于视频聚类的关键帧提取方法[J]. 计算机工程, 2004, 30(4): 12-13, 121.

[17] 张婵, 高新波, 姬红兵. 视频关键帧提取的可能性C-模式聚类算法[J]. 计算机辅助设计与图形学学报, 2005, 17(9): 2040-2045.

[18] COLLINS R T, LIPTON A, KANADE T, et al. A system for video surveillance and monitoring[J]. Vsam Final Report Carnegie Mellon University Technical Report, 2000, 59(5): 329-337.

[19] SIEBEL N, MAYBANK S. The advisor visual surveillance system[EB/OL]. [2020-03-30]. http://xueshu.baidu.com/usercenter/paper/show?paperid=d0513d1aa4ea34e0df104d0fc10f262c&site=xueshu_se.

[20] SHAH M, JAVED O, SHAFIQUE K. Automated visual surveillance in realistic scenarios[J]. IEEE Multimedia, 2007, 14(1): 30-39.

[21] HUANG K Q, TAN T N. Vs-star: a visual interpretation system for visual surveillance[J]. Pattern Recognition Letters, 2010, 31(14): 2265-2285.

[22] SHU C F, HAMPAPUR A, LU M, et al. IBM smart surveillance system (S3): a open and extensible framework for event based surveillance[EB/OL]. [2019-12-09]. https://ieeexplore.ieee.org/document/1577288.

[23] 宋红, 石峰. 基于人脸检测与跟踪的智能监控系统[J]. 北京理工大学学报, 2004, 24(11): 966-970.

[24] MEGHDADI A H, IRANI P. Interactive exploration of surveillance video through action shot summarization and trajectory visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2119-2128.

[25] CHENG M M, ZHANG G X, MITRA N J, et al. Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition(CVPR). New York: IEEE Press, 2011: 409-416.

[26] CHEN L C, ZHU Y K, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[M]//Computer Vision-ECCV 2018. Heidelberg: Springer, 2018: 833-851.

Surveillance video analysis system based on SpiralTape summarization

JIANG Hong-tao1, CHENXiao-hua1, SHI Yue2,3, MA Cui-xia2,3

(1. South China Branch of Sinopec Sales Co., Ltd., Guangzhou Guangdong 510000, China;2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100190, China;3. Beijing Key Laboratory of Human-Computer Interaction, Institute of Software, Chinese Academy of Sciences, Beijing 100190, China)

Surveillance video is an important part of security systems. In today’s all walks of life, surveillance video is inseparable when it comes to security. However, the video content is still analyzed largely manually, which costs much manpower and time. With the increasing amount of surveillance video data, it is important to figure out how to improve the analysis efficiency of surveillance video content and reduce user’s cognitive load in order to make higher use of the videos. Aiming at the problems of redundant information in surveillance video and inefficient manual acquisition of key video content, a visual analysis system for surveillance video content was developed by applying SpiralTape summarization and corresponding interactive technologies. Combined with the detection data of moving objects, the object statistical information of visual videos was obtained from multiple angles based on the display advantages of the SpiralTape summarization. Finally, fast and efficient access to surveillance video content was achieved with auxiliary methods such as navigation, positioning and sketch interaction for the SpiralTape summarization.

surveillance video; SpiralTape summarization; sketch interaction; object detection; moving object detection

TP 391

10.11996/JG.j.2095-302X.2020020187

A

2095-302X(2020)02-0187-09

2019-12-09；

2020-02-04

国家自然科学基金项目(61872346)

姜红涛(1988–)，男，河南周口人，工程师，博士。主要研究方向为遥感图像处理、管道管理等。E-mail：htjiang603@163.com

马翠霞(1975–)，女，山东高唐人，研究员，博士。主要研究方向为人机交互、媒体大数据可视分析。E-mail：cuixia@iscas.ac.cn