嵌入式视频摘要及智能视频监控系统设计

刘胜楠，汪恭焰，李京，李鑫磊，方明

（长春理工大学计算机科学技术学院，长春 130022）

嵌入式视频摘要及智能视频监控系统设计

刘胜楠，汪恭焰，李京，李鑫磊，方明

（长春理工大学计算机科学技术学院，长春 130022）

利用基于ARM嵌入式的图像处理系统和传统的PC系统相比具有体积小、功耗低、成本低、易于部署等优点，基于友善之臂的Tiny4412开发板设计并实现了视频摘要及智能视频监控算法。该算法通过Vibe算法提取前景事件，并区分起点关键帧和终点关键帧以形成有效事件帧，再连接有效事件帧形成摘要视频。摘要视频和原始视频相比，由于只包含有效事件帧，解决了海量视频冗余度过大的问题，有利于节省存储空间，并且有助于用户事后快速浏览。同时，系统将关键帧通过邮件发送给指定用户，达到了实时智能监控的目的。结果表明，该系统能有效的实现智能监控，是市场化的开端。

视频摘要；视频监控；ARM；嵌入式系统

在安防系统中，视频监控因其直观、方便、信息量大等优点被广泛用于城市交通、民用安防，特别是重要的安全部门以及各类重大事件中。视频监控可以用指定的视频接受器观看实时的监控画面，还能录取视频以便事后查看。该技术经历了模拟监控系统，数字视频监控系统，网络视频监控系统三大阶段［1］。

视频摘要（Video Abstraction）是原始视频的一个子集，该子集集中了原始视频中只出现人们感兴趣的视频帧，从而帮助人们快速浏览和检索有意义的内容［2］。视频摘要分为静态摘要（Video Summary）和动态摘要（Video Skimming）。静态摘要是获取关键帧组装成视频，而动态摘要则以视频序列为基础形成结果视频，相比于静态摘要有流畅的优点，同时消耗的空间比关键帧多。视频摘要技术通常用于生成电影、体育视频等的摘要，提供给用户一种预览方式，使用户能够在短时间内掌握这些视频的基本内容。

视频监控系统有GPU、嵌入式系统、DSP三种实现方式［4］。相比于GPU和DSP，嵌入式系统具有功耗低、稳定性高等优点，而且体系结构灵活易变，已逐渐成为各种业务解决方案的优先选择。以此为出发点，在ARM体系的Linux系统中利用软件实现视频数据的编解码和传输，添加视频摘要算法，同时借助已有的互联网进行通信，给用户发送事件消息和关键帧，提高了对监控的易操作性和智能性，同时有效的利用存储空间，为后期功能和服务的扩展提供了很好的支持。

1 视频摘要

1.1 相关定义

给定视频流v，对于固定位置的像素点，如果该点随着时间其值保持不变，则该点标记为背景像素点，否则为前景像素点，也称为活动点。对于v中的一帧F的每个像素点x，其标记函数为：

帧F中的移动目标，或者对象，是连通的活动像素点的集合。出现一个对象或者多个对象的帧称为关键帧。一个事件由一系列关键帧组成，其起点关键帧是该帧的前一帧为非关键帧，终点关键帧是该帧的后一帧为非关键帧。原始视频流v由事件和非事件组成，经过本文的视频摘要算法处理后的摘要视频只由事件组成，事件的组合方式一般是基于时间的顺序。

1.2 前景提取

前景的检测是该算法的核心，该领域目前已经提出了诸多算法，文献［5］对这些算法做出了总结和比较。经过对29种算法的比较，其中混合高斯模型和基于Vibe［6］的PBAS［7］很出色，国内对Vibe算法也有改进［8］。考虑到实时性和有效性，本文采用了Vibe算法。我们使用中值滤波进行了图像的预处理操作。文献［6］中详细阐述了Vibe算法，该算法主要思想描述如下：

基本背景模型：前背景分割问题可视为一个分类问题，通过和之前的样本观测值和当前值进行比较来给当前值归类，即前景类和背景类。记v(x)是特征值，对于RGB空间的图像，该值为对应位置x的像素值，记vi为索引i为的背景特征值。每个位于x的背景像素用之前的序列帧选取N个背景样本建立模型：

背景初始化：初始化背景的过程也是选取v(x)的过程，Vibe算法从第一帧位于x的8邻域NG(x)中随机选取一个值填充20个样本对应x的像素值用于初始化背景模型：

背景更新策略：无记忆更新策略，用来保证背景样本模型衔接自然；随机时间子采样，随机选取背景模型中的某一帧更新；对于某一点像素，随机选取对应该像素点的领域点替代，保证空间的连续性。具体来说，如果像素p(x)是背景像素，先随机地从M(x)中选取一帧，再从该帧对应x位置的像素点的8邻域随机选取一个值替代p(x)。

检测前景：为了对新的像素特征值v(x)分类，需要将v(x)和基本模型M(x)中的所有值进行比较。Vibe算法采用2-D空间中的欧式距离对像素进行分类，记SR(v(x))表示以v(x)为中心，半径为R的2-D欧式空间，若SR(v(x))与M(x)的交集满足一定的基数（不小于2），则认为v(x)是背景像素，否则为前景像素。

1.3 记录事件

通过上述算法获取了前景掩码，为了使本文的算法更具备针对性，我们只检测人的闯入事件。人作为目标的基本特征包括宽高比和面积，我们根据这两个基本特征对前景掩码中的目标进行筛选。首先通过检测连通区域获取目标的外接矩形，当满足基本特征时记录其面积，依次迭代直到所有目标处理完毕。累加所有目标的面积得到和SUM，计算SUM占帧总面积的百分比A，如果A大于指定阈值T，则视该帧为人闯入事件帧。对于每一个事件帧，按照起点事件帧和终点事件帧的定义决定事件的起点和终点，从而决定一个事件。

1.4 视频摘要的生成

视频摘要是事件的集合，在得到事件后，我们按照时间的顺序对这些事件排序，之后对排序的事件进行视频的合成操作。考虑到监控视频的无终止性，我们以12个小时为单位构建摘要视频。这样，每过12个小时就会有一个新的摘要视频产生。如果一个事件在两个12小时的交接处，我们并没有分割该事件，而是等待该事件结束，之后的事件才会用于生成新的摘要视频。

2 系统平台

2.1 硬件系统构成

系统硬件平台如图1所示，处理单元采用友善之臂公司的Tiny4412开发板其由核心板Tiny4412和底板Tiny4412SDK组成。考虑到实用性和兼容性，本文所选择的视频采集设备为基于ZC511芯片的VR506USB摄像头，该摄像头为CMOS即插即用摄像头，支持最大帧数为30帧/秒，最大分辨率为800x600，色彩位数为24位。该核心板有4个核心，可同时启动多个线程用于图像处理过程。

图1 硬件系统平台

2.2 视频监控软件框架

视频监控软件框架如图2所示，其中，平台使用V4L2框架采集视频图像。V4L2（video for Linux two）标准用于开发多种不同接口的设备驱动，对采用USB接口的UVC驱动具有良好的支持，V4L2分为两层：下层为音频视频驱动程序；上层为Linux内核提供给用户空间的API。对于USB摄像头，驱动程序中有一个struct file_operation结构，它描述了在设备上能进行的操作，如基本的I/O操作接口函open（），close（），read（），write（）和对I/O通道控制接口函数ioctl（）。完成摄像头对视频图像的采集主要步骤是：打开设备；更改设备属性；协定数据格式；协定输入输出方法；关闭设备。

从视频摘要算法获取到的事件帧可以通过网络给用户发送邮件，同时也不会影响摘要视频的生成。对于同一个事件，我们只发送的是事件的起点帧及时间给用户。

网络中发送邮件使用的是邮件传输协议（SMTP）。SMTP要经过建立连接、传送邮件和释放连接3个阶段。在Linux系统中具体实现时使用Socket通信模拟通信过程，我们采用了163邮件服务器发送邮件。发送注册名和密码时，使用了base64加密，防止邮箱被窃取。

图2 视频软件框架

3 实验和测试

3.1 闯入关键帧测试

我们首先进行了闯入关键帧测试的实验，主要用于测试事件关键帧检测的准确性。场景是室内门口。图3是在闯入的测试结果。首先等待背景建模，当掩码视频全部变成黑色时表示初始化背景成功，此时进行闯入的测试可以捕捉到前景（掩码图像中的白色），并画出了前景的外接矩形。

3.2 视频摘要生成测试

我们在同样的场景下做了连续72个小时的监控，生成了10分钟的摘要视频。图4显示了摘要视频连续几帧。

摘要视频中，通过人工查看确定关键帧和非关键帧的统计结果如表1。

以上结果表明本文算法能够很好地生成有效事件的摘要视频。而10%左右的非关键帧是由于光照变化太大（灯的开关）和背景被改变（门的开关）产生的，但是相对于原始视频已经很大程度上减少了存储视频的信息冗余度。

另外，图5显示，事件的报警信息能够及时地通过网络发送给注册用户，用户通过该信息可以知道事件发生时间，并能够及时查看关键帧事件。

图3 闯入测试结果

图4 摘要视频的连续几帧

表1 关键帧统计结果

图5 事件报警信息的发送

4 结论

本文的主要工作是在ARM体系中实现了基于事件的视频摘要算法，相比于传统的视频监控，无需人实时监控，及时收到报警信息和关键帧，事后可以通过生成的摘要视频快速浏览查看，极大程度上缓解了观看海量视频的压力。

［1］陈炳煌，杨冰冰.车载无线视频监控系统的设计与实现［J］.长春理工大学学报：自然科学版，2011，34（2）：128-130.

［2］Truong B T，Venkatesh S.Video abstraction：A systematic review and classification［J］.ACM Transactions on Multimedia Computing，Communications，and Applications（TOMM），2007，3（1）：3.

［3］Rav-Acha A，Pritch Y，Peleg S.Making a long videoshort：Dynamicvideosynopsis［C］.Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on.IEEE，2006（1）：435-441.

［4］BouwmansT，PorikliF，VacavantA.Background Modeling and Foreground Detection for Video Surveillance［M］.CRC Press，2014.

［5］Sobral A，Vacavant A.A comprehensive review of backgroundsubtractionalgorithmsevaluatedwith synthetic and real videos［J］.Computer Vision and Image Understanding，2014，122：4-21.

［6］Barnich O，Van Droogenbroeck M.ViBe：a powerful random technique to estimate the background in videosequences［C］.Acoustics，SpeechandSignal Processing，2009.ICASSP 2009.IEEE International Conference on.IEEE，2009：945-948.

［7］Hofmann M，Tiefenbacher P，Rigoll G.Background segmentation with feedback：The pixel-based adaptivesegmenter［C］.ComputerVisionandPattern RecognitionWorkshops（CVPRW），2012IEEE Computer Society Conference on.IEEE，2012：38-43.

［8］余烨，曹明伟.EVibe：一种改进的Vibe运动目标检测算法［J］.仪器仪表学报，2014，35（4）：924-931.

Embedded Video Abstraction and
Design of Intelligent Video Surveillance System

LIU Shengnan，WANG Gongyan，LI Jing，LI Xinlei，FANG Ming
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Compared with traditional PC-based image processing system，ARM-based embedded image processing system has the advantages of small size，low power consumption and low cost，this paper has implemented a video abstraction algorithm based on the Tiny4412 friendly demo board.The algorithm extracts foreground of image by Vibe algorithm and creates an event by distinguishing start and end key frames，then connects the created events to construct video abstraction.Compared with original video，the abstracted video only contains valid events，solving the problem of massive video redundancy，which saves storage space and helps users to browse quickly afterwards.Meanwhile，the key frames are transmitted to the user via e-mail，achieving an alarm-in-time function.The result shows this system can realize the intelligent monitoring effectively，which is the beginning of marketization.

video abstraction；video surveillance；ARM；embedded system

TP391

A

1672-9870（2017）01-0119-04

2016-05-05

吉林省大学生创新创业训练计划项目；吉林省科技发展计划项目(20140204047GX)

刘胜楠（1996-），女，本科，E-mail：1046506255@qq.com

方明（1977-），男，博士，副教授，E-mail：fangming@cust.edu.cn