基于DSP的铁路智能视频监控系统的研究

杨贵，蔡启仲，杨敏，徐铭武

（1.广西科技大学电气与信息工程学院；2.深圳市普禄科视频技术有限责任公司）

基于DSP的铁路智能视频监控系统的研究

杨贵1，2，蔡启仲1，杨敏1，徐铭武1

（1.广西科技大学电气与信息工程学院；2.深圳市普禄科视频技术有限责任公司）

针对铁路复杂环境的视频运动目标检测易受影响的情况，采用TMS320DM8168 DSP处理器，提出一种融合三帧差法和自适应的VIBE改进算法，采用SUSAN边缘检测算子、形态学算子处理、中值滤波后处理进行运动目标检测，并转化成HSV空间模型，将图像处理算法移植到DM8168平台上，在铁路沿线复杂的场景下，能够实时地准确检测出视频中运动目标，有效地消除空洞和鬼影，实现良好的鲁棒性。

运动目标检测；DM8168处理器；DSP；VIBE改进算法；SUSAN边缘检测；HSV空间

0 引言

随着现代计算机视觉技术快速发展，铁路视频监控也越来越智能化，运动目标检测是实现智能视频监控的关键部分，运动目标检测的目的就是从视频图像序列中将运动区域从背景视频图像中识别、分割和提取出来，以便后续的跟踪运动目标，运动目标检测效果有三个衡量标准。（1）鲁棒性。光照变化、运动目标状态的变化，部分遮挡引起目标不规则变形和全部遮挡引起目标暂时消失等情况的变化。（2）准确性。误检和漏检情况。（3）实时性。对视频流的实时处理，这就要求对核心算法不能太复杂，处理速度必须要超过正常的视频码率。而在铁路沿线现场复杂环境下，易受白天光照、天气变化和晚上的灯光影响，要想同时达到运动目标检测的实时、准确和鲁棒性一直是铁路智能视频监控的难点，从现场的视频图像中实时准确的检测出运动目标，分析视频监控画面运动目标是否是非法的行人入侵，从而实现一种智能的视频入侵监控系统，本文采用TMS320DM8168 DSP作为系统视频图像处理器，并在视频图像运动目标检测算法上，基于一种融合三帧差法和自适应的VIBE改进算法，首先采用SUSAN边缘检测算子初步提取运动目标大概轮廓，确定运动目标轮廓区域，只对区域内的像素点进行改进的三帧差和VIBE算法前景匹配和检测，对检测出来的运动目标进行相关的中值滤波和形态学后处理，以减少空洞和鬼影现象，并转化成HSV空间模型减少光照的影响，把相关核心算法移植到DM8168平台上。该系统具有抗干扰性强、功耗低、实时性、准确性等优点，能够有效地实时准确检测出视频图像中运动目标，在铁路智能视频监控中得到很好现场应用。

1 整体的硬件平台及算法移植

1.1 系统硬件平台

基于TI公司的 TMS320DM8168是异构多核SOC片上系统，它内部集成了一个1.0GHz浮点型C674x的DSP，一个1.2GHz V7架构的Cortex-A8的ARM,一个高清视频图像协处理器HDVPSS和三个高清视频图像协处理器HDVICP。DSP是处理数据运动目标检测算法运算，ARM是负责各个处理器之间的任务调度、消息通信、数据读取和存储控制。HDVPSS是视频采集、缩放、去噪、显示作用，HDVICP是视频编解码功能。外围芯片的EMAC是DM8168处理器与外围网络传输模块，TVP5158是4通道的视频采集解码芯片，实现模拟视频信号到数字信号的转化，完成相关视频图像的数字化处理。整个硬件系统图如图1。

图1 硬件系统图

1

1.2 系统算法移植

本文采用TMS3208168硬件系统平台，由TI公司提供的DVRRDK开发环境，在系统平台上移植Uboot启动程序，通过仿真器将二进制文件烧写到Nand Flash中，设置 DM8168Nand Flash启动方式，启动Uboot初始化和加载内核，移植Linux系统，修改和配置内核，生成uImage内核镜像，烧写到Nand Flash的Kernel分区，加载TVP5158视频解码芯片、HDVICP、HDVPSS、HDMI控制器的驱动程序，完成整个系统算法的移植。整个系统软件结构框图如图2。

图2 软件结构图

2 前景检测改进算法

在智能视频监控系统中，运动目标的常用算法有三种，帧间差分法、背景差分法和光流法。帧间差分法检测结果容易产生空洞。如果运动目标速度快，也会造成重影。背景差分法需要消耗大量的内存，对于局部像素突变的干扰，检测效果也不理想。光流法该方法的计算复杂度高，对硬件的要求高很难做到实时检测，而且易受到环境噪声的影响。结合工作之中针对以上算法的优缺点，使用了一种基于视觉的背景提取算法（VIBE），VIBE算法的研究方法是给一帧图片中每个像素点建立一个样本集，采样该像素点的过去时刻的像素值及其周围邻居点像素值填充样本集。对之后的视频帧图片每一个新的像素值和对应该点的样本集进行比较来判断是否属于背景点，在此过程中，以一定的概率更新样本集以适应背景环境的变化，ViBe算法具有计算量小速度快的优点，但是对鬼影、背景干扰的消除以及光照变化的未做太多考虑。本文针对这一类问题提出融合三帧差法和自适应的VIBE改进算法。

2.1 背景初始化

传统的VIBE算法用第一帧图像初始化背景模型容易生成鬼影，改进算法采用三帧差法，用当前帧与像素模型作对比得到的差分图,后一帧与像素模型作对比得到得到的差分图，再对两个结果去交集得到公共部分。三帧差法的原理如图。Ik-1为视频第k-1帧图像,Ik为第k帧图像,M（x）为所建立的像素模型,由帧差法可得到第k-1帧和第k帧的的差分图像dk-1和dk,再dk-1和dk做与运算,得到了最终的二值图像Dk。改进的三帧差法的原理系统图如图3。

图3 三帧差法分析图

再采用SUSAN边缘检测算子初步提取运动目标大概轮廓，确定运动目标轮廓区域，只对区域内的像素点进行前景匹配和检测。SUSAN边缘检测是基于灰度特征提取方法，通过圆形模板在图像上移动，比较圆形模板内部像素点与背景模板中心的像素的灰度值，若圆形模板中像素灰度值与模板中心灰度值差值小于一定阈值，则就认为该点与中心模板有相同的灰度值，把相同灰度值的区域集合在一起，组成灰度值相似区域USAN。USAN区域判定方式为：

公式（1）中c（r,r0）为USAN区域判定函数，（Ir）是模板中心灰度像素值，（Ir0）是模板其他位置像素值，t是灰度阈值取3/4MAX，MAX是模板中心最大USAN，r0是圆形模板的半径。

2.2 运动目标检测

在运动目标轮廓区域进行运动目标检测，采用改进的自适应VIBE算法，第2帧开始计算每个像素点像素值与背景模型同一位置像素点N帧像素值的差的绝对值，将结果和预设的阈值R相比，如果小于R则说明找到一个匹配；统计上述小于R的匹配数目，如果匹配数目大于设定的匹配数目阈值，就判断此像素点是背景点，否则就判为前景点。

公式（2）中FR（V（x））以x为圆中心，R为半径区域，N表示以FR（V（x））圆区域与背景轮廓区域的交集，当N大于一定阈值Rmin时，则判断x是背景点。自适应参数R是可调节的范围在（15，25）之间，自适应参数R值守根据现场环境变化情况来确定，如果现场环境比较复杂就适当把R值调大些，现场背景环境没有突发变化就把R值调小些，VIBE背景模型原理图如图4。

图4 VIBE背景建模

2

2.3 背景模型更新

VIBE算法中背景样本的更新利用了像素点的空间传播特性及样本的更新与时间无关，这是一种无记忆的更新策略。当一个像素点被判别为背景时，有1/φ的概率更新模型样本集，同时也有1/φ的概率更新它的邻居点的模型样本值。

3 图像后续处理

经过检测目标图像中存在阴影、空洞、噪声，为得到更好的运动目标提取和跟踪，必须对检测目标图像进行后续相关处理，算法后续处理包括转化HSV空间模型、中值滤波、形态学算子，能够有效地消除阴影、噪声和空洞。

3.1 HHSSVV空间模型

将阴影部分的像素值和背景像素值进行比较，若两个共同部分的灰度值和色彩同时小于该阈值，那么认为该像素点为阴影。

公式（3）中的 P（x,y）是图像点（x,y）的阴影像素点模板，QH（x,y）、QS（x,y）、QV（x,y）是坐标（x,y）当前像素值的 H、S、V 分量，与 BH（x,y）、BS（x,y）、BV（x,y）是坐标（x,y）背景像素值的H、S、V分量，如果前像素点判定为阴影，则该像素点背景图像设为0，否则不做处理。

3.2 中值滤波

中值滤波是非线性信号处理方法，既中值滤波是一种非线性滤波器，可以克服线性滤波器的不能处理图像细节模糊的难点，中值滤波对滤去脉冲干扰和图像噪声效果很好。

3.3 形态学处理

形态学处理是用一定的形态结构元素去提取图像中对应的形状。图像经过形态学滤波后可以有效地消除图像中的噪声和空洞现象，常用形态学有开和闭运算，本文采用闭运算即先采用膨胀后进行腐蚀操作，实验表明能够有效消除噪声和空洞。

4 测试结果分析

本文是针对铁路沿线环境下的系统研究，整个系统是在Linux集成开发环境下进行的，将算法移植到DM8168开发平台上，将系统运用在铁路沿线上测试效果如图 5、6。

图5 行人检测

图6 行人检测

上图分别是第88帧和第135帧时，在铁路沿线场景下非法行人闯入铁轨时检测效果，可以看出在用传统的VIBE算法检测出的非法行人检测效果存在很多鬼影和噪声，而采用本文融合三帧差法和自适应改进BE算法检测出来的行人效果良好，铁路沿线行人检测效果如图 7、8。

上述两组图分别是采用本文的融合三帧差法和自适应VIBE算法检测出来的效果，都是采用白天和晚上不同的环境背景下检测出来的铁路沿线非法行人入侵，从图中可以看到在铁路沿线实际场景下，不论白天还是晚上检测出来效果都是很好的，从实际效果得出本文改进的融合三帧差法和自适应VIBE算法适合铁路智能视频监控。

5 结语

本文提出一种基于TMS320DM8168 DSP作为系统视频图像处理器的开发平台，结合铁路沿线的现场复杂环境进行运动目标检测，采用一种融合三帧差法和自适应的VIBE改进算法，并通过SUSAN边缘检测算子初步提取运动目标轮廓，通过中值滤波和形态学处理得到消除鬼影、空洞和噪声的良好效果，转化成HSV空间模型使得的图像具有抗光照影响。最后把改进运动目标检测算法移植到DM8168开发平台上，使整个系统在铁路智能视频监控中得到很好应用。

图7 行人检测

图8 行人检测

[1]刘吉.铁路综合视频监控系统的应用及发展趋势探讨.自动化与仪器仪表,2016.

[2]马健康.铁路综合视频监控系统的视频检索应用探讨.中国铁路.2014.

[3]王加梁.基于计算机技术的智能视频监控系统探讨[J].电子测试,2013,(07)：100-101.

[4]Braga N，Ulisses G，John J．Object-based Image Analysis Using Multiscale Connectivity[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(6)：892-907．

[5]Valera M，Velastin S．Intelligent Distributed Surveillance Systems：A Review[C]．Proceedings of IEEE Conference on Vision Image and Signal Processing，2005，152(2)：192-204．

[6]James Smailes,Ron Ries,Dr.Thomas Raslear.Trespass on Railroad Rights-of-Way[J].Research results,2007.6(19)

[7]Vidal R，Avinash U．Optical Flow Estimation and Segmentation of Multiple Moving Dynamic Textures[C]．Proceedings of 2005 IEEEComputer Society Conference on Computer Vision and Pattern Recognition，2005：516-521．

[8]Ying W,Juanjuan L,Di W.A particle filter Tracking Algorithm based on SIFT Feature Matching[C].Control and Decision Conference(CCDC),2012：1450-1454.

[9]谢虎.无线通信技术在铁路综合视频监控系统的应用.中国铁路，2012.

[10]Marco P.daSilva.Automated Railroad Infrastructure Trespass Detection System Performance Guidelines,American Railway Engineering and Maintenance-of-Way Association 2008 Annual Conference,Salt Lake CIty,UT,September 21-24,2008.

[11]孔令鑫.高速铁路高清视频监控系统解决方案.中国铁路.2014.

[12]宁娟.铁路综合视频监控系统方案设计.铁道通信信号.2010.

[13]梁磊.基于DSP的远程视频监控系统研究.无线互联科技.2016.

[14]陈梅.视频监控技术在铁路系统的应用和发展.铁路通信信号工程技术.2009.

[15]王楠.铁路视频监控应用现状及发展趋势.中国安防，2010.

[16]张衡.基于视频的青藏铁路灾害自动预警系统的设计和实现.北京：北京大学，2008.

[17]杨叶梅.基于改进光流法的运动目标检测.计算机与数学工程，2011.

[18]杨丹，余孟泽.车辆视频检测及阴影去除.计算机工程与设计，2011.

Railway Intelligent Video Monitoring System Based on DSP

YANG Gui1，2,CAI Qi-zhong1,YANG Min1,XU Min-Wu1
（1.School of Electrical and Information Engineering,Guangxi University of Technology,Liuzhou 545006；2.Shenzhen Puluke Video Technology Co.,Ltd.,Shenzhen,Guangdong 518068）

For the video moving target detection in complex environment of railway is easily affected by the situation,adopts TMS320DM8168 DSP processor,presents a fusion of the three frame difference method and adaptive VIBE algorithm,uses SUSAN edge detection operator,mor⁃phological processing,median filtering and moving target detection,and transformed into a HSV space model,the image processing algo⁃rithm is transplanted to the DM8168 platform,along the railway complex scene,can accurately detect moving objects in video,effectively eliminate the empty and the phantom of the opera,to achieve good robustness.

1007-1423（2017）22-0080-05

10.3969/j.issn.1007-1423.2017.22.019

杨贵（1989-），男，湖北人，硕士研究生，研究方向为嵌入式系统与自动化装置

蔡启仲（1956-），男，教授，硕士生导师，研究方向为嵌入式系统与自动化装置

2017-03-14

2017-07-15

Moving Object Detection;DM8168 Processor;DSP;VIBE Improved Algorithm;SUSAN Edge Detection;HSV Space