基于DM642的全景多目标检测系统的设计与实现

刘歆浏+田瑞娟+蒋飞+周建平

摘 要： 为了实现全方位监控和智能预警，设计了一套以DM642为核心的全景多目标检测系统。从硬件设计和软件设计两个方面分析了系统和算法的构建、实现和优化。针对该系统复杂的功能和架构，详细分析其工作流程，采用了基于DSP/BIOS的框架搭建，并且设计和采用基于能量累计的背景建模和基于SIFT的图像匹配等关键图像处理算法。并最终通过系统调试验证其设计的可行性。

关键字： DM642； DSP/BIOS； 多目标检测； 背景建模； SIFT

中图分类号： TN964?34 文献标识码： A 文章编号： 1004?373X（2014）16?0123?04

Design and implementation of panorama multi?target detection system based on DM642

LIU Xin?liu1， TIAN Rui?juan1， JIANG Fei2， ZHOU Jian?ping1

（1. Department of Armament Products， No. 58 Research Institute of China Ordnance Industry， Mianyang 621000， China；

2. Equipment Research Institute of Chinese Peoples Armed Police Forces， Beijing 100000， China）

Abstract： To achieve omni directional monitoring and intelligent warning， a DM642?based panorama multi?target detection system was designed. The construction， achievement and optimization of the system and algorithm are analyzed in the aspects of hardware design and software design. A detail analysis of the systems operation flaw is done in allusion to complex functions and architecture. The framework is built by DSP/BIOS. The background modeling based on energy accumulation and critical image processing algorithm based on SIFT are applied. Finally， the feasibility was verified by the system debugging.

Keywords： DM642； DSP/BIOS； multi?target detection； background modeling； SIFT

基于视频的目标检测与跟踪在军事武器、机器人导航、智能监控系统等领域具有广泛的应用，它是一种融合了图像处理、模式识别、人工智能、自动控制等多领域先进技术的综合应用技术。全景视频是对单摄像机视频的扩展，它综合应用图像配准、图像融合技术，无缝拼接生成的更大的视场范围。传统的智能视频分析系统[1?2]包括X86体系设计和嵌入式平台设计两种架构。基于X86体系的安防系统维护成本高、功耗体积大，并且实时性不强，使用范围限制大。基于嵌入式平台的设计是当今智能监控系统的发展趋势。但现有的嵌入式视频分析系统，单个设备大多数都只是针对单路视频的分析处理[3]，同时只能完成某一个智能分析功能。这样不仅使用成本高，而且功能非常单一，工程化的局限性非常大。本文以TI公司的TMS320DM642为核心，设计并实现了全景多目标检测系统。能够同时实现三路视频的采集，实时拼接输出更大视场范围的全景视频；同时对全景视频进行了不间断的多目标智能检测、识别和追踪，以及虚拟警戒区域的预警。本文从硬件设计和软件设计两个方面，对该智能视频分析系统进行了详细的描述。

1 系统硬件组成

本系统是以TMS320DM642[4]为核心硬件构成的，配合丰富的辅助硬件设备，完整地形成了一套具有实效性的智能视频监控系统，实现对现场全景的覆盖监控，以及对多目标的搜索捕获以及锁定跟踪。主要由三路视频输入、DM642处理器、视频编解码模块、电源模块、存储模块、电源转换电路等组成，如图1所示。

三路标准模拟视频信号通过CVBS接口接入系统[5]，由三个独立视频解码芯片分别进行采集，编码器选择了Ti的TVP5150，分别由DM642的Video PortVP0A，VP1A，VP2A）进行采集。完成处理的实时全景通过SAA7121芯片进行D/A后输出。

DM642作为系统的主控芯片，负责了整个智能视频系统的三路的视频捕获，全景图像的拼接和输出，威胁目标的检测和跟踪，预警规则的设置等核心功能。同时，它与串口芯片TL16C752相连，通过串口与外部进行通信；与FLASH和SDRAM相连，用于外部存储功能的扩展及程序的保存和烧写。

图1 硬件组成图

为实现全景拼接显示，视频输入选择为光轴近似相交于一点、环形均布的3个高清晰低照度摄像机组成，如图2所示。每一个摄像机的视场角为60°，相邻的摄像机有10%的视场交叉，这样3个相机以55°的夹角进行安装，用于进行拼接和融合的公共参考区域。3个相机将共同生成大于150°的超大视场。

图2 安装示意图

2 系统软件

2.1 系统工作流程

本系统的软件内嵌于DSP内部的嵌入式软件。系统在完成了对DSP内部接口、EMIF模式、存储空间以及串口、网口和VIDEO PORT等的初始化后。分成两条流程运行。一条流程用于串口数据通信，实时接收外部的通信数据，发送预警信息和目标信息；另一条流程接收三路图像信息，进行视频图像采集、处理和输出。根据视频数据更新的速度，该线程40 ms循环运行。工作流程如图3所示。

图3 工作流程图

在图像处理的这条流程中，包含了两个并行处理的子线程，一条是对三路视频进行对拼接、融合，色差调整和裁剪整合；另一条用于对三路视频进行实时监测，实现多目标的检测和跟踪。最后将捕获的多目标在全景视频里面进行标定显示。

2.2 DSP/BIOS框架搭建

从系统组成可以看出，本系统是一个多任务、多算法，同时处理多路视频的复杂软件系统。而传统的DSP软件设计，是基于main函数的无限循环、中断处理这一顺序框架来构建的。这样的架构在处理复杂系统时容易被阻塞，使得整个系统的实时性不能满足需求，并且无法准确掌握处理器的运行状态。为了解决这些问题，本系统采用DSP/BIOS实时系统内核进行软件的框架搭建。DSP/BIOS是TI公司为DSP开发的一套用于实时多任务软件开发的嵌入式操作系统[6]。它本身占用极少的CPU资源，提供丰富的面向用户的API，用于编写各种结构复杂、实时性强、运行效率高的应用软件， 并提高调试效率。并且针对RTOS开发提供对象的创建和删除、多线程服务、线程之间的通信。在DSP/BIOS下系统软件框架如图4所示。

本软件框架包含4个任务[7]（tasks），其中TSKcapture，TSKparanorma，TSKdisplay负责核心流程任务，循环地实现了从底层驱动获取视频图像，视频图像的全景拼接以及视频编码转换输出显示，优先级最高。TSKcom承载了串口通信的任务，优先级最低。TSKmultiobj则是负责目标的检测和跟踪，优先级居中。

图4 软件框架图

TSKcapture线程在获取到一帧图像后，便将图像BUFFER的指针随同SCOM消息同时发送到TSKparanorma，TSKmultiobj线程的SCOM接收队列。随后，TSKcapture线程将由运行态转为挂起态，等待来自TSKparanorma，TSKmultiobj线程的SCOM消息将其激活。TSKparanorma线程完成图像处理后，将经处理的图像数据存储在内核输出所指向的buffer中，并且将这一指针随同一个SCOM消息发送给TSKdisplay线程。TSKmultiobj线程通过邮箱MBX以及信号灯SEM与TSKparanorma线程以及TSKcom进行通信，接收外部对此线程的控制命令以及目标叠加信息和预警信息的输出。

2.3 图像处理算法设计

在本系统中，多目标检测与跟踪线程TSKmultiobj和全景拼接融合TSKparanorma是图像处理的核心模块。在考虑到系统的功能和实时性的技术要求，以及针对DM642的运算能力算法优化考虑，这是一路极其复杂的软件架构。两个模块采用的是并行处理模式，并且每个模块也是同时对三路视频进行处理。它们的算法流程设计如图5所示。多目标检测与跟踪模块中的三路视频都采用了完全相同的算法，图5（a）为单路视频的目标检测跟踪算法流程，图5（b）为全景拼接融合的算法模块。

整个系统功能包含了图像处理的多个算法，并有机的结合组成。其中涉及的图像算法包括：背景建模和更新、多目标提取[8]、目标跟踪、虚拟警戒判定、图像匹配、图像融合、图像标定定位以及色差自动调平等算法。其中背景建模和更新、图像匹配是其中的难点和关键。为建立稳定而且准确的背景模型，同时形成一套背景更新体系[9]，笔者建立了基于能量累计的双模型架构的背景建模法。此方法的核心就是在背景建模中融入帧间差分的能量累计，建立背景模型和能量累计模型，将能量累计与背景进行直接对应。当累计值触发质变的阈值，该像素点的背景将进行建立和更新。

公式如下：

[Ex，y，t=Ex，y，t-1+1，Fx，y，t-Fx，y，t-1>θ0， Fx，y，t-Fx，y，t-1≤θBx，y，t=Bx，y，t，Ex，y，t>σFx，y，t，Ex，y，t≤σ]

式中：E为能量模型；B为背景模型；F为当前图像。[θ]和[σ]为背景更新的两个阈值，[θ]代表背景变化的剧烈程度，[σ]为背景更新周期的快慢。

图5 算法流程图

通过实际工程检验，这种背景算法高效简便，满足三路视频并行处理的实时性要求，同时能够迅速感应背景变化进行更新。由于相机光学构造和整个系统结构设计的固定偏差，无法将光轴完全于相交一点。在进行全景图像拼接时，三路视频的匹配区域会由于成像距离的不同产生变化。这就需要两两图像进行实时匹配，找到准确的匹配区域。本系统采用了尺度不变特征变换方法（SIFT）算法[10]，针对特征点进行匹配。

首先使用高斯差分函数对图像进行处理：

[Dx，y，σ=Gx，y，kσ-Gx，y，σ*Ix，y =Lx，y，kσ-Lx，y，σ]

通过该算子，取这些高斯差分图像中的局部极值，得到尺度空间域上的图像特征点。然后形成包括位置、尺度、方向等信息的特征向量。最后对特征向量进行匹配完成该算法。在本系统中，由于摄像机固定安装，所以最后将匹配区域最大范围缩小，极大地提高了算法的执行效率。

3 系统调试结果

系统最后针对场景形成了一套完整的全景智能监控系统。3组摄像机拼接成了一幅全景视频，对监控区域形成了全覆盖，同时在摄像机之间的交界处没有明显的图像差异和色差。在图6中，通过跟踪波门的显示，实现了对多个目标的锁定和跟踪。两个红色的区域是通过串口所设置的两个虚拟警戒区，当入侵目标进入该区域，则会自动报警。

图6 显示效果图

4 结 论

本文针对现有的监控系统存在诸多不足，提出了基于DM642的全景多目标检测系统，解决了包括智能预警、全视场覆盖、多目标跟踪等多个技术难题，并且通过工程化的实现，验证了系统的可行性和实用性。并且架构清晰、可靠性高、误报率低，具有广阔的应用前景。

参考文献

[1] 张涛，车彦宁，李贺宁.基于DM6467的视频监控系统设计[J].电子产品世界，2013（1）：66?67.

[2] 葛长伟.嵌入式智能视频监控系统的研究及实现[D].大连：大连海事大学，2012.

[3] 周建平，刘歆浏，赖文娟.基于DM8168的高清视频智能分析系统设计与实现[J].现代电子技术，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 谢晶.基于DM6467的多通道视频网络传输系统的硬件设计 [J].微型机与应用，2012，14（31）：21?23.

[6] 张叶，曲宏松，李从善，等.基于TMS320C6x系列DSP/BIOS平台的实时电视跟踪系统设计[J].电子器件，2007（2）：300?302.

[7] 闫建强，马莉.基于DSP/BIOS的视频监控系统多线程调度研究[J].机电工程，2010（9）：32?36.

[8] 刘歆浏，田瑞娟，陈阳，等.基于高速球的运动目标自适应PTZ跟踪研究[J].兵工自动化，2009，28（9）：78?81.

[9] 刘翠微，赵友东，梁玮.基于时空视频块的背景建模[J].北京理工大学学报，2012（4）：390?394.

[10] 杜京义，胡益民，刘宇程.基于区域分块的SIFT图像匹配技术研究与实现[J].现代电子技术，2013，36（8）：52?58.

3 系统调试结果

系统最后针对场景形成了一套完整的全景智能监控系统。3组摄像机拼接成了一幅全景视频，对监控区域形成了全覆盖，同时在摄像机之间的交界处没有明显的图像差异和色差。在图6中，通过跟踪波门的显示，实现了对多个目标的锁定和跟踪。两个红色的区域是通过串口所设置的两个虚拟警戒区，当入侵目标进入该区域，则会自动报警。

图6 显示效果图

4 结 论

本文针对现有的监控系统存在诸多不足，提出了基于DM642的全景多目标检测系统，解决了包括智能预警、全视场覆盖、多目标跟踪等多个技术难题，并且通过工程化的实现，验证了系统的可行性和实用性。并且架构清晰、可靠性高、误报率低，具有广阔的应用前景。

参考文献

[1] 张涛，车彦宁，李贺宁.基于DM6467的视频监控系统设计[J].电子产品世界，2013（1）：66?67.

[2] 葛长伟.嵌入式智能视频监控系统的研究及实现[D].大连：大连海事大学，2012.

[3] 周建平，刘歆浏，赖文娟.基于DM8168的高清视频智能分析系统设计与实现[J].现代电子技术，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 谢晶.基于DM6467的多通道视频网络传输系统的硬件设计 [J].微型机与应用，2012，14（31）：21?23.

[6] 张叶，曲宏松，李从善，等.基于TMS320C6x系列DSP/BIOS平台的实时电视跟踪系统设计[J].电子器件，2007（2）：300?302.

[7] 闫建强，马莉.基于DSP/BIOS的视频监控系统多线程调度研究[J].机电工程，2010（9）：32?36.

[8] 刘歆浏，田瑞娟，陈阳，等.基于高速球的运动目标自适应PTZ跟踪研究[J].兵工自动化，2009，28（9）：78?81.

[9] 刘翠微，赵友东，梁玮.基于时空视频块的背景建模[J].北京理工大学学报，2012（4）：390?394.

[10] 杜京义，胡益民，刘宇程.基于区域分块的SIFT图像匹配技术研究与实现[J].现代电子技术，2013，36（8）：52?58.

3 系统调试结果

系统最后针对场景形成了一套完整的全景智能监控系统。3组摄像机拼接成了一幅全景视频，对监控区域形成了全覆盖，同时在摄像机之间的交界处没有明显的图像差异和色差。在图6中，通过跟踪波门的显示，实现了对多个目标的锁定和跟踪。两个红色的区域是通过串口所设置的两个虚拟警戒区，当入侵目标进入该区域，则会自动报警。

图6 显示效果图

4 结 论

本文针对现有的监控系统存在诸多不足，提出了基于DM642的全景多目标检测系统，解决了包括智能预警、全视场覆盖、多目标跟踪等多个技术难题，并且通过工程化的实现，验证了系统的可行性和实用性。并且架构清晰、可靠性高、误报率低，具有广阔的应用前景。

参考文献

[1] 张涛，车彦宁，李贺宁.基于DM6467的视频监控系统设计[J].电子产品世界，2013（1）：66?67.

[2] 葛长伟.嵌入式智能视频监控系统的研究及实现[D].大连：大连海事大学，2012.

[3] 周建平，刘歆浏，赖文娟.基于DM8168的高清视频智能分析系统设计与实现[J].现代电子技术，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 谢晶.基于DM6467的多通道视频网络传输系统的硬件设计 [J].微型机与应用，2012，14（31）：21?23.

[6] 张叶，曲宏松，李从善，等.基于TMS320C6x系列DSP/BIOS平台的实时电视跟踪系统设计[J].电子器件，2007（2）：300?302.

[7] 闫建强，马莉.基于DSP/BIOS的视频监控系统多线程调度研究[J].机电工程，2010（9）：32?36.

[8] 刘歆浏，田瑞娟，陈阳，等.基于高速球的运动目标自适应PTZ跟踪研究[J].兵工自动化，2009，28（9）：78?81.

[9] 刘翠微，赵友东，梁玮.基于时空视频块的背景建模[J].北京理工大学学报，2012（4）：390?394.

[10] 杜京义，胡益民，刘宇程.基于区域分块的SIFT图像匹配技术研究与实现[J].现代电子技术，2013，36（8）：52?58.