应用于交通监控的智能相机设计

任毅，程耀瑜

（中北大学 山西现代无损检测工程技术中心，山西 太原030051）

0 引言

智能相机的一个重要应用领域是交通的实时监控，在这个领域智能相机可以作为已知的由普通相机、图像采集卡和电脑组成的机器视觉系统的替代品[1]。CMOS图像传感器可以克服由于天气状况或者路灯原因而引起的强度对比问题从而可以从智能相机中得到一个质量更好的图像或视频处理结果。在智能相机中，不仅是图像增强和图像压缩非常重要，而且应用于场景分析和行为分析的视频图像计算方法也变得越来越重要。虽然这些应用于实时处理和存储的计算都有一个很高的要求，但是由于智能相机具有低功耗、低成本、具有充足计算处理和存储能力，所以它可以满足上述要求。

1 智能相机的结构

1.1 系统概述

一般情况下，智能相机由图像传感器、处理单元和传输单元组成。用于交通监控的智能相机被封装在一个盒子里头，安装在隧道和高速路旁，由电源插座或者太阳能电路板向其供电。因此，智能相机在暴风雨天气等天气变化明显的时候，也可以正常使用。

1.2 系统结构

智能相机的系统结构如图1所示。

图1 智能相机系统结构

1.2.1 图像传感器

图像传感器是智能相机整体数据流的第一个阶段。传感器把入射光转换成能被传输到处理单元的电信号。由于CMOS传感器带有对数特性、片上模数转换器和功率放大器，所以它可以很好地满足智能相机的要求。

1.2.2 处理单元

整个数据流的第二个阶段是处理单元。高性能的图像和视频处理对计算性能的要求非常高，粗略估算计算速度是10GIPS。在智能相机中，通过数字信号处理器（DSP）可以实现这些性能要求。本实验设计的智能相机包含两个DSP速率为600MHz的TMS320DM642DSP,这两个DSP通过多通道缓冲串行口（McBSP）紧密地连接在一起，并且每个处理器与自己的局部存储器相连[2]。图像传感器通过FIFO存储器与一个DSP相连，以缓冲传感器和DSP数据传输的时间，然后通过一个8MB到256MB的外部存储器把图形传输到DSP中。

1.2.3 通信单元

智能相机中整个数据流的最后一个阶段是通信单元。处理单元通过通用接口把数据传输到通信单元，这个接口可以实现如以太网、无线局域网和GSM / GPRS不同网络间的简单连接。在以太网接口上必须添加物理层，因为已经在数字信号处理器上实现了媒体访问控制层。

1.3 低功耗条件

1.3.1 动态能量管理（DPM）

动态能量管理（DPM）的主要思想是各个组件在运行时可以被切换到不同的电源模式。每种电源模式的特征是通过元件不同的功能/性能和相应功耗来展现。例如，如果在某个特定时期内没有使用一个具体的元件，那么这个元件就没被供电。改变元件供电模式的命令是由一个中央电源管理器（PM）控制的。该命令相当于一个电源管理策略（PMP），通常在主要处理组件的操作系统中应用PMP。为了决定该发出哪种命令，PM必须知道系统的工作量。转变组件的电源模块需要一段时间，因此为了避免系统故障，在PM的PMP中必须包含一些切换时间。

1.3.2 智能相机中的DPM

在智能相机中，PM位于主机DSP的操作系统内核中。每个组件的电源模式由通过I2C发送的各个命令来控制。每个组件都有其特殊的包括不同功耗、速率和响应时间的电源模块。这些特征都封装在PM的查找表中并被作为PMP的输入来使用。如果智能相机在正常模式下运行，比如在全功率模式下不需要运行相应的DSP。在这种情况下，PM把DSP设置成低功率模式以便满足实时性的需要。如果相机改变其运行模式为报警方式，那么PM把所有的组件都设置成高性能模式[3]。

2 软件设计

2.1 图像处理

为了验证智能相机的视频处理能力，选择在交通检测中应用非常重要的固定式车辆来做检测。我们选择在隧道环境做检测，因为它与户外场景环境比起来较简单。假如相机是静止的而且周围灯光环境是常量，光亮度仅仅由汽车运动或噪音如汽车灯光反射引起。一幅图像在（x,y）点处的像素就是所谓的背景像素，如果在静态环境下两幅连续图像It-1(x,y)和It(x,y)的差值比固定状态下的阈值小或者比统计情况下由分布式背景亮度值所支持的一个像素亮度值小，那么背景像素亮度值可以用高斯分布来描述。

图2描述了固定汽车监测算法。每一像素的背景模型用包含整个亮度范围的高斯分布初始化，然后把观察分布上传到每个带有新视频流图像的像素中，观察分布的均值和方差由样本均值和样本方差估计得到。

图2 固定式车辆检测的视频处理算法

2.2 视频压缩

以一秒25帧的全PAL分辨率标准传输视频，这需要一个几乎为一秒20MB的带宽。最先进的视频压缩减少带宽的需要，需要100到1.5Mb/s。

高级简单的MPEG-4编码方法非常适合交通监控，由于编码质量的原因，可以根据不同的需要调整需要的带宽[4]。

2.3 网络连接

把TCP/IP协议作为一个IP栈，可以实现网络连接。通过FTP用户可以把存储在文件中的数据下载到相机中，如固化软件更新或者新参数设置。通过UDP，用户可以进行多播流媒体视频传输。本设计中的IP栈在DSP中已经被设置优化[5]。

2.4 固件

智能相机的固件控制整个系统的工作，并且提供接口和不同任务的控制如任务管理、相机控制和外围控制。固件定义了4个基本的启动等级：（1）正常模式；（2）报警模式；（3）全更新模式和最后更新模式；（4）部分更新模式。

3 实验研究

3.1 模型结构

为了能尽快评估智能相机的功能和性能我们开发出了一个模型，如图3所示。模型的核心部分是由ATEME制造的网络视频开发套件（NVDK）。该套件包括一个带有264 MB同步动态内存的TMS320DM642和一个以太网扩展卡。通过扩展板把LM-9618CMOS传感器与NVDK连接在一起，并通过FIFO存储器传输视频数据。

图3 智能相机的模型结构

3.2 图像处理结果与分析

假如相机是静止的而且周围灯光环境不变，仅仅由汽车运动或噪音引起前景光亮度改变，如汽车灯光反射，亮度值是在0和255间的灰度值。一幅图像在（x,y）点处的像素是语义上的背景像素，如果两幅连续图像It-1(X,Y)和It(X,Y)的差值

I(t-1)(X,Y)—It(X,Y)比固定状态下的阈值小或者比统计情况下由分布式背景亮度值所支持的一个像素亮度值小，且我们已经假定是在静态环境下，那么背景像素亮度值可以用高斯分布来描述。为了使参数随着时间的变化更可靠，在参数估计以前在空间域中把图形用带有标准偏差的高斯滤波器滤波，如图4（a）。

本文选择了一种带有增强变化像素区域的连通区域算法，如图4（b）。如果发生了最小阈值和最大阈值之间的区域重叠，同时每个亮度分布It-k(x,y)……It(x,y) 都描述了一个区域所有像素的最后图像，如图4（d）那么固定的汽车就被检测出来。相对于观察分布，可以实现适应性前景模型，如图4（c）。以下3种情况应该注意：

图4

（1）观察分布在前景模型里面；（2）前景景模型在观察分布里面；（3）前景模型和观察分布相互交叉。

在（1）中前景模型太宽，所以模型参数被更新到观测分布的参数中。这是由平均指数实现的。在（2）中，如果两个分布的四分位差距比较小，那么前景模型仅仅由指数平均数更新。在（3）中的适应性规则比（2）中的适应性规则小。前景模型与观测分布从左边或者右边交叉相互交叉。因此，前景模型的75%的四分位值或25%的四分位值分别被更新成观测分布的75%的四分位值或25%的四分位值[7]，如图4（e）。在由环境光的变化引起的全局强度变化的情况下，相当数量的像素强度不会被当前前景模型支持。然后，所有像素前景模型被重置成初始化模型。

3.3 视频分析

在3.1节中描述固定式车辆检测是对该模型的第一种算法的实现。然后把原始的MATLAB程序移植到C++中同样也做了一些性能实验。未优化的算法大约需要3500亿每帧的周期，这相当于在PAL分辨率中7秒钟一幅图像的处理时间。这个算法的主要瓶颈是内存被过度浪费和过度使用浮点运算[8]。优化的浮点运算虽然有所改善，但我们还是决定用16位的变量实行定点运算，通过减少浪费的内存和用前面提到的定点运算方法，使性能得到提高了。

3.4 功耗估计

表1中列出了相机主要部件的标准功耗。通过应用DPM，可以降低相机的功耗，提高相机的性能和可靠性。

表1 智能相机的预计功耗

[1]C.S.Regazzoni, V.Ramesh, and G.L.Foresti.Introduction of the special issue[J].Proceedings of the IEEE,89(10),Oct 2001.

[2]W.Wolf, B.Ozer, and T.Lv.Smart cameras as embedded systems[J].Proceedings of the IEEE.48-53, 2002

[3]肖传伟.智能相机的设计研究 [D].长春: 中国科学院长春光学精密仪器机械与物理研究所，2007.

[4]周怀得,肖传伟,郝志航.基于DSP和CPLD的智能相机系统设计与研制[J].微计算机信息，2006，22（62）：209-211.

[5]戴逸民，梁晓雯，裴小平.基于DSP的现代电子系统设计[J].北京：电子工业出版社，2002,6(39):25-31.

[6]邹臣.基于DSP的智能相机系统设计[D].武汉：华中科技大学,2007.

[7]R.P.Pflugfelder.Visual traffic surveillance using realtime tracking.Master’s thesis[D].Vienna University of Technology, Vienna, Austria, 2002.

[8]J.Foote,D.Kimber,FlyCam.Practical Panoramic Video and Automatic Camera Control[J].IEEE International Conference on Multimedia and Expo, 2000:1419-1422.