基于DSP和双目视觉的多媒体传感器网络节点设计与实现

张云洲，蒋培，高亮，李立强

(1. 东北大学 信息科学与工程学院，辽宁 沈阳 110819；2. 海军工程大学 兵器工程系，湖北 武汉 430033)

1 引言

无线传感器网络（WSN， wireless sensor network）深刻地改变了人类与自然的交互方式[1，2]，并广泛应用于军事、工业、医疗、环境监测等诸多领域[3，4]。随着人们对物理世界认识的加深和环境日趋复杂，传统无线传感器节点所获取的简单数据已经无法满足人们实现全面检测环境的需求，迫切需要将图像、视频、音频、空间立体感知等媒体信息引入到无线传感器网络中来，实现更精准、细微的监测，多媒体传感器网络由此应运而生[5]。

多媒体传感器网络是由一组计算、存储且具有无线通信能力的多媒体传感器节点组成的分布式传感器网络[6]。相对WSN而言，多媒体信息的引入使WSN的数据处理速度、网络存储容量、网络传输、能量供应等方面显著增强，可完成传统无线传感器网络无法实现的复杂任务[7]，满足人们对环境监测的多样化需求。受网络传输带宽、能耗、实时媒体传输、网络信息处理、QoS保障等方面的影响[8]，无线多媒体传感器网络目前还处于理论研究阶段，且多数依赖于仿真环境开展研究。由于应用场合不同，无线传感器节点系统的设计有很大区别。

本文依托高性能DSP处理器，结合ZigBee无线传输协议，设计了一款支持图像处理、双目视觉及深度信息提取的无线多媒体传感器节点，同时集成了多种传感器形成了环境综合感知能力。

2 相关工作

从现有文献来看，无线多媒体传感器节点的硬件设计，一般是在无线传感器节点系统的基础上增加了视觉感知。归功于图像压缩与处理技术的进步[9]，图像传感器实际已成为多媒体传感器网络节点的标准设备，复杂算法也开始引入节点信息处理。总体上，当前设计成功的多媒体传感器节点系统的主流方案可分为2种：1) 以通用处理器为核心处理部件的嵌入式系统节点；2) 利用FPGA、ASIC等专用器件设计的图形采集传输平台。

功能相对完善的多媒体传感器节点，主要有斯坦福大学的MeshEye节点、波特兰大学的Panoptes节点、加利福尼亚大学的Cyclops节点、马萨诸塞大学的 Quickcam Pro Camera、Stargate节点、CMU camhe和 Mica节点等[10，11]；国内的代表性 WMSN节点主要有北京邮电大学的音频节点、南京邮电大学的UbiCell图像节点和UbiCell音频节点等[12～14]。其中，Panopts节点基于Strong ARM设计的嵌入式平台，主频达206 MHz，运行于Linux操作系统，采用USB接口的WebCam作为图像传感器模块，支持视频流数据的获取、压缩、过滤缓冲等处理功能[15]。南京邮电大学设计的UbiCell节点，是以OV7620作为图像传感设备，以ATmegal128L为控制核心，CC2420作为通信模块设计的传感器节点；UbiCell视频传感器节点则以SoC2440为主控制模块，外接以太网和WLAN网卡实现视频流的快速传输。

总体上，无线多媒体传感器节点的常用基本架构是以微处理器为核心，集成图像传感器、环境传感器和无线通信装置，其具体配置随实际应用而有所区别。现有的WMSN节点大多在单幅图像采集并有效传输方面展开研究与开发，不具备图像深度的测量功能。本文设计的无线多媒体传感器节点，除实现基本的图像获取及处理之外，着眼于获取现场环境的图像深度感知，目的在于实现现场环境的立体感知，使节点的具备更强的图像感知与理解能力。

3 多媒体节点系统架构及功能

3.1 节点框图

多媒体传感器节点主要包括4个模块：传感器模块、数据处理模块、ZigBee通信模块和控制模块。传感器模块主要包括热释外传感器、湿度、温度、加速度、电磁罗盘、音频传感器、图像传感器等，主要负责外部信息的感知；其中双目摄像机用于完成立体环境的监测，加速度、电磁罗盘传感器完成节点本身的姿态感知，湿度、温度、热释外用于监测现场环境的综合感知。主处理器主要由高性能数据处理器及其外部 RAM、Flash、时钟、电源等外部辅助设备组成，用于图像、音频等数据量相对较大信号的运算处理与识别。通信模块主要由ZigBee射频通信模块组成，用于无线多媒体传感器节点动态组网及节点数据的无线传输。控制模块主要有射频通信模块及其内嵌的微控制器内核组成，负责节点任务安排以及整个节点的功耗控制。图1所示为无线多媒体传感器网络节点的整体框架。

图1 无线多媒体传感器节点整体框架

3.2 接口设计

随着传感器技术的发展，传感器集成化程度越来越高，通信接口日益趋向于标准化，用户使用越来越方便。双目摄像机通过专用解码芯片转化成数字信号后供处理器接收与处理，并将处理分析的结果通过SPI总线发送至ZigBee模块并将数据传送至控制中心，ZigBee模块也可通过SPI总线向主处理器发送控制信号，用于控制 DM642的工作过程。三轴加速度传感器、电磁罗盘以及视频解码芯片通过I2C总线与主控制器信息交换；温度传感器通过C51内核扩展的GPIO完成数据的读取，湿度传感器通过8 bit ADC接口读取，热释外传感器通过触发主控制器模块外部中断实现人体监测。

4 多媒体传感器节点的软硬件设计

4.1 核心处理器电路设计

1) DM642数字信号处理器：TMS320DM642是基于第二代高性能VelociTI 超长指令字结构处理器开发的增强型微处理器，在720 MHz的时钟下，最高每秒可处理5 760百万条指令。C64x内核具有64个32 bit的通用寄存器以及8个高度独立的功能单元、2个乘法器以及6个算数逻辑单元（ALU）。

DM642拥有3路可配置的视频端口（VIC）以及以太网端口（EMAC）、数据输入输出端口、VCXO差补控制端口、多通道音频串口等接口，还有3个独立32 bit计数器、1条I2C总线。通过以上接口可实现多路视频音频信息的获取和外部设备通信及控制。

DM642的视频端口（VP0、VP1、VP2）可与常规视频编解码器无缝连接，每个端口拥有5 120 byte采集/显示缓冲，可供a、b2个通道同时使用。由于 DM642兼具强大的数据处理能力和丰富的片上外设，可以满足WMSN节点设计的需求。

2）外部RAM及Flash接口设计： DM642处理器芯片片内集成了64 bit宽度的EMIF接口，有4个独立地址空间，均可配置成同步和异步模式，可与SDRAM以及异步Flash无缝连接。根据实际需求，本文在数据处理模块设计了2片容量为16 MB和1片容量为2 MB的Flash存储芯片，分别配置在0x80000000和0x90000000地址空间上，其接口方式如图2所示。

图2 外部RAM接口

其中，RAM用与缓存程序或数据，Flash内部自0x90000000开始的1 MB空间用于存放系统启动程序，剩余1 MB存放数据。系统中2片SDRAM芯片共同占用 EMIF接口的地址总线，而且 Flash芯片和位于低位的SDRAM共用低8位数据线及全部地址总线。为了确保信号质量，本文在地址总线和数据总线上添加了阻值为22 Ω的匹配电阻，其拓扑结构如图3所示。

图3 外部RAM和Flash的拓扑结构

4.2 综合感知子系统设计

1) 视频接口设计

本文的多媒体传感器节点采用双目摄像机，以2片独立的解码芯片完成视频信号解码，构成双路视觉信号的实时获取。TMS320DM642芯片集成了3个相同的20 bit VPort，每个VPort可配置为2个10 bit的视频通道，可独立配置成输入或输出模式。

2片解码芯片分别占用 VPort2端口的 2个通道，使用8 bit传输模式，其接口方式如图4所示。

图4 视频解码的接口设计

2) 音频编解码接口设计

本文的 WMSN节点扩展了音频接口，用于监听环境声音和音响信号。TMS320DM642通过I2C完成对音频芯片 TLV320AIC23的初始化配置，通过将MCBSP接口配置成SPI总线模式与串行口进行数据交换。接口设计如图5所示。

图5 音频编码的接口设计

3）传感器接口设计

无线多媒体传感器节点必须具备实时感知环境信息的能力，为此需要扩展多种传感器，以实现对所处环境以及对节点自身姿态的综合感知。图 6给出了本文节点的综合感知接口设计。

图6 综合感知单元接口设计

其中，DM642通过I2C总线与MPU-6050角度传感器和 MAG3110地磁传感器进行数据交互；通过GPIO模拟1-Wire协议访问DS18B20；以中断方式监测热释电红外传感器 ME003的输出电平；通过A/D转换读取模拟传感器GB2530的数据。事实上，传感器通常采用I2C、SPI、串行口、1-Wire等电气接口与数据协议，DM642丰富的外设接口可以实现多种传感器的扩展。

4.3 无线通信接口设计

无线通信选用了ZigBee协议模块，实现系统的组网与节点间的数据传输。射频芯片选用 CC2530，内部集成了C51内核，并具备GPIO、EXINT、SPI、UART等可复用的输入输出引脚。其中，SPI总线用于与TM320DM642处理器之间进行数据交互。

此外，为减轻核心处理器TMS320DM642的任务载荷，减少节点的总体能耗，将部分传感器通过ZigBee通信芯片CC2530的C51内核读取数据。

4.4 软件流程

本文所设计的WMSN节点系统中，DM642和CC2530需要分别开发应用软件。其中，CC2530的主要功能是完成节点间的组网控制、通信控制以及DM642启/停的控制。DM642处理器的任务则包括双目摄像机的图像获取及处理、三轴加速度、电磁罗盘等传感器的读取与处理等。

图7给出了WMSN节点的软件设计流程。

图7 WMSN节点软件设计流程

4.5 双目校正及立体匹配算法

1) 双目标定与校正

与一般摄像机标定相比，双目标定不仅需要得到每个摄像机的内参，还要确定2个摄像机之间的相对位置关系。随后根据双目标定结果进行的双目校正，可以使2幅图像的对极线处于同一水平线上，提高立体匹配的搜索效率。

本文标定及校正过程采用的Matlab开源标定工具箱具有很高的精度，之后将校正结果保存成查找表格，以便在系统实时运行时快速实现图像校正。

2) 立体匹配算法

由于该块原始地层能量高，常规压裂投产日期较早，大规模压裂投产时地层能量下降较多，因此大型压裂压后7d内初产产油量较常规压裂低，但生产周期内平均产量较常规压裂的平均产量高。因投产时间相近，油层厚度相近的樊142-317（加砂35.6 m3）与樊142-321（加砂91.1m3）相比，樊142-321具有更高的初产和更长的稳产期。

考虑到资源的限制与实时性的要求，本文选择了基于加权窗口的区域灰度立体匹配算法获取深度信息。为减少因两摄像机亮度不一致造成的干扰，先采用水平Sobel算子对图像滤波，然后对滤波后的图像进行立体匹配。具体原理为：对左摄像机（参考图像）的每一点Il(x，y)，在右摄像机（目标图像）一定搜索范围内搜索其最佳的匹配点Ir(x+d，y)。由于双目视觉系统的极限约束原理，匹配点必然在同一水平线上，d即为该点的视差值。为减少匹配过程的随机性，选取Il(x，y)周围一定大小的支撑窗口W，在W内累计匹配代价C(x，y，d)。匹配代价的累计采用加权的SAD度量函数为

其中，γc，γg为控制常数，Δcxy是窗口内的点Il(x，y)与窗口中心点Ilo的灰度值相关度，Δgxy是点Il(x，y)与窗口中心点的几何距离相关度。

然后，选取目标图中匹配代价最小的点作为最佳匹配点，两图像中相对应的匹配点的横坐标之差即为当前匹配中该点的视差值d。作为校验过程，互换参考图像与目标图像再次匹配，若在2次匹配结果深度图Df与Di中的任意点df(x,y)与di(x+df(x,y), y)满足

则认为该点视差值匹配正确。这里，T为2次匹配结果的误差允许范围，一般选择为2。

在求得视差值d之后，可以按照下式获得图像中场景的深度值

其中，f为摄像机焦距，T为双目摄像机的基线宽度，即左右两摄像机间的距离，Z为物体到双目摄像机的物理距离。

5 实验及分析

5.1 视觉数据获取及处理

1) 单目图像采集。为测试节点双目摄像机的图像采集功能，将摄像机安装于实验室门口上方垂直向下拍摄，图像通过CCS中保存数据的方式将图像数据保存成DAT文件。通过Matlab读取并显示，试验其中拍摄的左、右摄像机静态图像如图8所示。

图8 左、右摄像机采集的静态图像

2）双目立体视觉。为测试WMSN节点的立体视觉性能，以4.5节的算法对左、右摄像机采集的2幅图像进行运算，得到监测现场的深度信息并通过图像的形式表达出来。实际测试结果如图9所示。

图9 双目视觉获得的深度图

3) 人数统计实验。在立体视觉的基础上，将本文设计的 WMSN节点应用于建筑物进出人数的检测与统计。实验测试图像如图 10所示，分别给出了原始图像与运用算法处理之后的结果。在室内光线环境下，对身高1.50～1.85 m、以正常步速行进的进出人员进行了 100次测试。其中，单人间隔进/出共35人次，识别率达到100%；双人并排同向进出共35次，识别率约96%；多人交叉进出共30次，识别率约93%。以上述形式进、出各100人次，系统统计数据为进97次、出94次，总体正确率达到95.5%。在进出人员较为贴近、手持较大物品等情况下，系统较容易产生错误计数的情况。

图10 WMSN节点的人数统计测试

5.2 通信实验

1) 组网测试。由相互距离为30 m的5个节点通过 ZigBee通信模块组成小型网络。经测试，各个节点之间可相互进行数据传输，并能组成小型Mesh网络。

2) 通信距离测试。采用2个WMSN节点，分别处于固定位置和移动状态。通过一个节点连续向另外一个节点发送数据，发送成功表示通信正常，并通过LED闪烁表示；当LED无变化表示数据发送错误发送失败；经过测试，本文节点在视距范围的可靠通信距离达到了60 m。

3) 数据传输测试。由WMSN节点将1MB大小的数据分组传送至另一个距离固定、可正常通信的WMSN节点，获得不同距离下的数据通信误码率，实验结果如图11所示。当节点间距离在14 m以内时，数据传输未发生错误，速率最高可达到120 kbit/s；随着距离的增加，逐渐出现误码现象，在20 m距离的数据传输错误率大幅上升，通信质量已无法保障。由于WMSN节点的实际部署间距一般不超过14 m，本文节点能够实现较可靠的无线数据通信。

图11 节点误码率随距离变化

为了测试节点的抗干扰能力，利用干扰源产生一定频率的干扰信号，并改变电压值使干扰信号强度变化。在一定距离（0～10 m）的干扰情况下无线通信的误码率，实测情况如图 12曲线所示。可以看出，随着干扰强度的增加，数据通信误码率也逐渐增大；相对地，误码率的增加幅度较小，且变化较为缓慢，表明本文 WMSN节点的数据通信具有较强的抗干扰性。

图12 节点误码率随噪声强度变化情况

5.3 多媒体传感器节点的性能对比

为体现本文设计的 NeuWMSN无线多媒体传感器节点的技术特色，将其参数与现有的无线多媒体传感器网络节点关键参数进行比较，如表1所示。

可以看出，在主处理器方面，多媒体传感器网络节点通常具有很高的主频，一般在200 MHz，远高于常规的无线传感器网络节点[16]。采用较高主频本文节点的处理器性能高达600 MHz，拥有强大的数据处理能力，计算能力优于其他节点；所采用的无线通信芯片CC2530，是CC2420的改进型号，在数据通信方面具有较大优势；当前的多媒体传感器网络节点大多仅支持单目视觉，其图像分辨率最高为640×480。本文节点是目前唯一实现双目立体视觉的多媒体传感器网络节点，图像分辨率达到640×480。由此可见，本文所设计的WMSN节点性能较为优越。

表1 多媒体传感器网络节点的性能对比

在能耗方面，由于多媒体传感器网络能够感知和处理大数据量的图像、音频、视频，WMSN节点的能耗普遍较高[1，7，17]。考虑到本文WMSN节点主要用于监控场合，在能耗方面采用了空闲-状态切换的方式，其工作模式为：在空闲时，CC2530无线模块通过继电器切断 DSP系统的电源，并转入休眠状态；当红外传感器感知到目标存在时，无线模块从休眠状态唤醒，控制继电器接通 DSP系统的电源，采集图像并进行识别。CC2530模块内置增强型的8051内核，可以设置定时休眠-唤醒工作模式，处于休眠模式时电流消耗约20 μA。采用这种模式，本文WMSN节点的900 mA锂电池供电可以持续工作较长时间。

6 结束语

本文采用DSP处理器和双目摄像机，结合无线通信和多种传感器，设计并实现了新型 WMSN节点。通过图像、通信等方面的实验验证，该节点能够实现图像采集、压缩、传输等任务，并能够通过双目立体摄像机获得现场环境的深度信息。通过WMSN节点的ZigBee无线通信协议，可以实现多个节点的动态组网，实现所采集数据和信息的快速传输。所设计的节点已成功应用于建筑物内的安全监控与人数统计，在典型室内环境和噪声中表现出良好的稳定性。

[1] AKYILDIZ I F， SU W， SANKARASUBRAMANIAM Y，et al. Wireless sensor networks： a survey[J]. Computer Networks， 2002，38(4)： 393-422.

[2] 孙利民， 李建中， 陈渝等. 无线传感器网络[M]. 北京： 清华大学出版社， 2005.SUN L M， LI J Z， CHEN Y，et al. Wireless Sensor Networks[M]. Beijing： Tsinghua University Press ，2005.

[3] ZHANG D M， MA H D， LIU L，et al. EAAR： an approach to environment adaptive application reconfiguration in sensor network[A].Proc of the Int'l Conf on Mobile Ad-Hoc and Sensor Networks (MSN 2005)[C]. 2005. 259-268.

[4] MA H D， LIU Y H. Correlation based video processing in video sensor networks[A]. Proc of the IEEE WirelessCom 2005[C]. IEEE Press，2005. 987-992.

[5] CUCCHIARA R. Multimedia surveillance systems[A]. Proc of the ACM VSSN 2005[C]. New York， 2005. 1-10.

[6] DEBARDELABEN J A. Multimedia sensor networks for ISR applications[A]. Conference Record of the Thirty-Seventh Asilomar Conference on Signals， Systems and Computers[C]. 2003.2009-2012.

[7] 马华东， 陶丹.多媒体传感器网络及其研究进展[J]. 软件学报，2006(9)： 2013-2028.MA H D， TAO D. Multimedia sensor network and its research progresses[J]. Journal of Software，2006，17(9)： 2013-2028.

[8] 王汝传， 孙丽娟. 无线多媒体传感器网络技术[M]. 北京：人民邮电出版社，2011.WANG R Z， SUN L J. Wireless Multimedia Sensor Networks[M].Beijing： Posts & Telecom Press，2011.

[9] 周四望， 王耀南， 林亚平等. 视觉传感器网络协作块压缩感知图像传输方法[J]. 仪器仪表学报， 2011， 32(11)： 2493-2498.ZHOU S W， WANG Y N，LIN Y P，et al. Collaborative image transmission using block compressed sensing for visual sensor networks[J].Chinese Journal of Scientific Instrument，2011，32(11)：2493-2498.

[10] MCINTIRE D. Energy benefits of 32-bit Microprocessor Wireless Sensing Systems[R]. Sensoria Corporation White Paper， 2003.

[11] BULENT T， KEMAL B， RUKEN Z. A survey of visual sensor network platforms[J]. Multimedia Tools Application， 2012， 60： 689-726.

[12] 汪涛， 崔逊学， 李云. 基于Stargate的无线视频传感器节点的实现[J]. 西华大学学报， 2009， 28(1)： 25-28.WANG T，CUI X X，LI Y. Realization of wireless video sensor node based on stargate[J]. Journal of Xihua University：Natural Science Edition， 2009，28(1)：25-28.

[13] 周春喜， 唐军， 金心宇. 面向目标跟踪的混合WMSN设计与实现[J]. 计算机工程与应用， 2011， 47(2)： 52-56.ZHOU C X，TANG J，JIN X Y. Design and implementation of hybrid WMSN oriented to target tracking[J]. Computer and Engineering Applications，2011，47(2)：52-56.

[14] 沙超， 王汝传. 无线多媒体传感器无网络节点关键技术研究[D].南京：南京邮电大学， 2010.SHAR C， WANG R C. Research on Energy Saving in Wireless Multimedia Sensor Networks[D]. Nanjing： Nanjing University of Posts and Telecommunication， 2010.

[15] FENG W， CODE B， KAISER E，et al. Panoptes： a scalable architecture for video sensor networking applications[A]. Proc of the ACM Int'l Conf on Multimedia 2003[C]. New York， 2003.151-16.

[16] 吴键， 袁慎芳. 无线传感器网络节点的设计和实现[J]. 仪器仪表学报， 2006， 27(9)：1120-1124.WU J，YUAN S F. Design and implementation of a general node for wireless sensor networks[J].Chinese Journal of Scientific Instrument，2006，27(9)：1120-1124.

[17] 罗武胜， 翟永平， 鲁琴. 无线多媒体传感器网络研究[J]. 电子与信息学报， 2008， 30(6)： 1511-1516.LUO W S， ZHAI Y P， LU Q. Study on wireless multimedia sensor networks[J]. Journal of Electronics & Information Technology， 2008，30(6)： 1511-1516.