基于深度学习的智能无线传感器网络

孟林勤 李雪巍

摘要：深度压缩（Deep Compression）引发了模型压缩研究的热潮，使得深度学习（Deep learning）模型可以推广到更多的硬件平台上。本文以深度压缩为背景，研究了深度学习模型在无线传感器网络上的实现，提出了一个种基于事件探测的智能无线传感网络模型（Event-driven intelligent wireless sensor network， EIWSN）， 在大尺度、广分布区域上实现了事件的智能识别。

关键词：无线传感器网络；深度学习；人工神经网络；事件探测

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2019）07-0057-03

Abstract： Deep compression has triggered a wave of model compression research， making the deep learning model can be extended to more hardware platforms. In this paper， the deep compression technology is used to study the implementation of deep learning model on wireless sensor networks. Aiming at the advantages of deep learning model， a kind of event-based intelligent wireless sensor network model is proposed， which realizes large scale and wide.

Key words： wireless sensor network； deep learning； artificial neural network； event detection

機器学习应用于现代社会的方方面面，但传统机器学习算法不适合处理未加工过的数据，而深度学习为这个困扰人工智能领域多年的难题找到了解决的方法，深度学习更擅长高维数据错综复杂的结构处理，已在图像识别、语音识别等领域战胜了其他机器学习技术，并表现出了极广阔的应用前景。

大量随机散布于特定区域小尺寸，可编程、可探测多种参数和具有无线交流能力的低功耗设备构成无线传感器网络（Wireless Sensor Networks， WSNs），提高了数据的可靠性、准确度和区域覆盖能力，并且实际的性能优于精确采集[1]。Heinzelman等[2]最早提出自组织管理簇内节点形式的分层路由协议LEACH。Manjeshwar等[3]提出了通过阈值实现的更具实时性的TEEN。Serpen等[6]认为WSNs与人工神经网络（Artificial Neural Network，ANN）有极高的相似性和互补性直接将WSNs作为神经计算平台。

1 深度学习模型

卷积神经网络（Convolutional Neural Network，CNN）作为目前最成功的深度学习模型之一，得到了广泛的应用。CNN的最大特点是局部感受、权重共享，其成功地在减少训练的参数的同时，减少计算复杂度。

1.1 卷积神经网络

从右到左包括卷积层、池化层及全连接层。卷积层对输入层进行多个卷积核的特征提取，输出相应多个特征映像。池化层降低特征映像的维度，在保持准确率的情况下减少参数数量，控制过拟合。

1） 局部感受野（Local Receptive Fields）

在卷积神经网络中使用小片n×n的区域（n

2） 池化（Pooling）

池化是某一特征是否存在于空间某一位置的判断，丢弃不重要的局部空间特征，有效减少需要的参数，实质上对局部特征少量移位和扭曲也更具容忍性。

3） 卷积层的权重、偏置共享（Shared Weights and Biases）

卷积层的权重、偏置共享意味着同层的一组隐层神经元探测空间输入的不同区域的同一个特征。共享权重、偏置通常被叫作一个核（kernel），多数情况下作识别往往使用多个核。

1.2 深度压缩（Deep Compression）

深度压缩做到了在保持精度的情况下减少存储和能耗，实现了更少的网络带宽和更好的实时性。

深度压缩由三步构成，如图2所示。首先通过剪枝网络移除冗余连接，然后通过共享权重对权重量化，最后使用哈夫曼编码（Huffman Encoding）对有效权重进一步压缩。

1） 剪枝（Pruning）

利用 CSR（Compressed Sparse Row）或CSC（Compressed Sparse Column）存储稀疏结构完成剪枝。通过存储索引差来实现压缩，CSR或CSC格式仅需要2a+n+1空间（a是非零元，n是行（列）数量）。

2） 量化和权重共享（Quantization and Weight Sharing）

训练后的网络量化和权重共享进一步的压缩剪枝网络，减少表示权重的比特位。例如4输入，4输出的神经元有4×4矩阵的权重，权重矩阵被量化到4容器（bin），位于相同容器的权重共享相同的值，更新梯度时把同类梯度作为一组求差，结果乘上学习率后减掉上次迭代的共享中心（共享中心在网络完全训练后使用k-means算法得到）。

2 基于深度学习的智能无线传感器网络

2.1 网络结构

网络以传感域作为基本单元，域由汇聚节点（Sink）与普通节点（Node）构成，假定Sink节点具有充足的电量和一定的计算能力，普通节点能量和计算能力受限，随机均匀分布于Sink周围，并可通过某种形式进行能量补充。域由d×d区组成，区分成b×b块，块内Node被随机生成巡逻节点（Patrol），用于事件发现、唤醒Node和神经计算。MATLAB仿真的域如图3所示：设9×9区，9×9块，区内2个Patrol，8100节点随机分布。

2.2 首次成网

当网络首次建成，无核（kernel）可用时，成网后首先进行数据采集，由Sink或基站（Base Station，BS）完成核的训练（同时网络得到的核，可用于之后组网使用）。训练过程进行模型压缩：剪枝、量化、哈夫曼编码，其中量化使用（1）式进行误差反向传播的梯度中心更新：

2.3 成网运作

1） 初始化阶段

传感域内由Sink完成管理工作。初始开始，传感域分区，采集区分块，Sink随机生成Patrol，并随机下发核到所有节点（或者布网前随机预存核于节点内），并对Node进行休眠。节点可以通过某种形式补充能量[7]，节点休眠时充能仍可进行。

2） 数据采集与事件识别

网络的基本单位域以轮的形式运作，由Sink管理全域，最大限度地实现WSNs的分布式、并行处理优势。每轮在区内随机选择一定量的Patrol组成整个传感域的事件感应链（以每区100节点，每轮1s采集间隔为例，倘若选择2个Patrol，轮换完成该区所有节点大约50s）。块内进行链式（或层次式）采集数据，并进行数据融合（去局部冗余，增加精度），每块形成一个数据包，作为一次池化操作，得到一个池化输出。池化输出被近邻Patrol收集，同区Patrol共享数据。区内池化后得到与块数一致的b×b输出。Patrol得到适量的池化输出后开始特征提取，进行卷积的局部感受（局部感受和共享数据同时进行），隐层神经元共享同组权重、偏置，卷积输出为：

4总结

本文提出的EIWSN得益于深度学习模型无需对天然数据预处理即可模拟任意函数的优势，解决了传统机器学习模型过于复杂，对未加工数据处理能力不足的难题。同时WSNs巨量的数据量解决了深度学习对大量训练数据的需求，在深度压缩技术加持下解决了ANN训练大量能量消耗的问题。另外得益于WSNs与ANN互补性，WSNs作为分布式、并行计算平台，满足了深度学习模型对于分布式、并行神经计算的需求。

在实现尺度大，分布广的WSNs上，EIWSN具有更广阔的应用前景，如边境探测，森林防火，安防安保，灾害事件预警，提升局部天气预报精度等。

参考文献：

[1] Warneke B， Last M， Liebowitz B， et al. Smart Dust： Communicating with a Cubic-Millimeter Computer[J]. Computer， 2001， 34（1）：44-51.

[2] W.Heinzelman， A. Chandrakasan， and H. Balakrishnan. Energy-Efficient Communication Protocol for Wireless Microsensor Networks. In Proceedings of the Hawaii Conference on System Sciences， Jan. 2000.

[3] Manjeshwar A， Agrawal D P. TEEN： A Routing Protocol for Enhanced Efficiency in Wireless Sensor Networks[C] International Parallel & Distributed Processing Symposium. IEEE Computer Society， 2001：189.

[4] 孔玉靜，侯鑫，华尔天，等.基于BP神经网络的无线传感器网络路由协议的研究[J].传感技术学报，2013，26（2）：246-251.

[5] Han S， Mao H， Dally W J. Deep Compression： Compressing Deep Neural Networks with Pruning， Trained Quantization and Huffman Coding[J]. Fiber， 2015， 56（4）：3-7.

[6] Serpen G， Liu L. Parallel and distributed neuro computing with wireless sensor networks[J]. Neuro computing， 2016， 173：1169-1182.

[7] Saeed N， Celik A， Al-Naffouri T Y， et al. Energy Harvesting Hybrid Acoustic-Optical Underwater Wireless Sensor Networks Localization[J]. Sensors， 2018， 18（1）.

【通联编辑：唐一东】