基于深度信念网络的家居设备状态预测模型

安世博，何 勇，孟亚茹

(贵州大学 计算机科学与技术学院，贵州 贵阳 550000)

0 引 言

智能家居是以人的居住环境作为系统搭建的平台，在居住环境中搭建系统并进行统一有效的管理，智能家居系统整体实施过程即为智能家居的集成。随着科学技术飞速的发展，大力发展智能家居已经成为时代发展的必然趋势，以此可以预见智能家居技术将成为社会经济发展的强大推动力[1]。

在目前的智能家居系统应用管理平台上，采用的平台设备管理方式仍旧是依靠用户提前输入指定设备规则命令进行控制，例如在室温超过30℃的情况下则开启空调制冷模式[2]。采用上述管理设备方式在设备数目较少或家居环境较为简单的情况下能够满足用户基本需求，然而在较为复杂的家居环境情况下，对智能家居系统性能要求较高，很难满足用户的需求和体验，尤其在多用户产生冲突需求或发生突发事件的情况下，依靠用户预先输入的制定规则难以完成用户和系统的基本需求。根据上述情况，在智能家居系统管理平台上搭建一个具备自动管理、完善调度智能管理的算法将成为必备手段以及核心竞争力[3]。

1 可行性

在深度学习算法中，多层次结构和特征再学习的训练能够很好地解决智能家居系统中设备运行状态预测方面的问题。下面将分析在预测问题中使用深度学习的可能性。

一方面，由于在智能家居环境中影响用户使用设备的因素较多，例如室内温度、亮度、湿度、天气、时间等。在传统的浅层网络模型建立时，需要人工对特征提取进行干预和分析，以此选出影响较大的特征并除去影响较小的特征。一旦数据中出现人工无法提取的特征，对于特征属性的原始特性则无法完整地保留下来，因此提取特征的好坏受相关人员对于数据属性理解深度的影响[4]。深度学习算法中一般具有3、4层或更多的隐层节点，由于着重强调了模型特征结构的深度，使得模型中能够包含更多的数据信息，在较多因素数据输入的情况下，特征提取不需要过多考虑人工经验，因此可以着重考虑影响力较大的因素，以此实现更加精确的智能家居系统中设备运行的状态预测。

另一方面，采用传统人工提取特征的浅层结构的学习泛化性局限性较大，在不同的家庭中对于相同设备状态的影响因子可能完全不同，因此采用统一的模型进行预测难以实现较好的预期效果[5]。在深度学习算法中，着重突出了模型特征学习的重要性，通过对样本中抽象特征的自动学习和特征的逐层变换，将数据样本中原有的特征表示到另一个特征空间。在不同的数据样本中能够学习到差异化的隐含特征，具备更强的针对性，提升了在不同的家庭中智能家居系统设备运行状态预测的泛化性。

2 网络模型

2.1 受限玻尔兹曼机

受限玻尔兹曼机(restricted Boltzmann machine，RBM)是一种“基于能量”的神经网络模型，对显层神经单元v和隐层神经单元h之间的概率生成模型[6]。在显层神经元和隐层神经元之间，通过两个偏置向量b、c和一个权值矩阵w将状态(v,h)进行连接。在实值数据集给定一组状态(v,h)，即可定义其能量函数E(v,h)，该模型的能量函数为:

(1)

其中，ni为显层神经元个数；nj为隐层神经元个数；wij为显层第i个节点与隐层第j个节点之间的连接权重；bi为显层第i个节点偏置；cj为隐层第j个节点偏置。为方便后续计算，令显层与隐层的节点参数θ=(wij,bi,cj)。

根据能量公式可得状态(v,h)的联合概率公式为：

(2)

其中，Z为归一化因子，Z的值为：

Z=∑e-E(v,h)

(3)

根据式2可得v的概率分布函数为：

(4)

为了使得RBM系统达到稳定的状态，应该使得能量系统的能量值为最小值，即要使概率p(v)的值最大。根据RBM中显层和隐层激活状态之间是相互独立的结构性质可知，第i个显层和第j个隐层的激活概率分布为：

(5)

(6)

2.2 BP神经网络

BP神经网络是神经网络结构中的一种训练学习模型。BP模型的特点为反向传播，BP神经网络大多应用在前向拓扑结构的网络模型中[7]。在正向传播中，输入空间的向量从网络模型的输入层经过隐含层一层一层进行处理，在经过隐含层后对权值进行计算，最终达到输出层。在进行逐层处理的过程中，当前层的输入层为上一层的输出层，当前层的输出层作为下一层的输入层。将输出层的输出和期望值进行对比，相等则结束训练，不等则进行反向传播，对权值进一步优化。在反向传播的过程中，根据实际输出与期望值进行对比，计算误差进行逐层返回，根据误差值对权值进行优化。

2.3 深度置信网络

深度置信网络(deep belief network，DBN)是一种针对多隐层的概率生成模型，根据训练结果对神经元之间的权重进行调整，使得网络结构能以一个最大的概率对输入的数据进行还原[8]。由两种不同的网络组合而成的DBN结构首先采用受限玻尔兹曼机的深度置信网络模型，针对智能家居中的单个设备使用多个无监督RBM的DBN对数据样本进行无监督学习特征提取，在每个隐藏层完成预训练后，使用有监督的BP神经网络对整个网络进行微调，结构如图1所示。采用预训练加微调的方法能够将局部较优的结果联合起来进行全局寻优，以此实现节省训练开销的目的。

图1 DBN结构

预训练+微调的方法可以看成大量参数的分组，针对每一组首先找到局部较优的设置，然后在局部较优结果的基础上进行联合，以此进行全局寻优。该方法不仅能够利用大量参数提供自由度，同时可以有效地节省训练开销。

3 模型设计与训练

3.1 数据集处理

数据集来源为开放性的REDD(reference energy disaggregation data set)数据库内的部分数据[9]，文中使用的数据是其中3个家庭在4月到5月内每天单个家居电器的运行功率数据和运行时间，其中每个设备每隔3 s采集运行功率和运行时间。

在智能家居系统中对于设备的智能化自动管理，主要通过对设备的运行状态和运行功率进行控制。对于每个需要进行预测使用状态的单个设备，统计单设备在1分钟内20次运行状态，若超过10次为某一个运行的功率值p(大于0)，则标记该单设备运行状态为运行且运行功率为该功率值p。光照、温度和湿度的具体值为1分钟内20个值的平均值，用户位置为第一个功率值p时用户所在位置的x坐标和y坐标，样本集包含两类数据集：

单设备输入空间：输入空间I包括前5分钟内设备的运行状态、运行功率、光照、温度和湿度的数据，以及时间和用户位置的用户信息。

预测结果数据集：该部分数据集为预测模型进行预测得到的设备的运行状态和运行功率，数据集形式为D={s1,p1,…,sn,pn}。

在模型结构中，网络结构根据设备数量n分割为n个独立域。输入层由n组单设备的输入空间组成，由5组设备状态信息输入神经元以及用户信息输入神经元组成。其中第一组包含前第1分钟的光照、湿度、温度、运行状态以及运行功率设备信息，以及具体时间和用户所在房间的具体位置坐标，第2组由前第2分钟的数据组成，以此类推。上述设备状态信息和用户信息使用40维向量表示，从REDD开放性数据库中截取，数据结构如图2所示。

图2 单设备输入空间数据结构

3.2 模型训练流程

预测模型训练流程如下：

(1)对数据源的数据进行处理，构造网络输入空间I和预测样本；

(2)需要预测的多个单设备的数据集作为第一层多个受限玻尔兹曼机的输入。充分训练第一层RBM后，固定当前权值和偏移量，并作为第二次RBM的输入；

(3)对每层RBM训练后，通过特征学习得到特征向量H；

(4)使用特征向量H作为BP神经网络的输入空间，并进行有监督学习训练；

(5)将输出空间与期望值进行比较，判断是否自底向上进行反向传播和微调；

(6)训练结束。

训练流程如图3所示。

图3 训练流程

3.3 DBN训练流程

3.3.1 RBM训练

在模型训练过程中，分别单独地训练每一层的RBM网络，使输入数据映射到不同的特征空间，并且尽可能多地保留其特征信息。具体过程为：根据RBM的原理，样本在训练之后在玻尔兹曼的分布中概率最大，因此需要构造最大似然函数，通过求解最大似然函数的最值寻找网络参数θ[10]。构造的对数似然函数为：

(7)

其中，n为训练样本数；vi为第i个样本。

采用梯度下降法进行计算：

(8)

得到对数似然函数的梯度：

(9)

对比散度(contrastive divergence，CD)算法是RBM训练的标准算法之一[11]。K步CD算法的采样算法流程如下：

(1)对v进行初始化，然后进行采样，其中第t(1,2,…,k)步为利用P(h|v(t-1))和P(v|h(t-1))分别计算出h(t-1)和v(t-1)。

(2)对第k步采样得到的v(k)进行近似估计，分别为：

(10)

(11)

(12)

(3)根据上述的近似公式，有：

(13)

然后沿着似然函数梯度下降方向对参数θ进行迭代更新，最终使得似然函数到达最大值，这时的参数θ就是需要的网络参数。参数更新公式为：

(14)

其中，θt+1为t+1次迭代时的参数值；η为学习速率。

3.3.2 BP神经网络训练

在DBN网络最后两层建立的BP网络的训练学习过程，由误差信号正向和误差信号反向传播组成[12]。误差信号正向传播时，每一层神经元的结果仅影响下一层神经网络，训练样本输入矩阵从输入层经过隐含层向前传播到输出层，并得出输出结果。在网络转入反向传播过程中会将误差信号沿原本的连接通路撤回，并通过修改各层神经元的权值和阈值，逐次地向输入层传播进行计算。通过两个过程的反复运行，直至达到预期精度值，最终完成整个网络的训练[13]。

3.4 模型结构

根据上述理论基础和训练过程，文中提出了一种基于深度信念的网络结构，即针对多个单设备智能家居设备运行状态预测的模型。该模型整体架构包含输入层L以及输出层L，L1、L2和L3为设备级隐层，L4和L5为全连接隐层[14]。

其中L与L1连接的权重W1矩阵为：

(15)

(16)

则L1层中的第i个神经元节点的输出数据为：

(17)

同理，定义L1层与L2层之间连接的权值矩阵W2和L2层神经元的偏移向量A2，激活函数选用tanh函数:

(18)

(19)

则L2层神经元输出数据为：

L2=tanh(W2·L1+A2)

(20)

同理，L3层神经元输出数据为：

L3=tanh(W3·L2+A3)

(21)

(22)

(23)

L4=tanh(W4·L3+A4)

(24)

在BP神经网络中选用ReLu激活函数，L5层神经元输出数据为：

L5=ReLu(W5·L4+A5)

(25)

在得到预测值后，通过求解平均精度E进行评价。

(26)

4 实验分析

为研究上述网络模型的整体性能，设计并进行了四组性能相关参数的实验，分别为模型参数优选、预测模型准确性测试和对比、预测模型收敛速度以及设备数量对模型预测能力的影响。

4.1 模型参数优选

为使RBM模型的结构最优，最终预测结果的误差值最小，对RBM层数选择等相关参数尤为重要，针对RBM结构采用对比方案对结构的层数进行优选。在测试层数对预测结果的影响时，将其他参数固定(如节点数、权值等)，对模型训练学习的平均精度和时间复杂性进行对比。当层数为1至5时，平均精度分别为0.919 8、0.928 2、0.939 8、0.931 7和0.923 5，训练时间(s)分别为847、1 462、1 981、3 095和4 372。根据上述数据可知，当层数为3时，预测平均精度E达到最优值0.939 8；层数从1到3进行增加时，模型的预测平均精度提升；当层数超过3层时，由于模型的复杂造成了过度拟合效应，因此平均精度下降且时间复杂度增加，对于RBM模型结构使用3层较为合理。

4.2 模型准确性

针对模型中每一个单设备的输入空间，模型都将给出单设备的运行状态(开关)和运行参数(如空调功率)的预测值。将模型给出的输出与设定的阈值进行比较，若大于阈值则判断设备状态为开启状态，否则为关闭状态。之后将测试集中的结果标签与模型的输出结果进行对比，若对比结果一致则判断状态正确。若判断正确则求预测的运行参数和标签中运行参数的平方差，若平方差小于0.1则认为本次预测结果正确。

模型准确性测试实验选用的对比实验组为未使用RBM的双隐层前馈神经网络模型，训练方法使用随机梯度下降算法。其中双隐层神经网络使用全连接结构，每层均有n个神经元节点，激活函数使用tanh函数。图4为两个模型在准确率方面的实验结果对比。该模型在10次迭代后预测准确率趋于平稳并达到97%以上，准确率相较于浅层前馈全连接神经网络模型提高了5%。

图4 准确性对比

4.3 模型收敛速度

文中提出的网络模型作为一种机器学习技术，整体的有效性很大程度上受到训练数据量的影响，模型收敛速度将成为基础性能的一种重要指标。模型收敛速度实验为数据样本对于误差函数值的变化趋势测试，根据变化趋势分析模型的收敛速度，结果如图5所示。根据实验结果可知，在训练模型过程中，随着样本数据的不断训练，误差函数值呈现不断收敛的趋势。

4.4 模型数量影响

在智能家居环境中当设备的数量达到一定数目后，无论是描述当前所有设备运行状态的数据，还是每个设备的相关数据(如温度、湿度和光照)在数量级别上均会显著增加。因此在相同条件下，随着节点个数的增多，预测多个设备状态和功率的难度要远远大于单个设备。针对设备数量对模型预测能力的影响进行研究，分别使用提出的深度信念网络模型与双隐层神经网络模型进行对比实验，结果如图6所示。在实际生活中使用智能家居设备的数量一般不会超过50个，模型的设备数量输入在达到50时，预测准确率能够达到94%，能够满足智能家居系统设备预测的需求。

图5 误差值趋势

图6 设备数量对准确率的影响

5 结束语

在智能家居系统中，提出一种深度信念网络模型设备运行状态预测方案。针对智能家居场景进行整体模型的搭建，与基于浅层神经网络的模型设置对照实验组，一方面，在训练过程中对设备数据特征进行处理以增强通用性，提升数据方面的泛化能力；另一方面，根据智能家居场景内多设备协同情况进行充分拟合，并使准确率达到较为理想的范围。因此，文中提出的深度信念网络模型可以作为一种有效的家居自动化管理控制方案，实验结果证明能够在智能家居系统中以及相关领域方面进行应用，具有相应的优势及应用前景。