基于神经网络的物联网实体信息交互关系识别

刘华伟

摘要：近年来，智慧物联的应用越来越多，如智能社区、智能家居以及智能汽车等，该应用主要通过传感器等设备来实时的接收和分析数据并把结果反馈给控制系统，从而达到智能的效果，而实体间的智能交互就是其中重要的一个环节。但是，从目前的结果来看效果较差，主要表现在实体间交互的自主性较差，需要依赖人的参与，实体不能通过分析与其它实体间的历史交互来自主按需的与相应的实体进行交互。为了解决该问题，该文主要研究基于神经网络的物联网实体信息交互关系识别方法。

该文首先提出了实体信息交互模型，并且从线性模型和非线性模型的角度去分析适合物联网实体交互关系识别的分类模型，提出了一种基于神经网络的物联网实体交互关系识别模型。为了验证本文思路的正确性，该文主要考察以逻辑回归为代表的线性模型和以神经网络为代表的非线性模型在本问题上的应用，此外，为了保证模型的努棒性，该文提出了三种不同数据场景下模型的学习方式来适应不同情况下对于模型的要求，从而来保证模型的可靠性。最后通过实验数据比较验证了神经网络在本问题上的有效性。

该文实验数据选取了麻省理工学院数字媒体实验室做社会演变研究时所用公开的数据集，该数据主要用来评估本文的模型在实体关系识别上的有效性。实验结果证明，与之前的方法相比，该模型在物联网实体关系实时识别上表现出更好的准确率。

关键词：关系分类；物联网；神经网络；关系识别

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2017）04-0175-03

1 背景

近年来，在互联网基础上提出的“物联网”[1-2]概念受到广泛关注。以物联网为代表的新一代信息通信技术发展迅速，被认为是继计算机、互联网和移动通信网络之后的第三次信息产业浪潮。

随着信息技术的发展和完善，物联网形成一个巨大的泛在网络，将会有更广阔的应用前景。对于人类日常生活和人类的行为模型的研究还有更多，Choudhury和Pentland在文献[3]中提出了一种名为Sociometer的便携传感器系统；美国麻省理工学院媒体数值研究实验室与著名的手机厂商诺基亚公司共同研究的“Reality Mining”项目，分析人类日常行为方式[4]、人类之间关系抽取[5]以及构建人类关系网络结构[6]。此外，Oleksandr Lobunets 和Wolfgang Prinz在文献[7]中提出了一种名为PeopleWhere的智能系统，它主要是利用传感器技术实现局部个人感知系统，并基于此建立一个局部小型社会网络，这和上面所述的机会网络有点类似。

范伟和李晓明等人在文献[8]中给出了对于物联网数据建模和挖掘的挑战，文中给出了如何对海量数据进行挖掘的计算框架，认为基于MapReduce/Hadoop[9-10]的计算框架并不适用于物联网海量数据的挖掘，而孙凝晖等人在文献[11]中提出的海计算框架更加适合物联网海量数据的挖掘的计算框架。在物联网实体信息交互关系识别和交互关系抽取上，孙世轩等人在文献[12]中提出了一种基于Chameleon聚类算法的实体关系抽取模型，此外夏季等人在文献[13]中提出了一种基于隐朴素贝叶斯[14]的物联网实体交互关系识别模型，该模型在朴素贝叶斯模型的基础上为每个属性节点增加一个隐藏的父节点，以此来表示该属性与其他各属性之间的依赖关系所产生的影响，从而来弱化了樸树贝叶斯属性之间相互独立的假设。

本文“基于神经网络的物联网实体关系识别”是在上述研究的基础上进一步探讨物联网实体交互关系的识别方法并且对这些方法做出比较。

2 基于神经网络的物联网实体关系识别

2.1 基本思想

本文将介绍逻辑回归和神经网络这两种分类算法在物联网实体交互关系识别问题中的应用，其中主要原因如下：1）两种方法的思路类似，都是去做关系分类，损失函数也可以完全相同，唯一不同的就是数据特征的表达空间，逻辑回归是线性分类器，而神经网络可以拓展成非线性的分类器，从而可以通过增强特征表达空间来更好的拟合数据，本章将对比这两类算法来探索适合本问题的分类模型；2） 参数的学习过程几乎类似，都可以用批量梯度下降或者随机梯度下降来解决参数优化问题，这样有利于在不同场景下去学习和更新我们的模型，从而可以很容易的适应海量数据和模型实时更新的需求。

2.2 算法原理及应用场景分析

2.2.1 基于逻辑回归的关系分类算法

1）模型训练

由于逻辑回归只能处理二分类问题，因此现在我们假设物联网中实体的关系分类分为朋友和非朋友两类，并且假设分类“朋友”为对于标签1的分类，那么分类“非朋友”就是对应标签0的分类。同样我们假设m表示我们训练数据的总数量，n表示数据特征的的维度，[θ]表示我们模型的参数，理论上与我们的特征维度n是相同的，[ Jθ]表示损失函数，计算如下：

[ Jθ = 1mi=1mCosthθxi， yi]

因此基于关系分类的逻辑回归算法的优化问题转化为如下问题：

[minθJθ =-1mi=1myiloghθxi+1-yilog1-hθxi]

最后通过参数学习的方式，使得最终的损失函数[Jθ]最小从而得到我们想要的模型参数[θ]。

2.2.2 基于SoftMax回归的关系分类算法

1）模型训练

SoftMax原理和逻辑回归相似，仅仅是逻辑回归在多分类问题上的拓展，以解决物联网实体关系多分类场景，因此现在我们假设物联网中实体的关系分类分为好朋友、一般朋友、非朋友这三类，并且假设分类“好朋友”为对于标签0的分类，分类“一般朋友”为对应标签1的分类，那么分类“非朋友”就是对应标签2的分类。同样我们假设m表示我们训练数据的总数量，n表示数据特征的的维度，[θ]表示我们模型的参数，此时模型的参数不是特征维度n了，而是矩阵3*n，3对应我们分类中的类别数，也就是参数矩阵的每一行对应一个类别的参数，[ Jθ]表示损失函数，计算如下：

[Jθ = 1mi=1mj=1k1yi=jlogeθTjxij=1keθTjxi]

通过一步步计算从而得到参数[θ]，其中使用的方法就是梯度下降。

2.2.3 基于浅层神经网络的关系分类算法

神经网络是一个多层次的分类模型，其实logistic回归和softmax回归可以看成最简单的神经网络，SoftMax回归和神经网络在多分类问题上的比较如图1所示。其实逻辑回归和SoftMax回归都可以看成不含隐藏层的简易神经网络。

一般的神经网络有输入层，隐含层以及输出层构成，而如果把逻辑回归看成最简单的神经网络，那么这个神经网络只有输入层和输出层，而没有隐含层。神经网络处理二分类时，输出层为一个节点，但处理K（K>2）分类问题时，数据节点为K个，这个和逻辑回归以及softmax回归之间是保持一致的。值得注意的，在神经网络中的最后一层隐含层和输出层就可以看成是逻辑回归或softmax回归模型，之前的层只是从原始输入数据开始学习特征，然后把学习得到的特征交给逻辑回归或softmax回归处理，神经网络中的隐含层起到的作用就是做特征转换，从特征空间来讲就是转化输入数据的特征空间。

3.3 模型定义

3.3.1 实体交互行为相关参数定义

本小节对实体交互模型的结果更进一步的定义实体交互关系识别中需要定义和说明的参数，具体如下：

定义 1：[E =Eid， EAttrs]表示任意实体，其中[Eid]为实体标识符，用来唯一标识该实体；[EAttrs]用来表示标识实体的属性集合。

定义 2： [B=（Bid， BAttrs） ]表示交互行为，实体间有着各种各种不同的交互，因此用[Bid]来唯一的标识不同的交互行为，[BAttrs]表示对于交互行为的一些属性说明，比如交互行为是通话的时候，那么可以用通话时间长度来作为属性说明，如果是短信，则可以用短信长度来形容。

定义 3：[Im，n=Em，En，B，t，?t，l] 用来表示实体[Em]和[En]之间的一次交互行为，其中[Em]表示交互实体，[En]表示被交互实体，[B]用来表示实体之间的交互行为，如定义二中所描述，[t]表示实体间交互所发生的开始时间，[?t]表示实体间交互所持续的时间，最后的[l]表示实体交互行为所发生的地点。

定义 4： [Rm，n=Em，En，Rela]用来表示实体[Em，]和实体[En]之间的关系[Rela]。因为本文是基于历史实体交互数据的分类模型训练，因此[Rela]参数可以作为模型输入的类标签。训练后的模型可以通过任意交互实体的交互行为来实现对交互实体间的关系分类。

定义 5：[x，y=Im，n，Rm，n] 用来表示实体间一次交互所产生的数据，[x]作为属性输入，而[y]作为数据标签输入。因此实体间的每次交互都会产生一条这样的记录，最后通过将大量的历史记录用作我们算法的输入，从而得出我们想要的模型。

3.3.2 实体交互关系分类模型构建

整个实体交互关系分类模型中流程的每一步的具体说明如下：

1）数据预处理：根据上述3.3.1中对实体交互行为中的相关参数定义，對历史交互数据进行处理，从而每个记录都可以最后表示成3.3.1节中定义5的样子。其中需要注意对属性中时间，地点等属性的处理。对于交互时间，通常记录的形式如：2016.10.1 20：08，前面表示日期后面表示当前时间，一种方法是可以把时间转成离散值，如转化成办公时间和非办公时间的离散值。而对于交互地点属性，可以对地点进行提前分类，如分成公共场所和私人场所对应的离散值，具体如何分类和分几类可以视具体情况而定。

2）如上面3.2.4小结所述，对于不同的数据的规模，分别使用逻辑回归和浅层神经网络算法在不同的场景下的参数学习方式。 如果是小规模数据，则转下面第3）步，而如果是海量数据，则转下面第4）步。

3）优化算法利用批量梯度下降的方式来学习参数，即对于每次参数的更新，都会去遍历整个数据集，从而不断的迭代这个过程直到模型收敛得到最终的模型参数[θ]。

4）优化算法利用随机梯度下降的方式来学习参数，即对于每次参数的更新，只是用一条实体交互数据来更新，从而不断的迭代这个过程直到模型收敛得到最终的到模型的参数[θ]。

5）如果需要进行在线学习，则对于到来的新数据，转上面第4）步，从而实现对模型参数的不断更新。

3.4 实验验证与结果分析

3.4.1 实验过程

1）志愿者关系采集

实验数据中给出了关于八十几位志愿者之间的关系调查，其中有31918条数据，但是有很多条数据中缺少关键字段，还有一些重复的数据，在经过对异常数据的清理之后，我们数据中还有3731条数据，具体的人物关系的分布如表1所示。但是我们这边主要分析朋友和非朋友关系的识别，因此处理完的数据分布如表2中所示。

表1 训练数据中关系的细粒度关系分布

[序号＼& 关系种类＼&对数＼&1＼&Twitter联系＼&265＼&2＼&亲密朋友＼&513＼&3＼&Facebook关注＼&1301＼&4＼&政治讨论党＼&387＼&5＼&社交党＼&1265＼&]

3.4.2 实验结果与分析

实验主要用逻辑回归和神经网络两种方法，由于是二分类问题，所以两种算法使用的都是交叉熵误差（Cross Entropy）函数，算法的主要不同在于线性分类和非线性分类，神经网络中使用两层神经网络，隐含层中神经元的个数为20，使用tanh作为激活函数，两种方法都加上了0.05的正则化因子来防止过拟合。为了保持和之前算法的对比，所有实验都是使用10次交叉验证的评价准确率作为最后的结果。

我们主要做了两个实验，实验一是把所有的交互都当成首次交互，不区分交互的实体之间是否曾经有过交互历史，这与夏季等在文献[17]中的实验策略是一样的，实验结果如表3所示，其中NBC是朴素贝叶斯模型，C4.5代表决策树模型，HNB是作者使用的隐贝叶斯的模型，最后两个是本章给出的模型。

4 结束语

本问主要从线性和非线性算法出发，探索适合物联网实体交互关系识别的方法。文中详细的描述了实体交互关系识别模型的设计，并且通过实验表明，逻辑回归受限于其线性分类器的本质在实验结果中稍差，而神经网络通过隐含层中特征空间的转换，在本应用中要优于所有其它的算法。

参考文献：

[1] Xia Feng.Internet of things[J]. International Journal of Communication Systems 25， 2012（9）： 1101.

[2] 孙其博. 物联网： 概念， 架构与关键技术研究综述[J]. 北京邮电大学学报， 2010， 33（3）： 1-9.

[3] Choudhury， Tanzeem Khalid. Sensing and Modeling Human Networks[J]. Massachusetts Institute of Technology， 2004： 101-105.

[4] Eagle N， Pentland A. Reality Mining： Sensing Co mplex Social Systems[J]. Personal and Ubiquitous Computing， 2006， 10： 255-268.

[5] Eagle N， Pentland A， Lazer D. Inferring Social Network Structure using Mobile Phone Data[J]. Proceedings of the National Academy of Sciences （PNAS）， 2009， 106（36）： 15274-15278.

[6] Onnela J. Structure and Tie Strengths in Mobile Communication Networks[J]. Proceedings of the National Academy of Sciences （PNAS）， 2007， 104： 7332–7336.

[7] Oleksandr Lobunets and Wolfgang Prinz. PeopleWhere： Platform for Reality Mining Applications[C]. IEEE International Conference on Digital E cosystems and Technologies， 2009： 697-702.

[8] 范伟， 李晓明. 物联网数据特性对建模和挖掘的挑战[J]. 中国计算机学会通讯， 2010， 9（6）.

[9] Chu Cheng."Map-reduce for machine learning on multicore[J]. Advances in neural information processing systems， 2007（19）： 281.

[10] Shvachko， Konstantin. The hadoop distributed file system[C]. 2010 IEEE 26th symposium on mass storage systems and technologies （MSST）. IEEE， 2010.

[11] 孫凝晖， 徐志伟， 李国杰. 海计算：物联网的新型计算模型[J]. 物联网技术， 2012（2）.

[12] 孙世轩. 基于数据挖掘的物联网领域实体信息交互关系抽取方法研究[D].上海：同济大学， 2014.

[13] 夏季. 基于数据挖掘的物联网实体信息交互关系关系识别方法研究[Z]. 2016.

[14] Jordan A.On discriminative vs. generative classifiers： A comparison of logistic regression and naive bayes[J]. Advances in neural information processing systems， 2002（14）： 841.