图神经网络应用于知识图谱推理的研究综述

孙水发，李小龙，李伟生，雷大江，李思慧，杨 柳，吴义熔

1.智慧医疗宜昌市重点实验室，湖北宜昌443002

2.三峡大学计算机与信息学院，湖北宜昌443002

3.三峡大学经济与管理学院，湖北宜昌443002

4.重庆邮电大学计算机科学与技术学院，重庆400065

5.北京师范大学心理学部，广东珠海519087

6.北京师范大学人文和社会科学高等研究院，广东珠海519087

知识图谱（knowledge graph，KG）最早可以追溯到Richens[1]在1956 年提出的以图结构进行知识表示的语义网络（semantic net）。随后，语义网络经过了本体论（ontology）、万维网（Web）、语义网（semantic Web）、链接数据（linked data）等一系列发展[2]。直到2012 年，谷歌正式提出知识图谱，并将知识图谱的知识定义为由实体、关系和语义描述组成的结构化三元组事实，其中实体代表现实世界中的对象或者是抽象的概念，关系是定义的类型或者属性，用来表示实体之间的关联或者实体属性。知识图谱技术已迅速成为数据挖掘、数据库和人工智能等领域的研究热点[3]。

知识图谱推理（下述简称“知识推理”，knowledge graph reasoning）即面向知识图谱的知识推理，它是从已有的知识出发，推断出新的或未知的知识，从而拓展、补充和丰富知识库，最早可以追溯到1959年Newell 等人[4]提出的一般问题解决库（general problem solver）。随着知识图谱构建技术的不断发展、规模的不断扩大、应用场景的不断推广以及深度学习和自然语言处理技术的不断成熟，知识推理技术也在不断演变创新，学术界和工业界对知识推理领域进行了大量深入研究，也有较多关于知识推理的综述文献。相关综述文献可以归纳为三类（如表1）：第一类是关于知识推理任务类的综述文献，包括“知识图谱补全任务[2,5-9]”“知识推理问答任务[10-11]”和“知识图谱推荐系统任务[12-16]”等，该类综述侧重利用知识推理方法解决某一类具体任务；第二类是关于知识图谱领域应用类的综述文献，包括从临床医疗[17-19]、风险管理[20]、智能制造[21]、安全情报[22]等方面的应用进行综述，侧重讨论将知识推理方法应用于某一类领域的研究综述；第三类是知识推理方法类的综述文献[3,23-29]等，该类综述侧重对知识推理原理的分析，以及方法的解读、分类和改进。

表1 知识图谱推理综述文献分类（近三年）Table 1 Classification of knowledge graph reasoning survey articles(the latest three years)

综上所述，关于知识推理的综述文献要么是基于知识推理某一类任务或某领域应用类的综述，要么是基于知识图谱推理方法类的综述。这些综述主要是基于传统算法、深度学习或强化学习算法的知识图谱综述，而基于最新相关研究方法的知识推理类综述文章还相当缺乏。

近年来，图神经网络（graph neural network，GNN）因其对图结构数据强大的编码能力，被广泛用于知识图谱的构建。知识图谱以节点和边的图结构存储数据，图神经网络可以有效整合知识图谱结构特征及属性特征[30]，通过节点的邻域信息聚合并更新节点，利用其强大的信息传播能力学习数据间的语义关系和潜在信息[16]，使其可以很好地学习知识图谱中的节点信息、节点间关系信息以及全局结构信息。由于准确地学习知识图谱中有效的语义信息和结构信息是开展知识推理的关键[31]，图神经网络在知识图谱数据加载、数据处理，特别是在知识推理上都具有明显的优势。尽管已有诸多的知识推理方法类综述文献，但仍缺乏对将知识推理和图神经网络相结合的研究进行系统梳理和总结的文献。与现有综述类工作相比，本文的创新主要体现在以下三方面：

（1）对知识推理文献进行了系统的分类整理，类别包括基于逻辑规则、基于表示学习、基于神经网络和基于图神经网络的推理，阐述并比较了不同知识推理方法的原理及优缺点。

（2）调研了基于图神经网络的知识推理相关文献，总结了基于图神经网络的知识推理的最新研究进展，首次将基于图自编码网络和基于时空图神经网络的知识推理进行了综述分析。

（3）总结了基于图神经网络的知识推理方法在理论、算法和应用方面的现状、问题和未来发展前景。

1 知识推理研究进展

1.1 知识图谱

知识图谱是一种比较通用的语义知识的形式化描述框架，用节点表示语义符号，用边表示符号之间的语义关系，形式化的表述用事实三元组（头实体，关系，尾实体）来记录[32]。相比传统的语义网络，知识图谱因为简易的数据表征方式、多样化的知识表示和多层次的语义表达等优点，使得其能够在数据量大、场景复杂的情况下有效运用于挖掘关联知识和复杂关系。

然而，由于结构化的知识仅仅在特定的时间段内成立，时序信息是非常重要的，而事实的演化也会遵循一个时间序列。时序知识图谱除了描述语义关系外，还需要考虑与时间关系的描述。它不单单是一个“增强型”的开放域知识图谱，而是需要结合业务场景和领域知识，并针对时序知识自身的特点，对知识的概念、实体和关系进行语义化和时空化拓展。因此，把提供了关于事实何时成立的时序信息嵌入在事实三元组中，将三元组拓展成时序四元组（头实体，关系，尾实体，时序），这种带有时序信息的知识图谱被称为“时序知识图谱（temporal knowledge graph，TKG）[33]”。而现有的知识图谱研究大多数都关注的是静态知识图谱。

1.2 知识推理

知识推理就是根据初步构建的知识图谱中实体和关系所蕴含的信息，利用相关算法，推理出知识图谱中缺失的实体或者缺失的关系。本质上就是利用已经存在的知识推出未知的或者新知识的过程[26]，其核心都是针对三元组中的实体和关系进行预测，具体可分为实体预测和关系预测。实体预测是指利用已有事实的关系及一个实体，推理出另一个实体并由此构成完整三元组；关系预测是推理给定的头尾实体之间的关系[34]。无论实体预测还是关系预测，最后都转化为选择与给定元素更有可能形成有效三元组的实体或关系，并将其作为推理预测结果，这种有效性可以通过规则的方式推理或通过基于特定假设的得分函数计算得到[35]。从结构上讲，知识推理工作主要包括局部任务和全局任务。局部任务即节点分类、链接预测、知识补全等任务；全局任务即子图匹配、子图分类、图趋势预测等[36]。子图匹配简单来说就是给定一个查询图Q，在数据图G 中找到与图Q 结构相同的图；子图分类是指给定多张图以及每张图对应的标签，通过学习得出一个由图到相应标签的图分类模型；图趋势预测是通过现有图谱，有效挖掘、预测数据中的规律和知识[37]。

目前，关于知识推理方法类的综述较多（如表1），但大多都只包括了部分推理方法和有限的文献调研，尤其是对于近年兴起的基于图神经网络的知识推理内容缺少梳理，还没有专门基于图神经网络的知识推理的综述。因此，本文总结了当前与知识图谱和图神经网络相关的研究，在Chen 等人[23]提出的框架和基础上，将知识推理方法分为基于逻辑规则、基于表示学习、基于神经网络和基于图神经网络四大类（如表2），并对各类知识推理方法进行简明阐述和对比，在此基础上重点总结了基于图神经网络的知识推理的最新研究进展。

表2 知识推理方法分类和典型算法Table 2 Classification of KG reasoning methods and their typical algorithms

（1）基于逻辑规则的推理。早期的知识推理主要是基于逻辑规则的推理，其基本思想是借鉴传统知识推理中的规则推理方法，在知识图谱上运用简单规则或统计特征进行推理。主要包括基于一阶谓词逻辑[38-40]、基于规则[41-46]、基于本体[47-49]和基于随机游走算法[50-52]。基于逻辑规则的推理算法优点是：有坚实的数学基础，可解释性强；当结合大规模解析语料库和背景知识时，可模拟人类的推理能力，捕捉知识图谱中隐藏的语义信息，这使得结合先验知识来辅助推理成为可能。然而，知识图谱中的节点往往服从长尾分布，即只有少数实体和关系的出现频率较高，而大多数实体和关系出现的频率较低，故基于逻辑规则的推理无法解决数据稀疏性问题，无法很好处理多跳推理问题，也严重影响推理性能；加之基于逻辑规则的推理对逻辑背景知识和规则定义的依赖度较高，因此泛化能力十分有限，并不适用于包含大量潜在推理模式的大规模知识图谱（表3）。

（2）基于表示学习的推理。基于表示学习推理算法的中心思想是找到一种映射函数，将语义网络中的实体、关系和属性映射到低维实值向量空间以获得分布式表示，进而捕获实体和关系之间的隐式关联。研究人员提出了大量基于表示学习的推理方法，包括基于张量分解[53-56]、距离模型[57-66]、语义匹配[67-70]和多元信息模型[71-74]。表示学习发展迅速，在大规模知识图的知识表示和推理中显示出巨大的潜力。该算法可以解决基于逻辑规则算法无法解决的数据稀疏性问题，具有较强的泛化能力，且能在大规模知识图谱上取得一定的效果。但也存在实体和关系向量值缺乏明确的物理意义及可解释性较差的问题。另外，基于表示学习的推理只考虑满足知识图谱事实的约束，没有考虑更深层次的成分信息，限制了其推理能力（表3）。

（3）基于神经网络的推理。深度学习模型的构建一定程度上参考了人类大脑多层生物神经网络的结构，模拟人脑通过对低层特征进行组合以形成更加抽象的高层特征。基于神经网络的推理具备更强的泛化能力和学习能力，将前文所述的表示学习方法通过多个非线性表示层组合起来，再对其深度特征进行表示，进而开展知识推理。主要包括基于卷积神经网络[75-79]、基于循环神经网络[80-82]和基于强化学习[83-87]的神经网络。基于神经网络的知识图谱推理可以把已有的知识图谱中存在的关系保存到神经网络中。因此，基于神经网络的方法具备更高的学习能力、推理能力和泛化能力，不仅能够学习海量的文本语料，缓解大规模知识图谱带来的数据爆炸问题，并且可以直接建模知识图谱事实元组，降低了计算难度，甚至还能通过合理设计和使用辅助存储单元，在一定程度上模拟人脑推理和思考问题的过程。但随着模型复杂度相对较高，也导致了可解释性较差的问题（表3）。

表3 各类知识图谱推理方法的原理、优势及不足Table 3 Principles,advantages and disadvantages of KG reasoning methods

（4）基于图神经网络的推理。随着知识图谱规模的不断扩大和应用场景的不断深化，传统的基于逻辑规则、基于表示学习的模型始终存在效率低下、规则覆盖率低的问题，无法满足对大规模知识图谱进行推理的要求；基于传统神经网络的推理技术则欠缺解释性。以上大多数模型的核心都在提高图谱语义信息获取能力，较少考虑图谱的结构信息。

图神经网络的优势在于：一是图神经网络采用图数据的表征方式，这与知识图谱图数据结构相契合；二是图神经网络在信息传播和计算过程中是在已有图的节点和关系上进行优化计算，不再添加新的信息节点；三是虽然图上的计算量也较大，但是相比线性神经网络中的计算传导，这使得计算的传播更具针对性；四是节点上的信息计算方式考虑了该节点的隐层信息和邻节点信息及图数据所携带的结构信息，在预测过程中也更具解释性（表3）。因此，基于图神经网络的知识推理，可以较好地将知识图谱语义信息和结构信息同时考虑，尤其是能够捕捉知识图谱的结构信息，已逐渐成为当下主流的研究方法。

2 基于图神经网络的知识推理研究

近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构——图神经网络（GNN）。图神经网络是一组复杂的神经网络模型，可用于多类任务[37]。图1 为图神经网络基本模型，主要包括输入层、图卷积层、激活函数层和输出层。图卷积层通过聚合相邻节点的特征信息得到每个节点的隐藏表示，然后通过激活函数层进行非线性变换，得到新的图的表示，通过多次图卷积层和激活函数层，得到每个节点的最终表示。基于图神经网络的知识推理，可以较好地将知识图谱语义信息和结构信息同时考虑，尤其是能够捕捉知识图谱的结构信息，已逐渐成为知识推理热门研究方法。在输入上，基于图神经网络的知识推理模型将图形结构和节点内容信息作为输入。在训练框架上，可以在端到端学习框架内以（半）监督或无监督的方式训练，具体取决于学习任务和可用的标签信息。在输出上，可以根据不同推理任务来制定输出机制，通过激活函数将知识图谱节点的表示作为输出，可以执行知识推理的节点分类、节点标签预测等节点级任务（如图1）。同理，将GNN 中两个节点的隐藏表示作为输出，可利用相似性函数或神经网络来预测边的标签或连接强度等，执行边分类和链接预测等任务（如图2）。通过在模型中加入多层感知器和Softmax 层，可处理图分类、子图匹配、图趋势预测等知识推理全局任务（如图3）。

图1 图神经网络模型Fig.1 Graph neural network model

图2 基于图神经网络的知识推理模型（边级任务）Fig.2 GNN based KG reasoning model(side-level task)

图3 基于图神经网络的知识推理模型（全局任务）Fig.3 GNN based KG reasoning model(global task)

现有的基于图神经网络的知识推理文献较少，且一般只概述了递归图神经网络（recurrent graph neural networks，RecGNN）和卷积图神经网络（convolutional graph neural networks，ConvGNN）相关内容，缺少对图自编码网络（graph auto-encoders，GAE）和时空图神经网络（spatial-temporal graph neural network，STGNN）在知识推理中应用的归纳。图自编码网络和时空图神经网络已广泛用于知识推理任务中，故本文结合最新的算法更新和领域应用，在Wu等人[37]对图神经网络分类的基础上，将基于图神经网络的知识推理分为基于递归图神经网络[88-91]、卷积图神经网络[92-100]、图自编码网络[101-107]和时空图神经网络[108-112]的知识推理，全面总结了基于图神经网络的知识推理最新进展。表4 为各类基于图神经网络的知识图谱推理方法的原理、优势及不足。本文也是首次尝试将基于图自编码网络和基于时空图神经网络纳入知识推理中进行综述。

表4 各类基于图神经网络的知识推理方法对比Table 4 Comparison of GNN based KG reasoning methods

2.1 基于递归图神经网络RecGNN 的知识推理

递归图神经网络（RecGNN）是图神经网络的先驱（如表5）。RecGNN 的目标是学习递归神经架构的节点表示，通过图中节点不断地与其邻接交换信息，直到达到稳定的平衡。递归图神经网络的概念最早由Gori 等人[113]于2005 年提出，Scarselli 等人[88]对此模型进行了更详细的阐述，每个节点的定义是由该节点的属性特征（或标签特征）以及邻接节点来共同表示（如图4），参数函数fw称为局部变换函数，描述了顶点n和其邻域顶点的依赖性。gw称为局部输出函数，刻画了输出值的生成过程。

表5 基于递归图神经网络的知识推理算法归纳Table 5 RecGNN based KG reasoning algorithms

图4 图和节点的邻域Fig.4 Domains of graphs and nodes

其中，ln、lco[n]、xne[n]、lne[n]分别表示顶点n的属性、关联边的属性、所有邻接节点的状态和属性，因此，每个节点n的状态xn∈Rs，该状态xn包含节点n的邻域所包含的信息。RecGNN 的目标是通过不断迭代传播邻接节点信息fw，直到模型达到稳定状态，进而得到节点的最终表示gw[114]。

Scarselli 等人[88]提到GNN 可以直接处理大多数现实世界中的图问题，包括有向、无向、循环和非循环的图，且成功实现了将图数据映射到几何空间，并开展了子图匹配、化合物诱变活性分析和网页排序等任务，这是首次利用图神经网络处理图数据推理任务——子图匹配。其实验结果表明GNN 对于结构化数据的建模十分有效，但也存在着数据计算量大、迭代效率低等诸多的不足。Li 等人[90]提出了GGNN（gated graph neural network），GGNN 是基于GRU（gated recurrent unit）的经典空间域模型，可以理解为GNN+Gate。相比GNN，GGNN 的特点在于使用了GRU 单元更新节点状态，解决了过深层的图神经网络导致过度平滑的问题。但由于在每个时间步都需要展开图中所有的节点，每个节点还需要使用向量进行表示，当图很大且向量表示维度很高时，模型的效率会出现较大问题。GGNN 实际上是以损失图中较长路径信息的代价换取了模型可建模的问题空间。

在此基础上，Dai 等人[91]提出了SSE（stochastic steady-state embedding）算法。SSE 算法提出了一种随机学习框架，可有效利用学习算法中的模型参数，其主要思想是随机采样一批节点用于状态更新，随机采样一批节点用于梯度计算，以随机和异步的方式周期性更新节点隐藏状态。由于算法是随机训练的，在收敛速度和执行时间方面对于大规模图是非常有效的，且在多个知识推理任务中得到了验证。

综上所述，RecGNN 旨在学习具有递归神经架构的节点表示。它们假设图中的节点不断与其邻接（包括邻接节点和关联边）交换信息，直到达到稳态。RecGNN 在理论上很重要，它启发了后来学者们对卷积图神经网络的研究，基于空间的卷积图神经网络继承了信息传递的思想。

2.2 基于卷积图神经网络ConvGNN 的知识推理

卷积图神经网络（ConvGNN）将卷积运算从网格数据（欧几里德数据，如图像数据）推广到了图形数据（非欧几里德数据，如知识图谱）。2013 年，Bruna等人[92]提出了基于谱域的图卷积网络（spectral-based GCN）和基于空间域的图卷积网络（spatial-based GCN）两种模型，开创性地引入傅里叶变换，将图结构信息由拉普拉斯矩阵特征向量表示，可以理解为第一代卷积图神经网络。表6 对上述两类卷积神经图网络进行了比较分析。基于空间域的图卷积网络直接对图的邻接节点进行聚合，可以较好反映图数据的结构关系，更适合处理有向图和大型图数据。因此，目前利用卷积图神经网络的知识推理方法都是基于空间域方法进行研究。

与RecGNN 不同，基于空间的ConvGNN 通过多层卷积来得到高阶节点表示，进而通过这些表示特征对图数据进行节点分类、链接预测、图分类等任务。Henaff 等人[115]在文献[92]的基础上定义了核，利用局部连接来减少学习参数，将卷积图神经网络扩展到大规模图数据分类问题上。Defferrard 等人[116]设计了图的快速局部卷积滤波器，其大大降低了计算复杂度和学习复杂度，可以被运用到任何图结构数据，可以理解为第二代卷积图神经网络。在此基础上，Levie 等人[117]设计了更高效的卷积滤波器。为了减少计算量并提高性能，研究者们探索出了不同的邻域聚合方法，如均匀邻接采样[93]、顶点重要性采样[118]和基于随机行走的重要性采样[119]。Kipf 和Welling[120]提出的GCN（graph convolutional network）利用Chebyshev 多项式拟合卷积核，可以学习图上局部结构特征并进行编码，较好地解决半监督任务，可理解为第三代卷积图神经网络（如图5）。图5（a）是用于半监督学习的多层卷积图神经网络（GCN）示意图，输入通道为C，输出层为F特征图。图结构（边显示为黑线）在层上共享，标签用Yi表示。图5（b）为两层GCN 在Cora 数据集上训练的隐藏层激活的可视化，不同颜色表示不同标签类型。

图5 卷积图神经网络（ConvGNN）Fig.5 Convolutional graph neural networks(ConvGNN)

卷积图神经网络传播规则可表示为：

2.2.1 基于空间域的卷积图神经网络

基于空间域的ConvGNN 的知识推理，将知识图谱视作无向图，利用ConvGNN 分析拓扑结构，实现邻域向中心实体的语义聚合，典型方法包括Graph-SAGE（graph sample and aggregate）[93]、R-GCN（relational graph convolutional network）[94]、SACN（structureaware convolutional networks）[96]、RGHAT（relational graph neural network with hierarchical attention）[15]、HGCN（hierarchical graph convolutional network）[122]等（如表7）。

表7 基于空间域的卷积图神经网络的知识推理算法Table 7 Spatial domain based GCN network KG reasoning algorithms

GCN[120]的基本思想是把图数据中节点的高维邻接信息降维到低维的向量表示，其本质是“直推式（transductive learning）”，即需要知道图数据的全部信息进行训练，且模型无法快速得到新节点的表示。GraphSAGE[93]提出了一种新的方法，相比GCN 捕捉图的全局信息、保存映射结果的方法，该算法属于“归纳式（inductive learning）”，即聚合邻接信息得到图数据表示的映射函数，因此也可以对图谱中新增的节点进行表示（如图6）。因此，GraphSAGE 更具有泛化能力，也解决了GCN 模型训练节点时必须知道全部数据且训练出来的表示唯一的短板。Graph-SAGE 实现了在大型图数据上的归纳表示学习，可扩展性更强，对于节点分类和链接预测问题的表现也比较突出。

图6 GraphSAGE 核心思想Fig.6 Core idea of GraphSAGE

在知识图谱实体分类或链接预测任务中，许多丢失的信息都可能存在于邻域结构编码的图中，即可以通过三元组中的任意两个推测出第三个元素。据此，Schlichtkrull 等[94]提出了R-GCN，R-GCN 为图谱中的实体生成隐性特征表示，可理解为知识图谱中的实体属性标签，并将其应用于两个任务中。对于实体分类任务，R-GCN 参考GCN[120]算法，对图中的每个节点使用Softmax 分类器进行节点分类；对于关系预测任务，R-GCN 提取每个节点的表示，通过两个节点的表示来预测节点间关系。R-GCN 的主要贡献在于：显示了GCN 的框架可以应用于关系数据建模，特别是关系预测和实体分类任务；引入了参数共享和实现稀疏约束的技术，并将其应用于具有大量关系的多图分析中。

Vashishth 等人[95]设计了一种针对多关系有向图的图神经网络CompGCN（composition-based multirelational graph convolutional networks）来同时学习节点和关系的表示。另外，为了降低大量不同类型关系带来的大量参数的影响，设计了一种分解操作，将所有关系都用一组基的加权组合来表示。模型在多个数据集上进行了链路预测、节点分类、子图分类等实验，验证了CompGCN 的有效性。为解决知识图谱中三元组不完整问题，Shang 等人[96]结合加权卷积图神经网络（weighted graph convolutional neural network，WGCN）和Conv-TransE 两个模块，提出了SACN（structure-aware convolutional network）模型。模型使用WGCN 作为编码器，将节点结构、节点属性、关系类型作为输入，WGCN 中的可学习权值有助于从相邻图节点中收集自适应量的信息；将Conv-TransE作为解码器，在Conv-TransE 的节点嵌入表示保留了实体和关系之间属性信息，并可以较好用于知识图谱补全任务。SACN 通过WGCN 来建模KG 中的实体和关系，提取实体特征，然后输入至Conv-TransE中使实体满足KG 三元组约束，得到实体的嵌入表示，进而开展知识图谱补全任务（如图7）。

图7 知识推理局部任务（SACN）Fig.7 Knowledge reasoning local task(SACN)

2.2.2 基于图注意力机制的卷积图神经网络

2017 年，Veličković 等人[97]提出了GAT（graph attention network），GAT 是一种基于空间结构的图神经网络，在聚合邻域特征信息时，通过注意力机制确定采样节点权重信息，比GCN多了一个自适应的边权重系数[123]，从而实现邻域对中心贡献程度的自适应调节。GAT 无需提前知道整个网络的结构，即可通过局部信息获取到网络的整体信息，避免了大量矩阵运算。本质上，GAT 是将原本GCN 的标准化函数替换为使用注意力权重的邻接节点特征聚合函数。因此模型可以直接应用到归纳推理的问题中，包括知识图谱的节点分类、链接预测等任务。典型方法包括MGAT（multi-view graph attention network）[124]、TGAT（temporal graph attention）[125]、NAKGR（neighborhood attention knowledge graph reasoning）[100]等，图8 为利用MGAT算法开展链接预测和节点分类模型框架图。

图8 MGAT 模型框架图Fig.8 Framework of MGAT model

2019 年Nathani 等人[126]提出了基于图注意力网络（GAT）的知识图谱关系推理模型KBGAT（knowledge bases GAT），该模型使用多头注意力机制来进行目标节点周围信息的收集，以解决隐藏信息获取困难的问题，提升了关系预测的准确率。Zhang 等人[98]提出了基于门控注意力机制的GaAN（gated attention networks）模型，不同于传统的多头注意机制（均衡地消耗所有的注意头），门控注意机制可以通过引入的门控单元来调节参与内容的数量，使用一个卷积子网络来控制每个注意头的重要性。由于在门控单元的构造中只引入了一个简单的、轻量级的子网，计算开销可以忽略不计，而且模型易于训练。Zhang等人[7]提出了一个用于知识图谱补全任务的具有分层注意的关系图神经网络Encoder-Decoder 框架。Xu 等人[127]提出DPMPN（dynamically pruned message passing networks）模型，以同时编码完整的图数据表示和由注意力模块学习的局部图数据表示，实现推理过程中子图的动态构建。Xie 等人[128]提出ReInceptionE（relation-aware inception network with joint localglobal structural information for knowledge graph embedding）模型，结合ConvE 和KBGAT[127]，利用关系感知注意力（relation-aware attention，RAATT）机制实现对图谱结构信息的深入理解。康世泽等人[129]提出HE-GAN（heterogeneous information network embedding framework via graph attention network）模型，通过堆叠图注意力网络，有效学习实体的高阶邻接特征，实现对知识图谱语义的完整表达[130]。已有较多的模型较好地将基于GAT 的图神经网络引入到知识图谱领域，并开展节点分类、关系预测等推理任务[131-133]（表8）。

表8 基于GAT 的卷积图神经网络的知识推理算法Table 8 Graph attention mechanism based GCN reasoning algorithms

2.3 基于图自动编码GAE 的知识推理

图自动编码神经网络是一种无监督的学习框架，它将节点/图编码到潜在向量空间中，并从编码的信息中重建图数据。GAE[103]用于学习网络嵌入和生成新的图形（如图9）。编码器使用图卷积层来获得每个节点的网络嵌入表示，解码器计算给定网络嵌入的成对距离。在应用非线性激活函数后，解码器重建图邻接矩阵。网络通过真实邻接矩阵与重构邻接矩阵之间的最小化差异来训练。图自动编码网络又分为基于网络嵌入的图自动编码方法和基于图生成的图自动编码方法。基于网络嵌入的图自编码方法利用神经网络结构将图的顶点表示为低维向量，可以用于知识图谱节点分类或链接预测任务[104]；基于图生成的图自动编码方法是在给定一组观察到的图的情况下生成新的图，可以很好地应用到知识推理的知识补全任务中。

图9 GAE 模型Fig.9 GAE model

2.3.1 基于网络嵌入的图自编码方法

基于网络嵌入的图自动编码方法的目的是利用神经网络结构将图的节点映射到潜在空间特征表示为低维向量，并从潜在的表示中解码图形信息，进而开展节点分类、链接预测等任务。在网络嵌入方法中，GAE 通过重构邻接矩阵等图结构信息来学习潜在节点表示，它保留了节点的结构信息。图自编码器的挑战是邻接矩阵的稀疏性，这使得解码器的正条目数远远小于负条目数。典型的解决方案是利用多层感知机作为编码器来获取节点嵌入，利用解码器重建节点的邻域统计信息[134-135]。利用网络嵌入的图自编码方法开展知识推理的典型方法包括DNGR（deep neural networks for learning graph representation）[101]、SDNE（structural deep network embedding）[102]、VGAE（variational graph auto-encoder）[103]和ARVGA（adversarially regularized variational graph autoencoder）[104]等（表9）。

表9 基于网络嵌入的图自编码网络知识推理算法Table 9 Network embedding based graph auto-encoders network KG reasoning algorithms

DNGR 用深度神经网络的随机冲浪（random surfing model）替代采样（conventional sampling）的方式为每个顶点生成一个低维向量表示，方便更准确、快速获取图的结构信息，进而开展下游任务。SDNE用一阶、二阶相似度有效捕获高度非线性网络局部特征和全局特征，实验表明，所得到的表示可以有效地作用于节点分类等下游任务。但DNGR 和SDNE只考虑节点结构信息，即节点之间的连通性，忽略了节点可能包含描述节点本身属性的特征信息。Kipf等人[103]结合图数据结构的特点，参考自编码器（autoencoders，AE）和变分自动编码器（variational autoencoders，VAE），提出了图自动编码器（GAE）和变分图自动编码器VGAE。VGAE 是基于VAE 的无监督学习图结构数据的框架，该模型利用了潜在变量学习无向图的潜在表示，在链接预测任务上取得了较好的效果。Pan 等人[104]提出的ARGA（adversarially regularized graph autoencoder）和ARVGA 算法将生成对抗网络（generative adversarial network，GAN）加入到GAT 中。网络主要分为三部分：编码器（生成）、解码器和判定器。判定器的任务就是训练一个二分类器，使它能够判别模型的输入到底是真实分布还是虚假分布。而编码部分则作为生成，其目的是要骗过判定器，由此循环迭代，就使得编码器的输出能够尽可能地接近真实分布。

2.3.2 基于图生成的图自编码方法

基于图生成的图自动编码方法是在给定一组观察到的图的情况下，使用图神经网络来表示图的节点和边之间的依赖关系生成新的图，构建图生成模型。在自然语言处理中，生成语义图或知识图谱通常以给定的句子为条件，生成新的图。通过将给定条件下的新生成图与原图进行对比，即可开展知识推理的知识补全任务，如实体分类、关系预测等。通过设计合理的推荐条件或问答条件，新生成的图可用于开展知识推理的知识推荐和知识问答任务[136]。利用网络嵌入的图自编码方法开展知识推理的典型方法包括DGMG（deep generative models of graphs）[105]、GraphRNN（graph recurrent neural network）[137]、NetGAN（generating graphs via random walk）[106]和M2GNN（mixed-curvature multi-relational graph neural network）[107]等（表10）。

表10 基于图生成的图自编码网络的知识推理算法Table 10 Graph generation based graph auto-encoders networks KG reasoning algorithms

Li 等人[105]提出了DGMG，利用基于空间的卷积图神经网络来实现对现有图的隐藏表示。DGMG 生成节点和边的决策过程是以整个图的表示为基础的，具体取决于由RecGNN 更新的生长图的节点状态和图状态。DGMG 递归地在一个图中产生一个节点，在添加新节点后的每一步，DGMG 通过做出一系列决策来生成图，即是否添加节点、添加哪个节点、是否添加边以及哪个节点连接到新节点，因此，可以利用DGMG 模型开展知识图谱的节点分类和链接预测任务。You 等人[137]提出的GraphRNN 是两级（图级和边级）循环神经网络的深度图生成模型。图级的RNN 每次向节点序列添加一个新节点，而边级的RNN 生成一个二进制序列，为新添加的节点生成边。Bojchevski等人[106]提出的NetGAN将LSTM（long short-term memory network）与Wasserstein-GAN 结合在一起，使用基于随机行走的方法来捕获图的拓扑结构（如图10）。GAN 框架由两个模块组成，一个生成器和一个鉴别器。生成器尽最大努力在LSTM 网络中生成合理的随机行走序列，而鉴别器则试图区分伪造的随机行走序列和真实的随机行走序列。训练完成后，对一组随机行走中节点的共现矩阵进行正则化，可以得到一个新的图，可以用于知识图谱的链接预测任务。

图10 NetGAN 模型Fig.10 NetGAN model

2.4 基于时空图神经网络STGNN的知识推理

一般的GCN 方法可以较好地捕捉知识图谱中节点之间的连接关系，保留网络中的空间关系的信息，但缺乏捕捉时间关系的能力。时空图神经网络（STGNN）[109]将卷积图神经网络扩展到时空图模型，旨在从时空图中学习隐藏模式，其基本假设是节点的未来信息取决于其历史信息及其邻接的历史信息，其核心思想是同时考虑空间依赖和时间依赖。时空图神经网络中的空间依赖关系即对应知识图谱的拓扑结构信息，时间依赖即对应知识图谱的时序信息，节点的信息即为实体属性信息。例如，在交通网络中，每个传感器连续记录道路的交通速度作为顶点，传感器对之间的距离作为交通网络的边。将交通网络看作一个时序知识图谱，节点的属性即为路口的交通速度，边即表示不同路口的距离信息，节点的属性随时间的变化而变化，也会受其他节点和边的影响。

传统时序知识图谱推理往往是对一般知识推理模型的扩展，将时间信息嵌入到关系信息中，这些方法往往很难捕获远距离依赖关系，对潜在实体和关系的表现较差，也难以有效编码时序知识图谱复杂的时空关系。基于时空图神经网络的时空预测方法，通过将节点在图结构上进行时空关系的模拟，较好地保留了图数据的空间关系（拓扑结构）和时间关系，与时序知识图谱的知识推理任务不谋而合，在复杂的空间关系中，能取得比传统方法更好的预测效果。

图11 描述了一种时空图神经网络模型，图卷积层后是一维CNN 层。图卷积层对时序知识图谱A进行运算捕捉知识的空间相关性（图数据的拓扑结构关系），一维CNN 层沿着时间轴变化来捕捉知识的时间相关性。输出层通过多层感知机的线性变换，为每一个节点生成预测，比如下个时间步长内的节点值，进而可以有效开展时序知识图谱的知识推理任务。目前，利用时空图神经网络主要集中在开展知识发现相关任务，较多的时序知识图谱推理任务主要集中在基于时空图神经网络的交通流预测以及军事领域，未来也一定会扩展到更多领域。

图11 时空图神经网络模型Fig.11 Spatial-temporal graph neural networks model

基于时空图神经网络开展知识推理的典型方法包括DCRNN（diffusion convolutional recurrent neural network）[108]、ST-GCN（spatio-temporal graph convolutional network）[109]、GWN（graph wavenet）[110]、T-GCN（temporal graph convolutional network）[138]、GCRN（graph convolutional recurrent network）[139]、ASTGCN（attention based spatial-temporal graph convolutional network）[140]、MTGNN（multivariate time series forecasting with graph neural network）[141]和TFGAN（traffic forecasting using generative adversarial network）[112]等（表11）。Wu 等人[110]提出了一种新的用于时空图建模的图神经网络结构GWN。它可以自适应依赖矩阵并通过节点嵌入进行学习，故可以捕获数据中隐藏的空间依赖。GWN 具有一个堆叠的可扩展的一维卷积组件，整个框架以端到端的方式学习，其感受野随着层数的增加呈指数增长，能够有效处理大型时序知识图谱。T-GCN 图形卷积网络除了能够捕获交通信息和属性之间的知识结构和语义关系之外，还能够捕获交通的时空特征。

表11 基于时空图神经网络的知识推理算法Table 11 Spatial-temporal graph neural networks based KG reasoning algorithms

图卷积网络用于捕获道路网络的拓扑结构，以对空间依赖性进行建模。门控递归单元用于捕获道路上交通数据的动态变化，以模拟时间相关性。受最近生成对抗网络（GAN）和图卷积网络（GCN）在处理非欧数据方面发展的启发，Khaled 等人[112]提出了一种对抗多卷积图神经网络模型，命名为TFGAN（如图12）。图12（a）为TFGAN 生成器结构，图12（b）为TFGAN 判别器结构，图12（c）为TFGAN 模型框架。TFGAN 模型将非监督模型的弹性优势与监督训练提供的监督优势相结合，以帮助GAN 生成器模型生成准确的流量预测。为了改进表示并有效地对隐式相关性建模，在生成器内构建多个GCN。同时，在每个图之后应用GRU 和自我注意力机制来捕获跨节点的动态时间依赖性。该算法对六个真实世界的交通数据集的三个交通变量（交通流量、速度和旅行时间）进行实验，结果表明，TFGAN 优于相关的最新模型，并取得了显著的推理效果。

图12 TFGAN 网络模型Fig.12 TFGAN network model

3 基于图神经网络知识推理的应用

描述常识和事实的知识图谱是学术界和工业界广泛使用的知识表示方式，采用图构建知识和数据之间的关联，是一种直接且有效的将知识和数据结合的方式。受益于图神经网络技术在信息传播和推理上的优势，知识图谱中的先验知识被有效地引入到应用任务中。知识图谱是互联网世界的数据基石，其高效的数据整合能力和数据关联能力使其在众多领域展示出越来越丰富的实际应用价值。目前，基于图神经网络的知识推理技术主要集中在常用的FB15K、YAGO、WN18、NELL-995、Cora、Citeseer、Pubmed、BlogCatalog 等知识图谱数据集上开展，但也逐渐应用于医疗、智能制造、军事、交通、金融风险等众多生产生活实际领域中。

3.1 医学领域

在医学领域，随着医学信息系统和医学大数据的发展，医院积累了海量的医疗数据，如何从这些异构数据中筛选提炼信息，并加以整合、共享及应用，是推进智能医疗的关键问题。Vretinaris 等人[142]对图神经网络（GNN）模型进行了改进，将来自医学知识库的领域知识引入到查询图中，并在负采样过程引入了生成对抗网络（GAN），以避免梯度消失的问题，从而获得更好的性能，有效解决了医学领域的实体分类和实体消岐问题；Agrawal 等人[143]利用R-GCN[94]模型作为编码器，并使用张量分解作为解码器，使用知识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用；Ioannidis等人[144]将蛋白质函数预测看作多关系图上的半监督学习任务，并采用图神经网络（GNN）方法进行求解，利用图神经网络实现了蛋白质功能预测任务。

目前，基于图神经网络的知识图谱推理在医学领域的探索和工作还不够深入。文献[7]总结了医学知识推理目前面对的一些挑战和重要问题，并展望了其发展前景和研究趋势，推进知识图谱、知识推理在医疗领域尤其是临床决策支持[5]、医疗智能语义检索[6]、医疗推荐[145]等方面的应用已成为了人们迫切的需求。

3.2 智能制造领域

在智能制造领域，数据和知识是实现制造业与新一代信息技术融合的基础，是实现智能制造的保障。知识图谱本质上是基于语义网络的思想，可以实现对现实世界的事物及其相互关系的形式化描述。该技术为智能制造领域数据及知识的关联性表达和相关性搜索推理问题的解决带来了可能性[9]。由于知识图谱具有强大的知识表示和推理能力，知识推理作为流程工业知识处理的重要环节一直备受关注[146]。黄超[147]利用Graph SAGE 结合多头注意力机制方法开展知识推理任务，完成了石墨烯知识图谱补全和关系预测等任务。Ma等人[148]探索了电子自动化设计（electronic design automation，EDA）中应用R-GCN[94]的场景，利用知识图谱推理技术提升智能化管理水平。基于图时空神经网络的知识推理对于智能制造的人机协同交互、物流配送、在线监控等方面也有较好的契合，未来定将在智能制造中扮演着越来越重要的角色。

3.3 军事领域

构建基于军事信息库的知识图谱，可以为作战指挥人员提供更加精确的情报，极大地提高部队作战效率。基于军事知识图谱，建立军事武器问答系统和联合作战信息服务系统，可以实现军事辅助决策[149]。张清辉等人[150]定义了模型中概念之间的语义关系和时序关系，提出了军事信息服务知识推理方法，为任务驱动的军事信息服务领域知识的推理提供了理论基础。随着信息化战争加速向智能化战争演化，如何系统规范地存储和表示作战知识，使无人系统能够根据高层任务指令自主完成任务规划，并基于不断更新的战场知识进行重规划和智能决策，也是一个新的研究领域[151]。未来，军事知识图谱以及高效能的知识推理技术能够提供大规模自主知识约束空间内的解决方案及智慧指挥决策解决方案，在虚拟情报参谋、隐含知识发现、情报智能关联等场景中发挥重要作用，提升部队作战能力。

3.4 交通领域

随着时空图神经网络（STGNN）的快速发展，将图卷积网络扩展到时空图模型，能从时空图中学习隐藏模式[109-110,141]。交通知识图谱可以实现交通流量分析建模、航空交通管理以及公共场景挖掘等。交通知识图谱可以实现同乘人员识别提取、公交站点群出行量和运力挖掘、最大公交客流提取识别、线路站点上下车客流提取等，为公共交通领域提供了有效的决策和参考。基于时序知识图谱和时空模型，有学者提出了动态时空图神经网络的知识推理。例如，文献[152]设计了一个动态图递归卷积神经网络（dynamic graph recurrent convolutional neural network，Dynamic-GRCNN）用于城市交通客流量的预测任务。动态自我注意力网络（dynamic self-attention network，DySAT）[153]在结构邻域和时间动力学两个维度联合自我注意力来生成动态节点表示，实现了链路预测的功能。基于动态时空图神经演化的图卷积网络（evolving graph convolutional network，EvolveGCN）[154]模型，使用RNN 演化GNN 参数来捕获图序列的动态性。其将时间信息引入交通领域知识图谱[111-112,142]，并融合深度学习技术，整合多源数据的语义相关性，实现更贴合需求的智能化知识服务模型，在交通预测时空知识推理上将大有可为。

3.5 其他领域

除此以外，知识图谱在教育、通信等领域也有广泛应用，比如学科问答机器人、通信故障定位分析、网络安全监测等。赵振兵等人[155]运用基于门控图神经网络（GGNN）[90]的知识图谱推理，完成了输电线路螺栓缺陷分类任务。Wang 等人[156]将知识推理与图像识别相结合，探讨了一个有趣的社交关系推理问题。该方法训练了一个图推理模型（graph reasoning model，GRM），该模型结合GGNN[90]可以对照片中人物的社会关系进行推理。另外，一种新的模型SRGNN（session-based recommendation with graph neural networks）[157]将会话序列建模为有向会话图，通过门控图神经网络获得每个图中所有节点的潜在向量。接着，每个会话用一个注意力网络表示为全局偏好和当前兴趣的组合，最后预测每个项目在一次会话中成为下次点击的概率。从知识图谱应用发展趋势来看，当前正值通用知识图谱应用转向领域知识图谱应用的阶段。目前，大规模知识图谱在智能语义搜索、知识问答、演化分析、对话理解等方面的应用处于初级阶段，潜在应用领域广泛，推广前景广阔[130]。

4 总结与展望

4.1 总结

知识图谱推理的核心是针对三元组中的实体和关系进行预测，因此，需要对图数据的结构信息以及实体的属性信息进行表示，进而开展推理任务。GNN 依靠其强大的点和边来对非欧几里德数据建模，高效地解决了在实际应用中遇到的图结构数据问题。图神经网络可以很好地学习知识图谱中的节点信息、节点间关系信息以及全局结构信息，本文分别从递归图神经网络、卷积图神经网络、图自编码网络和时空图神经网络等方面对基于图神经网络的知识推理的研究进行了综述，介绍了各类图神经网络的原理、特点及优势，并就基于图神经网络的知识推理在医学、智能制造、军事、交通等领域的应用进行了归纳。

基于RecGNN 的知识推理通过不断地迭代传播邻接节点信息，得到图谱中节点的最终表示，进而开展知识推理。相比传统算法，模型同时考虑知识图谱的语义信息和结构信息，具备更好的可解释性和更强的推理能力；但由于在每个时间步都需要展开图中所有的节点，使得模型的收敛速度和效率较差。基于ConvGNN 的知识推理通过中心节点与邻接节点之间的卷积来表示节点间信息。模型可以通过节点采样技术提高效率；通过注意力机制可实现邻域对中心贡献程度的自适应调节，实现了在大型知识图谱上开展推理任务；但浅层的网络结构往往使得推理的能力受到限制，不同模型的泛化能力也相对较差。基于GAE 的知识推理利用多层感知机作为编码器，以获得节点的低维表示，然后利用解码器重构节点的邻域信息，进而开展知识推理任务；但受限于无监督学习的应用场景，整体性能有待提升。基于STGNN 的知识推理引入了时间序列特征，同时考虑知识图谱的空间信息（结构信息）和时序信息，可用于开展时序知识图谱推理任务。但模型复杂程度较高，且在时间序列中的应用效果有待提升。

总体而言，基于图神经网络的知识推理可以较好地将知识图谱语义信息和结构信息同时考虑，尤其是能够捕捉知识图谱的结构信息。图神经网络的信息传播机制相较传统深度学习模型更具有可解释性，利用图神经网络模型在知识图谱中实现知识推理，从而显式地生成基于知识图谱的推理路径，或许可以期待打开深度学习的黑盒。

4.2 展望

未来面向图神经网络的知识推理方法仍将以各类知识图谱下游任务作为依托，可应用到众多场景中。与此同时，知识推理需要向自动化、智能化发展，需要关注大规模（时序）知识图谱中知识推理的可扩展性，大数据流处理中的推理效率、自动或半自动的推理实现。最后从以下几个重点技术展望未来基于图神经网络的知识推理的发展前景。

一是融合多源信息和多种方法的知识推理技术。随着文本、视频、音频数据的大量出现，众多知识以不同的形式被表达，因此基于多模态的知识推理技术将应运而生。从不同类型的数据中推理获得关联更符合客观世界规律的模型，也更容易被各类工业任务所应用。融合基于图神经网络的知识推理与其他方法的知识推理，通过在更深层次混合，实现优势互补，提升推理性能将成为未来研究的热点。

二是动态知识推理技术。目前，GNN 处理的图结构基本上都是静态图，基于时空图神经网络模型虽然能处理时序知识图谱，目前针对GNN 处理动态图结构的研究还比较少。传统基于静态图谱的推理技术不能很好地表达时序信息，在众多工业应用场景中无法进行动态建模，也无法对时序信息进行处理。随着算力水平的提升，利用图时空神经网络，将时序信息加入知识推理技术将逐渐成为未来研究方向之一。

三是面向大规模知识图谱的快速推理。信息时代，随着数据的增长，知识图谱的规模越来越大将成为未来的发展趋势，致使图中的节点数量变得巨大，这就给图神经网络的计算带来了不小的挑战。因此，如何充分发挥图神经网络在知识推理中快速捕捉语义和结构信息的优势，优化推理模型，提高推理速度，扩展到大规模知识图谱，保证推理的时效性，将成为未来需要致力解决的问题。针对将图神经网络应用到大规模图上的研究同样是将来研究的热点问题，在这方面，引入摘要数据结构，构造局部图数据，并能适当地融合局部图结构，形成整体图神经网络的表示是可能的途径之一。

四是开发有效的深度图神经网络。GNN 的本质是通过聚合邻接节点信息来表征中心节点，现有的图神经网络模型大多还是只限于浅层的结构。一般来讲，深度图神经网络能更加捕获知识图谱的全局信息和结构信息，但当构造多层的神经网络之后，中心节点和邻接节点的差异就会变得微乎其微，实验结果反而变差，这是由过平滑现象造成的。如何解决深度图神经网络过平滑现象，使图神经网络能够应用于更多层的结构，从而发挥出深度学习与图神经网络的强大优势，构建更深的图神经网络模型仍是值得深入研究的问题。

五是挖掘和探索知识图谱中更多有用的信息。在当前对于图神经网络模型的研究中，诸多学者将较多的精力放在了图数据中节点之间有无连接这一拓扑结构信息（即知识图谱关系信息）。但知识图谱除了节点间关系信息，里面还涉及较多的实体信息、实体属性信息，以及距离中心节点的远近不同的关系信息对中心节点的影响程度等。如果能够探索出知识图谱中更多有用信息的表示和利用，必会将基于图神经网络的知识推理性能提升一个层次。

六是图神经网络的工业落地。当前基于图神经网络的知识图谱研究大多还只停留在理论层面，亦或者在实验数据集、公开知识图谱数据等进行测试验证，实际应用还非常有限。虽然基于图神经网络的知识推理在部分领域（如医学领域、智能制造领域、军事领域、交通领域等）已有一小部分的实际应用，但远没有达到大规模应用的程度。任何研究只有真正地在工业界落地，才能发挥它的应用价值，反之也会促进其进一步的研究发展。尽快将图神经网络应用到实际的工业场景中是一个亟需解决的问题。