基于图注意力和特征融合的链路预测方法
2023-04-29李峰王俊峰陈虹吕
李峰 王俊峰 陈虹吕
摘要: 链路预测是一种还原网络缺失信息的方法,通过当前已观察到的链路,预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法,相比基于规则的启发式方法,前者可有效利用网络拓扑结构信息,较大地提升了网络链路预测性能,并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法,仅利用网络中节点相对位置信息,忽视了节点基本属性和链路的邻居信息,且无法区分不同节点对链路形成的重要程度.为此,本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征,丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图,然后将其转化为对应的线图,线图中的节点和原图中的链路一一对应,从而将原图节点和链路信息融合到线图的节点中,提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重,增强了特征融合的灵活性.实验表明,本文所提出的方法,在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时,预测性能保持80%以上,且均优于现有最新方法.
关键词:链路预测; 图神经网络; 线图; 特征融合; 图注意力
中图分类号: TP301.6 文献标识码:A DOI:10.19907/j.0490-6756.2023.052002
收稿日期: 2022-08-27
基金项目: 基础加强计划重点项目(2019-JCJQ-ZD-113); 国家自然科学基金(U2133208); 四川省青年科技创新研究团队(2022JDTD0014)
作者简介: 李峰(1994-), 安徽阜阳人, 硕士研究生, 研究方向为网络空间安全. E-mail: 2807229316@qq.com
通讯作者: 王俊峰. E-mail:wangjf@scu.edu.cn
Graph attention based feature fusion for link prediction
LI Feng, WANG Jun-Feng, CHEN Hong-Lü
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Link prediction is a method to restore the missing information of a network by predicting the actual but unobserved links or possible new links from the observed links. Currently, link prediction is mainly based on deep learning methods of graph neural networks, which compared with rule-based heuristics, can effectively utilize the network topology information, greatly improves the performance of network link prediction and can be applied to a wider range of network types. However, the existing graph neural network-based methods only use the relative position information of nodes in the network, ignore the basic attributes of nodes and the neighboring information of links, and cannot distinguish the importance of different nodes to the formation of links. To addess these limitation, this paper proposes a link prediction method based on graph attention network and feature fusion, the input features of the network are enriched by adding features such as the degree of nodes, the number of common neighbors of links and the maximum degree of common neighbors. This method first extracts the subgraph centered on the target node pair, and then transforms it into a corresponding line graph, where the nodes in the line graph correspond to the links in the original graph, thus fusing the nodes and link information of the original graph into the nodes of the line graph, which improves the effectiveness and interpretability of feature fusion. Meanwhile, the proposed method uses the graph attention mechanism to learn the weights of nodes, which enhances the flexibility of feature fusion. Experimental results on various network datasets show that the proposed method achieves over 90% in terms of AUC and AP, outperforming existing state-of-the-art methods. Moreover, the method maintains more than 80% prediction performance even when there are many missing observed links.
Link prediction; Graph neural network; Line graph; Feature fusion; Graph attention
1 引 言
网络是分析复杂系统的有力工具 [1] ,用于建模实体间的交互关系.然而由于客观条件的限制,已观测的网络大多是不完整的 [2] .为了解决网络信息缺失问题,形成了链路预测方法.其通过当前已观察到的链路,预测缺失的链路或可能出现的新链路,推断网络形成过程 [3] ,补全网络信息.在许多现实领域中,链路预测得到了广泛应用.例如:社交网络中的好友推荐 [4] ,电子商务网站中的商品推荐 [5-7] ,知识图谱补全 [8] 和代谢网络重建 [9] 等.然而这些现实应用受到了链路预测性能的制约.如何进一步提高预测性能,成为链路预测实际应用的关键.
近年来,图神经网络在处理图结构数据取得了较大成功,为提升链路预测性能提供了有效途径.SEAL [10] 证明了大多数手动设计的启发式规则,都可以从局部子图得到很好近似,并提出使用图神经网络自动学习一个合适的启发式规则.但所使用的平均池化策略 [11] 不可避免地会导致信息丢失.LGLP [12] 则在前者的基础上进行了改进,提出了将原始子图转化为对应线图的方法.线图和原图在数学上是等价的,转换过程不存在信息丢失.同时原图的链路特征可由线图对应的节点直接获得,无需使用图池化操作.尽管LGLP模型进一步提升了链路预测性能,但仍存在一定的不足.首先,其输入到神经网络的原始特征,仅仅是子图中节点间相对位置的编码,所提供的信息过于单一.其次,该方法在特征学习过程中,采用固定的模式聚集邻居节点特征,忽视了不同节点的重要程度.
为了解决上述问题,本文提出了一种基于图注意力和特征融合的链路预测方法(Graph Attention based Feature Fusion,AFF ). 通过增加更多节点和链路属性,丰富输入神经网络的原始特征.所增加的属性均为一阶邻居信息,计算代价小且可解释性强.另外本文使用图注意力网络(GATs) [13] 搭建了新的特征学习模块,通过注意力机制,自动学习邻居节点权重,增强节点特征聚集的灵活性.同时本文利用线图转化,将原图中节点属性和链路属性统一融合到线图节点特征中,将链路预测问题转化为节点分类问题. 本文在7个真实网络数据集上进行实验,分类性能指标AUC和AP达90%以上,超过现有对比方法,有效地提升了链路预测性能.
2 相关工作
链路预测作为网络分析的重要组成部分,近年来学界提出了各种链路预测方法.按照判定链路存在性标准的不同,链路预测方法可分为:基于规则的启发式方法、基于相似性的节点嵌入方法和基于分类的图神经网络方法.
2.1 启发式方法
基于规则的启发式方法大多采用预先定义的可能性指标,作为判断链路是否存在的依据,指标的设计通常是基于一定的假设.按照计算过程中需要使用到的节点最大邻居跳数(hop),该类方法又可细分为:一阶、二阶和高阶启发式方法.其计算代价也是逐渐递增的.共同邻居(Common Neighbor, CN) [14] 和优先连接(Preferential Attachment, PA) [15] 就是典型的一阶启发式方法,因为其计算仅需要一跳邻居的节点.类似的,二阶启发式方法则最多使用二跳邻居的节点,如AA指标(Adamic-Adar,AA) [16] 和资源分配指标(Resource Allocation, RA) [17] .而高阶启发式方法则用到了全图所有的节点,卡茨指标(Katz) [18] 、SimRank [19] 和rooted PageRank [20] 属于该类方法,比起前两类方法,高阶启发方法的预测性能更好,但是计算代价也更高.
2.2 节点嵌入方法
基于相似性的节点嵌入方法,通过从整个网络拓扑中学习节点嵌入(embedding),计算节点间的相似性,相似性较高则认为节点间存在链路.借鉴自然语言处理领域的词嵌入方法,Deepwalk [21] 、LINE [22] 和node2vec [23] 被相继提出.然而该类方法在网络较为稀疏时,预测性能会受到较大影响.
2.3 图神经网络方法
基于分类的图神经网络方法是目前主流的链路预测方法,通过有监督学习的方式,让网络模型自动学习得到链路的分布规律.SEAL [10] 将以目标节点为中心的子图编码成特征矩阵,然后通过排序池化得到固定大小的向量,将问题转化为子图分类问题.沿用该思想,相关的改进方法不断被提出.SHFF [24] 进一步考虑了子图的层次化结构,提出层次化聚集节点特征得到子图表示.ARCLink [25] 利用Re-weight操作为网络中每个链路赋予0-1的权值,通过选取权值较大的链路,减少子图提取的盲目性.
图神经网络的方法在各种网络数据集上都有较为优异的性能表现,但其对节点间交互关系的挖掘大多聚焦于节点特征上,如相对位置,没有更全面地综合链路特征,如共同邻居数量和共同邻居最大度.本文通过线图转化将节点和链路特征有效融合,并利用图注意力机制以更灵活的模式进行特征学习,从而达到更高的链路预测性能.
3 AFF方法
3.1 问题定义
本文中的网络采用无向无权图进行建模.对于给定的无向网络 G ,可以表示为 G=(V,E o,E p) .其中 V 代表节点集合; E o 表示当前已观测到的链路; E p 表示所有未观测到的链路.链路预测就是通过当前观测到的信息 (V,E o) ,去预测 E p 中链路的存在性. (u,v) 表示节点 u 和 v 组成的节点对,当前基于分类的链路预测方法一般先提取以 (u,v) 为中心的子图,然后将子图中所编码的信息用于判断链路存在性.若 f 表示某种链路预测方法, Φ 表示节点对构成的链路是否存在, t 表示分类阈值,则链路预测问题可以形式化表示为:
Φ (u,v) = 1, f (u,v) ≥t 0, f (u,v) 3.2 模型架构 本文AFF方法的总体架构如图1所示.主要由三个模块组成:基于线图转化的特征融合模块、基于图注意力的特征学习模块和用于判断存在性的分类模块.对于给定的 (u,v) ,首先会以 (u,v) 为中心提取其周围的 h 跳子图 G h u,v ,经实验验证, h =2 是预测性能和计算代价的平衡点.然后会给子图中的所有节点赋予原始特征,即节点打标(node labeling).接着利用线图转化实现节点和链路特征的有效融合.最后将 G h u,v 编码为包含所有节点原始信息的特征矩阵 G h u,v . 特征学习模块包含两层图注意力层,利用多头注意力机制学习节点权重,实现节点特征灵活聚集.此时 G h u,v 就转化为聚集后的特征矩阵 G h u,v ,通常会对其进行池化操作,降维成一个表征 (u,v) 的特征向量.但是由于本文之前采用了线图转化,所以可直接从特征矩阵中取出 (u,v) 对应的特征向量 v h u,v ,从而避免图池化带来的信息损失.最后的分类器根据 v h u,v 输出 (u,v) 的得分,用于判断 (u,v) 对应的链路是否存在. 3.3 特征融合 特征融合模块主要实现原始特征的提取与融合,将网络拓扑信息编码成特征矩阵.主要包括以下流程:子图提取,节点打标和线图转化. 3.3.1 子图提取 对于节点对 (u,v) ,其 h 跳子图 G h u,v 可以表述为:节点 u 和 v 各自 h 跳邻居节点的并集及其所关联的边构成的图.可形式化表示为式(2). G h u,v = Θ G Γ h u ∪ Γ h v (2) 其中, Γ h (x) 表示到节点 x 最短路径长度小于等于 h 的所有节点集合; Θ G V 表示由节点集 V 推导出的 G 的子图.具体流程由算法1所示. 算法1: h -hop子图提取 Input: (u,v) 目标节点对,原网络 G ,跳数 h Output: G h u,v ,以 (u,v) 为中心的 h 跳子图 1) procedure SubgraphExtract( (u,v) ) 2) V←u,v ,使用节点 u 和 v 初始化节点集 3) d←1 ,初始化最短路径长度 4) while d 5) V←∪ i∈V Γ 1 (i)∪V 6) end while 7) for any 节点 i,j∈V do 8) if e i,j ∈G .edges then 9) E←E+ e i,j 10) end if 11) end for 12) G h u,v ←induced (V,E) 13) return G h u,v 14) end procedure 3.3.2 节点打标 在对子图进行特征学习之前,需要为子图中的每个节点赋予一定的属性(原始特征).该原始特征丰富程度和判别能力会对最终的链路预测结果有较大影响.因此本文提出使用更加丰富的节点和链路特征:对于节点,增加了节点的度这一基本属性;对于链路,增加了共同邻居数量和共同邻居的最大度这两个基本属性.上述三种属性可形式化为式(3). D v =size Γ 1 (v) (3) 其中, D v 表示节点 v 的度; Γ 1 (v) 是节点 v 一阶邻居的集合. N u,v =size Γ 1 u ∩ Γ 1 v (4) 其中, N u,v 表示节点对 (u,v) 的共同邻居数量. M u,v = max x∈ Γ 1 (u)∩ Γ 1 (v) D x (5) 其中, M u,v 表示节点对 (u,v) 的共同邻居最大度. 为了描述全局拓扑信息,本文还对子图中所有节点与中心节点的相对位置进行了编码.具体计算如式(6)所示. f l i =1+ min d u , d v + d 2 d 2 +d%2-1 (6) 其中, f l (i) 表示子图中任意节点 i 的标签值; d u 和 d v 分别表示节点 i 到中心节点对 (u,v) 的最短路径长度, d= d u + d v , d 2 和 d%2 表示 d 除以2的商和余数.另外规定: f l (u)=1, f l (v)=1 .对于 d u →∞ 或 d v →∞ 时, f l (i)=0 .至于编码值的大小并无任何含义,所以实际使用时需要将其转化为独热编码(one-hot)向量. 3.3.3 线图转化 图神经网络能够很好地学习节点特征,却很少关注链路特征.所以当前方法 [24,25] 为了学习链路特征,一般是对子图的节点特征矩阵进行池化,这不可避免地导致了信息丢失.另外使用的点边特征相对孤立,无法充分利用图神经网络的优势.为了解决以上问题,本文采用了线图转化的方法. 线图(Line Graph)是表示网络的另一种数学模型,它和原图是等价的,并可相互转化且不会有信息损失.二者的关系是:线图中的节点表示的是原图中的边,若原图中两条边存在公共节点,则对应的线图中节点存在连接.线图转化的过程如图2所示. 由于在线图中节点表示的是原图中的链路,因此通过图神经网络可以直接得到目标链路特征.此外,在转化过程中,原图中的点边特征可以有效融合到线图的节点中.对于原图中的节点信息,本文采用了一种固定模式进行拼接,避免因拼接顺序的不同而导致的差异,方法如下式所示. v l u,v = min v o u , v o v || max v o u , v o v (7) 其中, v l u,v 表示转换过后线图中节点特征向量; v o u 和 v o v 表示原图中的节点特征向量,由节点的相应位置编码 f l (v) 和节点的度 D v 组成;‖表示连接操作;min和max采用的是逐位比较的方式. 原图的链路信息,可以直接作为线图的节点信息.最终结果如下所示. v u,v = v l u,v || e o u,v (8) 其中, e o u,v 是原图 (u,v) 的链路特征向量,由 N u,v 和 M u,v 标准化后合并而成.通过线图转化,原图中节点特征和链路特征融合成线图中的节点特征 v u,v ,其蕴含的信息更加丰富且更具判别力. 3.4 特征学习 本文利用图注意力网络 [13] 进行特征学习,如图3所示.由于进行了线图转化,所以并未使用图池化层.另外现有方法大多忽视了周围节点的相对重要性,从而在节点特征学习时损失了部分信息,GAT使用掩盖注意力机制(Masked Attention)自动学习这种权重 α . 模型的初始输入是线图所有融合后节点特征矩阵 v ,输出为 v ′. v= v 1 , v 2 ,…, v N , v i ∈ 瘙綆 F (9) 其中, v i 表示融合后的线图特征; N 为线图中节点数; F 为节点的特征维度大小. v′= v 1 ′, v 2 ′,…, v N ′ , v i ′∈ 瘙綆 F′ (10) 其中, v i ′ 为模型输出的特征; F ′为输出后的特征维度大小. α ij = exp σ a T W v i ‖W v j ∑ k∈ N i exp σ a T W v i ‖W v k (11) 其中,矩阵 W∈ 瘙綆 F× F ′ ;向量 a T ∈ 瘙綆 2F′ 为可学习的参数; N i 为节点 i 的一阶邻居集合(包括节点 i );‖表示连接操作; σ 代表LeakyReLU激活函数,坡度系数取0.2.最后进行softmax操作得到 j 相对于 i 的权重. v ′ i = | K k=1 σ ∑ j∈ N i α k ij W k v j (12) 利用式(11)得到标准化的权重,将节点的一阶邻居节点特征进行加权连接,得到单层网络的输出,为了使注意力学习更加稳定,采用了多头注意力, K 代表了head的大小. v ′ i =σ 1 K ∑ K k=1 ∑ j∈ N i α k ij W k v j (13) 式(13)将式(12)的连接操作改为了求和平均操作,主要考虑用于最后一层时,连接操作缺乏可解释性,改为求和操作. 对于最后的分类模块,本文采用了两层MLP作为分类器,输出维度分别为128和2.使用交叉熵(Cross-Entropy)作为二分类的损失函数. 4 实验与分析 4.1 数据集和基准方法 本文选取了7个现实世界中不同领域的真实网络拓扑作为实验数据集,对所提出的模型AFF进行验证.这些数据集包括: Celegans [26] , USAir [27] , SMG, EML, Power [26] , Yeast [28] 和GRQ [29] .拓扑信息见表1,具体表示含义如下. (1) Celegans 线虫的神经网络,节点代表神经元,链路表示神经元间的神经连接. (2) USAir美国航空网络,节点代表航空公司,链路表示航空公司之间的航线 (3) EML 邮件共享网络,节点代表用户,链路表示用户间存在邮件共享. (4) Power 美国西部电力网络,节点代表发电站,链路表示电站间电路连接. (5) Yeast 蛋白质间交互网络,节点代表蛋白质,链路代表蛋白质间存在交互. (6) GRQ SMG 若干领域学者合著网络,节点代表学者,链路表示存在合著关系. 使用以上数据集,将本文所提出的模型和五个基准方法进行实验对比.主要包括三种基于规则的方法CommonNeighbor(CN), SimRank(SR), rootedPageRank(PR)以及两种基于深度学习的方法SEAL和LGLP. (1) CN [14] 一种链路预测的经典方法,将两个目标节点的共同邻居数量作为链路存在性的评分,得分最高的节点对作为链路预测的结果. (2) SR [19] 一种通过节点邻居相似性衡量相应节点相似性的方法,将节点间的相似性得分作为链路存在性指标. (3) PR [20] 起初是一种网页重要性排序的算法,通过计算节点随机游走的静态分布,得出所有节点对的PR值,取值最高的节点对作为链路预测的结果. (4) SEAL [10] 基于图分类的链路预测方法,通过抽取目标链路的周围子图,使用深度图卷积神经网络进行子图分类,预测链路存在性. (5) LGLP [11] 基于节点分类的链路预测方法,将目标链路周围子图转化为线图,经过图神经网络处理后,使用节点特征预测链路存在性. 本文主要采用曲线下面积(AUC)和平均准确率(AP)作为方法性能评价指标.其中AUC是真正例率-假正例率曲线面积,AP则是查准率-查全率曲线面积. 二者都是越接近1说明分类性能越好. 4.2 超参数设置 所有对比的基准方法在上述数据集上被调整至最优,SR的重要性系数为0.9,最大迭代次数为1000,公差为0.000 1.PR的衰减系数为0.85. 对于SEAL方法,采取与原论文中一致的超参数设置.抽取目标链路的2-hop封闭子图,4层图卷积层用来计算节点嵌入表示,通道大小分别为32,32,32和1.排序池化层用于为封闭子图生成固定尺寸的特征向量,排序比例设置为0.6. 两个一维卷积层的输出通道数分别为16和32.一个128个神经元的全连接层用作分类器预测链路存在性.训练50轮次取最好的轮次作为最终结果. 对于LGLP方法同样采用和原文一致的超参数设置,4个GCNConv层,通道大小分别为32,32,32和1.从图卷积层输出的子图嵌入表示中取出对应的节点嵌入作为下一模块的输入.两个全连 接层用作分类器,输出通道分别为128和2.学习率设置为0.005,批次大小为32,最大训练轮次为15. 4.3 链路预测性能验证 为了验证所提方法的性能,本文随机抽取80%的存在边作为训练正例,余下的20%作为测试正例.然后随机抽取相同数量的不存在边作为负例,按照8∶2的比例划分训练集和测试集.总共进行10次随机实验,AUC平均值和标准差如表2所示,AP平均值和标准差如表3所示. 上述结果表明,各种链路预测方法在不同数据集上的分类性能差别很大,对于网络结构稠密(链路节点比值较大)的数据集,其链路预测的性能普遍高于网络结构稀疏的数据集.不同方法之间也存在较大差异,基于深度学习的方法明显优于启发式方法,这是由于后者都是人工设计,无法处理所有的情况,具有很大局限性,而前者通过图神经网络自动学习链路分布规律.值得注意的是,本文所提出的方法比所有基准方法性能表现更好,即使对比SEAL和LGLP这种最新方法,AFF依然展现了更优的性能. 为了进一步验证所提方法在数据集受限时的性能,本文在训练集和测试集划分比例为 1∶1 时,重新进行了上述实验,结果如表4和表5所示.可以看出本文的方法还是优于其余五种基准方法.相较80%的情况,AUC和AP两个性能指标并未下降过多,说明在样本受限的场景中,本文的方法依然表现出良好的性能. 4.4 链路预测有效性验证 为了验证模型的有效性,对训练集比例依次为40%,50%,60%,70%和80%进行实验,每种划分比例下,测试集的部分要进行链路掩盖,相当于考虑原网络不同残缺情况对方法性能的影响.每种比例进行10次重复实验,实验结果如图4和图5所示.纵坐标为AUC或AP的平均值,横坐标为训练集比例.其中,AFF使用实线表示,其余对比方法使用不同线型的虚线表示. 实验结果表明,在AUC和AP两种评价指标下,无论采用哪种划分比例,AFF的链路预测性能均优于其他基准方法.同时发现:随着训练比例上升,所有方法的性能均有提升.但是对比三种启发式的方法,AFF明显更加稳定,在训练比例为40%的时候已经达到较优性能,说明本文所提出的方法在原有网络残缺程度较大时,仍能学习到有用信息. 4.5 消融实验 为了验证本文所增加的节点和链路特征是否增强了神经网络判别性,进而提高链路预测的性能,本文将AFF的图注意力网络替换成LGLP的图卷积网络,形成了一个新方法,本文称之为 F 1 .同时为了验证本文提出使用图注意力网络能够考虑不同节点的重要性,从而学习到更具结构化的特征,本文将LGLP的图卷积层替换为本文中采用的图注意力层,形成方法 F 2 .对两种新方法进行实验,结果如图6所示. 从图6可以看出, F 1 和 F 2 方法均优于LGLP方法,说明本文所提出的两项改进是有效的,所增加的节点和链路特征可增强网络的判别性,图注意力网络学到了一定结构化特征.同时 F 1 方法优于 F 2 方法,说明丰富输入的原始特征,对性能提升的贡献更大. 5 结 论 本文提出了一种新型的链路预测方法,针对现有方法存在的输入特征单一和忽视节点相对重要程度的问题,提出增加节点和链路基础属性,并利用线图转化进行特征融合,形成信息更加丰富且更具判别力的特征.同时利用图注意力网络灵活学习节点权重.实验结果表明,本文所提出的方法在7个不同领域的数据集上,预测性能均优于现有方法.在网络缺失比例较大时仍有很好的性能表现.但是当前仍然面临数据集正例过少的现象,如何更好解决数据不均衡问题将是下一步的研究方向. 参考文献: [1] Newman M E. Communities, modules and large-scale structure in networks[J]. Nat Phys, 2012, 8: 25. [2] Huisman M. Imputation of missing network data: Some simple procedures[J]. J Soc Struct, 2009, 10: 1. [3] Martínez V, Berzal F, Cubero J C. A survey of link prediction in complex networks[J]. ACM Comput Surv, 2016, 49: 1. [4] Ghasemi S, Zarei A. Improving link prediction in social networks using local and global features: a clustering-based approach [J]. Progr Artif Intel, 2022, 11: 79. [5] Zhou C, Liu Y, Liu X, et al . Scalable graph embedding for asymmetric proximity [C]//Proceedings of the 31th AAAI Conference on Artificial Intelligence. San Francisco: AAAI, 2017: 2942. [6] Talasu N, Jonnalagadda A, Pillai S S A, et al . A link prediction based approach for recommendation systems [C]//Proceedings of the 2017 International Conference on Advances in Computing, Communications and Informatics (ICACCI). Udupi:IEEE,2017: 2059. [7] Wang H, Zhang F, Zhang M, et al . Knowledge-aware graph neural networks with label smoothness regularization for recommender systems[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York: ACM, 2019: 968. [8] Nickel M, Murphy K, Tresp V, et al . A review of relational machine learning for knowledge graphs[J]. Proc IEEE, 2015, 104: 11. [9] Oyetunde T, Zhang M, Chen Y, et al . BoostGAPFILL: improving the fidelity of metabolic network reconstructions through integrated constraint and pattern-based methods[J]. Bioinformatics, 2017, 33: 608. [10] Zhang M, Chen Y. Link prediction based on graph neural networks[J]. Adv Neural Inf Process Sys, 2018, 31: 5171. [11] Zhang M, Cui Z, Neumann M, et al . An end-to-end deep learning architecture for graph classification [C]//Proceedings of the 32th AAAI Conference on Artificial Intelligence.New Orleans:AAAI, 2018: 4438. [12] Cai L, Li J, Wang J, et al . Line graph neural networks for link prediction [J]. IEEE T Pattern Anal, 2021, 44: 5103. [13] Veli kovi P, Cucurull G, Casanova A, et al . Graph attention networks [J]. Stat, 2017, 1050: 10.48550. [14] Newman M E. Clustering and preferential attachment in growing networks [J]. Phys Rev E, 2001, 64: 025102. [15] Barabási A L, Albert R. Emergence of scaling in random networks [J]. Science, 1999, 286: 509. [16] Adamic L A, Adar E. Friends and neighbors on the web [J]. Soc Netw, 2003, 25: 211. [17] Zhou T, Lü L, Zhang Y C. Predicting missing links via local information [J]. Eur Phys J B, 2009, 71: 623. [18] Katz L. A new status index derived from sociometric analysis [J]. Psychometrika, 1953, 18: 39. [19] Jeh G, Widom J. Simrank: a measure of structural-context similarity [C]//Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Edmonton:ACM,2002: 538. [20] Brin S, Page L. Reprint of: the anatomy of a large-scale hypertextual web search engine[J]. Comput Netw, 2012, 56: 3825. [21] Perozzi B, Al-Rfou R, Skiena S. Deepwalk: online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2014: 701. [22] Tang J, Qu M, Wang M, et al . Line: large-scale information network embedding[C]// Proceedings of the 24th International Conference on World Wide Web.Florence: ACM, 2015: 1067. [23] Grover A, Leskovec J. node2vec: Scalable feature learning for networks [C]//Proceedings of the 22 th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.San Francisco:ACM, 2016: 855. [24] Liu Z, Lai D, Li C, et al . Feature fusion based subgraph classification for link prediction[C]// Proceedings of the 29th ACM International Conference on Information & Knowledge Management.Ireland: ACM, 2020: 985. [25] Lai D, Liu Z, Huang J, et al . Attention based subgraph classification for link prediction by network re-weighting [C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management.Queensland:ACM, 2021: 3171. [26] Martínez V, Berzal F, Cubero J C. Adaptive degree penalization for link prediction[J]. J Comput Sci-Neth, 2016, 13: 1. [27] Rossi R, Ahmed N. The network data repository with interactive graph analytics and visualization[C]//Proceedings of the 29th AAAI Conference on Artificial Intelligence. Austin: AAAI, 2015. [28] Von Mering C, Krause R, Snel B, et al . Comparative assessment of large-scale data sets of protein-protein interactions [J]. Nature, 2002, 417: 399. [29] Newman M E. Finding community structure in networks using the eigenvectors of matrices [J]. Phys Rev E, 2006, 74: 036104.