融合BiLSTM的双图神经网络文本分类模型

宋婷婷 吴赛君 裴颂文

摘要：采用图神经网络模型为整个语料库构建异构图处理文本分类任务时，存在难以泛化到新样本和词序信息缺失的问题。针对上述问题，提出了一种融合双图特征和上下文语义信息的文本分类模型。首先，为每个文本独立构建共现图和句法依存图，从而实现对新样本的归纳式学习，从双图角度捕获文本特征，解决忽略单词间依存关系的问题；其次，利用双向长短期记忆网络（ bi-directional long short-term memory，BiLSTM）编码文本，解决忽略词序特征和难以捕捉上下文语义信息的问题；最后，融合双图特征，增强图神经网络模型的分类性能。在MR，Ohsumed，R8．R52数据集上的实验结果表明，相较于经典的文本分类模型，该模型能够提取更丰富的文本特征，在准确率上平均提高了2.17%，5.38%，0.61%，2.48%。

关键词：文本分类；图神经网络；双向长短期记忆网络；句法依存图；共现图

中图分类号：TP 391

文献标志码：A

文本分类是自然语言处理的重要内容，旨在将无标签的文本分类到预先定义的类别中，被广泛应用于情感分析、意图识别等领域。传统的文本分类方法使用词袋模型、词频一逆文档频率指数表示文本，忽略了单词间的语义联系，同时存在数据稀疏的问题。随着深度学习的发展，神经网络被广泛应用于文本分类中，如卷积神经网络（ CNN）、循环神经网络（RNN）、长短期记忆网络（ ISTM）等。CNN和RNN能够捕捉文本局部信息，但由于模型的局部性和序列性特点，难以有效地捕捉非连续和远距离语义信息。进而衍生出一些变体如双向长短期记忆网络（ BiLSTM）、DPCNN模型[1]、双通道RNN模型[2]等。Devlin等[3]在2018年提出双向模型BERT，其核心组成是Transformer编码器[4]。BERT采用多任务预训练技术在大型语料库上训练。上述模型在文本分类中表现良好，但无法对单词的全局共现关系建模。

图神经网络技术在图结构数据上具有强大的处理能力，吸引众多研究者将其应用于文本分类[5]。2019年Yao等[6]根据词共现关系和单词文本关系为整个语料库构建一张异构图，之后使用图卷积神经网络（ graph convolutional network．GCN）[7]提取图特征。为了丰富图信息，Hu等[8]在构图时引入主题节点，Xin等[9]引入了标签信息。2020年Liu等㈠提出构建词共现图、语义图、句法图，从多个角度捕捉文本信息。但以上研究是转导式学习，构图时使用了測试样本。当有新样本加入时，就要重新构建图和训练模型，这会浪费时间且不适用于现实情况[11]。因此，归纳式文本分类模型不断涌现，其能够解决上述图神经网络存在的问题。InducT-GCN文本分类模型[12]基于训练样本构建图，在测试样本上执行一维图卷积。一些学者提出为每个文本构建图。例如：Huang等[13]使用边共享矩阵捕捉全局信息，采用消息传递机制捕获文本特征；Zhang等[14]提出为每个文本构建单词共现图，并使用门控图神经网络（gatedgraph neural networks，GGNN）[15]传播信息。上述模型仅使用词共现信息构建文本图，未考虑语义等其他类型信息。Li等[16]提出一种使用语义图和句法图的方法，用于方面级情感分析。Dai等[11]使用共现信息和预训练词嵌入构建4种不同类型的文本图，在不重构整个文本图的情况下，学习系统也能够对新文本进行推理。为弥补单图信息不足的缺陷，本文探索多种构图方式，从多维度捕获文本特征，提升文本分类的性能。同时图神经网络文本分类模型仅关注文本的同交互，忽略了文本的词序信息[14，17]，不能充分捕捉上下文语义特征。针对上述问题，本文提出了融合BiLSTM的双图神经网络（dual graph neural networks withBiLSTM，简称DGNN-B）模型，通过结合不同的语义信息实现归纳式文本分类。

本文通过DGNN-B模型为每个文本独立构图，将文本分类问题转换为图分类问题，实现了对新文本的归纳式学习。针对模型获取信息不足的问题，为文本构建共现图、句法依存图，从双图角度提取文本特征[18]。引入双向长短期记忆网络（ BiLSTM）提高模型捕捉上下文语义信息的能力。在4个基准数据集上的实验结果表明，所提方法优于经典模型，在文本分类任务中具有较高的分类精度。

1 DGNN-B文本分类模型

针对为整个语料库构建异构图的文本分类模型无法轻易泛化到新样本的问题，本文提出了DGNN-B模型，模型架构如

所示。通过DGNN-B模型为每个文本构建词图，可以对新文本进行归纳式分类，无需从头训练。为丰富构图质量，基于单词共现和依存关系构建文本图，充分捕捉共现信息和句法依赖特征，提高文本分类性能。本文模型还利用BiLSTM捕捉文本的词序信息。

DGNN-B模型的关键部分是：构建文本图、嵌入层、BiLSTM深层特征提取模块、图特征提取模块、融合分类层。

1.1 构建文本图

本文为每个文本独立构建共现图和句法依存图，专注于文本自身结构，当有新样本加入时，模型不需要重新训练，同时有效地利用了文本的多维度语义信息。现介绍如何基于单词间的关系将文本构建成图结构。拥有n个单词的文本T={W1，…，wi，…，wn}，wi是文本中的第f个单词。通过嵌入层，使用预训练的Glove词向量将单词映射为d维向量。对于文本丁，以单词为节点，单词间的关系为边，为其构建文本图Gt- （Vt，Et），Vt，Et为文本图的节点集和边集。文本图的特征矩阵墨∈Rntd，第f个节点的向量表示记作Xi∈L：～d，nt是文本图Gt的节点数，nt= |vt|。文本图的邻接矩阵At∈Rntnt。本文为每个文本构建2种不同类型的图：共现图和句法依存图。现介绍这2种文本图的构建过程。

1.1.1 共现图

单词共现关系描述单词局部共现的语言特征，被多位学者用于文本构图，是一种经典的构图方法。共现图Gi=（V1，E1），将文本中的单词视作节点，单词之间的共现关系视作边。使用固定尺寸的窗口在文本序列上從左至右滑动，在同一窗口内出现的单词存在共现关系，如图2所示。

局部滑动窗口可以在图构建期间有效地捕捉词与词的局部共现特征。共现图构建完成后，本文使用GGNN网络传播和融合词特征。

1.1.2 句法依存图

基于共现关系构建的文本图可以捕捉局部关联，但缺乏丰富的语义信息。通过对文本构建句法依存图，从双图角度提取文本特征。依存分析[19-20]深入理解句子内部结构，分析句子成分，提取单词间的依存关系如主谓关系、定状关系等，帮助理解文本语言结构和含义。首先，对于语料库中的文本，使用StanfordNLP工具包[21]提取单词间的依赖关系。对于给定的文本通过解析器得到的分析结果如图3所示。虽然提取的依赖关系是定向的，但本文将其视作无向关系，以便后续文本图的构建和特征提取。对于一个文本，其依存关系解析结果为：表示文本中单词wi和wjra-]的依存关系。依存关系提取完成之后，以词为节点、依存关系为边，构建句法依存图，记作G2= （V2，E2），其中，E2={eij rij∈DP}，eij为单词wi和wj之间的边。由此构建的句法依存图包含丰富的语义和句法特征。

将每个文本转换为独立图结构进行文本分类时，模型遇到新样本不需要从头训练，能够对文本进行归纳式学习。与构建单一文本图相比，构建2种不同类型的文本图，可以捕捉到更加丰富的特征，在图上进行信息传播和卷积操作时，可以从2个方面提取特征，相互补充。

1.2 BiLSTM深层特征提取模块

将文本构建成图结构，聚合邻居可以有效地捕捉远距离词节点，但忽略了文本的词序信息。因此，利用BiLSTM捕捉文本的双向上下文语义信息并保留文本的词序特征。

通过BiLSTM对文本序列进行双向编码表示，然后利用GCN网络进一步优化。不同于共现图使用Glove词向量技术初始化节点的嵌入表示，句法依存图通过BiLSTM捕捉上下文信息，提取更深层次的文本特征。一方面，文本是一种非欧几里德结构的数据，BiLSTM可以保留文本的位置信息，捕获文本的词序特征；另一方面，BiLSTM的双向机制通过充分考虑上下文，保证每个单词获得丰富的语义信息。

1.3 图特征提取模块

为了捕获单词之间的依赖关系，采用图卷积神经网络提取句法依存图特征。GCN可以出色地捕捉节点间关系，被广泛应用于自然语言处理。聚合邻居时为了选择重要的节点信息、遗忘不重要的信息，并捕捉较远距离的节点，使用门控图神经网络提取共现图的特征。该网络采用门控循环单元选择性地聚合或丢失邻居信息，从而增强了网络的长期记忆能力。

对于构建的句法依存图，其邻接矩阵记为A2，BiLSTM捕捉到的节点表示作为句法依存图的特征矩阵。在图上使用经典的GCN，具体的卷积过程见文献[7]。不同的数据集设置相应的卷积层数，最终得到句法依存图的嵌入表示，记为日d。∈Rn2d2，d2为句法依存图嵌入表示的维度。

在构建的共现图上，使用GGNN网络更新节点特征。在消息传递过程中，一个节点接受来自邻域节点的信息后，与上一时间点的表示融合起来，更新节点自身的隐藏表示。GGNN具有长期记忆的能力，并且不再需要通过约束参数的方式来确保模型的收敛。在t时刻模型的传播过程如下：

设置HO=X1，X1为共现图的初始化嵌入矩阵。最终共现图的嵌入表示记作He。∈RnIdi，di为共现图嵌入表示的维度。

1.4 融合分类层

词节点信息被传播后，聚合生成图表示。然后通过拼接操作融合共现图和句法依存图的图表示，从双图角度提取文本特征。

首先，使用软注意力、最大池化及平均池化聚合句法依存图、共现图的节点生成图级表示为

式（6）阐述了采用软注意力机制衡量节点Hv，co对当前文本的重要性。在计算文本特征时，使用加权平均词特征，而不是简单的平均词特征，能够关注对文本重要的单词，学习更精准的文本表示。此外使用最大池化操作能够捕捉到节点集的不同方面。最终得到共现图的图表示HG-co。同理，可求得句法依存图的图表示HG-dp。

其次，采用拼接方式融合双图文本特征，文本的最终表示为

HG= HG-co||HG_dp

（10）

最后，通过全连接层和softmax函数对文本表示HG进行分类。损失函数用于量化模型预测标签和真实标签之间的差异[22]。本文使用交叉熵函数作为损失函数。通过反向传播算法对模型进行训练以最小化损失函数。式中：WG，bG为权重和偏差；y为预测的标签；gi为第i个文本真实标签的one-hot表示；L为交叉熵损失。

2 实验结果和分析

为了验证上述模型的有效性，在4个基准数据集上评估DGNN-B模型，并通过消融实验验证各模块对文本分类的作用。

2.1 数据集

为了保持一致性，本研究所使用的数据集包括MR，Ohsumed，R8，R52[6]。MR是典型的情感二分类任务，将电影评论分为积极或消极；Ohsumed选自MEDLINE数据库，本文仅关注单标签文本分类，因此，只使用其中7400篇摘要，进行23种疾病分类；R8和R52是Reuters数据集的子集，分别有8个类别和52个类别。数据集的信息如表1所示。

2.2 基准方法

为了评估本文模型的有效性，选取多个经典文本分类模型与本文模型进行对比分析。基于开源代码重现TextING的实验结果，其他模型的结果取自文献[6，10，11，13]。现介绍本文选取的经典文本分类模型。

a．CNN：在文本序列上执行卷积操作和最大池化操作，得到文本的嵌入表示。

b．BiLSTM：由前向LSTM与后向LSTM组合而成。

c．TextGCN：将文档和单词作为节点，构建一张异构图，利用图卷积网络捕捉文本特征[6]。

d．TensorGCN：提出张量图卷积网络，构建基于语义的图、基于句法的图和基于序列的图。使用图内传播、图间传播策略协调和整合多个图的异构信息[10]。

e．Text-Ievel：为文本独立构建图，图中参数取自全局共享矩阵，使用消息传递机制学习文本的图表示[13]。

f．TextNG：提出基于GGNN的文本分类模型，为每个文本构建单词共现图，实现新单词的归纳学习[14]。

g．GFN：提出4种不同文本图的构建方式，然后利用多头融合模块集成文本表示[11]。

2.3 实验参数

针对上述提及的数据集，以9：1的比例将训练集划分为真实的训练数据和验证数据。实验中，通过Glove初始化词向量时，将嵌入维度设置为300。BiLSTM的嵌入维度设置为100。采用Adam优化器，学习率设置为0.01。为防止过拟合，将随机激活dropout方法的节点保留率设置为0.5。

2.4 实验结果和分析

在4个数据集上，对比分析DGNN-B模型与基准模型的分类性能，结果如表2所示。

与传统的CNN和BiLSTM模型相比，本文模型性能显著。实验结果表明，将文本构建成图结构，能较好地挖掘出文本中隐藏的结构信息。依据单词的共现关系建立边，通过共同邻居实现信息传播，可以捕捉远距离词特征。

相较于TextGCN和TensorGCN，本文利用DGNN-B为每个文本独立构图，实现对新样本的归纳式分类。因此，当有新样本加入时，无需重新训练整个模型。DGNN-B在4个数据集上的准确率相较于TextGCN分别提升了2.97%，0.87%，0.63%，1.6%。这是因为TextGCN关注文本的全局特征，忽略了文本中的重要信息如细粒度词交互及上下文语义特征，而DGNN-B为文本独立构图，关注文本自身的结构特征，同时利用BiLSTM学习上下文语义特征，保留了词序信息。在MR数据集上，DGNN-B相较于TextGCN模型性能提高幅度最大。由于MR的文本长度较短，导致TextGCN构建的图密度较低，这限制了文本节点之间的标签信息传递，与之不同的是本文的文本图专注于自身结构，不依赖于这种标签信息传递机制。

与使用单个文本图方法相比，DGNN-B的准确率有所提升。这是因为该模型构建双图，从多角度捕捉文本信息；同时使用BiLSTM捕捉文本的双向上下文语义信息，弥补图神经网络忽略文本词序特征的不足。实验结果表明，双图特征和语义特征对文本分类具有重要作用，这与GFN[11]的研究一致。相较于GFN，DGNN-B缺少了对全局特征的捕捉，但亦取得了不错的性能。综合上述分析，相較于其他模型，DGNN-B模型在文本分类中具有优越性。

2.5 消融实验

现通过消融实验验证双图机制和BiLSTM对文本分类的有效性。DGNN-B以及移除不同组件的准确率如表3所示。

a．CoGraph：基于共现图的文本分类模型。

b．DpGraph：基于句法依存图的文本分类模型。

c．BiLSTM（w/o）：融合共现图和句法依存图的文本分类模型。

d．CoGraph（w/o）：融合句法依存图和BiLSTM的文本分类模型。

e．DpGraph（w/o）：融合共现图和BiLSTM的文本分类模型。

为了验证双图机制在多个维度上捕捉文本信息的能力，构建了单图模型CoGraph，DpGraph，CoGraph（w/o），DpGraph（w/o）和双图神经网络融合模型BiLSTM（w/o），DGNN-B。如表3所示，双图模型在文本分类任务上优于各自的基础模型。DGNN-B模型与单图模型CoGraph（w/o），DpGraph（w/o）相比，在4个数据集上的准确率平均提高了0.27%，3.02%，0.22%．0.43%。实验结果表明，共现图特征和句法依存图特征相互补充，丰富文本信息。

如表3所示，移除共现图模块或句法依存图模块时，DGNN-B模型的性能不同。根据数据分析得出结论，2个模块在不同的数据集上扮演的角色不同。共现图模块在Ohsumed．R52数据集上表现优于句法依存图模块，而在MR，R8数据集上相反。因为，MR数据集文本长度较短且句式简单、句法结构明显，句法依存图可以有效地捕捉文本句法特征。Ohsumed文本较长，通过单词共现图可以将不同句子的单词通过共同邻居连接，使用GGNN网络可以捕捉跨句上下文概念，获得更加丰富的表示。CoGraph（w/o）模型在Ohsumed数据集上的性能与其他模型差异较大。通过实验验证，CoGraph（w/o）模型表现不佳的原因与其使用的图特征提取器GCN有关。因此，可以进一步从可解释性方面探索该模型。

为了验证BiLSTM对文本词序信息的学习能力，对比移除BiLSTM的模型CoGraph，DpGraph，BiLSTM（w/o）与未移除BiLSTM的模型DpGraph（w/o），CoGraph（w/o），DGNN-B。如表3所示，使用BiLSTM模型在文本分类任务上优于各自的基础模型。与BiLSTM（w/o）模型相比，DGNN-B在MR．Ohsumed．R8，R52数据集上的准确率分别提升0.51%．0.29%，0.29%．0.15%。因为，文本理解的关键是语义表示，在一定“作用域”中的词语对表达同一主题具有一定的共性，BiLSTM可以有效地捕捉文本词序和双向上下文信息。MR数据集是一种典型的短文本情感数据集，文本词序不同，表达的含义就会相差甚远，从而影响文本情感分析的准确度。Ohsumed，R8，R52的文本较长，BiLSTM可以有效地捕捉双向上下文语义。实验结果表明，通过BiLSTM使得DGNN-B模型更好地保留文本词序，捕捉上下文语义信息。

除了将准确率作为评价指标之外，在MR，R8数据集上进一步将精确率、召回率、调和平均值作为衡量模型优劣的评价指标。模型的多指标性能对比如网4所示。实验结果表明，DGNN-B模型在多个指标上都取得了较优的效果。在MR数据集上，DGNN-B相较于其他模型，精确率、召回率和调和平均值平均提高了0.5g%，0.56%．0.56%。调和平均值是精确率和召回率的调和平均。调和平均值越高，表示模型的质量越好。DGNN-B的调和平均值相较于其他模型偏大，进一步验证了DGNN-B模型的有效性。

经过分析可知，DGNN-B模型的优势主要表现在以下两个方面：通过构建双图，该模型能够捕获多维度文本信息；利用BiLSTM保留文本词序，提升模型捕捉上下文信息的能力。

2.6 參数分析

在4个数据集上，GGNN层数、GCN层数对模型性能的影响如图5和图6所示。通过堆叠图神经网络层数，模型能够接收高阶邻居的特征信息，进而获得更精确的表示。堆叠层数过多会导致过平滑现象，即不同节点的特征趋于同质化，使得节点难以区分，从而影响模型性能。因此，在4个数据集上，随着层数的增加，模型的准确率呈现先增大而后减小的趋势。由于R8，R52数据集文本分类较为简单，因此，GCN层数设置为1便能较好地捕获文本特征。

滑动窗口的尺寸对模型性能的影响如图7所示。太小的滑动窗口不能反映单词间的联系，太大的滑动窗口导致不必要的节点连接。适当地选择窗口尺寸可以有效地传播局部语义信息。实验结果表明，在MR．Ohsumed，R8，R52数据集上，最优的滑动窗口大小为3，3，7，7。

3 结束语

提出了融合BiLSTM的双图神经网络模型（ DGNN-B）用于文本分类。该模型引入BiLSTM捕捉上下文语义信息并保留文本词序特征。同时为文本构建共现图、句法依存图，有效地利用文本的多维度信息。在4个数据集上的实验结果表明，DGNN-B的性能优于许多先进方法。同时通过消融实验，验证不同的文本图是互补的，以及BiLSTM捕捉的语义信息可以进一步提高模型性能。本文不足之处在于构建的是静态文本图，未来可以探索构建动态文本图，灵活地捕捉文本特征，以及进一步研究在整个语料库上构建文本图并实现归纳式文本分类。

参考文献：

[1] JOffNSON R，ZHANG T.Deep pyramid convolutionalneural networks for text categorization[C]//Proceedings ofthe 55th Annual Meeting of the Association forComputational Linguistics. Vancouver： Association forComputational Linguistics. 2017： 562-570.

[2] XU C，HUANG W R，WANG H W. et al.Modeling localdependence in natural language with multi-channelrecurrent neural networks[C]//Proceedings of the 33rdAAAI Conference on Artificial Intelligence and 3lstInnovative Applications of Artificial IntelligenceConference and Ninth AAAI Symposium on EducationalAdvances in Artificial Intelligence. Honolulu： AAAI Press，2019： 677.

[3] DEVLIN J，CHANG M W. LEE K，et al.BERT： pre-training of deep bidirectional transformers for languageunderstanding[C]//Proceedings of the 2019 Conference ofthe North American Chapter of the Associationfor Computational Linguistics：

Human LanguageTechnologies. Minneapolis： Association for ComputationalLinguistics， 2019： 4171-4186.

[4] VASWANI A，SHAZEER N，PARMAR N，et al.Attentionis all you need[C]//Proceedings of the 3lst IntemationalConference on Neural Information Processing System.Long Beach： Curran Associates Inc.， 2017： 6000-6010.

[5] SI Y H，ZHOU Y C.Deep graph neural networks for textclassification task[C]//Proceedings of the 7th IntemationalConference on Cyber Security and InformationEngineering. Brisbane： Association for ComputingMachinery， 2022： 272-275.

[6] YAO L，MAO C S，LUO Y.Graph convolutional networksfor text classification[C]//Proceedings of the 33rd AAAIConference on Artificial Intelligence. Palo Alto： AAAIPress， 2019： 7370-7377.

[7] KIPF T N， WELLING M. Semi-supervised classificationwith graph convolutional networks[C]//Proceedings of theSth Intemational Conference on Leaming Representations.Toulon： OpenReview. net， 2017： 266-285.

[8] HU L M， YANG T C. SHI C. et al. Heterogeneous graphattention networks for semi-supervised short textclassification[C]//Proceedings of 2019 Conference onEmpirical Methods in Natural Language Processing and the9th Intemational Joint Conference on Natural LanguageProcessing. Hong Kong， China： Association forComputational Linguistics， 2019： 482 1-4830.

[9] XIN Y， XU L L， GUO J L， et al. Label incorporated graphneural networks for text classification[C]//Proceedings ofthe 25th International Conference on Pattem Recognition.Milan： IEEE. 2021： 8892-8898.

[10] LIU X E. YOU X X， ZHANG X. et al. Tensor graphconvolutional networks for text classification[C]//Proceedings of the 34th AAAI Conference on ArtificialIntelligence. Palo Alto， CA： AAAI Press， 2020， 34：8409-8416.

[11] DAI Y， SHOU L J. GONG M， et al. Graph fusion networkfor text classification[J]. Knowledge-Based Systems， 2022，236： 107659.

[12] WANG K Z. HAN S C. POON J. InducT-GCN： Inductivegraph convolutional networks for text classification[C]//Proceedings of 2022 26th International Conference onPattern Recognition. Montreal： IEEE， 2022： 1243-1249.

[13] HUANG L Z， MA D H， LI S J. et al. Text level graphneural network for text classification[C]//Proceedings of2019 Conference on Empirical Methods in NaturalLanguage Processing and the 9th Intemational JointConference on Natural Language Processing. Hong Kong，China： Association for Computational Linguistics， 2019：3444-3450.

[14] ZHANG Y F. YU X L， CUI Z Y， et al. Every documentowns its structure： inductive text classification via graphneural networks[C]//Proceedings of the 58th AnnualMeeting of the Association for Computational Linguistics.Stroudsburg： Association for Computational Linguistics，2020： 334-339.

[15] BECK D. HAFFARI G， COHN T. Graph-to-sequenceleaming using gated graph neural networks[C]//Proceedings of the 56th Annual Meeting of the Associationfor Computational Linguistics. Melbourne： Association forComputational Linguistics， 2018 ： 273-283.

[16] LI R F，CHEN H，FENG F X，et al Dual graphconvolutional networks for aspect-based sentimentanalysis[C]//Proceedings of the 59th Annual Meeting of theAssociation for Computational Linguistics and the llthIntemational Joint Conference on Natural LanguageProcessing. Stroudsburg： ACL， 2021： 63 19-6329

[171 WEI X D，HUANG H，MA L X，et al Recurrent graphneural networks for text classification[C]//Proceedings ofthe IEEE llth International Conference on SoftwareEngineering and Service Science. New York： IEEE. 2020：91-97

[18]閆佳丹，贾彩燕.基于双图神经网络信息融合的文本分类方法[J]计算机科学，2022. 49（8）： 230-236

[19]范国凤，刘璟，姚绍文，等基于语义依存分析的图网络文本分类模型[J].计算机应用研究，2020， 37（12）：3594-3598

[20]邵党国，张潮，黄初升，等.结合ONLSTM-GCN和注意力机制的中文评论分类模型[J]小型微型计算机系统，2021. 42（7）： 1377-1381

[21] QI P，DOZAT T，ZHANG Y H，et al Universaldependency parsing from scratch[C]//Proceedings of theCoNLL 2018 Shared Task： Multilingual Parsing from RawText to Universal Dependencies. Brussels： Association forComputational Linguistics. 2018： 160-170

[22]闫育铭，李峰，罗德名，等.基于深度迁移学习的糖尿病视网膜病变的检测[J].光学仪器，2020. 42（5）： 33-42.

（编辑：石瑛）