基于症状权重自适应调整机制的医学领域问答技术研究

摘 要：在线医学智能问答系统技术挑战主要在于症状语义理解和用户描述表示。本文提出了症状权重自适应调整机制的注意力模型（SFA）。使得注意力權重可以根据历史病例库的更新而自适应调整，集成了本文提出的问答模型的医学领域的问答系统性能也得到了显著的提升。

关键词：问答系统;注意力机制;权重自适应调整机制

DOI：10.16640/j.cnki.37-1222/t.2019.04.202

1 引言

调查显示，35%的人表示在去看临床医生之前他们会选择上网来试图找出他们或他人可能拥有的医疗状况[1]。可见社区问答系统为患者和医生提供了一个便利的方式去交流。然而，与搜索引擎相比，尽管传统的社区问答能够为用户提供专业简洁的远程医疗问诊服务，但是由于平台上的医生大多利用业余时间参与问诊工作，无法进行实时回复。因此一个实时且高质量的医学领域智能问答系统对于用户来说是必要的。

2 相关工作

随着自然语言技术与深度学习的快速发展，对QA的研究已经变得活跃而富有成效。智能问答系统作为一种便利的交互方式替代了人工已经被应用到各大领域，例如IBM研发的智能认知系统Watson帮助一位在日本东京大学医学院治疗的60岁女性患者诊断出了罕见的白血病类型。商业的QA产品例如 Google Assistant， Apple Siri， Amazon Alexa， Facebook M， Microso Cortana， Xiaobing in Chinese， Rinna in Japanese， and MedWhat 已经在过去几年中发布[2]。

在QA系统中，关键步骤是如何表示和理解自然语言查询[3]。 本文将针对词汇差距和句子向量化代表的问题展开深入探讨。主要有以下两个方面的研究。（1）将基于中文词林的近义词主词替换的机制应用于核心词和相应主词之间的映射。（2）对目前最先进的注意力机制进行优化。采用自适应权重分配技术，增强对疾病典型症状的关注，构建基于症状频率的注意力模型。

3 模型描述

3.1 基于核心词-普通词替换的语义归一化

大多数以前的研究采用单词或单词嵌入（如word2vec）作为模型的输入。 这些模型可以被视为“字级”语义模型。 然而，单词级模型可能会导致语义损失，因为当这些单词组合为短语时，某些单词具有不同的含义。为了解决“字级”无法全面理解语义的缺陷，研究者将语义模型扩展到“短语级”。在这项研究中，我们以“短语级”语义模型为基础，结合汉语语言特性，利用word2vec和语义词林相结合的方法提出语义归一化表示方法（领域核心词和领域一般词汇）。具体来说，我们将问答对中的所有词按照语义进行分组划分，并在每一组中选取一个核心词，其余词为普通词，提出核心词与普通词之间的语义映射机制，并用此语义映射机制将所有问答中的普通词替换为语义核心词，实现了语义表示的归一化。同时，利用该机制建立了疾病和症状的模型，并确立疾病与症状之间的对应关系。

3.2 模型构建

我们所提出的医学领域的智能问答系统（CQA），可以看作为（在线描述）-（历史描述）-（历史诊断）三元组的形式，分别表示用户通过系统进行的症状描述或提问，历史病例中的用户描述以及相应的来自医生的诊断结果。框架分为两个阶段，第一阶段利用传统的注意力机制生成初始的新描述代表（rnd）、历史病例描述代表（rhd）以及历史病例诊断结果（rha）代表。第二阶段利用我们提出的SFA生成最终的代表，分别为rnd， rhd， rha。为了有一个更好的比较，我们将基于传统的注意力机制用来生成rhd。由于问答系统要求对用户的提问做出快速的反应，在保证效果的前提下，线上程序中尽可能使用相对快捷的算法。因此我们采用LSTM模型对用户提交的新的症状描述句子建模，将训练好的词嵌入作为输入，并且生成隐含层的向量。

3.3 基于历史病例的症状权重列表生成策略

在本小节中，我们将详细介绍SFA模型。同时我们将说明提出的CQA系统的线下程序以及系统的问答匹配机制。

我们开发的CQA系统主要目的是对用户提出的疾病症状描述做出准确快速的诊断回答或诊断建议。我们提出了一个基于（在线描述）-（历史描述）的两阶段匹配策略。

具体来说，第一阶段为线下程序：（1）利用传统的注意力机制得到历史用户描述和相应的诊断答案的句子代表rhd，rha。其中rhd的注意力只关注症状名称和疾病名称，而rha的注意力只关注疾病名称。（2）计算相似度，将具有相同rha的历史病例分为一组。（3）统计并生成各组的症状单词列表。（4）定位症状单词在历史描述句中的位置。（5）运用我们提出的位置感知影响的传播策略来传播症状单词对其他单词的影响（利用所在疾病组的症状列表）。（6）通过传播影响生成每一个单词的基于位置感知影响的向量。（7）将这些基于位置感知影响的向量与传统的注意力机制相结合得到最终的历史描述代表rhd。

第二阶段为线上程序：（1）利用与rhd相同的注意力机制得到用户提交的在线描述句子代表rnd。（2）计算rnd与rhd的相似度，从匹配分数最高的疾病分组中获得SFA。（3）利用与rhd相同的SFA机制得到最终的在线句子代表rnd。（4）计算rnd与匹配组中各rhd的相似度，分数最高的rhd所对应的rha即为最佳答案。

有很多的相似度函数可以被利用来测量句子之间的相关性，在这项研究中我们利用L1-范数的曼哈顿距离相似度函数 （见公式1）， 它比其他替代方法（如余弦相似性）略胜一筹。

4 结论

在这篇论文中，我们提出了一个基于症状权重自适应调整机制的注意力模型，该模型将症状单词的位置上下文包含在用户描述的注意力表示中;同时，通过将近义词映射为主词的近义词主词替换机制有效的为词汇差距建立了桥梁。集成了本文提出的问答模型的医学领域的问答系统性能也得到了显著的提升。证明我们提出的SFA机制具有更高的性能比起那些传统的注意力机制。在未来的研究中，我们想要在不同的任务中评估我们的模型并且试着去改善我们的模型。

参考文献：

[1]Abacha A B，Zweigenbaum P.MEANS：A medical question-answering system combining NLP techniques and semantic Web technologies[J].Information Processing & Management，2015， 51（05）：570-594.

[2]Li H，Min M R，Ge Y，et al.A Context-aware Attention Network for Interactive Question Answering[J].2016.

[3]Yin J，Zhao W X，Li X M.Type-Aware Question Answering over Knowledge Base with Attention-Based Tree-Structured Neural Networks[J].Journal of Computer Science and Technology，2017，32（04）：805-813.

作者简介：毕铭文（1994-），男，山东威海人，硕士研究生，主要研究方向：自然语言处理、人工智能。