浅析智能问答系统及其应用

吕金朋 张艳 张欣

引言

随着互联网的发展，互联网上的信息越来越繁杂，已呈现出爆炸式增长的状态。面对信息洪災，人们越来越难以在网上便捷获取有效信息，获取有效信息的成本也越来越高。过去人们通常根据搜索引擎输入关键词，搜索服务提供商运用检索算法根据相关性从高到低给出相关信息。但随着信息越来越繁杂，传统搜索算法愈来愈显得力不从心，其原因在于传统算法未能获取语言更深层次的语义信息。此外，相似信息太多，甚至包含了很多虚假信息。因此也不断催生着新技术的诞生，尤其是计算语言学的发展和人工智能的进步。

而随着深度学习技术的不断进步，问答系统不仅仅可以获取语言表面上的信息，还可以获取更深层次的语义信息，而这种进步恰好也为问答系统提供了生存的土壤与营养。问答系统所能带来的变革与收益，诸如在取代人工客服、聊天机器人、智能家居等领域的应用，进一步引起了学术界和工业界的广泛关注。当前，问答系统已成为自然语言处理领域研究的一大热点。问答系统的成熟应用会将人类从大量重复性的劳动中释放出来，并且会改变人类社会的生产方式，对人类的社会进步的推动作用是不可估量的。

智能问答系统

定义

智能问答系统是基于大量语料数据，通过数学模型、相关编程语言实现的一个能够和人类进行对话，解决问题的软件系统。

分类

智能问答系统的分类方法有很多种，如图1所示。

如果按照问答系统的任务类型，则大致可分为两种类型：

（1）面向任务型问答系统;

（2）面向非任务型问答系统。

面向任务型问答系统的目的是完成具体的任务，例如查询酒店、订餐等。面向非任务型问答系统的主要目的是和用户进行自由交流，很典型的就是当前流行的聊天机器人。

面向非任务问答系统的运行主要有三种方法：

①基于检索的方法，从事先定义好的数据库中，根据某种规则，选出最合适的答案。优点是通俗易懂，易于解释，但缺点也很明显，非常依赖事先定义的数据库和检索算法，如果数据质量不高，那么很可能效果就很差。

②基于生成的方法，这是当前研究领域的一个主流热点，它是通过理解用户所提出的问题，来生成适当的回复，典型的生成模型有 seq2seq，transformer 等。它的优点是不依赖定义好的数据库，可以灵活回复，缺点是容易生成一些无意义的回复和重复的回复等。

③基于检索和生成混合的方法，具有结合检索回复较为精确和生成回复较为灵活的优点，可以大大提升问答系统的回复效率和性能，这也是问答系统实际商业应用的主流方法。

处理流程

智能问答系统主要包括三个处理流程：分析问题、检索数据、提取答案。

（1）分析问题

分析问题这一步骤就是处理用户的问题、生成查询关键词、确定问题答案的类型以及问题的语义表示。分析问题又分为分词及词性标注、问题分类、关键词提取及拓展这三步（如图2所示）。

（2）检索数据

检索数据这一步骤就是利用“关键词提取”“关键词拓展”等技术所得到的结果来检索包含答案的数据，主要分为本地答案检索和网络检索模块两方面。

本地答案检索模块主要从自定义问答集和从网络爬取的数据中进行问答和检索，使用基于Word2Vec 的词向量加权模型构建问句向量并计算向量之间的相似度得到问题的相似度;

网络检索模块从多个百科知识库和多个网络搜索引擎中搜寻候选答案，进行信息过滤和最终答案的提取并返回给用户。检索数据的具体流程如图3所示。

（3）答案提取

答案抽取就是从候选答案中抽出最佳答案返回给用户。答案抽取的效果会直接影响返回给用户答案的好坏。

一般的答案抽取流程是：首先对候选文档或段落进行切分并形成候选答案集，然后根据问题类型对候选答案集进一步处理，排除冗余的句子，再通过相似度计算对候选句子进行排序，最后对相似度高的句子再进行重新分析，选取出最佳答案。

智能问答应用举例

智能语音助手

（1）简述

不管是智能手机，抑或是智能手表、音箱、手提电脑等数码产品，搭载语音助手已成为一项必不可少的附带功能。智能越火热，语音助手就越流行，仿佛少了语音控制，一件电子产品就缺失了该有的科技味。无论是被玩坏的Siri还是“高情商”的小爱同学，俨然我们的生活已经无法忽略智能语音助手的存在了（见图4）。

（2）处理流程

智能语音助手功能的实现大概分为以下几个流程：① 语音唤醒;② 语音识别;③ 语义理解;④ 语义意图分析;⑤ 查询相关服务CP/SP;

以一个例子来说明，比如用户说“Hi，siri，天气怎么样？”

a.“Hi siri”，这是一个唤醒词，通过预先采集的唤醒预料来做训练，然后拿用户的语音数据来匹配，看这个语音数据是不是一个唤醒词;

b.用户说了“天气怎么样”，手机上录音后，用音频流数据做语音识别（ASR），得到一个文本内容“天气怎么样”;

c.拿到上一步的“天气怎么样”的文本内容，来做语义理解（NLP）;

d.从语义理解的结果中，解析出来用户的意图是打算查询天气;（该过程可以和上一步一起处理）

e.然后去查找天气相关的服务，得到天气的详情，再把天气返回给用户。

（3）问题与挑战

① 市场碎片化。目前，市场上有多家厂商提供智能语音助手服务，这些厂商与不同的设备厂商达成合作，形成了各自为阵的生态系统。内置智能语音助手的设备商，必须对现存的替代方案开放，并与不同的服务提供商协作，才能提供便于用户使用，尤其是跨平台使用的服务。

② 隐私问题。理想情况下，个人鉴别信息应该安全地存储在用户设备上，并且不会泄露给智能语音助手提供商或者其他服务提供商。但是实际上智能语音助手需要把用户数据上传至云端服务器，经过计算后将结果返回到终端，涉及云端存储隐私保障问题。

③ 语义理解。虽然语音识别技术这两年取得了较大进步，但理解整个对话的环境和上下文语义，是目前绝大部分机器学习或人工智能的瓶頸，机器还很难将词语表达的意思与语境和情绪相结合。

智能问答教学系统

（1）简述

智能问答系统在课程教学中可以发挥重要的作用。在与学生进行问答的过程中，学生会针对自己不懂的内容向教师请教。但实际上，学生提出的大多数问题都是类似的，只是语言的表述形式不同。教师必然没有时间和精力对每个学生提的问题都做详尽的解答。另一方面，教师作为教育教学改革的实践者，在“互联网+教育”时代，信息化教学能力成为其专业素养的基本组成部分，是教师专业发展的主要任务。通过开发教学智能问答系统，能够很好地将教学问答过程信息化，提高教学质量和教学效率，适应信息化教学的新模式。

（2）特点

智能问答教学系统主要有以下几个特点：

① 可扩展性强。教学智能问答系统提供底层的问答服务，在其上可以构建诸如教学智能问答机器人、教学智能问答Web系统，甚至可以开发手机应用或微信小程序等作为问答系统的交互前台。

② 信息化程度高。教学智能问答系统在系统构建上，从网络中自动爬取与课程专业相关的问答知识和专业性词条数据。在利用智能问答系统进行课程知识点的问答过程中，所有的问答环节全程通过互联网进行，用户只需通过系统进行自然语言形式的提问即可得到想要的信息，将传统的教学问答彻底信息化。

③教学互动性强。通过使用教学智能问答系统，学生可以通过一问一答的方式进行课程知识点的问答，也可以通过在教学问答系统发布自己的问题，邀请教师或者同学作答，保证返回的答案获得师生最为广泛的认可。

（3）未来发展方向

① 与学校图书馆系统相结合。将智能问答系统与学校图书管理系统相结合，用户只需在智能问答系统中提出针对图书或文献的问题，即可推荐与问题相关的书籍和文献等信息。

② 教学问答奖励机制。学生可以通过智能问答系统对其他学生提出的问题进行专业性的解答，系统综合学生的解答次数、解答的满意度、教师对答案的评价等指标，对积极参与问答环节的学生给予学业或荣誉上的奖励，比如将其作为平时成绩的一项评价指标、颁发教学问答之星称号、派发问答红包等。

③ 与多媒体联动。通过智能问答系统，教师可以将教学课件和视频等多媒体信息上传到问答系统中，智能问答系统的表现方式不仅有文字，还有语音、图像、视频等多媒体信息。通过这些多媒体的教学展示，能够更生动地展示课程信息，解答课程知识点，做到教育资源的互联互动。

政务网站智能问答系统

（1）简述

近年来，随着大数据的快速发展，以及机器学习、自然语言处理、语音识别处理等技术的突破，人工智能迎来新一轮发展高潮，这为深化政府治理变革提供了重大机遇和全新途径。当前，越来越多的公共部门开始采用人工智能技术，改善公共服务、提高服务效率、节约人力成本、促进公民参与、预防城市风险等。其中，智能问答机器人作为人工智能中的一个典型应用，因其实时对话、高效便捷、突破时空限制等优势，受到学术界和实践界的广泛关注。越来越多的政府网站开通了智能问答机器人，为用户提供实时、自动、便捷的在线问答服务，如图5为北京市人民政府智能问答页面。

（2）主要问题

现阶段的政务网站智能问答系统主要存在以下问题：

① 开通数量较少，比例不高。根据调查显示，当前问答机器人的开通比例仅为13.05%，虽然省级政府门户网站的开通率较高，达到54.84%，但还有大量的国务院部门网站、地市和县级政府门户网站尚未建设问答机器人，还是依靠传统方式处理网民的咨询留言。

② 互动水平较低，质量不高。与开通数量少相比，互动质量不高的问题更加严重。问答机器人的建设目的是为公众提供更及时、便捷的服务，开通只是起点，而服务没有终点。在已开通的问答机器人中，除上海、北京、深圳等少数政府网站问答机器人的答复质量较高外，绝大多数问答机器人的答复内容质量较低，往往“答非所问”，不能准确理解用户输入语句含义，后台也缺乏全面系统的信息资源梳理，没有将信息资源转化为知识，难以满足用户需求。

③ 区域差异较大，发展不均。无论是开通数量，还是绩效水平，在省、市、县三级都呈现出明显的东西区域差异。沿海区域开通率往往更高，绩效水平也相对较高。

（3）优化措施

① 基于政府业务逻辑，构建知识体系

与商业领域中问答机器人往往有较多俏皮、幽默、调侃的寒暄内容不同，政务领域中问答机器人的知识内容比较聚焦，主要是基于政务服务展开。其中，政务服务的业务逻辑梳理和知识体系构建又是重中之重，这是问答机器人实现人机对话的基础。

从用户视角来看，多数用户在使用问答机器人时，往往会输入一些与业务紧密相关的口语化的关键词（如身份证办理、身份证丢失、身份证换领等），而很少会输入完整的语句，完全与政府业务事项名称相匹配的更是少之又少。

但从政府业务视角来看，往往一个事项会包含多种情形，而每种情形对应的信息和服务资源各不相同。例如，围绕身份证相关业务，可细分为“申领”“换领”和“丢失”等子项，每个子项又包括多种具体情形。因此，为了实现更加准确的需求理解和对话返回，智能问答机器人就需要进一步对用户的具体情形进行细化，这就需要对政府的业务逻辑进行梳理，在此基础上构建知识库和知识图谱。

② 综合利用各种技术，实现高质量对话。问答机器人有多种分类维度，从技术构建角度来看，主要有基于人工模板、基于检索和基于深度学习的问答机器人三类。无论是哪种技术方式，要实现高质量人机交互，就需要准确理解用户输入的语义，否则就容易出现“答非所问”的现象。除了上述知识体系，还需要充分利用各种技术，包括自然语言处理技术、多轮对话技术、标签关联技术、机器学习技术等等。

智能问答系统未来展望

虽然智能问答系统发展十分迅速，但是现阶段仍然存在一些挑战，如语义嵌入尚不完善，如何利用大量的无标注数据，如何将常识库加入问答系统等等。下面所列出的是一些智能问答系统未来可能的发展方向：

（1）预训练

谷歌的BERT刷新了多项 NLP记录，也为问答系统开辟了新的道路。充分利用大量无标注的文本数据，将常识引入问答系统，是问答系统走向通用智能的一个可能的趋势。

（2）通用模型

由于各个领域的知识数据结构不同，每个领域的问答系统框架也不同，导致当前的问答系统仍主要用于单一领域。而问答系统处理多领域、多语言的能力是至关重要的，迁移学习和主动学习则是解决此问题的一种趋势。

（3）深度推理

当前的问答系统大都基于标注好的数据和事先定义的数据库，在回复生成上仍缺少多样性，其根本原因在于当前的问答系统仍无法深刻地理解真实世界，无法有效理解自然语言的丰富信息。语言的本质是一个个符号，符号与符号之间的关系可以被神经网络所学习，但符号背后的物理世界则是计算机所无法理解的，如何让计算机有效获取物理世界的信息是极其重要的一步。

总结

本文从智能问答系统的定义入手展开文章，介绍了问答系统的分类与组成，以及给出智能问答系统的一般处理流程，接着介绍了智能问答的发展历程。然后分别举了三个智能问答系统的应用实例来说明当前智能问答系统的发展现状。最后，在文章结尾处给出了当前问答系统的一些挑战以及未来可能的研究方向。