自然语言处理技术不只能让机器人写稿

张盖伦 陆越

“基本上，只要人类交流和工作过程中涉及到语言和文字的地方，自然语言处理技术都有可能发挥作用。”万小军说，在科研论文写作过程中，可以借助自然语言处理技术帮助推荐参考文献，并自动生成related work等章节的文字;业界也有基于自然语言处理技术自动编撰图书的尝试。“我个人也接触到很多很有意思也很有挑战的应用需求，但可惜的是不少需求都无法基于目前的自然语言处理技术进行实现。自然语言处理技术还需要进一步地发展和突破，我相信在未来将有更多的用武之地。”

中国知网常务副总经理张宏伟长期关注自然语言处理，大数据和人工智能方面的应用研究。他告诉笔者，在数字出版和知识服务的全链条中，你都能看到人工智能和机器学习技术的身影。

人工智能可以对数字出版的选题策划、协同撰稿、内容编审进行赋能。大数据标注机器人则能对海量文献信息资源进行OCR文字识别，智能版面分析，知识元抽取，自动分类，自动标引主题，自动生成摘要，自动翻译，自动标注引用和参考文献。

人们熟悉的论文抄袭检测，同样需要智能技术。它不是简单的语句重复检测，而是要对文本内容（包括图片、公式、表格等）进行语义索引，“看你在思想上有没有抄袭别人”。如果存在不同语言之间的互抄，还需要动用“机器翻译”。张宏伟表示，初级的语义抄袭可以由机器揪出来，不过，如果足够有“心机”，完全用自己的语言“洗”了别人的思想，对人工智能的技术要求一下就提高了许多。目前已有利用神经网络模型对文本内容构建高维度语义索引等新技术出现，不管是中文还是英文，一律映射到一个统一的语义空间，实现真正基于内容理解的语义级全文比对检索。

知识库是智慧社会的基础设施

至于在学术研究中必不可少的资料索引，看似简单，也仍然具有技术含量。

张宏伟说，数字出版和数字图书馆的资源类型非常丰富，有大量文本、图像和音视频数据，且数据是非结构化的，若想对其进行深度的挖掘利用，难度不小。

深度学习等统计方法严重依赖于大样本数据，然而，现实世界中，很多实际问题仅仅依靠统计方法是无法解决的，这就需要建立专门的计算机能理解的知识库，实现真正的人工智能。但构建知识库，本身是一项极其艰难且耗时漫长的工作。毕竟，机器和人对知识的理解方式大相径庭。

张宏伟说，像知网这样的机构正在致力于深度整合全球知识信息资源，建设世界知识大数据。也在让文本文献碎片化、网络化，依据知识使用的场景，采用半自动知识抽取算法来构建面向垂直领域的知識图谱。2019年知网陆续推出了一些基于知识图谱的行业智慧应用产品，如医疗领域的临床智能诊断，法律领域的智能量刑判案等。

“不过，我们在这些领域刚刚起步。我个人觉得，还是要少一点浮躁，踏踏实实做一些基础性的工作。没有知识的支撑，就谈不上‘智慧。”在张宏伟看来，知识库和人工智能，本身就是互相促进、相互赋能的关系。构建知识库需要人工智能，而人工智能的发展，也离不开知识库。怎么将人类的知识库转换成计算机能理解的知识库是人工智能的核心问题，面临许多困难，需要学术界和产业界共同努力。