基于大模型和知识图谱的标准领域融合应用方法研究

郑佳明 陈家宾 胡杰鑫 杨洪杰

关键词：标准，大模型，知识图谱，智能应用，融合应用

0 引言

标准是为获得最佳秩序、促进最佳社會效益，以科学、技术和实践经验的综合成果为基础的重要文件。船舶行业标准更是覆盖船舶海工装备设计、建造、运维、保障全生命周期的重要数据，在船舶海工装备研制应用过程中发挥着重要作用。然而现阶段的标准编制及应用主要存在着标准编制发布周期长、贯彻实施效率低等主要问题。高质量装备高效研制生产要求标准从业人员不断创新标准化工作方式，进一步提升标准知识供给等方向的标准贯彻实施效率。

2022年底，OpenAI发布具有1750亿参数的大规模预训练语言模型ChatGPT，因其表现出的卓越自然语言理解、自然语言生成与推理性能，引发了国际范围内对于大规模语言模型的研究及应用热潮。作为拥有超大规模参数化知识库的通用人工智能知识底座，大模型能够为标准的高效研制及智能化应用提供卓有成效的解决方案，但囿于其训练数据的领域缺乏性及模型训练的不可解释性，大模型并不能够为垂直领域的专业应用提供可信度足够高、时效性足够强的专业建议。标准知识图谱能够打破标准内部原有组织结构，基于用户需求重组标准内部知识单元，建立标准内部标准化对象与其技术要求、试验方法、试验流程、工艺准备等知识要素之间的关联以及标准之间的引用、代替、共用技术指标、相同适用范围等有效关联，使用户摆脱标准查询、翻阅等传统标准知识获取方式，满足用户进行标准知识精准检索、关联分析等智能化应用需求。然而，标准知识图谱由于构建代价高昂，使得不少领域研究者“望而却步”。因此，探索一套基于大模型和知识图谱的标准领域融合应用方法对标准化工作方式革新与标准贯彻实施效率提升具有重要意义。

1 开源大模型调研及应用研究

（1）大模型介绍及应用示意

模型的本质是对现实世界中数据和规律的一种抽象和描述。模型的目的是为了从数据中找出一些规律和模式，并用这些规律和模式来预测未来的结果。而大模型是指具有非常大的参数数量的人工神经网络模型。在深度学习领域，大模型通常是指具有数亿到数万亿参数的模型。

自2022年底OpenAI发布ChatGPT3.5之后，因其所表现出的卓越的自然语言理解能力与交互及推理能力，引起了全球范围内对于大模型的研究关注。在国内，百度率先发布了产业级的知识增强大模型“文心一言”，商汤科技在发布了具有320亿参数的视觉大模型之后，又发布了“日日新 SenseNova”大模型体系，科大讯飞发布了“星火”认知大模型，具备了较强的内容生成和逻辑推理能力；学术研究层面，清华大学发布了完全自研的、开源开放的中英文双语预训练语言模型，并基于此模型经由智谱AI发布了生成式对话语言模型ChatGLM[1]。在国外相关AI企业/机构/高校中，以Google谷歌与Microsoft微软两大科技巨头为竞争漩涡。两大科技巨头中不仅在通用大模型、行业大模型、垂直大模型与专属大模型，更在模型层、应用层与技术层均全面竞争并领先国内。GoogleAI发布了具有改进的多语言、推理和编程能力的最新语言模型PaLM 2[2]、Meta（原FaceBook）分别发布了7B、13B、33B和65B四种规模的大模型LLaMa[3]、OpenAI又发布了具有多模态处理理解能力以及更强大创造性的GPT4.0。

国内外的学术界及产业界都在集中优势资源、算力进行大模型领域的应用及研究工作。同样，为满足船舶工业制造标准领域不断提升的效率及质量要求，标准领域也应及时启动相关探索及研究工作，以期“站在巨人的肩膀上”提升标准化工作效率及标准实施效能。表1为面向标准快速研制方向与ChatGPT3.5模型进行对话获取信息的过程展示，可以看出大规模预训练语言模型具备较强的自然语言理解能力及交互能力，并且能够在船舶工业制造及标准领域给予具有较高参考价值的建议。

（2）大模型应用及研究进展

为了顺利开展标准领域结合大模型的应用研究，要进行针对于各个典型行业如医疗、金融等的开源微调大模型项目调研以及相关具有可复用或者可参考价值的工具接口及数据集，对相关性及可用性较强的项目进行标准领域的可用性验证。表2列出了部分前期针对大模型微调的开源项目情况，表3为部分大模型指令、工具、数据调研情况，表4为现阶段AIGC领域部分已面向大量用户开放使用接口的应用工具情况。

2 标准知识图谱应用研究

标准知识图谱是打破标准内部原有组织结构，面向标准知识高效供给、智能体系分析等需求，建模标准内部知识关联及标准之间相关性的新型标准知识库。基于标准知识图谱能使用户摆脱传统的知识供给方式、提供精准检索、智能问答、关联分析等主要功能。图1为将标准内部知识进行结构化知识抽取，构建图谱知识单元以及问答应用的示意。

要提升知识图谱于标准领域的应用效能，则要面向标准知识快速供给、标准编制智能辅助等应用需求，进行标准智能应用需求研究、标准知识建模研究、智能化应用研究等。标准智能应用需求研究指的是：通过电话调研、实地沟通等方式，发掘现阶段标准贯彻实施中的应用痛点，并提出解决方案建议。标准智能建模研究指的是系统分析产品标准、设计标准、工艺标准、试验方法等不同类别标准内容组织方式，探索研究离散数字化标准数据结构。标准智能化应用研究指的是：面向标准智能化应用需求，基于知识图谱等技术手段，进行知识检索、知识对比、知识推荐、知识问答等应用研究。

3 基于大模型和知识图谱的标准领域融合应用方法研究

3.1 大模型及知识图谱构建应用的优劣分析

（1）大模型构建应用的主要优劣分析

与其他近年来的所发布的Bert、GPT2以及T5等预训练语言模型相比，ChatGPT等大模型具有以下几个方面的优势：

1）训练数据规模更大，ChatGPT等大模型的训练数据规模是其他语言模型的数倍甚至数十倍，可以学习到更多的语言知识和语言规律，具备更强的用户交互能力和语言生成能力。

2）模型参数更多，算力要求更高：ChatGPT等大模型使用了大量的模型参数，并基于极高的算力，通过不断优化算法和模型结构，使得它在语言模型的各项任务上表现优异。

3）语言生成能力更强：ChatGPT等大模型可以自动生成流畅、自然的文本，包括自然对话、见解文章，乃至于规范代码等。

4）自然语言理解能力更强，对话交互性更好：ChatGPT等大模型可以进行对话交互，能够理解用户提出的问题并生成相应的回答，且能生成长文本密集型答案。

虽然大模型于多个产业研究领域都表现出了卓越的性能，但其仍然有着不可忽视的弊端，表5所示为标准领域的大模型交互过程，可发现大模型所生成的答案具备着较强的不可靠性和不稳定性。

在表5的第一次问答中，美国海岸警卫队发布国际海事组织（IMO）的标准基本是不可能的，且也并未在公开渠道查询到《IMO标准规则和指南》这份文件。此外，在第二次问答中，大模型给出了一些标准参考建议，然而实际上GB/T 18997共有两个标准，分别是GB/T 18997.1-2020《铝塑复合压力管 第1部分：铝管搭接焊式铝塑管》[4]和GB/T 18997.2-2020《铝塑复合压力管 第2部分：铝管对接焊式铝塑管》[5]。而GB/ T 15115指的是我国GB/ T 15115-2009《压铸铝合金》[6]这项标准。可见大模型在专业领域性极强的垂直领域的生成内容，具有较强不可靠性。总体而言，大模型的弊端主要体现在时效性、可靠性、可解释性、稳定性等方面：

1）不及时性。以ChatGPT3.5为例，其所使用的训练数据的截止日期为2021年底，也就是说大模型并不能针对实时问题进行回答，并且由于其模型训练所需数据量极大，训练周期较长，所以模型更新速度较慢。

2）不可靠性。由于语言生成模型生成文本的模型特征，大模型可能写出看似合理但不正确的答案。这既是因为生成模型的语言生成机制，也是因为训练时所用数据的专业性和真实性不够。

3）不可解释性。大模型采用的依然是深度学习的训练策略，其训练过程依然是不可解释的“黑盒”，那么也就导致在船舶工业制造领域，大模型生成的结果不敢用、不可用。

4）不稳定性。大模型对输入文本的变化以及或多次尝试相同的提示很敏感。当给定一个问题的输入后，模型可能声称不知道答案，但只要稍作改写，就可以正常回答，或前后两次相同用户输入的输出不一样。

大模型具备在通用领域的用户交互能力，但其在专业领域的答案可解释性、可靠性、稳定性却是在船舶工业制造领域必须解决的问题，为此应考虑利用知识图谱数据库的可解释、可推理、稳定性强等诸多优势来弥补大模型带来的诸多弊端。

（2）知识图谱构建应用的优劣分析

根据前期研究及应用经验，可知知识图谱在专业领域较强的垂直领域具有可沉淀、可解释、可推理、高效率等主要优势。

1）可沉淀指的是知识图谱能很好地沉淀积累领域知识，此外，知识图谱的可拓展性能为用户提供方便高效的知识拓展方式。

2）可解释指的是知识库系统为用户提供的知识是来源领域数据中的可靠数据，可以直接根据路径溯源找到其知识供给路径。

3）可推理性指的是知识图谱通过建模知识单元之间的关联，使得海量知识单元之间构建了大量不同类别的连接路径，用户可以基于深度知识图谱嵌入的知识推理为结果找到合理可信的路径解释。

4）高效率指的是用户可摆脱传统的文档关联搜索、目录段落查找、知识浏览获取的方式，实现精准问答检索，大幅度提高了用标人员的标准知识获取效率。

然而在实际的工程应用过程中，领域知识图谱构建及应用的弊端也是显而易见的，即成本高、代价大。具体而言，领域知识图谱构建的问题主要有以下方面：

1）整个产业图谱生产流程过长，涉及到数据预处理、本体定义、实体抽取、关系抽取、图谱融合、应用算法研究、服务平台研发等，多个流程之间容易发生错误累计，成本累积等。

2）在知識图谱数据层构建过程中，由于纯人工标注工作量过大，通常需要先进行有监督数据集的构造，而后进行相应信息抽取算法的开发，进而进行人机结合式的知识单元抽取，以构建合理可信的领域知识图谱数据层，然而这其中的每一个环节都是耗时耗力的。

3）知识图谱的领域属性较强，一般需要领域专家进行基于用户需求的领域本体知识体系构建，还需要参与到数据标注后期的知识校对工作中，这进一步导致了领域知识图谱的构建成本上升。

3.2 基于大模型和知识图谱的融合应用方法研究

为了充分利用大模型和知识图谱二者的优势，使其优劣相互弥补，不断提升领域工程完成效率，需探索基于大模型和知识图谱的标准领域融合应用方法。通过系统调研及思考，主要有以下三个方向思路的融合应用研究：一是大模型辅助知识图谱构建；二是知识图谱辅助大模型训练并帮助提升大模型生成结果的可信性；三是在二者成熟平台上互相调用交互接口，以达到互相增强的目的。

（1）大模型辅助知识图谱构建

大模型最大的魅力在于其通用能力，研究者可以利用大模型在诸多零样本（zeroshot）或小样本（fewshot）领域场景下，提升知识图谱构建过程中各个环节的完成效率，如本体构建、信息抽取、知识融合、关系推理等。但大模型的通用性强也就意味着在很多领域中的专业性差，而专业性差的问题恰恰可通过高精度的领域小模型来解决。初步设定的主要技术路线如图2所示，为领域知识图谱构建环节中的每个任务设计专用prompt（一种提示文本，可以指导语言模型生成更符合用户意图的相应）。将每个环节的任务利用特定prompt模型化为核心要素填充或多轮问答任务，进而提高领域知识图谱的构建效率。

（2）知识图谱辅助大模型研发

知识图谱因其结构化语义丰富、知识来源真实、可推理性更强等优势可以很好地弥补大模型因“黑盒”特点导致的不可解释性和不可靠性等弊端，则应使知识图谱在大模型的训练前、训练中和训练后分别发挥作用。

1）大模型训练前

大模型需要规模极大的高质量训练数据，为缩短数据获取及预处理周期，可以利用知识图谱作为领域经验知识对语料数据进行错误检测，可以很好地提升大模型训练数据的质量和获取效率；此外，还可以直接利用知识图谱中大量已有的结构化知识单元，直接显式地进行形式化转换，将其引入大模型的预训练语料，扩充大模型训练数据规模。

2）大模型训练过程中

大模型在训练过程中，其效果受数据质量、模型架构、训练优化等因素影响，引入知识图谱可以增强模型的有效性。采用知识嵌入模型加大模型联合训练的模式，将知识图谱隐式地加入到模型训练中，使大模型中的参数化语义与知识图谱中的形式化语义产生深度融合，增强大模型的有效性和可信性；此外，还可以构建以领域知识图谱为中心的下游评测任务，在大模型训练评估阶段发挥作用。

3）训练后阶段

大模型在训练之后，要结合实际场景，利用特定的prompt，更大地激发大模型的领域应用能力。在构造prompt时，利用知识图谱作为先验知识进行prompt前约束，增强结果可控性；为解决领域生成局限性现象，在构造prompt时，引入涉及实体的上下文进行丰富，增强结果可用性；为解决生成结果不可靠问题，对模型生成后的结果进行后约束，减少模型事实性错误；为解决大模型实时性问题，通过query实体消歧和实体链接，优化搜索引擎实时结果，增强生成准确性。

（3）大模型应用平台和知识图谱智能应用平台的相互增强

知识图谱平台与大模型平台利用双知识平台进行相互增强也是一种应用方向。知识图谱目前有相应的知识图谱平台，具备网络分析、图数据库查询、可视化展示，推理链条可解释形象化展示等功能。大模型目前通过系统接口、插件的方式又可以作为一个灵活的组件嵌入到知识图谱平台当中，用于提升平台效能。对于大模型平台来说，知识图谱平台可以用来沉淀大模型平台中任务驱动的关键知识，实现精确、可解释的问答等智能化知识供给任务。

考虑到各领域标准智能化应用研究现状，以及大模型对于数据量以及算力的极高要求，单一行业标准化研究人员很难在有限条件下，利用已有知识图谱数据来进行大模型的优化和微调。此外现阶段也并无成熟开源的大模型应用平台可以直接集成至内部的知识图谱应用平台中。因此标准领域智能化应用研究人员应持续对第二及第三种思路进行探索式方法研究，将主要精力侧重于开源大模型辅助领域知识图谱的构建及应用方向。

4 总结

《国家标准化发展纲要》提出將标准数字化程度不断提高作为重要目标，提出发展机器可读标准、开源标准、推动标准化工作向数字化、网络化、智能化转型。同时，为满足型号研制单位对标准智能化应用的建设需求，要积极探索领域大模型的研究及知识图谱的领域应用研究进展，系统分析大模型及知识图谱在标准数字化建设上的应用优劣，探索出一条大模型与知识图谱融合应用、相互增强的标准智能化建设道路，为领域标准研究及应用人员提供高可用性的智能化标准应用服务，为型号产品研制提供更强的标准支撑力量。