融合图推理的交通枢纽知识服务大模型

摘 要：城市交通枢纽的业务功能复杂，高效的信息服务对枢纽运营和旅客体验十分重要。针对现有系统在处理复杂查询方面的不足，本文研究融合知识图谱推理的知识服务大模型。首先，收集数据构建交通枢纽知识库，并建立知识图谱。其次，利用知识库对大模型进行领域微调，将大模型有效地适配于交通枢纽领域。最后，采用图推理技术，大模型结合枢纽知识图谱进行检索推理，提高查询的准确性。试验结果显示，该知识服务大模型能为复杂查询提供精准的回答和建议。该研究能够提升枢纽用户的知识获取体验，也为未来智能交通服务系统的发展提供了新思路。

关键词：大模型；知识图谱；交通枢纽

中图分类号： TU 984 文献标志码：A

随着城市化进程加速和交通需求日益增长，综合交通枢纽逐渐成为城市交通网络的关键节点[1]。枢纽通常涉及各类交通方式的衔接服务，对维持城市交通流畅和旅客出行安全至关重要。传统枢纽的信息服务系统经常出现孤岛现象[2]，在理解自然语言查询和提供精确回答方面存在局限性[3]。人工智能技术发展迅速，大语言模型（Large Language Models，LLM）在信息检索和复杂查询等领域展现出巨大的应用潜力[4]，这也为交通枢纽知识服务大模型提供了新思路。然而，当通用大模型直接应用于垂直领域时，通常难以获取领域内最新知识，幻觉问题也会导致模型生成的回复与真实信息存在偏差[5]。知识图谱（Knowledge Graph，KG）利用图结构来组织和管理大量结构化信息[6]，可以帮助大模型减少推理偏差和获取动态知识。鉴于此，本文基于大语言模型和知识图谱技术，研究了一种交通枢纽知识服务大模型，通过构建知识库和领域微调策略，将大模型适配于枢纽领域，结合知识图谱推理技术，为枢纽用户提供精准、有效的知识查询响应。

1 枢纽知识服务大模型

本研究针对交通枢纽领域的知识服务大模型，其构建流程如图1所示，主要包括3个部分：知识库构建、大模型微调和知识图谱推理。首先，从多渠道收集交通枢纽相关源数据，整合成包括问答数据、偏好数据和知识图谱的枢纽知识库。其次，针对枢纽领域内数据微调大模型，通过指令微调和直接偏好优化技术对预训练大模型进行领域调优，以提高对交通枢纽相关查询的理解和响应能力。最后，融合知识图谱推理策略对枢纽知识查询进行分析处理，帮助大模型生成准确且可解释的回答。

2 枢纽知识库构建

2.1 源数据收集与整合

为构建一个全面的轨道交通枢纽知识库，本研究选择包括交通枢纽相关主题的专业文档，以构建领域数据集。具体涵盖了枢纽历史交通数据、枢纽常用客服用语、枢纽运维技术手册、社交媒体内容和公共交通数据库等。此外，针对收集的大量领域内数据，采取一系列数据处理技术，例如数据清洗、去重和格式化，以确保所收集数据的质量，为训练模型和构建知识图谱提供数据基础。

2.2 问答数据集构建

为构建适用于微调大语言模型的问答数据集，本研究首先通过分析用户查询日志来识别常见的查询模式，涵盖时刻表查询、票价信息、站点设施及紧急情况响应等需求。基于这些分析结果，设计一系列大模型提示词，以模拟真实用户查询场景，从而引导开源大模型生成问答数据集。如图2所示，展示了问答数据集的构建流程，这一方法使问答数据集的构建更便捷，同时知识服务大模型能够满足用户的实际查询需求。

2.3 知识图谱构建

构建轨道交通枢纽知识图谱，采用与问答数据集构建相似的方法，即利用开源大模型和精心设计的提示词来提取源数据文本中的三元组信息。通过定义涵盖车站布局、列车时刻、维护活动等方面的提示词，引导大模型识别文本数据中隐含的实体和关系，形成结构化的三元组信息，例如电扶梯故障、征兆、出现异常声音等。大量三元组被用于构建和丰富知识图谱，其中每个实体转化为图中的节点，实体间的关系则通过边来表示，并将其导入Neo4j（图数据库）。知识图谱能够反映轨道交通枢纽的运营和管理状况，为用户提供准确全面的查询响应和决策支持。

3 大模型在交通枢纽领域的微调

3.1 指令微调

考虑开源预训练大模型在原始状态下处理垂直领域查询能力较差，本研究采用低秩自适应（Low-Rank Adaptation，LoRA）微调技术来优化模型在轨道交通枢纽对话场景中的性能。LoRA微调技术通过在预训练模型基础上引入低秩矩阵对模型权重进行调整，该方法能够在不显著增加参数量的情况下，提升模型在特定任务上的表现。

当大模型在交通枢纽领域内进行指令微调时，将模型预训练权重冻结，使用低秩矩阵来近似每个权重矩阵的变化。变化矩阵可以分解为2个低秩矩阵的乘积，将可训练的低秩矩阵添加到每个变换器层中，从而减少需要更新的参数量。如图 3 所示，预训练大模型权重矩阵W的维度为d×d，旁路低秩矩阵的秩为r，矩阵A的维度为d×r，矩阵B的维度为d×r，指令微调过程中仅对旁路矩阵A和B进行调整，而预训练大模型的权重矩阵保持不变。指令微调阶段数据集包括交通枢纽相关的实际指令对话数据，能够覆盖多种常见知识服务场景，大模型关键参数在微调过程中得到精细调整。

3.2 直接偏好优化

为进一步满足用户知识查询的实际需求和偏好，本研究采用直接偏好优化（DirectPreferenceOptimization，DPO）方法来优化大模型知识服务大模型的交互质量和提升用户满意度。DPO优化方法通过收集用户对回答的偏好反馈，直接调整模型，以生成更符合用户期望的回答。本研究通过模拟枢纽用户知识查询来收集偏好数据，以表示枢纽用户的偏好响应，表示非偏好的响应，这些数据用于进一步优化指令微调后的大语言模型，用户偏好的奖励函数和非偏好的奖励函数公式（1）、公式（2）所示。

（1）

（2）

式中：x为用户输入的查询；yw和yl分别为用户偏好和非偏好的响应；πref和πθ分别为优化前和优化后的策略模型。

在直接偏好优化阶段，为增加大模型生成枢纽用户偏好回答的可能性，损失函数定义为用户偏好回答得分之间的差异，该阶段的偏好损失如公式（3）所示。

L（πθ；πref）=-E（x，yw，yl）∈D[logσ（βrw-βrl）] （3）式中：（x，yw，yl）为一个问答对数据；D为问答对的集合；πref和πθ分别为优化前和优化后的策略模型；rw和rl分别为用户偏好和非偏好的奖励函数；σ为Sigmoid激活函数；β为奖励模型的缩放参数。

通过比较生成回复的偏好来优化大模型，确保被偏好回答得分比不被偏好的回答高，大模型能够学习生成更符合用户偏好的回答。本研究采用直接偏好优化策略，进一步优化枢纽领域大模型，生成更符合枢纽用户需要的偏好响应，提供更个性化的对话体验。

4 知识图谱推理机制

4.1 图推理机制

在交通枢纽知识服务大模型中，知识图谱推理机制是提升查询准确性的关键。知识图谱作为轨道交通枢纽知识的事实库，包括大量真实信息，例如车站布局、列车时刻表、运营状态等，这些信息对提升模型回复的准确度至关重要。为进一步提升枢纽知识服务大模型在处理用户复杂查询时回复的准确率，本研究设计了一种融合知识图谱的推理策略。

该推理机制通过分析枢纽知识图谱实体间的关系，确定连接查询实体的最优推理路径。具体来说，枢纽知识图谱由大量事实三元组构成，将三元组的实体和关系分别表示为e和r，则枢纽知识图谱可以表示为G={（e，r，e'）|e，e'∈E，r∈R}，E和R分别为枢纽事实库涉及的实体集合和关系集合。以q表示用户提交的查询问题，大模型首先识别查询中的关键实体e，并将此实体与知识图谱中的相应实体进行匹配。随后，大模型生成预定关系路径作为推理规划，并根据这些规划在知识图谱中进行答案检索。在此过程中，获取最大化推理答案的概率如公式（4）所示。

Pθ（a|q，G）=∑z∈ZPθ（a|q，z，G）Pθ（z|q） （4）式中：G为枢纽知识图谱；q为用户查询的问题；a为知识图谱中检索的答案；θ为大模型的参数；z为大模型生成的关系路径；Z为关系路径集合。

该机制不仅能够利用知识图谱的结构化知识，而且还可以结合大模型的深层语义理解能力，从而提升推理过程的可解释性和准确度。

4.2 答案的构建

在确定推理路径之后，需要将推理结果转化为用户易于理解的自然语言回答。本研究采用提示词方式，将从知识图谱中检索到的答案整合为提示词，输入大模型以生成查询回复。在构建回复过程中引入知识图谱作为事实依据，并通过大模型整合知识图谱推理结果，生成的回复更丰富、更准确，从而提升用户查询的满意度。

5 案例分析

为了评估本研究的有效性及准确性，以下采用Llama2-7b模型在Ubuntu 20.04操作系统环境中进行实践验证。试验结果表明，交通枢纽知识服务大模型能够为用户提供知识查询指导和帮助，在交通枢纽专业领域内更具有优势。

本文研究的交通枢纽知识服务大模型，对预训练大模型进行指令微调和直接偏好优化，能更好地适应枢纽领域知识查询服务。枢纽知识图谱能提供更真实全面的信息支持，结合图推理策略能够帮助大模型更准确地回答用户问题。此外，大模型展示出强大的对话能力，能够快速准确地识别用户需求，并提供相关知识和解决方案。由此可见，枢纽知识服务大模型在专业领域内极具应用潜力，这不仅体现在其能够理解复杂查询并回应专业术语，而且也包括其在提供决策支持和专业建议时的高准确度。

6 结语

本文基于大语言模型和知识图谱推理技术研究了交通枢纽的知识服务大模型。通过构建领域内知识库提供全面的信息查询支持，一系列微调策略使大模型能够更好地适应交通枢纽领域，而知识图推理策略能够进一步提升模型回复的准确性。未来的工作将继续优化知识图谱的构建过程、提高大模型的可扩展性，以探索人工智能在交通系统中更广泛的应用。

参考文献

[1]张欣.深圳市西丽综合交通枢纽产站城一体化规划设计探索[J].城市轨道交通研究，2023，26（12）：1-5，10.

[2]张涛，贾真，李天瑞，等.基于知识库的开放领域问答系统[J].智能系统学报，2018，13（4）：557-563.

[3]赵京胜，宋梦雪，高祥，等.自然语言处理中的文本表示研究[J].软件学报，2022，33（1）：102-128.

[4]王丽.基于ChatGPT4.0的人工智能艺术设计走向分析[J].中国新技术新产品，2023（19）：38-41.

[5]赵月，何锦雯，朱申辰，等.大语言模型安全现状与挑战[J].计算机科学，2024，51（1）：68-71.

[6]马亚中，张聪聪，徐大鹏，等.城市大脑知识图谱构建及应用研究[J].中文信息学报，2022，36（4）：48-56.