面向语义通信的语义知识库综述

孙亚萍/SUN Yaping，崔曙光/CUI Shuguang，2，3，张平/ZHANG Ping，4

（ 1. 鹏城实验室，中国 深圳 518055；2. 香港中文大学（深圳），中国 深圳 518055；3. 香港中文大学（深圳）未来智联网络研究院，中国 深圳 518000；4. 北京邮电大学泛网无线通信教育部重点实验室，中国 北京 100876 ）

随着5G 的不断成熟和商用，在构建“万物智联、数字孪生”的人类社会这个总体愿景的驱动下，6G将通过人工智能与通信技术的深度融合，实现人、机、物、智能体的智慧互联，有望成为支撑扩展现实（XR）、工业互联网、智慧城市等典型场景的核心基础设施[1]。与传统语法通信主要关注比特数据的准确传输不同[2]，人、机、物、智能体交互重点关注语义信息的准确传递。因此，传统语法通信系统的设计无法满足未来6G 通信需求，而语义通信能够有效降低传输负载，提高任务服务质量[3]，已成为6G 的关键技术之一。

在传统通信中，基于人工设计的编码映射，编码将信源符号映射到传统码流。映射函数的确立基于经验性的设计与构建。在语义通信中，基于人工智能（AI）的编码映射，语义编码将信源符号映射到语义码流。映射函数的确立基于数据与模型双驱动的学习与搜索。语义知识库定义了高效搜索空间，规范了搜索路径。因此，语义知识库是语义通信的外挂和效率的加持器。

语义知识库是一种可为数据信息提供相关语义知识描述的、结构化的且具备记忆能力的知识网络模型。面向语义通信的语义知识库可分为信源、信道、任务知识库，分别为信源数据（如文本、图片、视频）、信道传输环境（如传输中障碍物和散射体位置与形状信息、智能反射面位置信息与配置矩阵），以及任务需求（如图片分类、三维重建、语义分割）提供多层级语义知识表征，从而支撑端到端语义通信的高效实现。如图1所示，基于语义知识库进行语义信道联合编解码设计，实现语义信息的准确传递，是当前语义通信的研究热点。

▲图1 端到端语义通信框架图

具体而言，在端到端语义通信中，发送端基于信源、信道以及任务知识库，获取信源数据多层级语义知识描述、传输环境的语义推断与估计，以及下游任务的语义需求，从而进行语义信道联合编码。接收端基于本地语义知识库，对接收到的信息进行知识检索与理解，完成语义信道联合解码，从而实现任务驱动的语义通信。

以图像的语义传输为例，假设发送端获得一张“斑马”图片，则可基于本地知识库，获取该图片的多层级语义知识向量。面向图像分类任务的最高级语义知识可表示为“斑马”；面向语义推断任务的中级语义知识包括斑马的属性描述“颜色：黑白”“轮廓：马”“条纹：有”等；面向图片传输任务的低级语义知识包括该图片的像素级特征向量。除此之外，信道知识库对传输环境的描述也会影响各层级语义知识表征维度。基于语义信道弹性编码方法，发送端首先传输最高级语义知识“斑马”。若接收端知识库里存储“斑马”相关语义特征描述，则任务完成；否则，则传输中级语义知识。若接收端知识库可解析“斑马”语义属性描述，则语义交互成功；否则，则发送低级语义知识，即原始图片信息，供接收端进行图片理解。

由此可见，语义知识库对于语义信道编解码方案的设计至关重要，可以提升语义通信传输效率以及智能任务的服务准确度。语义知识库的概念自提出以来在不断地发展和完善。语义知识库早期的工作主要基于计算机领域的知识图谱，以描述各实体概念及其相互关系为目标。近年来，随着语义通信重获关注，语义知识库也呈现出新的发展契机。

1 计算机领域知识库研究现状

传统语义知识库主要应用于计算机领域，如图2 所示。最早的语义知识库可以追溯到WordNet[4]。WordNet的基本单元是同义词集合，即每个集合中的元素相互之间构成同义关系。WordNet使用不同的关系来构造语义知识库（包括上下位关系、反义关系、整体-部分关系等），并且基于这些关系构成了语义知识表征。随后FrameNet[5]引入了“框架”的概念，使得语义资料库可以灵活地表达更加复杂的语义关系。接下来，综合语言知识库（ILD）[6]为词语引入了属性的概念，通过建立词语之间的“实体-用途”的关系，丰富了语义知识库的表达。

▲图2 传统语义知识库模型示意图

由于手工建立语义知识库的效率非常低，MindNet[7]首次使用句法分析器自动分析英语词典释义文本，从而构建语义知识库。HowNet[8]作为首个汉语语义知识库，以概念本身以及概念与概念之间所具有的关系为基础，构建了语义知识库。ConceptNet[9]以实体、关系和属性三元组的形式进行语义知识库的构造，并以该形式完成了多代更新。DBPedia[10]通过爬取维基百科数据，完成了语义知识库的构建。NELL[11]使用数据挖掘的方式从非结构化的数据中构建语义知识库，实现了基于更广泛文本信息来源的语义知识库自动化构造。

另一些研究则通过引入图像、程序源码等其他的模态数据源来进行语义关系的提取，丰富了知识库的数据来源。文献[12]将图像信息作为实体的一个额外特征，提出了一个新型大规模数据集，提升了知识库的表征学习能力。文献[13]通过分析深度学习及其对应的源代码，提出了一个融合文本、图像、程序源码等多模态的知识库，用于文献的挖掘与检索。文献[14]利用文章中的文本信息，提取实体及实体之间的关系，并且通过检测文章中的图像，构造了图像子知识库，从而利用文本与图像之间的特征匹配关系，解决了图像配文问题。

语义知识库的构建涉及典型场景的数据集构建、语义知识提取与建模。在计算机视觉领域，ImageNet[15]与COCO[16]数据集的提出为物体检测与图像分割任务提供了大规模的标注数据，促进了该领域的快速发展。卷积神经网络[17]与变形神经网络（Transformer）[18]为图像与自然语言等数据提供了强大的语义提取技术支撑。针对语义知识库构建过程中数据构建和语义知识提取方法设计，我们构建了大规模视觉语义信息数据集[19]，并且分别面向图像处理[20]、语义分割[21]、三维场景理解[22]与重建[23]、点云数据采样与恢复[24]等智能任务，提出了语义信息提取方法。

综上所述，基于常见数据模态（如文本、图像等）信息的语义知识库构建方法已得到充分的发展。然而，现有语义知识库仅可简单地描述各实体概念及其之间的相互关系，无法满足语义通信对信源、任务、信道等数据信息的多层级语义知识描述的需求。

2 通信系统知识库研究现状

语义传输中涉及的智能体包括发送端不同模态信源智能体、信道中不同传输环境智能体，以及接收端不同任务智能体知识库。本节中，我们将分别对语义传输中信源、信道以及任务语义知识库研究现状进行介绍。

2.1 信源知识库

目前，通信系统中信源知识库的构建主要有3 类方法。第1类方法基于知识图谱构建知识库。针对文本的传输，文献[25]使用描述语义信息的三元组（包含头部实体、关系、尾部实体）来构建语义知识图谱，并且将此作为收发端语义知识库，以指导文本传输中的语义编解码。基于该语义知识库，文献[26]提取文本信源中所包含的语义三元组集合，并且度量各三元组的语义重要性。基于此，根据信道状态的好坏，文献[26]还提出智能化地选择所发送的三元组集合，以保证收发端信息的语义相似度。针对语音传输，文献[27]提出基于知识图谱的多层级结构的语义知识库基础模型，以及包含语义表达和语义符号抽象两个步骤的语义知识库构建方法。数值结果表明，基于该知识库的语义传输框架可在保证语义保真度的同时，降低带宽开销。针对图数据传输，鹏城实验室石光明教授研究团队提出了由显式语义、隐式语义以及与用户相关的知识推理机制组成的多层语义表征方法，并且基于模仿学习对接收端用户的语义推理机制进行训练，从而与发送端推理机制保持一致，降低了传输负载[28]。除此之外，文献[28]提出了语义知识库使能的异构网络中协同推理机制。

第2类方法以带标签的训练数据集作为知识库。上海交通大学陶梅霞教授研究团队提出，当需要传输的数据信息与训练数据集的统计特性分布不同时，可利用迁移学习中的领域自适应技术，降低两者间分布的差异性，并且动态地更新语义信道编解码方案[29]。该方法的有效性在图像传输任务中得到了验证。

第3类方法将基于深度学习模型提取的特征向量作为语义知识库。清华大学秦志金教授研究团队定义了一组有限离散语义基向量集合为语义知识库，并且对语义编解码以及语义知识库构建进行了端到端联合训练[31]。数值结果显示语义知识库可提高语义通信对语义噪声的鲁棒性。

2.2 信道知识库

现有信道环境知识库可分为特定于站点的数据库与特定于位置信息的知识库两大类。具体而言，特定于站点的数据库旨在提供准确的物理环境地图信息，主要包括三维城市地图[32]、无线电环境地图[33-34]等。然而，该类设计需要运行复杂度较高的算法（如射线跟踪算法），计算与存储资源开销较大。为了降低计算与存储资源的开销，特定于位置信息的知识库不再保留发送端与接收端相关活动信息，重点关注与信道特性相关的知识描述（如信道增益、阴影、入射角等）。该类设计主要包括信道增益地图[35]、信道路径地图[36]、波束索引映射[37]等。然而，该类设计主要局限于特定传输环境下信道知识的构建，在多变环境的自适应性以及泛化能力方面有待于进一步提高。

除此之外，针对收发端传播环境动态多变特性，北京邮电大学张建华教授研究团队提出基于环境特征、环境图表示等定义传播环境语义特征，用以辅助波束预测等任务完成[38]。数值仿真结果显示，在节省87%时间开销下，信道评估与最大功率散射体检测任务准确度分别可达0.92与0.90。

2.3 任务知识库

现有任务知识库的构建主要为与任务相关的特征向量集合。文献[30]提出了面向图像分类任务的语义传输系统。该系统首先利用带类别标签的图像数据集来预训练一个图像分类网络，接着量化分类网络所提取的特征图与物体类别信息之间的相关性，并且以此特征图与类别相关性作为语义知识库。传输特征统计特性大大降低了带宽开销。文献[39]面向多任务需求多模态数据源，构建了由离散码本组成的跨任务共享的语义知识库，并且与收发端语义信道编解码器进行联合训练。

3 面向语义传输的语义知识库

实现语义知识库对语义通信的高效支撑仍有3 方面的挑战：

1）多层级语义知识库构建。针对典型场景（如XR、工业互联网、智慧城市等）中复杂多变的信源、任务、信道环境等数据信息，如何高效构建多层级语义知识库至关重要。现有基于知识图谱与特征统计特性等构建的知识库仅考虑文本、图片等信息，无法满足语义通信的多层级语义表征需求。因此，亟需研究多层级语义知识库的构建理论与方法，以此形成统一的方法论，从而指导典型场景中语义知识库的高效构建。

2）语义知识库动态演进。语义通信的高效实现同样离不开收发端之间知识库的高度匹配，以及知识库对信源、任务与信道等数据信息的时变自适应性。然而，端到端语义传输中交互信息往往冗余且易受无线信道噪声与干扰的影响。现有知识库更新方法尚未考虑这一问题，无法直接应用于语义通信中知识库的动态演进。因此，亟需设计语义传输中知识库动态更新方法，揭示知识库动态演进机理。

3）多智能体知识库协同更新。语义通信呈现发送端信源多模态化、接收端任务需求多样化以及信道环境智能多变等特性。然而，现有知识库协同机制同样仅针对文本、图片等信息，场景单一，并且尚未考虑语义传输中跨智能体的信息缺失、重叠以及隐私保护等，无法满足跨模态语义融合、跨任务语义理解以及跨环境语义传输需求。因此，如何高效协同更新多智能体（包括多模态信源、多任务、以及多环境信道）语义知识库是另一个亟待解决的问题。

4 结束语

基于知识图谱、带标签的训练数据集，特征统计特性的语义知识库已被应用于端到端语义通信中，并取得了一定的成果。然而，现有研究工作面临着构建理论与方法匮乏、动态演进机理不明确、多智能体协同更新策略不清晰等问题。如何深度融合人工智能与通信技术，创新性地提出多层级语义知识库框架。文章认为打造跨模态、跨任务、跨环境的知识库是高效语义传输新的研究主题与挑战。

致谢

本研究得到了香港中文大学（深圳）陈冠英教授、韩晓光教授、许杰教授的大力支持与帮助，在此表示感谢！