基于CSI反馈的语义图像传输

姜培文/JIANG Peiwen，韩瑜/HAN Yu，金石/JIN Shi，李潇/LI Xiao

（ 东南大学移动通信国家重点实验室，中国 南京 210096 ）

智能通信系统在提升用户体验的同时，也服务于大量的终端。由于新冠疫情大流行，移动工作和在线会议成为人类生活中必不可少的一部分。据相关机构统计，移动网络传输流量与大流行爆发前相比增加了60%以上。为了应对难以承受的负载，一些服务提供商（如YouTube 等），只能选择在高峰时间降低视频质量。此外，自动驾驶汽车依赖于数千个传感器，同时又与其他车辆通信，从而产生大量的数据。这些传输服务于特定的任务。因此，在智能化进程中通信系统往往需要通过对文本、语音、图像、视频等多模态数据的理解和传输，来完成远程操控、辅助驾驶等特定任务[1‒3]。基于经典的香农编码范式[4]，信源编码压缩传输内容并对内容进行解耦，以生成独立分布的码字。信道编码通过对码字增加冗余来对抗无线信道带来的传输差错。因此，传统的编解码模块通常遵循分而治之的设计原则。但是这种设计方式在全新的应用场景下仍然存在问题：一方面，诸如在线会议、自动驾驶等低延迟场景的码长受限，最优编码方式难以获得；另一方面，特定任务下的传输特征具有较强的内容相关性，新的深度学习方法（如人脸重构[5]）无须使用额外码字即可完成错误修复。语义通信作为智能通信的关键技术之一，通过构建传输背景知识库[6]、感知传输内容,极大地节省传输带宽,提升传输质量,成为极具潜力的研究方向。

传统的物理模块都是独立优化的，不适用于基于语义的通信系统。例如，调制和信号检测被设计为最小化误码率（BER）。信道估计是最小化估计信道与真实信道之间的均方误差。事实上，对于语义通信，不同传输比特具有不同的重要性，并且这些传输比特也呈现出一定的语义相关性。文献[7]利用句子相似度形成一种新的调制方法，这种方法的符号在星座图上的位置并不是等间隔分布的。在实际应用中，峰均功率比也是一大挑战，这是因为高峰均功率比对硬件设备要求很高。在文献[8]中，峰均功率比被认为是一个额外的损失函数，语义网络被训练后能同时实现最小化语义损失和峰均功率比。这意味着峰均功率比的降低应该与语义指标相匹配。在不同的信道环境下，混合重传请求（HARQ）是保证传输成功的关键。传统的HARQ主要基于用于前向纠错的信道编码和用于错误检测的循环冗余校验码。文献[9-10]引入基于语义的联合信源信道编码设计HARQ，大幅提高了传输性能。信道状态信息（CSI）反馈中的数据隐藏方法[11]也是一种潜在的深度学习方法，用于消除CSI反馈中的传输负载。

上述语义方案引入基于知识库的编解码网络、任务导向的语义损失函数等，大幅提升了系统的性能。但这些方案需要借助端到端的训练，才能实现发射端和接收端对知识库的共享，以及发射端对任务需求的感知。因此，语义通信方法通常训练在可导的高斯白噪声信道或者比特翻转信道上等，无法充分利用实际的信道特征，难以实现对语义码字灵活的保护。本文讨论了语义通信方法在无线通信系统中的应用，提出了基于语义分割方法的图像传输系统，并利用反馈的无线信道特征来指导编码网络对传输内容的保护。通过比较不同方法在分类准确率和均方误差上的性能，所提系统可以灵活适应变化的信道，在低信噪比下优先保护影响分类准确率的物体，在高信噪比下进一步保护背景信息，从而实现在不同的信噪比上都能取得比其他方法更好的分类准确率和均方误差性能。

1 系统模型

为了传输信源信息，假设存在一张图片p，传统发射机首先对其进行信源编码S(⋅)和信道编码C(⋅)，从而减少传输冗余，对抗变化的无线信道。经过编码后的码字表示为：

对于传统的正交频分复用（OFDM）系统来说，编码码字s会被调制到K个子载波上，即s =[s1,s2,…,sK]。在通过无线信道后，接收到的信号可以表示为：

其中，h是信道的频率响应，⋅是哈达玛积，z是均值为0、方差为σ2的加性高斯白噪声。对于频率选择性信道来说，h可以被看作K个平坦的子信道，每个子信道具有不同幅度的信道频率响应，即h =[h1,h2,…,hK]。考虑到不同子信道的频率响应，接收的码字可以表示为：

因此，整体的信噪比（SNR）可以表示为：

在接收端恢复的图片为：

其中，S−1(⋅)和C−1(⋅)分别代表信源译码和信道解码。

传统OFDM 系统的传输目标是使传输BER 达到最小，但在复杂的信道环境和海量的移动设备等情况下，无线通信带宽是有限的。语义通信方法能够感知传输内容，分割提取语义特征，基于任务需求进行端到端训练，从而大幅度降低传输带宽，提升传输质量。现有的语义方法大多是在可导的高斯白噪声信道上训练获得的，而实际OFDM系统下的信道是乘性的、不可导的，因此端到端训练的语义通信方法无法充分利用信道特征，传输性能受限。对此，我们利用CSI反馈，灵活调整编码方法。

2 网络结构和传输方案

本节中，我们提出基于语义分割的图像传输方法。首先，根据语义分割内容实现对信源信息的编码和解码，以及对传输噪声的对抗；接着，考虑无线信道和CSI反馈对网络设计的影响，并根据不同子载波上的SNR，实现对语义分割后的特征保护。

区别于传统的信源编码，语义信源编码语义分割将源数据划分为不同的语义部分，每个语义部分通常具有不同的重要程度。在特定的场景中，分割依赖于一个训练好的网络[12]，其蕴含着在这个训练场景下的语义知识库。比如：一幅图像可以分为背景和物体，其中背景通常较少受到用户关注且对物体分类识别性能影响不大。语义分割后，信道编码可以保护信源的不同部分，并在不同信道条件下保护最重要的语义部分。

针对图片传输的问题，本文采用基于UNet[13]的语义分割方法。如图1所示，图片被分割为背景和物体两类，分别表示为pB和pO。对于分割后的两部分待传图片信息，分别采用卷积编码网络，将其编码为码字s，即：

▲图1 基于语义分割的图片传输系统

其中，语义分割网络表示为fUNet(⋅)，pB和pO分别为分割后的背景信息和物体图片信息，sB和sO分别为背景信息和图片信息被卷积网络fCNN(⋅)编码后得到的码字。卷积网络输入维度为（160,160,3），输出维度为（1,1,16），输出激活函数为Tanh，即sB、sO分别编码出16 个-1～1 的实数。该网络包含两个中间层，中间层均由卷积和下采样组成，其中第1个中间层输出维度为（40,40,64），第2个中间层输出维度为（10,10,128），激活函数为Relu。在该码字通过上述OFDM 传输系统后，码字的估计，该码字的估计可以通过反卷积网络fDeCNN(⋅)恢复成原图片，即：

其中，反卷积网络输入为（1,1,32），其中间层尺寸与卷积编码网络一一对应。

在进行端到端训练时，由于实际信道影响不可导，假设从s 到ŝ的变化符合高斯白噪声。图像训练通常采用均方误差（MSE）损失函数来恢复每个像素点的信息，但在训练时为了引导网络去保护对任务更重要的信息，会引入基于分类识别任务的损失函数。此损失函数依赖预训练好的视觉几何组（VGG）分类网络fVGG(⋅)，并计算接收图像分类结果和发送图像分类结果的交叉熵（CE）损失LCE(⋅)。训练的损失函数可以写为：

在获得CSI 反馈后，计算出K 个子信道上的传输SNR值，即可获得每个子信道的传输质量。因此，我们把语义分割和信道编码与CSI反馈相结合，以更加有效地保护传输特征。对于上述训练好的编码方式，可采用一层全连接网络将其分配在不同的子信道上，并且通过端到端训练得到合理的分配方式。具体方法如下：

其中，W为学习到的乘性可训练参数分配方式。由于每个信道的SNR 值已知，可以按照从高到低的顺序依次将[s1,s2,…,sK]放置在不同的子信道上，即：

因此，s1总是传输在SNR最高的子载波上，sK则传输在SNR最差的子载波上。基于2.1节中已经训练好的模型参数，保持其他参数不变，只训练W，则训练损失与2.1 一致。以上网络训练均采用Adam优化器，学习率设置为0.002，训练1 000轮。

由于采用不同子信道上的传输SNR来训练参数W，并且考虑实际信道模型和信道估计方法对不同子载波上SNR 的影响，待传输的语义特征可以更加有效地适应信道环境的变化。网络更倾向于将分割后的语义特征[sB,sO]中的重要信息放置在较高SNR 的子信道上，从而在低SNR 下优先保护分类准确率。

3 仿真与测试

3.1 系统参数

传输一张图片会占用两个OFDM符号，每个OFDM符号占用32个子载波。其中，第1个OFDM符号为已知导频，用于信道估计并反馈各子载波上的信道响应；第2个OFDM符号携带图片信息。32 个子载波上的复数由64 个实数组成，即发送信号s为64个实数。在语义分割下，sB、sO各占用一半子载波数信道模型采用多径信道，在[0,4,10]采样点处有3条延时扩展路径，功率分布[0,-5,-10] dB。测试数据采用视觉对象类别（VOC）中的动物分类数据集。我们使用物种识别准确率来衡量物体传输的质量，并采用MSE 衡量整体图片像素信息传输的质量。

4种比较方法为：只传输物体部分的图像语义分割编码方案（SS-O）、基于信道状态信息反馈的图像语义分割编码（SS-CSI）、传输全部内容的图像语义分割编码（SC），以及传统的JPEG 信源编码加上低密度奇偶校验码（LDPC）传输，其中低密度奇偶校验码码率为64/255。

3.2 测试结果

如图2所示，我们比较了不同方法下的图片传输分类准确率和MSE 性能。分类准确率反映了图片中物体特征的还原度，MSE 性能反映了图片的像素信息在传输中的损失程度。

▲图2 基于语义分割的图片传输系统性能比较

在分类准确率性能方面，SS-O的所有32子载波均用于传输语义分割后的物体部分，因此它在较低SNR（例如-5～5 dB）下也拥有很好的分类准确率。但是过低的SNR会使得SS-O的传输差错增大，例如：在-10～-5 dB下，SS-O的分类准确率反而不如SS-CSI。SS-CSI 根据反馈的每个子载波上的SNR 来分配不同的语义特征。实际上，由于在训练时考虑了分类准确率，SS-CSI 通常把代表物体的语义特征sO分配到SNR更高的子载波上，因此在SNR为-10～-5 dB时，部分较差信道带来的差错对SS-CSI 影响更小，分类准确率更高。当SNR 为0～10 dB 时，由于大部分子信道条件都较好，而SS-O 用于传输物体的子载波数大于SS-CSI，此时SS-O的分类准确率性能要略好于SS-CSI。SC中物体和背景占用的子载波数目相同且不用CSI反馈来辅助分配这些待传输的码字，因此在SNR 较差的情况下，SC 的分类准确率不如SS-O和SS-CSI。在SNR较高时，JPEG-LDPC的分类准确率达到分类网络的上限。但随着SNR 的降低，传输差错超出LDPC编码的纠错能力，JPEG-LDPC分类准确率性能快速下降。

在MSE 性能方面，SS-O 完全舍弃了背景部分的传输方法，以便于在SNR 很低时可以更好地保护物体部分的MSE性能。然而，在信道条件较好的情况下，SS-O 也无法恢复背景部分，使得MSE 几乎不会随着SNR 的上升而降低。在SNR 较低的情况下，SS-CSI 和SC 的MSE 性能相当。CSI 反馈会使得SS-CSI 总倾向于将更好的子信道用于物体部分的传输，但在SNR 较高的情况下，增加占比较大的背景部分会进一步降低MSE，导致SS-CSI 在SNR 较高的情况下略差于SC。传统的JPEG-LDPC方法在SNR较高时，使传输错误均被纠出，此时MSE几乎为0。同样地，当SNR降低导致传输错误超出其纠错能力后，MSE性能也会迅速降低。

在SNR=0 dB 时，不同传输方法对图像的恢复结果如图3所示。其中，SS-O可将所有传输带宽用于恢复无图部分的像素信息。虽然物体部分恢复得最清晰，但背景却被完全舍弃。与SS-O不同，本文提出的方法SS-CSI在尽可能恢复物体信息的同时，利用SNR 较低的信道，传输一部分背景信息。传统的语义传输方法SC 不考虑信道条件，物体和背景均有不同程度的损失。从图3 可以看出，SS-CSI 能够根据CSI反馈的信息对不同传输部分进行灵活保护，即在MSE性能和分类准确率两种损失函数的指导下，网络学习到优先降低物体部分的MSE，在提高分类性能的同时对背景进行保护。通过这样的方法，网络既可以在高SNR 下取得很好的MSE性能，又可以在低SNR下取得很好的分类性能。

▲图3 信噪比为0 dB时3种方法的实例图

4 结束语

本文中，我们介绍了语义通信系统在提升传输质量、节省传输带宽方面的优势；考虑到典型的OFDM无线通信系统以及无线信道的特性，阐述了语义信源信道编码在无线通信中的融合应用；设计了基于语义分割的无线图片传输方案，即通过对不同重要性的传输部分进行分割（如背景和物体信息），实现对重要语义特征的保护。考虑到CSI 反馈在无线通信中的重要性，SS-CSI方法使用反馈的CSI信息指导网络对不同传输部分进行保护，并使用具体的任务指导网络训练。此外，我们比较了SS-CSI 和CSI 反馈对分类准确率和MSE的影响，并通过具体实例证明了分割和CSI反馈可以对接收图片的重要部分进行更好地保护。