基于5G通信的车载数据转储系统
2021-10-19银壮辰
银壮辰
当检修人员需要获取列车车载数据时，需在每日地铁运营结束后登乘列车，手动进行数据下载［1］，不仅工作危险性大、劳动强度高、工作压力大，而且列车日间运行出现的问题，往往不能及时找到原因，导致次日运行时问题重复出现，影响运营服务质量。为了降低检修员工的检修风险，减轻检修压力，提高车载数据分析处理效率，快速定位列车故障点，控制运营维护成本，设计一种基于5G 通信的车载数据转储系统，将车载数据实时通过5G 网络转储至地面服务器，供应用终端智能运维系统进行数据解析、智能预警、故障诊断。
1 现状分析
在轨道交通领域，车地通信主要通过Wi-Fi、LTE-M、毫米波、EUHT 等技术实现。各技术优缺点如下。
1）Wi-Fi［2］。该技术较为成熟，在轨道交通车地通信领域应用广泛，通信带宽较大，但由于每隔几百米需要部署无线接入点（AP），费用较高，且存在小区切换链路不稳定等问题。
2）LTE-M［3］。该技术链路稳定性高，已广泛应用于轨道交通领域，但需全线部署漏缆，费用较高，且带宽较小，只有5 Mb/s，传输数据量有限。
3） 毫米波。该技术以华为Airflash 技术为主，已在深圳地铁11 号线、西安铁路局等地进行试点应用，带宽可达1.7 Gb/s，但不支持列车高速移动，仅可在列车进出站、停站等低速场景下使用，无法做到全线路通信，且设备昂贵，部署成本高。
4）EUHT［4］。该技术为我国自主提出的通信标准，具有带宽容量大、通信时延小等特点，但每隔几百米就需要部署轨旁基站，设备较贵，费用较高。
上述传输技术各有其问题，而5G 通信技术具有大带宽、广连接、低延时等特性［5］，为此研发基于5G 通信技术的车载数据转储系统。目前该系统已在广州地铁5 号线进行试点应用，取得良好效果。
2 系统方案
基于5G 的车载数据转储系统，是在列车上部署自主研发的5G 通信板，设计数据自动转储软件，采用高效数据传输策略，利用5G 通信将在线运营列车数据自动转储到地面服务器。本方案通过FTP（文件传输协议）对车载数据进行下载，将运营商5G 通信网络作为传输通道，采用网络切片技术［6］保障传输数据的安全性，实现列车数据的高效、可靠转储。车载主机与地面数据服务器之间无法直接交互，须通过5G 通信板进行数据缓存中转，实现安全可靠的数据转储功能。基于5G 的车载数据转储系统架构见图1。
图1 基于5G的车载数据转储系统架构
2.1 硬件设计
车载5G 通信板采用标准化设计，尺寸为3U，可插在车载主机空余槽位上，主要包括CPU 模块、5G 模组模块、PHY（物理层）芯片模块、GPS 模块。其中，CPU 模块用于部署应用程序，实现数据的自动转储；5G 模组模块采用华为MH5000-31 芯片，负责5G 无线通信，该芯片向下兼容支持4G、3G 通信；PHY 芯片模块进行以太网通信；GPS 模块进行列车辅助定位。车载5G 通信板还包括内存、FLASH、网口、串口、SIM 卡座、天线接口等模块。车载5G 通信板硬件结构见图2。
图2 车载5G通信板硬件结构
2.2 软件设计
车载主机文件包括各系统日志文件、视频文件等，数据自动转储软件实时对车载主机文件进行检测，当发现生成新的数据文件后，通过FTP 下载车载数据，将文件缓存到车载5G 通信板。完成数据下载后，根据业务需要对不同类型文件进行处理，然后上传到地面服务器。对于实时性要求高的数据，即时上传到地面服务器，以便地面终端智能运维系统及时进行数据分析、问题排查和预警；对于实时性要求不高的数据，按指定数量对下载文件进行压缩、打包处理，提高了带宽利用率；数据上传到地面服务器的过程中，可根据当前网络状况动态调整上传速度，为实时性要求高的数据传输预留一定带宽余量，保障实时性高的文件数据能够即时上传到地面服务器。车载数据转储软件系统架构见图3。
图3 车载数据转储软件系统架构
车载数据转储软件包括系统主逻辑交互模块、FTP 操作模块、数据文件打包压缩模块、流量控制模块以及日志模块。
1）主逻辑交互模块：通过解析配置文件完成系统初始化，并创建FTP 下载、FTP 上传和文件打包压缩3个线程。在上述3个线程中调用FTP 操作模块、数据文件打包压缩模块相关操作，完成数据文件自动下载到5G 通信板，已下载数据文件根据需要进行打包压缩，数据文件从5G 通信板转储到地面服务器。
2）FTP 操作模块：主要完成获取文件列表、文件下载、文件上传等操作［7］，自动完成车载服务器相关文件的列表获取、文件下载，以及将所需文件上传到地面服务器等功能。
3）数据文件打包压缩模块：主要完成打包压缩文件创建、待打包压缩文件写入、打包压缩文件结束符写入、关闭打包压缩文件等功能，实现指定数量下载文件的自动打包压缩。
4）流量控制模块：在进行数据上传过程中，供FTP 操作模块调用，对数据进行流量控制，限制其最大上传速度，预留部分带宽供实时性高的数据上传使用［8］。
5）日志模块：主要记录关键步骤、系统故障日志，便于维护人员查看。
2.3 数据转储策略
车载数据转储主要采用FTP 协议，通过二进制流进行数据交互。为了提升数据传输效率，采用数据打包、数据压缩、多线程并发、FTP 断点续传等技术，保障数据高效转储。
2.3.1 数据打包
数据打包是为了将零散的数据文件打包为大文件，进行数据传输，其原理如下。
基于5G 网络的车地通信带宽为a字节，数据通信延迟为b，数据传输过程中拥塞累计时长为c，系统内部交互处理时间为d［9］，则车地通信交互总时延Tdelay为
在进行文件传输过程中，数据文件打包在FTP 协议中，FTP 协议占用x字节，数据文件占用y字节，完成一次数据传输包括数据发送、数据接收和数据确认，FTP 协议部分传输时间Tftp为
数据部分传输时间Tdata为
在网络稳定可靠的情况下，Tdelay可以看作一个常数。对于传输一个完整的文件，需要进行n次车地通信FTP 交互，则文件传输带宽利用率f可表示为
显然传输文件越大，FTP 交互时间越少，则文件传输带宽利用率就越高。由于列车上数据多为1～2 MB 的零散数据文件，对于传输100 个1 MB 大小的文件，如果分开传输，一方面文件较小，带宽利用率低，另一方面FTP 需进行多次文件操作，导致FTP 交互占用的时间较多，进一步降低了带宽利用率；而将100 个1 MB 文件进行打包，组合为一个100 MB 的文件，不仅带宽利用率高，而FTP 仅需进行少量的文件交互操作，FTP 交互占用时间相对于单独进行100 次 1 MB 文件操作较少。
因此，将零散的小文件进行打包处理为大文件，可有效提升文件传输带宽利用率。
2.3.2 数据压缩
为了进一步提升文件传输带宽利用率，本方案引入哈夫曼数据压缩算法［10］，对数据文件进行压缩。压缩过程主要步骤如下。
1）统计：读入源文件，统计字符出现的次数，并根据权重进行从大到小的排序。
2）建树：以字符的权重（权重为0 的字符除外）为依据建立哈夫曼树。
3）编码：依据2）中的哈夫曼树，得到每一个字符的编码。
4）写入：新建压缩文件，写入压缩数据。
假设一个字符串是“abcabcabcabcabcabcddddddddd”，统计各字符出现的次数见表1。
表1 哈夫曼权重表
按照一般的存储方法，1个字符占用1个字节，那 么 共 花 费 （6 ＋ 6 ＋ 6 ＋ 9） × sizeof（char） ＝27 B。但如果对其建立哈夫曼树，将各字符出现的次数当做权重，出现次数越多，越靠近根节点，其编码越短，其哈夫曼树见图4。
图4 哈夫曼树
因此，“abcabcabcabcabcabcddddddddd”就可以转化为“0001， 1000， 0110， 0001， 1000，0110， 0001， 1000，0110，1111，1111，1111，1111，11”，注意这里采用按位存储，即0 和1 都是位，而非char 型。那么之前的27 B 就转换成了7 B（字节不足就补零），这就达到了数据压缩的效果。
将原本打包好的数据进行压缩，使得在单位时间内能够传送更多的数据，提升了系统的带宽利用率。
2.3.3 多线程并发
采用多线程技术，创建多个线程分别进行数据下载、数据打包压缩、数据上传等操作，使系统各功能并发运行，提升数据转储效率。
2.3.4 FTP断点续传
当网络延迟发生数据传输中断时，系统采用FTP 断点续传技术【11】，对于下载的数据，通过向服务器发送“REST ＋本地文件长度”命令，进行文件断点下载；对于上传的数据，通过服务器发送“APPE ＋文件名”命令，通知服务器后续发送的内容附加到文件末尾。断点续传技术，减少了已下载或已上传部分文件内容的重复传输，提升了数据转储效率。
3 关键流程
系统关键流程包括：文件自动下载、文件打包压缩、文件转储上传3个流程。
3.1 文件自动下载
系统支持数据文件自动下载到5G 通信板，其交互流程见图5。
图5 文件自动下载交互流程
3.2 文件打包压缩
根据下载文件的类型，对文件进行打包压缩，以提高带宽利用率，其交互流程见图6。
图6 文件打包压缩交互流程
3.3 文件转储上传
系统支持将5G 通信板下载的文件自动转储上传到地面服务器，以供数据终端进行分析、处理，其交互流程见图7。
图7 文件转储上传交互流程
4 结束语
基于5G 通信的车地转储系统充分利用5G 网络特性，通过设计车地转储硬件平台及转储软件，并制定高效的转储策略，实现了车载数据自动、高效地转储到地面服务器，解决了地铁列车数据孤岛问题。本方案在减少列车检修人员作业的同时，实现列车从计划修到状态修的转变，提高了列车的上线率。基于本方案的技术优势，必将会在列车车载数据转储领域拥有良好的应用前景。
