整车大数据存储与计算优化实现

2022-08-17韦统边司帅锋温丽梅唐莹苏德

电子测试 2022年14期

韦统边，司帅锋，温丽梅，唐莹，苏德

(上汽通用五菱汽车股份有限公司广西汽车新四化重点实验室，广西柳州，545007）

1 整车大数据存储与计算

当前汽车成为大部分家庭生活必须品。电动化、网联化、智能化和共享化成为新一代汽车的基本要求，汽车上数百个传感器在不间断的采集数据，这些数据的传输和利用蕴藏着巨大的价值，在2030年我国汽车保有量将增长到4.3亿辆，每辆智能网联汽车每秒可产生8.6MB数据[1]。海量数据的传输、存储和计算成本之间的均衡成为当前最急需解决的问题之一。

本文将基于整车大数据目前状况，简要说明常用的数据存储格式优缺点，选择Parquet数据格式原由，并结合数据归类和归档策略，总体上实现存储压缩和计算性能提升的目标。总体上实现存储压缩和计算性能提升的目标。

2 数据存储格式

2.1 Txt数据格式

Txt是微软在操作系统上附带的一种文本格式，主要是用于存储文本信息，此处我们利用txt格式文件按行存储车辆上传的加密数据，所有车辆信号项以及对应的值都以十六进制进行传输，需要使用时再用制定好的规则把十六进制数据解析为明文数据。

优点：没有对应的解密规则无法将数据解密，数据的安全性高。压缩比高，节省网络带宽，因为同样位数的十六进制能比十进制和二进制表达的信息更多。

缺点：当使用数据时必须先解析为明文数据，再进行数据分析，若需要分别实现多个算法，会多次读取源数据，导致数据解析工作重复进行，即使读取一个信号项的值，也必须遍历所有数据后再解析出指定信号项的值，重复解析工作耗费大量的集群计算资源。

应用场景：低频归档数据。

2.2 Json数据格式

一种按行存储的轻量级的数据交换格式，采用完全独立于语言的文本格式，包含对象（键值对）和数组（包含多个对象）这两种结构[2]。由字符串、数字、对象和数组组成的数据结构都可以通过Json来表示，其中对象是有一对大括号{}包裹起来的内容，数据结构为多个{key1:value1,key2:value2,…}形式的键值对，key为对象的属性，value为对象的值，key一般用整数和字符串表示，value可以是Json支持的任意数据类型；而数组是由中括号[]包裹起来的内容，数据结构为 [“java”, 123, “vb”, ...] 的索引结构，同样数组的值也可以是任意数据类型。整车数据解析后转为JSON数据格式再按行存储，文件格式可以是json和txt等。

优点：数据读取速度快，一次解析多次使用，大量节省数据重复解析的时间；按需读取信号项值，省去逐个遍历信号项的时间。

缺点：占用存储空间大，因为每一行数据都重复存储相同的key值，以及大量的冒号、双引号、大括号和逗号等，数据冗余问题较为严重。

应用场景：数据量低于百万级别系统。

2.3 ORC数据格式

一种非单纯的列式存储格式，ORC数据格式遵循“先对行分组，再按列存储”的理念，首先会按行组去分割整个数据表，每一个行组内再进行按列存储，以strip为逻辑单位分为行组，每一个逻辑单位的大小一般与HDFS的block大小一致，保存了每一列的索引和数据，这可以保证逻辑单位内所有行都能保存在一个集群节点上；逻辑单位内的数据再按列存储。这样可以保证读取多列数据时不会出现跨节点通信组装元组的情况[3]。

ORC数据格式读取是从文件的尾部开始，第一次读取16KB大小的数据，尽可能将元数据信息和文件结构信息读入内存，至此数据读取初始化完毕。之后就可以通过元数据信息指定需要读取的列编号，如果不指定列编号则默认读取全部列。同时ORC文件是自描述的，它的元数据使用Protocol Buffers序列化，使用两级压缩机制，首先将一个数据流使用流式编码器进行编码，然后使用可选的压缩器对编码后的数据进一步压缩，达到降低存储空间的目的。

优点：具有极高的压缩比，并且文件是可分割的，可支持更高的任务并行度。

缺点：对多层数据嵌套结构支持不够友好，在使用多层数据嵌套结构时性能和空间损失较大。

应用场景：数据结构较为简单的大数据集群。

2.4 Parquet数据格式

一种以二进制方式存储的列式存储格式，对多层数据嵌套结构支持比较友好，它的文件不可直接读取和修改，它的文件也是自解析的[4]。Parquet数据格式主要分为三层，遵守自下而上的交互方式，最上层为数据存储层，这层定义Parquet的文件格式/类型，包括原始类型定义、page类型、编码类型和压缩类型等；中间层为对象转换层，这层作用是完成其他对象模型与Parquet内部数据模型的映射和转换；最底层为对象模型层，该层定义如何读取Parquet文件的内容，并对外提供接口，实现java对象和Parquet文件的转换。Parquet的存储模型主要由行组（Row Group）、列块（Column Chuck）、页（Page）组成，Row Group：将数据水平分割划分为行组，默认行组大小与HDFS block块大小一致，保证一个行组会被一个Mapper处理，Column Chuck：行组中的每一列保存在一个列块中，每一个列块只包含一种数据类型的数据，并且不同列块可以使用不同的压缩算法，Page：Parquet是按照块页方式去存储数据，每个列块包含多个页，页是最小的编码单位，同样不同的页可以用不同的编码方式。同时在ORC的基础上采用Striping/Assembly压缩算法，通过该算法，Parquet可使用较少的存储空间表示复杂的嵌套格式。

优点：支持的系统多，数据压缩比高，数据使用复杂的嵌套格式时占用存储空间较少。

缺点：压缩比没有ORC数据格式高。

应用场景：数据为复杂嵌套格式的大数据集群。

2.5 数据格式对比

列举的数据格式各项指标对比结果如下[5]：

数据格式指标 Text Json ORC Parquet压缩比低极低高较高ACID 不支持不支持支持不支持UPDATE操作不支持不支持支持不支持索引不支持不支持粗粒度索引粗粒度索引Impala、Drill、Spark、Hive单表查询耗时 — — 9t 10t支持平台 Hdfs Hdfs Spark、Hive

综合以上对比结果，Parquet更适合我们当前大数据业务场景，因为ORC和Parquet查询性能接近，但是Parquet支持更多的平台，方便后续引入其他大数据组件。