基于Kudu的结构化数据存储方案设计分析

李松涛

摘要：本文主要围绕以Kudu为基础结构化的数据存储整体方案设计开展深入地研究探讨，希望能够为今后方案设计及完善相关实践工作的有效进展提供建议参考。

关键词：Kudu;结构化;数据存储;方案设计

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2019）10-0183-01

0 引言

因受到传统数据库的存储架构方面设计所限制，传统模式下结构化的数据在扩展性、时效性方面均相对较差，优化难度相对较高。对此，深入研究以Kudu为基础结构化的数据存储整体方案设计，对提升结构化的数据在扩展性、时效性各方面性能有着极大的现实意义及价值。

1 总体框架设计

结构化的数据存储方面分析引擎组成部分包括：接入数据、分布式Kudu存储引擎、转储数据引擎、Hadoop Cluster、Hplsql、交互数据处理Impala引擎、分布式Spark计算引擎。如下，为各个功能系统模块组件的功能详细介绍[1]：

（1）接入数据。接入数据系统模块，它主要是提供着标准化REST网关，经REST网关的隔离，将写入Kudu数据要求必须连通着集群内部全部Tablet Server网络安全性及连通性方面问题妥善解决;同时，还将Kudu接口处错误调用所致集群方面稳定性相关问题，可实现跨语言式调用操作。接入数据该系统模块内，设计支持Kettle、Flume接入，Flume Agent当中的sink即可实现，经avro协议、文件、命令等输出各种方式接入数据，促使Kettle 输出转换的操作接口可集成STE所输出的插件，Kettle内科直接拖拽应用STE所输出的组件，自关系的数据库与文件等各种Kettle 支持输入的方式，数据可被输出至Kudu内。（2）转储数据引擎。转储数据引擎，其主要是为把Kudu内部历史数据及时转储至Hadoop内，采用parquet的格式实现存储操作。如此操作的好处即为：多数实时化查询均已最近数据为基础，历史数据全部归档至Hadoop内，则Kudu内实际数据量存储必然减少，它的实时化存储及分析方面的能力能够得到很好利用;同时，数据全部归档成为parquet的格式，则Impala实际分析的速度 将会得到提升。因Impala 自身支持着parquet该格式查询数据，故仅需把Kudu内部数据存储 于Hadoop内部，数据经表UNION后，全量的数据分析即可实现。（3）分布式Kudu存储引擎。存储数据引擎，经设计数据表，主要包含着列压缩、分区、主键等设计，数据存储的空间占用得以缩小，系统的IO性能能够得以提升，且数据实际的检索效率也将得到提升。（4）Hadoop Cluster。通过Hadoop Cluster的使用，Kudu当中的历史数据均可实现较高可靠性的归档及存储处理，它支持着Spark、Impala的数据访问操作。（5）Hplsql。在提供着存储期间，可充分满足于传统的数据库在存储期间迁移方面需求。（6）分布式Spark计算引擎。借助Kudu 当中Spark Datasource，能支持着Spark的內存计算，将Impala内部部分复杂的SQL较慢查询、复杂性的SQL维护等问题予以妥善处理，计算分析的能力能够得到提升。（7）交互数据处理Impala引擎。提供着MPP架构交互SQL的查询引擎，经查询引擎，能够将数据的聚合类计算分析妥善处理好，此引擎还支持着函数的自定义系统功能，经函数的自定义该项功能，SQL功能能够得到扩展，促使传统以SQL为基础分析更具简单便捷性。

2 方案设计

2.1 存储方面

依据数据时间属性，数据的存储设计可由两个部分所构成，即为：存储于Kudu内部实时化数据及频繁分析的数据方面存储设计;parquet该格式下存储于Hadoop内部数据方面存储设计[2]。

2.1.1 冷数据的存储

（1）通过parquet该格式把表数据存储至Hadoop内，可高效率过滤及压缩处理数据;（2）表通过snappy的压缩处理，可折中数据的检索及解压方面性能;（3）设置parquet该文件的大小，以1GB为宜。为能够将parquet文件有效存储至 Hadoop内部，Hadoop块大小一般可设256MB或126MB。故设为1GB，防止过于小所致Hadoop的存储性方面问题，还可防止因过于大所致检索性方面问题等。分别存储数据经划分后的冷、暖数据后，可经Impala实现分别外表映射处理，视图可实现对外统一，如把Kudu内数据表Table1于Impala当中多对应冷数据，把它映射成Impala外表的Table1_Parquet，Impala内构建起视图的Table1即为Table1_Kudu UNION Table1_Parquet，Table1的全量数据分析即可实现。

2.1.2 暖数据的存储

（1）设计主键。因Kudu表有着主键牵引功能，对此，应把条件查询当中关键词当初主键部分，促使数据的检索效率得以提升;（2）实施分区设计。该Kudu，它支持着RANGE、HASH两种分区的方式，以不同业务场景相结合，经适宜分析来合理分布数据，将数据检索性及插入性提升;（3）实施列压缩性设计。经振动于数据不同类型配置相应压缩算法，数据可实现高效化压缩处理，磁盘的占用空间得以缩小，IO的访问效率得以提升。Impala内实施表JOIN的查询期间，性能优化较为突出。

2.2 转储方面

借助STE转储数据引擎，把Kudu内部部分的历史数据有效抽取至Hadoop内成为冷数据的存储，Spark程序即为STE转储数据引擎设计，经Oozie相应大数据的工作流式引擎调度周期任务，STE引擎内检查该Kudu当中所满足相应冷数据的标准数据，从Kudu内把数据抽取至Hadoop当中，成功抽取后对于 Kudu内部相关数据做好删除处理。

2.3 分析方面

经用户的数据分析不同场景，用户分析主要包含着实时化交互式的分析、内存计算式分析、离线批的处理计算式分析，以下为具体设计：

（1）实时化交互式的分析。此分析为用户进行查询与分析条件的输入，点击查询后触发到分析，此分析方式需在秒级的时延之内返回，针对该部分数据查询分析，分析引擎可选用Impala，用户们可借助jdbc、odbc实现与Impala的连接，将查询命令提交出去。（2）内存计算式分析。该内存计算式分析，它主要是为能够将部分的分析任务难以用过SQL实现编写方面问题有效妥善处理，且还能处理SQL使用期间过慢的分析速度方面问题，此类型分析人物无需较高实时性要求，可分钟级别内完成，以Spark作为计算引擎，经相关计算任务的编写，可通过直接访问Hadoop、Kudu内部数据来实现。（3）离线批的处理计算式分析。该离线批的处理计算式分析，比较适合报表相关可靠性的结果需求情况下使用，但针对于时间分析方面要求并不是较高情况下，可实现分级别化实现，直接通过Hadoop内设Mapreduce的引擎实现高效处理。

3 结语

综上所述，该方案设计式以Kudu作为基础的引擎，借助城市的Spark、Hadoop大数据科学技术，开发设计出一种比较适合结构化海量数据的存储分析实施方案，可广泛应用至网络报文、海量日志、电子商务、物联网的数据等各种数据的存储分析相应场合当中，此方案具备较为突出的应用优势，值得广泛推广及应用。

参考文献

[1] 王博.面向全基因组关联分析的大数据存储架构设计与实现[D].华南理工大学，2018.

[2] 宁群仪，周超.基于Kudu+Impala的交通大数据存储和分析平台[J].电脑编程技巧与维护，2018（11）：91-92+111.