中国数据库服务生态与体系
2021-02-02盖国强杨廷琨谢筠黄宸宁
盖国强 杨廷琨 谢筠 黄宸宁
(云和恩墨(北京)信息技术有限公司,北京 100026)
0 引言
关系数据库理论自20世纪70年代诞生以来,一举成为数据库市场上的核心理论,由此催生的一系列的数据库软件公司,已经成为当今数据库市场上的统治者。而随着大数据时代的来临和数据库技术应用的不断深入,今天几乎所有的应用系统后台都运行着各种数据库软件,存储着各种类型的用户数据。伴随数据库软件的应用,随之形成了一个数据库服务领域,在整个信息服务中承载着越来越重要的使命。本文将从数据库服务范畴的服务定义、服务范围、服务形式、服务品质和市场规模等方面进行分析阐述。
1 数据库产品概况
自1970年埃德加·科德 (Edgar F. Codd)博士发表了题为“大型共享数据库的关系模型”的论文之后,关系型数据库取得了蓬勃发展,在此基础上全球涌现出大量商业和开源数据库产品,如Oracle、DB2、SQL Server、MySQL、PostgreSQL等[1]。近年,随着国内基础软件的蓬勃发展,中国数据库市场也涌现出大量的国产数据库品牌,包括TiDB、PolarDB、GaussDB 、TDSQL、OceanBase、达梦、GBase、巨杉、KingBase等。
生产实践中各具特质的数据在不断推动数据库技术的发展,时至今日,从关系型到非关系型,从结构化到非结构化,从小数据到大数据,数据库正在不断扩展范畴,承载越来越重要的使命。数据库按照数据存储的形态可以分为关系型和非关系型(NoSQL为主)数据库,按照数据应用的形态又可以分为OLTP事务型和OLAP分析型数据库。随着新技术形态的引入,数据库市场又催生了云生态的DBaaS 、融合SQL和NoSQL的NewSQL产品。当然,今天的数据库技术都在不断互相借鉴成长,HTAP试图提供混合事务分析处理能力,数据湖技术又尝试把所有的企业数据统一存储,也就导致很难再去对数据进行精确的归类和区分。
如图1所示,中国DBA联盟与云和恩墨对数据库产品进行了粗略分类和归纳,从中可以看出百花齐放的数据库生态格局。数据库产品的极大丰富,也为用户的应用和运维服务带来了新的挑战[2]。
2 数据库服务的定义
关于“服务”,管理大师格罗鲁斯将其定义为:“服务是由一种或一系列、或多或少具有无形特性的活动所构成的一种过程,这种过程是在客户与员工、有形资源的互动关系中进行的,这些有形资源(有形产品或有形系统)是作为客户问题的解决方案而提供给客户的。[3]”
进一步,分析机构Gartner为信息技术服务(IT Service)提供的定义是:信息技术服务是指应用业务和技术专长,使组织能够创建、管理、优化或获取信息和业务流程。信息技术服务市场可按提供服务所采用的技能类型(设计、构建、运行)来划分。服务也有不同的类别,比如业务流程服务、应用服务和基础设施服务。如果将这些服务外包,则被称为业务流程外包(Business Process Outsourcing,BPO)、应用外包(Applications Outsourcing,AO)和基础设施外包(Infrastructure Outsourcing)[4]。
数据库服务是指围绕着数据库的规划设计、建设实施、优化提升、运行维护等环节,为数据库系统提供正常使用所展开的信息技术工作。企业可以通过自建团队或者服务外包等方式提供数据库服务。数据库外包(Database Outsourcing)是指企业(数据拥有者)将自身的数据库创建、访问、维护、升级、管理等任务委托给专门的可以提供这些功能的第三方(数据库服务提供者)管理[3]。
数据库作为信息系统的基础软件发展至今,已经有50多年的时间,由于数据库产品和应用、硬件基础设施的联系非常紧密,在很长一段时间内,国内的数据库服务工作主要以附属技能的形式由应用开发商和硬件服务商用户提供保障。而随着数据时代的不断发展,数据库对于企业的重要性越来越高,企业对于专业的服务需求越加迫切,独立的数据库服务厂商渐渐成长和呈现出来,由此形成了一个专业专注的数据库服务领域。
3 数据库服务的范围
在当前数据驱动的时代,企业已经开始运用海量实时数据来分析业务发展、了解客户行为和优化配置资源,并据此制定企业发展战略。数据是数字化组织增强洞察力、驱动业务持续发展的重要武器。数据库系统作为数据存储的主要载体,其数据库服务贯穿企业IT系统的整个生命周期。按照信息系统建设的不同阶段,数据库服务主要在规划设计、建设实施、优化提升、运行管理4个阶段展开,整个数据库的生命周期就如同一个建筑体的生命周期。
(1)规划设计阶段:此阶段是蓝图的制定阶段,以保证稳健出众的建筑输出。数据库规划选型及数据库架构设计是这一阶段的关键,理想的数据架构应该由数据专家与业务专家进行需求分析、模型设计,并进行物理架构的合理规划,才能真正实现架构领先和应用性能可控。
(2)建设实施阶段:此阶段是建筑的奠基搭建阶段,以实现前期的设计规划。数据库的安装部署、高可用容灾、整合迁移等服务可以帮助用户实现标准化、规范化的基础建设,同时,为保障业务的连续性要求,数据环境建设之初就应当消除单点故障,实现设计的可用性目标。
(3)优化提升阶段:此阶段是建筑的装修加固阶段,以保证建筑更健康宜居。数据库系统在运行过程中,往往会不断积累问题、暴露隐患,其中可能包括架构设计不完善、参数设置不优化、存储设计不合理、SQL效率不稳定等问题。数据库性能优化、SQL审核优化等服务是这一阶段的主要工作。
(4)运行管理阶段:此阶段是建筑的修复保养阶段,以使建筑生命更持久更安全。在业务系统上线之后,业务支撑系统转入运行管理阶段,数据库服务就成为例常的运维保障和支撑,此时的数据库健康巡检、数据库备份、数据库补丁升级成为常见的工作。
可见,数据库服务的终极目标是以合理的成本、极致的性能提供不中断的数据库连续服务,以上4个阶段提供的不同服务都应当以这一目标为核心展开。
4 数据库服务形式
在数据库服务领域,通常的服务形式包括项目式和维保式两种形态。项目式服务通常以完成某个确定的任务为目标,通过单人或者团队完成项目职责,常见的服务内容包括架构咨询、升级迁移、紧急救援和异常恢复等工作;维保式服务则是通过相对固定的工作对数据库运行提供连续的支持服务,通常以按需服务或者人力外包的形式提供,常见的服务内容包括健康巡检、变更维护、补丁修复等。
随着技术的不断进步,数据库服务正在从传统的以人工方式为主,逐渐向标准化、自动化、智能化数据库服务方向演进,同时从以往“被动式”服务方式向基于用户体验的“主动式”服务方式转变。
4.1 标准化、自动化、智能化服务
一个行业成熟的标志就是在经历了较长期的碎片化发展之后,最终走向标准化、自动化、智能化。数据库服务行业经过数十年的发展后,在当前大环境驱动下,正处于这样一个资源大整合的时代。
在长期的数据库服务实践中,技术人员开发出各种数据库运维管理工具,如SQL审核系统、数据库审计系统、数据库运维管理平台等,越来越多辅助产品的出现,标志着数据库服务进入类似制造业的机器生产时代。下一个阶段的发展趋势应该是将这些经验系统在流程和数据上进行整合,朝着自动化与智能化方向挺进。以期在更大程度上取代人工,消除人工服务所带来的非标准和质量不稳定的隐患,进一步地提高服务效率、降低服务成本。
4.2 基于用户体验的主动式服务
基于用户体验的“主动式”数据库服务形式,目标是改变原有“被动式”低效响应式服务,采用“以用户体验为中心”和“主动服务”的理念,围绕“构体系、建机制、强管理”的原则,提升数据库服务管理能力、应急处置能力及创新创效能力,由被动服务向主动服务转变,构建基于用户体验的“主动式”数据库服务模式,确保信息系统7×24安全、稳定、持续、高效运行[5]。
总之,数据库服务的形式随着行业的发展演进在不断向前迭代,正走向更高级的提供形态。
5 数据库服务体系
目前,国内尚无独立的数据库服务标准体系,主要的服务管理遵从 ITSM 体系,并且通过诸如 ISO9001、ISO27001、ISO20000 等标准体系或认证来实现服务的标准化和质量保证。近期,中国信息通信研究院联合国内数据库厂商和服务商,共同研发并发布了“数据库服务能力成熟度模型”,期望为国内的数据库服务生态体系提出更全面和专业的评估标准。该模型将数据库服务划分即规划设计、实施部署和运维运营3个能力域,具体服务项目又可对应到数据库从选型评估、规划设计、部署实施、运维保障、开发优化等多个方面。表1展示了该模型中的服务能力领域划分情况。
对于用户来说,服务的体验主要通过可用性、性能指标体现出来。可用性通常通过服务级别协议(Service Level Agreement,SLA)体现出来,SLA定义的平均故障间隔时间(Mean Time Between Failure,MTBF)是主要考察指标之一。MTBF又被称为平均无故障时间,也就是常见的N个9问题,如5个9的可用性,全年可宕机时间就是5.26 min(见表2)。在数据库方向上,通常要求达到99.99%的可用性[6]。
表1 数据库服务能力成熟度模型中的能力领域划分
表2 平均无故障时间示例
性能指标通常是指QPS(每秒处理查询量)、TPS(每秒处理事务量)和RP(响应时间)。通过基准测试和性能优化服务等方式,可将系统调整到最佳的运行状态,保障业务的平稳运行。这些核心的性能指标和系统设计、业务要求有关,需要通过基准测试,找到系统的标称能力,并在实践中不断进行整体的优化和提升。系统的最佳性能往往源自各种条件的均衡,如图2所示,并发吞吐量的上升带来延时的增加,让系统运行在最佳状态是技术服务的核心目标之一。
数据库服务的品质,还需要通过标准化的流程、自动化的产品来进一步完善和保障。在商业和开源数据库百花齐放的时代,既需要掌握更多数据库技术提供传统式的服务,也需要通过更完善的软件产品构建标准化、自动化、智能化的数据库服务平台,通过多种服务形式的互补实现更高的数据库服务品质。
6 数据库服务市场规模
根据公开的数据,2019年全球GDP总量为87.75万亿美元,另据如表3所示Gartner的统计数据,2019年全球IT投入为2.3995万亿美元(表3中去除了通信服务部分),全球IT投入占GDP的比重平均为2.7%,其中美国投入最高,占比达到 4.5%,中国的IT投入占比仅为1.6%,低于全球平均水平(2019年中国GDP为99万亿元人民币,IT相关投入为1.6万亿元人民币左右)[7]。
在中国3014亿元人民的IT服务中,第三方运维服务占比达到47.3%,数据库服务又占据其中大约25%的比例,也就是说中国数据库服务市场规模大约在356亿元左右,市场空间极为广阔。2019年,中国数据库市场规模为178.5亿元,这意味着,每有1元的数据库软件销售,就会随之带来 2倍左右的服务市场[8]。
7 结束语
2020年6月22日,央行召开调查统计工作会议指出,要高质量完成金融基础数据等各项统计制度的制定与实施,高质量建设统一管理的数据采集、数据存储和数据分析平台,高质量开展国家金融基础数据的综合应用工作,巩固和拓展金融业综合统计成果,高质量建设符合大数据发展方向的国家金融基础数据库。2020年7月15日,中国移动公布了 OLTP 自主可控数据库联合创新项目,国产数据库中的南大通用、阿里巴巴、中兴通讯、人大金仓、万里开源五大厂商数据库产品中标入选。可以预见,随着国产数据库的不断发展、应用,数据库服务的市场将会进一步扩大,这对整个产业生态领域提出了新的挑战,也带来了新的机遇。
表3 2019年中国IT支出水平与全球IT支出水平的比对(数据来源:Gartner)