基于国产软硬件数据库基准测试标准化研究

谢秋琪 吴斌 梁俊杰 董锦绘 曹磊

摘 要：为推动数据库高质量、国际化发展，本文通过分析国内外数据库检测相关技术标准现状，在剖析国外公认基准模 型原理的基础上，结合国内国产软硬件情况，阐述研制基于国产基础软硬件的数据库性能检测标准的思路，对建立国内统一 的数据库评价机制与标准化探索方向提出建议。

关键词：数据库基准，基准测试标准化，数据库检测

DOI编码：10.3969/j.issn.1002-5944.2024.03.004

1 数据库基准测试标准化缺失的痛点 和难点

数据库作为存储和管理数据的工具，在纷繁复 杂的业务系统中充当了非常重要的作用。数据库的 一次出错或请求处理不及时都可能带来不可估量 的损失，所以在应用之前需要充分考虑数据库的可 靠性和性能瓶颈，性能测试成了必要环节。目前对 数据库标准的研究大多在应用层面，如具体行业的 数据库开发、面向具体应用数据库设计的标准化， 而对于数据库基础测试标准研究少之又少。国外数 据库性能测试技术发展至今相对成熟，一些非营利 的公益组织发布的基准全文公开，但部分机构发布 的测试基准仍然保持商业姿态，其测试实现方案 都对外保密。国外数据库基准测试技术并未全部开 源，完全依赖于国外标准及检测工具存在很大的安 全隐患。国内在完成国产基础软硬件环境搭建后， 缺乏统一的标准对国产数据库性能进行测试。这导 致一方面无法在对不同国产数据库进行比较评判； 另一方面，测试是产品不斷优化、质量提升的重要 手段，国内缺少统一的评价机制，无法形成国产数 据库固定的市场准入条件，严重制约了国产数据库产业的发展。建立国产环境下的数据库性能检测标 准，统一检测基准的测试规则已迫在眉睫。国内数 据库测试技术的研究既要满足自主可控，又要有利 于国产数据库走出国门，基于国产基础软硬件的数 据库性能检测标准研究的难点正是要统筹解决好 基准测试模型方法论同源与国产环境下产品检测 自主可控之间的矛盾与平衡。

2 数据库性能测试国外标准反向溯源 研究

国外标准现状是，当前在针对数据库性能评测 领域国际上主要有两个权威机构，分别是事务处理 性能委员会（TPC）和标准性能评估组织（SPEC）。 他们的检测标准也就慢慢形成了业内的“事实标 准”，其中业界内广泛认可的是TPC组织制定的标 准。TPC是由数10家主要计算机软硬件厂家会员公 司创建的非营利组织，专门制定商务应用基准程序 的标准规范、性能和价格度量，并管理测试结果的 发布[1]。TPC的测试标准主要包括TPC-C、TPC-H、 TPC-DS等，其中TPC-C主要用于评估在线事务处 理系统（OLTP）的性能，TPC-H主要用于评估决策 支持系统（DSS）的性能，TPC-DS则是一种新型的 决策支持基准测试，它可以模拟更加复杂和真实的 决策支持应用[2]。TPC评测基准已经成为国际上权 威的标准之一，也是应用最广泛数据库测试事实标 准，其测试结果不仅是数据库软件性能的评测，也 是服务器硬件性能的体现。

国内标准化现状是，主要在具体行业数据库 开发设计统一规范较多，而在数据库检测领域， 虽有对关系数据库管理系统的检测依据，如GB/T 28821—2012《关系数据管理系统技术要求》，针对 关系型数据库的功能性、可靠性、易用性、维护性、 标准依从性五个方面提出具体要求，适用于数据库 产品的研制、测试、评估和采购过程。GB/T 30994— 2014《关系数据库管理系统检测规范》，直接针对 GB/T 28821—2012进行标准的符合性测试。RB/T 020—2019《实时数据库管理系统安全评价要求》 （行业标准）适用于实时数据库管理系统在安全方 面的评估。然而，针对数据库性能专项的测试，国内 暂无对数据库基础领域研究测试标准，也无具有基 础性的数据库性能测试实施细则及相关规范。

如上所述，考虑到标准化研究初衷既要满足自 主可控，又要有利于国产数据库走出国门，在建立 国内数据库性能检测统一标准时，就必须考虑先理 解国外公认的统一标准的原理，准确把握方法论核 心，在测试模型上保持同源。在国外对技术封锁的 情况下，我们通过对已经公开的测试程序文档与测 试服务标准进行反向溯源的研究，针对各类数据库 标准，通过深入地研究测试场景和测试方法，区分 出各类标准的重点关注项，选择权威公认的方法 同源模型原理，用同一把尺子基准对数据库进行 度量。这是确保测试过程科学和测试结果合理的 关键。

3 基于国产基础软硬件的数据库性能 检测标准化研究思路

开展数据库性能基准标准的研究思路如图1所 示。通过研究国外面向联机事务处理过程（OLAP） 的事务型数据库基准测试技术和分析型数据库基 准测试技术已公开的部分，提炼已公开的TPC-E、 TPC-DS数据库标准化测试部分的关键点和难点。

3.1 标准核心指标研究思路

如前分析，先对国外权威事实标准进行反向溯 源，对TPC-E基准从数据模型、业务模型、执行模 型、度量模型四个方面深入解读标准内在逻辑。对 TPC-DS基准的研究主要从测试数据的生成加载、 测试流程的控制，以及测试度量等方面着手研究其 模型原理，形成标准草案中的核心评测指标。

数 据库为软件的一种，已有国家标准GB / T 25000.10—2016《系统与软件工程 系统与软件质 量要求和评价（SQuaRE） 第10部分：系统与软件 质量模型》要求对产品性能效率的考察要从时间 特性、资源利用性、容量以及性能效率的依存性这 几个方面来进行测试，并且GB/T 28821—2012《关 系数据管理系统技术要求》规定关系数据库在性 能方面需要做到运行稳定、支持事务并行处理、支 持大数据量。综合上述要求和规定，我们决定使用 事务吞吐率、数据吞吐量、并发用户数、数据加载 时间、响应时间、性价比这六个指标作为测试数据 库性能的核心指标。除了以上核心测度指标能够全 面、准确地评估数据库系统的性能，客观指标选择 上可从并发处理能力、数据处理速度、用户体验和 经济效益等方向选择。

3.2 关于基于场景的测试模型标准化研究

数据库在不同应用场景中呈现的性能水平是 不同的。数据库是组织和管理数据的工具，除其本 身设计与实现的机制以外，应用场景关乎数据库 表的复杂程度、表之间的关联关系、字段的复杂程 度、数据处理请求的复杂程度和动态并发等，这些 都会使数据库的性能呈现一定的差异。所以数据库 性能测试不能一概而论，而应构造不同的场景进行 测试。而标准化的关键正在于，必须对同一使用场 景下的选取能测试出性能特性的各类操作封装成 标准化的事务请求，用同一标准去测试数据库性能 水平。因此，在数据库性能基准测试标准草案的形 成过程中，所谓“基准”很大程度就依赖于“场景 测试模型”标准化的确定。

通过解构国外权威测试的“事实标准”中描 述的业务场景，标准研究将从操作型场景和分析 型场景两方面进行标准化。根据操作型场景具有 高并发、高交互的特点，选取金融交易作为代表模 型场景，包含C2B（客户与企业的商业模式）和B2B （企业与企业的商业模式）的业务场景。模拟客户 在业务系统中的各类操作封装成事务，进而形成数 据库请求，系统装载一定的客户量运行指定天数， 形成数据库初始数据，不同的事务代表不同的客户 操作，不同的混合比和频次模拟现实业务系统的运 行，达到测试仿真，系统平稳运行，最后通过核心 事务吞吐率来衡量系统的性能，一方面显示了系统 处理业务的能力，另一方面显示了数据库的性能水 平，吞吐率指标结合并发数、响应时间等辅助指标 综合衡量性能，以此形成操作型场景的数据库性 能测试模型。

根据分析型场景具有重查询低并发的特点，选 取商品零售行业作为代表模型场景。该场景中数据 规模大并且包含大量查詢，用户的操作通过构造大 量复杂的SQL语句来表示，相同SQL语句集的不同排 列模拟多用户的并发查询，当系统执行完所有的查 询语句，即表示测试结束，最后通过加权的单位时 间内执行的查询数据量来表示吞吐率。整个测试模 拟了决策者或管理者统计查询的过程[3]，查询的结果 是决策者做出决策的重要支撑。该方法能模拟查询 场景，吞吐率能反映系统的查询性能，并结合数据 加载时间、每条SQL语句的响应时间等指标综合分 析，以此形成分析型场景的数据库性能测试模型。

3.3 关于测试流程标准化的研究

如上所述在进行核心评价指标、场景模型进 行标准化后，进一步深入改进目前国际上普遍认可 的基准测试流程。经研究，测试流程应分为环境准 备、测试、验证、统计、报告五个步骤。从流程上进 行统一，不同检测机构检测人员通过不同平台管理 节点选择不同的基准测试工具，调取对应基准测试 类型的业务模型，并驱动数据生成器生成对应的业务数据，代理服务器模拟用户请求、执行测试脚 本、统计返回结果并收集相关性能参数等。通过上 述操作得到的检测结果有可比性。在对流程进行标 准化的基础上，对测试报告与测试方法进行一定程 度的标准化，以确保不同检测实验室之间能进行比 较，达到“基准”形成的目的。

3.4 国产适配标准化研究

在开展国产数据库测试验证、操作型数据库 和分析型数据库性能测试模型的研究基础上，针对 国产CPU和国产操作系统多样性的特点，从顶层上 研究数据库性能测试，从“搭建跨平台架构设计的 测试环境”“采用测试工具”“支持异构处理器”和 “多款操作系统”等方面入手，进行测试方法的国 产环境适配标准化研究。最终总结方法，形成数据 库性能测试方法论，将数据库性能测试方法提炼 为标准，形成《基于国产软硬件数据库测试基准标 准》草案。

4 探索与展望

数据库直接影响到应用软件的运行效率、可拓 展性、灵活度和可靠性，对于应用软件的开发，选 择合适的数据库是非常重要的环节，基准测试的标 准化利于数据库选型。国外主流数据库核心技术垄 断，对我国形成封锁。数据库性能测试基准统一使 可比性对比测试得以实现，能为数据库研制提供思 路，有助于国产数据库核心技术的自主创新，摆脱 受制于人的局面。鉴于数据库系统在国产化软硬件 系统研发的重要地位，我国还需继续加快建设和完 善该领域标准，只有通过标准先行、行业规范、第 三方检测检验，才能有效提升质量水平，助力该领 域技术创新呈螺旋式上升，保障经济发展健康、有 序、可持续，尽快实现高质量发展目标。

在标准化为技术创新护航层面，数据库随着数 据处理的需求不断变化，早期是一致性的数据，随 着互联网、云计算、AI的发展，非结构数据重要性 开始提升，数据库也经历了由集中式向分布式的演 化；另外，互联网对于低成本数据库的需求，催生了 开源数据库的兴起；随着工业大数据时代的到来， 通过网络采集的大量信息被源源不断地发往云端， 数据库中汇聚了海量的数据，其中时序数据库的数 据带有明显的时间标签，并且按照时间戳进行存 放。物联网、监控领域是时序数据库最典型的应用 场景；主流的云服务厂商，很多都有自己研发的数 据库产品，也成为行业内的一股新兴势力，传统的 关系型数据库地位也受到一定的冲击。所以本项目 前述的研究集中在目前常用的关系型数据库的基准 测试的标准化研究，内容也可向自主可控非关系型 数据库、时序数据库、面向多模数据库的测试基准 领域拓展，进一步做好新型数据库基准测试标准化 的研究工作。

参考文献

Transaction Processing Performance Council（TPC）. TPC BENCHMARK? C Standard Specification Revision 5.11[EB/OL].（2010-02-10）[2022-07-15]. http：//tpc.org/ tpc_documents_current_versions/pdf/tpc-c_v5.11.0.pdf .

Transaction Processing Performance Council（TPC）. TPC BENCHMARK? E Standard Specification Version 1.14.0 [EB/OL].（2015-04-10）[2022-01-07]. http：//tpc.org/tpc_ documents_current_versions/pdf/tpc-e_v1.14.0.pdf/.

LAN H， BAO Z， PENG Y. A survey on advancing the DBMS query optimizer： Cardinality estimation， cost model， and plan enumeration [J]. Data Science and Engineering， 2021， 6（1）： 86-101.

作者简介

谢秋琪，正高级工程师，研究方向为标准化、信息化。

梁俊杰，教授，研究方向为国产数据库、测试工具研发。

（责任编辑：张佩玉）