实时监管系统中数据库分段存取更新方法研究

朱琪 黎亚炎 付江泳 夏克愚 张良斌 黄文明

摘 要

针对本次大学生创新创业项目中的我们项目的数据库存取查询效率要求，近年来数据库的一般使用方法对于本次设计使用的系统存在一些缺陷。为此，设计提出了一种适用的分段式数据库实时存取方法。本次数据库设计时，在通过数据库请求数据方面有两个主要请求方式，一个是通过远程终端连接服务器并实时写入位置信息，另一个是通过客户端远程连接数据库进行数据的各种管理操作，通过对于本项目数据进入数据库的不同的存取方式，时间等的不同要求，将第一个存取数据库方式设置为通过一个依附于数据库的控制端，使用控制端完成接收远程终端传输的位置信息，并引入缓冲技术，在数据量突增是触发报警并开启双倍缓冲，缓冲数据到指定数量后由控制端完成多个信息一次写入数据库的操作。另一个数据请求分支由于请求量小，因此直连到数据库进行操作。实验结果表明，所提方法对于数据库的平均负荷量较一般直连负荷量低，存取性能优。

关键词

数据分段式存取;实时;自动化

中图分类号： TP393.09                  文献标识码： A

DOI：10.19694/j.cnki.issn2095-2457.2020.15.006

数据库是依照某种数据模型组织起来并存放二级存储器中的数据集合。从发展的历史看，数据库是数据管理的高级阶段，它是由文件管理系统发展起来的。当数据库对远程信息进行管理和操作时，选择适用于数据存取，存取效率高的数据库非常有必要，在本次项目对于数据的实时性和准确性有一定的要求，设计一款适合本次项目的配套数据库存取方案显得尤为重要，它能够保持进入数据库的数据在准确性的前提下，使得数据库不因为大量的小数据片段的插入而导致数据库负荷量过载，从另一方面也是保证了数据库的安全可靠运行。

文献[2]提出了一种基于信息流分析的数据库存取方法，对于数据的进入进行语义上下文的分析，该控制方法虽然控制效果好，但对于本项目中对于角色的控制并不多，此种方法将增加数据库负荷，其也需要验证存取和系统日志，运行效率较低;文献[3]提出了一种大规模数据库实时自主控制的存取方法，其对于用户控制和数据的高效稳定存取都做了很好的改善，但针对本次设计的系统所使用来说，其所使用的贝尔-拉帕丢拉模型的密级划分对于此次少用户的系统并不适用，反而导致对于用户控制方面的判断较多，影响运行效率。

根据以上文献所提出的方法对于本次系统中所存在的不足，提出一种适用于实时大量小数据存取数据库的存取控制方法，其对于角色控制并不深究，通过单次插入数据和批量插入数据的时空消耗对比实现了在实时系统中的分段批量插入数据，提高了运行效率，在控制端设置缓冲池，保证了数据的可靠性和当数据出现波动时的数据安全性。

1 分段式实时数据库存取控制方法

1.1 项目场景

本次所开发的项目所需要的数据库为实时存取效率高的数据库，在远程终端将位置信息发送到数据库时，数据库必须将位置信息实时记录，在设计中必须避免因为数据库负荷量过大而导致的数据丢失，严重还可导致数据库停止工作此类问题，在设计过程中，因为项目所需要的数据库必须稳定可靠，所以开发一款依附于数据库运行的控制端显得尤为重要。

1.2 分段式存取模型

分段式存储模型在数据的存取上使用缓冲技术，将实时的数据缓冲分段进行存储，在其控制机制中有缓冲池，其可以将接收到的数据暂时保存，当缓冲的数据量达到指定数量时，将开启与数据库的连接，然后使用一条sql语句将缓冲到的数据一次插入数据库中，同时缓冲池也还在继续工作，当插入完毕后，等待下一段数据缓冲完成，再次插入。当数据库插入速度慢于数据接收速度时，此模型将会发送报警信息，并自動调整到双倍缓冲数量，降低数据库的负荷，根据数据库中存取一次数据时间的消耗分析，在数据库进行连接和断开时消耗的时间占总时间的70%以上，所以在双倍缓冲的情况下，在数据量不是剧增多倍时，可以有效地保护数据库并保护数据。

此次模型的实现方式是设计依附于数据库的控制端，控制端主要有以下几点功能，其与数据库随时保持连接，并检测数据库的状态，当数据库有任何问题时都会将报警信息发送到客户端、控制端接收远程终端所发来的位置信息，并将其进行缓冲，后插入，缓冲在插入执行时若满，则执行双倍缓冲并报警。

2 实验结果分析

2.1 测试环境

为了验证此模型的有效性和实用性，需要进行相关的实验分析，实验将直连数据库直接插入和设置控制端缓冲插入进行对比，在如图所示的实验拓扑环境下进行。

实验测试环境如下数据库所依存PC机处理器为Intel酷睿i7，主频2.2GHz，物理内存为8G，硬盘500G。

2.2 数据插入测试

针对数据库中插入数据的速度进行两种连接方式的对比，实验使用1条/秒、10条/秒、100条/秒， 1000条/秒的数据量进行测试，其中，控制端缓冲池的缓冲一倍数量为100。分别用两种连接方式插入时数据库和数据完整性对比如表1所示

分析数据量可得，在分段式存储插入的情况下，缓冲并批量插入数据库较直连插入数据库有着很大的优势，其最大限度地保护了数据的完整性和数据库的安全性，具有可靠性，适用于实时大量数据插入处理项目中的数据库配套使用。

3 结论

提出一种实用新型的实时监控系统中数据库存取控制方法，在解决实时存取数据库中插入时连接和断开频繁操作所产生的巨大时间消耗的问题上，分段式存取方式引入缓冲技术，将每次频繁需要插入的数据进行缓冲整理，后批量插入，并在此基础上加入数据接收量超常缓冲数量自动翻倍并报警的机制，使得在存取数据是保证了数据的完整性，同时也保证了数据库的安全可靠运行。通过实验数据表明，本文所提方法存取效率高，数据安全可靠，数据库安全稳定运行。

参考文献

[1]彭建华，李臣明，邱军林，等.接收与处理分离的实时大数据处理模型[J].计算机科学与探索，2015%9（8）：906-913.

[2]Wu C，Zhu Q，Xu W，et a l A real-time geo-processing database engine linking calculations and storage for VGE.Annals of Gis，2015%21（4）：1-10.

[3]徐艳，董涛.大规模数据库实时自主存取控制方法研究[J].科学技术与工程，2017：205-209.