浅析基于ISAM的数据库监控阈值智能化设定和调整算法原理
2020-06-07臧洪睿迟克寒马旭东杨婷婷
臧洪睿 迟克寒 马旭东 杨婷婷
摘要：随着数据库种类和数量的不断增加以及IT架构复杂性增长，运维人员疲于应付巡检和故障检修，从而使得数据库的故障处理难度急剧增长。为了提升数据库缺陷分析和故障处置能力，本文将基于ISAM研究数据库的监控阈值的智能化设定和调整算法，以此可以运用机器学习算法智能化判断数据库异常情况，并动态设定告警阈值。
关键词：数据库;ISAM;检测算法
中图分类号：TP393 文献标识码：A
文章编号：1009-3044（2020）35-0030-02
开放科学（资源服务）标识码（OSID）：
Analysis on the principle of Intelligent Setting and Adjusting of Database Monitoring Threshold Based on ISAM Algorithm
ZANG Hong-rui， CHI Ke-han， MA Xu-dong， YANG Ting-ting
（Information and Communication Company of State Grid Jilin Electric Power Co.， Ltd.， Changchun 130000，China）
Abstract：With the increasing types and number of databases and the increasing complexity of IT architecture， the operation and maintenance personnel are struggling to cope with inspection and troubleshooting， which makes the difficulty of database fault processing increase rapidly. In order to improve the ability of database defect analysis and fault handling， this paper will study the intelligent setting and adjustment of database monitoring threshold based on ISAM algorithm， so that the machine learning algorithm can be used to intelligently judge the abnormal situation of the database， and set the alarm threshold dynamically.
Key words：database;ISAM;，detection algorithm
在当前信息化技术高速发展的大背景下，信息系统所承接的业务也越来越多元化、复杂化，更新速度更加频繁。而信息系统中的数据库作为重要的存儲保障，是海量业务数据的重要储存站，因此，数据库的安全稳定也直接影响着信息系统的稳定运行。然而数据库种类和数量随着业务的增加而不断增加，再加上IT架构的复杂性不断增长，这就导致了信息系统的运维人员对数据库的巡检和故障检修等工作的工作量加大，对运维专业性要求也增强。从而使得运维人员在对数据库的故障处理过程中的难度急剧增长，一定程度上造成了数据库运维的安全隐患。
为了提升数据库缺陷分析和故障处置能力，需要基于数据库自动化运维工具所采集的数据库指标（日志信息、监控信息、主机信息等）通过机器学习的方式来进一步解决自动化运维没办法解决的问题。智能化系统能够全面地分析数据库缺陷，并能够在复杂环境下实现问题的快速发现甚至提前预判。从而实现故障的快速诊断和精确定位，最大限度降低故障对业务运转的影响，提升运维人员工作效率和质量，提升运维能力的自动化、智能化技术水平，实现信息系统运维工作由被动式的修复向主动预防调整的运维模式转变。
1 基于ISAM的数据库监控阈值智能化设定和调整算法
ISAM（Intelligent setting and adjustment of database monitoring threshold）即数据库监控阈值智能化设定和调整算法。由于在信息系统数据库中的受监控的数据具有强烈震动的特性，若利用线性回归模型对数据进行拟合分析会导致误差偏高，得不到准确的数据，进而影响数据库的运维工作。因此这里可对震动的数据采用分段分析的模式，即将数据序列分为若干段，将每段定义为一个模式，对每个模式取其特征值进行描述，并进行映射操作而得到特征向量，并将这些模式映射到二维空间上，每个模式可视为空间上的一个点，而不同模式点之间的距离就是模式距离。
2 ISAM相关统计名词
在此将时间设为t，则时间序列为[T=
（1）模式及模式特征：将序列划分成若干段，把每段子序列定义为一个模式，对每个模式取其特征向量进行描述，表示为模式特征。
（2）模式特征处理：在划分若干模式取其模式特征时，每个模式特征可能不在一个数量级上，因此需要对这些模式特征进行规范化处理，做到统一：
[norm（ti）=ti-min（T）max（T）-min（T）]
（3）模式特征距离：即对每个模式特征进行规范化处理后，将每个模式特征视为二维空间上的一点，点与点之间的距离被称为模式特征距离。
（4）相关系数设定：在模式集中选取k个模式，计算每个模式与其他模式之间的距离 ，然后将k个模式的计数增加1，设为[k_count]，则认定当前模式可以达到k个模式。通过反复测试可知，当k为模式数量的三分之一时，为最佳系数。
（5） 影响系数：对[k_count]进行归一化处理：
[effect=k_count-min（k_count）max（k_count）-min（k_count）]
（6）异常系数：异常系数用来描述模式的异常程度。假设某个模式点可到达其他模式点的数量为n，则该点的异常系数为：
[exception=1-i=1neffectin]
（7）拟合误差：将时间序列L（t）经过线性差值后所得到的时间序列设为[Tc=
[E=i=1n（ti-tci）2]
3 ISAM算法流程
在面对数据库中强烈震荡的监控数据时，本文提出了模式检测算法。该算法将震荡数据进行分段处理，划分为若干段，每段被认为是一个模式单元。针对每个模式单元取其特征值进行描述，形成特征向量。然后对每个模式的特征向量进行计算，在得到最接近的k个模式后，将其加入该模式集中。接着将所有模式的相关模式集的大小和该模式的影响系数结合在一起，计算得到异常程度。以此类推，当模式达到一定规模后，可以发现模式间的差异，从而找到异常的模式区间。
（1）将数据序列划分为若干子序列，定义为模式，每个模式指定长度为d，并针对每个模式取其特征值。
（2）对每个模式的特征值进行归一化处理，得到特征向量;将这些模式特征向量的集合设定为List
（3）for（Patern pl：list）;
（4）for（Patern p2：list）;
（5）distance =getdistance（pl，p2）;
（6）distances.add（distance）;
（7）for（PatternP：list）;
（8）neighbour = P.getTopK（distances）;
（9）//获取距离 TopK 的模式，構成集合 neighbour
（10）for（Paternpk：neighbour）;
（11）pk.neighbour.add（p）;
（12）pk.neigh len+ ;//将邻居节点加入集合
（13）for（PatternP：list）;
（14）最终计算得出影响系数和异常系数;
（15）若符合连续n个模式的异常系数大于k个模式，则将该模式区间以及异常系数列出来。
综上所述，通过获取模式特征，将各个模式序列映射为特征向量，然后进行归一化处理，从而得到更加适应性的算法数据。而各个模式序列的特征向量之间的联系可通过计算向量节点建的距离来衡量。
4总结
本文通过采用了ISAM数据库监控阈值智能化设定和调整算法，来实现对数据库运行状态异常检测。基于动态基线的原理，将数据库震荡数据进行分段分析，进行模式化处理，获得每个模式的特征向量，计算每个模式节点间的距离。最终计算得到影响系数和异常系数，并列举出来，从而发现数据库当中的异常数据。随之，运维人员可快速定位异常位置并及时处理。
参考文献：
[1] 武文斌.Oracle数据库性能优化及监控系统的设计实现[J].电脑知识与技术，2019，15（7）：3-4.
[2] 信俊昌，王国仁，公丕臻，等. 不确定数据库中的阈值轮廓查询处理[A]. 中国计算机学会数据库专业委员会.第26届中国数据库学术会议论文集（B辑）[C].中国计算机学会数据库专业委员会，2009：7.
[3] 胡雪梅.数据库的阈值管理[J].四川通信技术，2000（01）：50-51.
[4] 张浩.网络数据库中异常数据检测优化仿真研究[J].电脑与电信，2019（11）：32-35.
[5] 李宇明.数据库系统性能评测与质量管理[D].上海：华东师范大学，2019.
【通联编辑：光文玲】
