基于数据处理的任务智能调度引擎设计

娄必伟　张起荣　欧莹元

摘要：文章首先对电信运营商任务调度的现状进行简要分析，在此基础上对基于数据处理的任务智能调度引擎设计进行论述。期望通过本文的研究能够对任务调度问题的解决有所帮助。

关键词：数据处理；任务调度；智能调度引擎

一、电信运营商任务调度的现状分析

近年来，国内电信市场持续已久的垄断逐步被打破，由此使得一些新运营商加入，在这一前提下，市场竞争变得日益激烈。对于电信运营商而言，他们几乎每天都需要从后台数据库中，完成海量数据的抽取和统计任务。然而，由于大部分电信运营商并未应用任务智能调度引擎，从而无法实现对这些任务的智能调度和实时监控，致使某些用户急需办理的事项要等待很长的时间，统计结果中无法及时有效地发现问题。

对于电信运营商目前使用的经分系统而言，任务调度是不可或缺的组成部分之一，这种应用系统的数据及时l生在很大程度上取决于任务调度，换言之，任务调度对经分系统具有直接的影响。任务调度算法有两种，一种是事件驱动调度算法，它是按照事件发生的先后顺序和任务的优先级来安排任务的执行；另一种是时钟驱动调度算法，这种算法主要用于周期性任务的处理。在对时钟驱动调度进行应用时，需要同时满足如下几个条件：即精确度足够高的定时、分布式的全局时间、调度器由时间触发。通过对目前应用较多的数据库进行分析后发现，其中很大一部分在任务调度算法上，采用的都是时钟驱动调度算法。

大多数的数据库系统中都有Job或Scheduler进行任务调度，这些任务的调度算法都采用时钟驱动调度算法。Quartz作为一个由Java编写的开源作业调度框架，其调度的处理方式也为定时处理。

这种时钟驱动调度算法它关注的并不是数据当前所处的状况，只要达到预先设定好的时间，便会进行处理，在这一前提下，常常会出现如下问题：即有的任务在处理时，与之相关的数据尚未生成，这样一来，需要对任务重新处理，不但费时，而且费力。

二、基于数据处理的任务智能调度引擎设计

（1）设计目标

为了解决现有任务调度中存在的缺陷和不足，本文提出一种基于数据处理的任务智能调度引擎，通过它的应用，可以实现如下目标：在各种任务的处理上，只要按照预先设定好的程序进行完全配置，便能够实现自动调度，整个调度过程不需要人为干预，这种自动化的处理方式，可以帮助电信业务支撑部门解决日常数据处理的繁重工作，不但减轻了人员的工作量，而且还确保了数据处理的正确性与及时性，人力和物力的节约，能够给企业带来一定的经济效益。同时，决策人员可以在较短的时间内，获得准确、可靠、完整的数据，为经营决策提供了可靠的依据。

（2）任务智能调度引擎的功能设计

本文所设计的任务智能调度引擎具备如下功能：

①任务配置管理。可对任务并发数及配置任务属性进行定义，同时还能对新建任务的优先级、任务对应的后台处理过程以及具体的执行周期等进行定义。可以日、周、月、年为单位对任务进行定义，并且可以定义一次性任务，在对周任务进行定义的过程中，需要预先设定开始时间，即周几，而对一次性任务进行定义时，则需要指定数据的开始与截止时间。

②任务执行条件管理。该功能具体是指对任务的执行条件进行配置，当任务满足预先设定的条件时，才会被执行。可对任务执行的时间点及任务执行前的检查条件进行配置。

③任务依赖关系管理。此项功能可对任务的依赖关系进行定义，一个任务能够依赖于多个任务，同时也能被多个任务所依赖，当任务所依赖的任务执行完成以后，该任务才会被执行。

④任务后续处理。该功能主要是对任务执行完成后的相关处理进行定义，如数据完整性、有效性检查、数据量比较等。

⑤任务执行监控。对任务的具体执行情况进行查看，可启动亦可停止任务，若是停止命令下达时，任务处于正在执行的状态，系统会在执行完成后，停止指定任务。

⑥任务异常处理。对任务执行出现的差错情况进行查看，找出错误的语句后进行处理，并在处理完毕后，对该任务进行重做。

⑦服务程序。这是一个任务智能调度程序，其能够按照任务执行的具体条件完成检查，若是条件具备，则系统会自动启动执行。

（3）应用优势

本文所设计的任务智能调度引擎具有如下应用优势：任务检查条件的设置，可以使系统先检查任务是否可执行，只有具备条件才会执行，从而避免了人工重做的情况发生；设计中引入了任务的依赖关系，确保了数据的正确性，解决了任务长时间执行对资源的耗费问题；任务并发数的设置，防止了任务过多导致系统资源消耗过大影响使用；设计采用的调度算法在时钟驱动算法的基础上，按照任务的执行周期、条件、依赖关系等对任务进行检查，确保了可执行任务能够优先进入到队列当中。

结论

综上所述，本文在对电信运营商任务调度现状进行分析的基础上，提出一种基于数据处理的任务智能调度引擎，并对其设计目标、功能及应用优势进行论述。通过该引擎的应用，能够使电信运营商任务调度问题得到有效的解决。

（作者單位：贵州工程应用技术学院）