QuartzWeb任务调度

QuartzWeb任务调度
QuartzWeb任务调度

QuartzWeb任务调度(转)

字号 [大中小]

在web应用中,大多数任务是以一种"防止用户长时间等待"的方式完成的。在Google搜索这样的例子中,减少等待时间对用户体验来说至关重要。异步任务的一种解决方案是在用户提交后生成一个线程(来处理异步任务),但这也不能解决那些需要以一定时间间隔重复运行任务、或在每天的指定时间运行任务的情况。

让我们从一个数据库报表的例子来看看任务调度能如何帮助改善系统设计。报表可能是错综复杂的,这取决于用户所需数据的种类,以及是否需要从一个或多个数据库收集大量数据。用户可能需要很长时间来运行这样的"按需"报表。因此,我们向这个报表示例中添加任务调度机制,以便用户可以安排在任何他们需要的时间生成报表,并以PDF或其他格式在email中发送。用户可以让报表在每天的凌晨2:22,系统正处于低负荷时运行;也可以选择只在特定时间运行一次。通过在报表应用中加入任务调度,我们可以为产品添加一项有用的功能,并改善用户体验。

幸运的是,有一个强大的开源解决方案可以让我们以标准的方式在web应用(或任何Java应用)中实施任务调度。以下示例展示了在web 应用中,如何使用Quartz来创建一个任务调度框架。这个示例还使用了Struts Action framework 插件,以便在web应用启动时初始化任务调度机制。Struts是最常见的MVC框架,为大多数开发人员所熟悉。当然除此之外还有许多框架可以协助在web应用中实现MVC模式。

启动时初始化任务调度器

我们首先要做的是建立一个Struts插件,让它在容器启动时创建我们的任务调度器。在以下例子中,我们选择Tomcat作为web应用容器,不过这些示例在其他容器中也应当可以运行。我们要创建一个Struts插件类,并在struts-config.xml中加入几行代码以使之可以工作。

这个插件有两个可配置的初始化参数:startOnLoad指定是否要在容器启动时立即启动任务调度器,而startupDelay指定启动任务调度器

之前的等待时间。启动延时很有用,因为我们可能需要首先执行一些更重要的初始化步骤。此外还可以使用listener机制,以更复杂的方式来通知SchedulerPlugIn何时启动Quartz Scheduler。

我们要创建的是一个实现Struts插件接口

org.apache.struts.action.PlugIn的单子类SchedulerPlugIn。Struts会按照配置文件中出现的顺序初始化各个插件。要特别注意的是init()方法中的代码,在此我们初始化了所需的Quartz对象,并得到Scheduler。我们的任务信息就要提交到此org.quartz.Scheduler对象,后者将在随后讨论。Scheduler对象由Quartz servlet根据其配置初始化,就像Struts 初始化它的ActionServlet类一样。让我们来看init()方法:

public void init(ActionServlet actionServlet,

ModuleConfig moduleConfig) {

System.out.println("Initializing Scheduler PlugIn for Jobs!");

// Retrieve the ServletContext

// 获取ServletContext

ServletContext ctx = actionServlet.getServletContext();

// The Quartz Scheduler

// Quartz Scheduler对象

Scheduler scheduler = null;

// Retrieve the factory from the ServletContext.

// It will be put there by the Quartz Servlet

// 从ServletContext取得由Quartz Servlet放置在此的factory对象。

StdSchedulerFactory factory = (StdSchedulerFactory)

ctx.getAttribute(QuartzInitializerServlet.QUARTZ_FACTORY_KE try{

// Retrieve the scheduler from the factory

// 从factory取得scheduler

scheduler = factory.getScheduler();

// Start the scheduler in case, it isn‘t started yet

// 如果scheduler尚未启动,则启动它

if (m_startOnLoad != null &&

m_startOnLoad.equals(Boolean.TRUE.toString())){

System.out.println("Scheduler Will start in " +

m_startupDelayString + " milliseconds!");

//wait the specified amount of time before

// starting the process.

// 在启动之前等待指定长度的时间

Thread delayedScheduler =

new Thread(new DelayedSchedulerStarted (

scheduler,

m_startupDelay));

//give the scheduler a name. All good code needs a name

//给任务调度器命名。好的代码总该有名字!

delayedScheduler.setName("Delayed_Scheduler");

//Start out scheduler

//启动任务调度器

delayedScheduler.start();

}

} catch (Exception e){

e.printStackTrace();

}

sm_scheduler = scheduler;

}

配置过程的第二步是在web.xml中加入用来初始化Quartz

servlet(org.quartz.ee.servlet.QuartzInitializerServlet)的内容,因为需要它将SchedulerFactory添加到ServletContext中,以便在我们的Struts插件中可以访问。SchedulerFactory就是我们在Struts插件中获得Scheduler对象的来源。除了struts-config.xml 和web.xml之外,还要在web应用的classes目录下放置一个quartz.properties文件。此文件的位置也可以在web.xml中作为QuartzInitializerServlet的启动参数来指定。

QuartzInitializer

Quartz Initializer Servlet

org.quartz.ee.servlet.QuartzInitializerServlet

1

shutdown-on-unload

true

start-scheduler-on-load

false

这里其实完全可以不使用Struts和SchedulerPlugIn,但如果将来决定要以其它的任务调度框架替换Quartz的话,额外的抽象层就很有用了。长远看来,让一切保持松散耦合总会使工作变得容易些。如果你使

用其它MVC框架,也可以用SchedulerPlugIn.init()方法中的代码达到同样的效果。此外,还可以用Servlet 2.3规范中的ServletContextListener 来实现同样的初始化过程。

此为止web应用已配置完毕,我们可以创建一个.war文件并部署到服务器上,从控制台观察SchedulerPlugIn的输出信息。然而在此之前,让我们先看看如何向任务调度器提交一项任务。

我们可以从web应用中的任何类访问SchedulerPlugIn的唯一实例,并调度一些要执行的工作。首先需要一个Trigger(触发器)对象来告诉任务何时运行、每隔多久运行一次。Quartz支持多种触发器,在这个例子中我们使用CronTrigger。

Trigger trigger = new CronTrigger("trigger1", "group1"); trigger.setCron;

以上的触发器会在每周三的下午3点执行指定任务。现在我们只要创建一个JobDetail对象,并把它和上面的触发器一起传递给SchedulerPlugIn的scheduleWork()方法。

JobDetail jobDetail =

new JobDetail("Hello World Job",

"Hello World Group",

HelloWorld.class,

true, true, true);

//Schedule The work

//调度这项任务

SchedulerPlugIn.scheduleWork(scheduledJobDetail, trigger); 实际工作在何处?

至此我们已决定Trigger,可以开始调度工作了。看上去一切都已完成,但实际上我们只是调度了一项任务,还有最重要的一步有待完成。注意HelloWorld.class作为参数传递给了JobDetail的构造函数。这个类

就是实际完成工作的地方。HelloWorld继承了Quartz的Job类,并覆盖了execute()方法。当任务管理器决定运行这个任务时,execute()方法将被调用。来看代码:

import org.quartz.JobDataMap;

import org.quartz.JobDetail;

import org.quartz.JobExecutionContext;

//extend the proper Quartz class

//继承适当的Quartz类

public class HelloWorld extends Job {

//override the execute method

//覆盖execute方法

public void execute(JobExecutionContext context) {

// Every job has it‘s own job detail

//每个Job都有独立的JobDetail

JobDetail jobDetail = context.getJobDetail();

// The name is defined in the job definition

//name在Job定义中指定

String jobName = jobDetail.getName();

//Every job has a Job Data map for storing extra information //每个Job都有一个Job Data map来存放额外的信息

JobDataMap dataMap = jobDetail.getJobDataMap();

System.out.println("Hello World!!!");

}

}

出于测试的目的,你可能希望将触发器的频率调的高一点,以便观察到HelloWorld的动作。毕竟,你不想一直等到凌晨2点才能确定调度的任务确实运行了。相反,你可能需要一个每隔10秒运行的触发器:Trigger trigger = new SimpleTrigger("trigger1", "group1");

trigger.setRepeatCount(SimpleTrigger.REPEAT_INDEFINITELY); trigger.setRepeatInterval(10000L); // milliseconds毫秒

注意,这个触发器没有使用类cron的语法。Quartz有大量各类的选项和配置方法,可适用于任何任务调度的需要。

其它计时方式的配置

Quartz提供了多种调度任务的方式。CronTrigger可能是最复杂的一种,不过还有其它的选择。大多数触发器可以由Quartz提供的TriggerUtils类创建。以下是一些常见的触发器的例子。如谚语所言,条条大路通罗马!

每天凌晨2:22触发的触发器

// 方法一:使用makeDailyTrigger

Trigger trigger = TriggerUtils.makeDailyTrigger(2, 22); trigger.setName("trigger1");

trigger.setGroup("group1");

// 方法二:使用CronTrigger

Trigger trigger = new CronTrigger("trigger1", "group1"); trigger.setCron;

每5秒执行一次的触发器

/* *

* 方法一:makeSecondlyTrigger

* 注意以下代码将创建一个立即启动的触发器。要控制启动时间,使用* trigger.setStartTime(Date)方法。

*/

Trigger trigger = TriggerUtils.makeSecondlyTrigger(5); trigger.setName("MyFiveSecondTrigger");

trigger.setGroup("MyTriggerGroup");

/*

*

* 方法二:设置SimpleTrigger的重复次数和间隔时间。

* 注意以下代码将创建一个立即启动的触发器。要控制启动时间,使用* trigger.setStartTime(Date)方法。

*/

Trigger trigger = new SimpleTrigger("trigger1", "group1"); trigger.setRepeatCount(SimpleTrigger.REPEAT_INDEFINITELY); trigger.setRepeatInterval(5000L); // milliseconds

按间隔时间运行任务

Trigger trigger = new SimpleTrigger("trigger1", "group1");

// 24 hours * 60(minutes per hour) *

// 60(seconds per minute) * 1000(milliseconds per second)

// 24小时 * 60(分钟每小时) * 60(秒每分钟)* 1000(毫秒每秒钟)

trigger.setRepeatInterval(24L * 60L * 60L * 1000L);

基于大数据的能力开放平台解决实施方案

基于大数据的能力开放平台解决方案

————————————————————————————————作者:————————————————————————————————日期:

基于大数据的能力开放平台解决方案 1 摘要 关键字:大数据经分统一调度能力开放 运营商经过多年的系统建设和演进,内部系统间存在一些壁垒,通过在运营商的各个内部系统,如经分、VGOP、大数据平台、集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度、封闭式开发、数据孤岛等系统问题,使得运营商营销能力和效率大大提高。 2 问题分析 2.1 背景分析 随着市场发展,传统的开发模式已经无法满足业务开发敏捷性的要求。2014 年以来,某省运营商经营分析需求量激增,开发时限要求缩短,业务迭代优化需求频繁,原有的“工单-开发”模式平均开发周期为4.5 天,支撑负荷已达到极限。能力开放使业务人员可以更便捷的接触和使用到数据,释放业务部门的开发能力。 由于历史原因,业务支撑系统存在经分、VGOP、大数据平台、集团集市等多套独立的运维系统,缺乏统一的运维管理,造成系统与系统之间的数据交付复杂,无法最大化 的利用系统资源。统一调度的出现能够充分整合现有调度系统,减少运维工作量,提升维护质量。 驱动力一:程序调度管理混乱,系统资源使用不充分

经分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理,平台内程序基本是串行执行,以经分日处理为例,每日运行时间为20 个小时,已经严重影响到了指标的汇总展示。 驱动力二:传统开发模式响应慢,不能满足敏捷开发需求 大数据平台已成为一个数据宝库,已有趋势表明,只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需求,提升数据价值。 驱动力三:大数据平台丰富了经分的数据源,业务部门急待数据开放 某省运营商建立了面向企业内部所有部门的大数据平台,大数据平台整合了接入B域、O 域、互联网域数据,近100 余个数据接口,共计820T 的数据逐步投入生产。大数据平台增强了传统经分的数据处理的能力,成为公司重要的资产,但是传统经分数据仓库的用户主要面向业支内部人员,限制了数据的使用人员范围和数据的使用频度,已经无法满足公司日益发展的业务需求,数据的开放迫在眉睫。 2.2 问题详解 基于背景情况分析,我们认为主要问题有三个: 1、缺乏统一的调度管理,维护效率低下 目前经分系统的日处理一般是使用SHELL 脚本开发的,按照串行调度的思路执行。进行能力开放后,目前的系统架构无法满足开发者提交的大量程序执行调度的运维需求。如果采用统一调度的设计思路则基于任务的数据表依赖进行任务解耦及调度,将大大简化调度配置工作和提高系统的

TinyOS任务调度机制与实时调度构件设计

收稿日期:2007-05-09;修回日期:2007-07-18。 基金项目:国家863计划项目(2005AA1Z2120)。 作者简介:刘奎安(1982-),男,四川自贡人,硕士研究生,主要研究方向:无线传感器网络; 郭文生(1976-),男,辽宁铁岭人,讲师,博士研究生,主要研究方向:无线传感器网络、实时网络技术; 桑楠(1964-),男,四川营山人,教授,主要研究方向:嵌入式实时系统。 文章编号:1001-9081(2007)11-2740-03 Tiny OS 任务调度机制与实时调度构件设计 刘奎安,郭文生,桑 楠 (电子科技大学计算机科学与工程学院,成都610054) (lka10271982@sina .com ) 摘 要:Tiny OS 是一个开源的构件化操作系统,它采用构件化描述语言nes C 进行开发,主要针对资源非常有限的无线传感器网络节点而设计。分析了Tiny OS 22.x 的任务调度机制,针对其在实时应用领域的调度缺陷,设计并实现了一种软实时任务调度构件。根据构件在T OSSI M 仿真器中的验证分析,能有效增强Tiny OS 的实时性能。 关键词:无线传感器;Tiny OS;实时;构件设计;T OSSI M 中图分类号:TP316;TP311 文献标识码:A Schedule m echan is m of T i n yO S and its rea l 2ti m e schedule co m ponen t desi gn L I U Kui 2an,G UO W en 2sheng,S ANG Nan (School of Co m puter Science and Engineering,U niversity of Electronic Science and Technology of China, Chengdu S ichuan 610054,China ) Abstract:Tiny OS is an open 2s ource component operating syste m for sens or net w orks nodes that has very li m ited res ources .Tiny OS was i m p le mented in component 2devel op ing language nes C .Thr ough analyzing the schedule mechanis m of Tiny OS 22.x,a s oft real 2ti m e scheduler componentwas designed and i m p le mented for real 2ti m e app licati ons .Si m ulati on results in T OSSI M demonstrate that the s oft real 2ti m e component i m p r oves the real 2ti m e perfor mance of Tiny OS . Key words:wireless sens or net w orks;Tiny OS;real 2ti m e;component design;T OSSI M 0 引言 无线传感器网络(W ireless Sens or Net w orks,W S N )是由大量体积较小、能源受限,具有一定计算、存储和无线通信能力的传感器节点组成的无结构网络[1,2]。它综合了传感器、嵌入式、无线网络、分布式信息处理等技术。由于W S N 自身具备的特征,已广泛应用于国防军事、环境监测、交通管理、医疗卫生等领域。无线传感器网络作为一个新兴的研究领域,其中存在大量挑战性的研究课题,节点上的操作系统(W ireless Sens or Net w orks Operati on Syste m,W S NOS )设计与实现就是其 中之一。 目前,国外许多大学、研究机构着手于W S NOS 的研究,开发出了Tiny OS [3]、Magnet 、MANTI S 、Sen OS 等具有典型特征的W S NOS 。其中,由UC Berkeley 依靠S martdust (智能尘埃)项目开发出的Tiny OS 得到了广泛关注和应用。 Tiny OS 是全新面向W S N 的源码级构件化操作系统,由 构件开发语言nes C [4]开发,其内核只需要400字节的内存空间即可运行起来,是一个轻量级操作系统。但在实时应用中, Tiny OS 简单的F I F O 调度算法就显得不再适用,在任务数较 多时重要任务的响应时间无法得到保证。因此,针对实时应用的实时性需求,本文深入分析了Tiny OS 22.x 调度机制和调度相关的构件,提出了具有软实时性能的任务调度机制,开发 了相应的系统调度构件,通过在T OSSI M [5]仿真器中进行仿 真分析,此实时系统调度构件能提高Tiny OS 的实时性能。 1 Tiny OS 22.x 的调度机制 1.1 Tiny OS 的任务事件驱动的并发模型 Tiny OS 采用任务和事件驱动[6] 相结合的两级并发模型 (如图1) 。 图1 Tiny OS 任务事件驱动并发模型示意图 任务机制 任务由用户应用程序定义,可以由应用程序或事件处理程序创建。任务由task 关键字定义,具体定义语 法为:task void myTask (){…}。任务由post 关键字创建,具体语法为:post myTask ()。创建任务时,Tiny OS 的调度器将任务加入任务队列的队尾。核心调度策略中的任务调度器把此任务加入任务队列后就立即返回,任务则延迟执行。在等待执行的任务队列中,各个任务之间采用F I F O 原则进行调 第27卷第11期 2007年11月   计算机应用 Computer App licati ons   Vol .27No .11 Nov .2007

大数据平台概要设计说明书

计算平台 概要设计说明书 作者:日期:2013-01-28批准:日期: 审核:日期: (版权所有,翻版必究)

文件修改记录

目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图..................................

tinyos任务调度机制

TOSH_sched_init();for(;;){TOSH_run_task();} 这两个函数的实现在tinyos-1.x\tos\system目录下的sched.c源文件中。这个文件就实现了tinyos 1.x的调度策略,很简单吧?闲话少说,下面分析它的数据结构。 typedef struct { void (*tp) (); } TOSH_sched_entry_T; 这个结构体就是tinyos任务队列里的东东,里面是个函数指针。 enum { #ifdef TOSH_MAX_TASKS_LOG2 #if TOSH_MAX_TASKS_LOG2 > 8 #error "Maximum of 256 tasks, TOSH_MAX_TASKS_LOG2 must be <= 8" #endif TOSH_MAX_TASKS = 1 << TOSH_MAX_TASKS_LOG2, #else TOSH_MAX_TASKS = 8, #endif TOSH_TASK_BITMASK = (TOSH_MAX_TASKS - 1) }; 上面定义了tinyos任务队列里的最大任务数TOSH_MAX_TASKS,和一个掩码。 //定义tinyos任务队列,这个队列是个循环队列! volatile TOSH_sched_entry_T TOSH_queue[TOSH_MAX_TASKS]; //“头指针”tinyos任务队列里的第一个不为空的任务的下标 uint8_t TOSH_sched_full; //“尾指针”如果tinyos任务队列没有满,则是最后一个不为空的任务 //的下一个元素的下标;如果任务队列满则是最后一个任务的下标。 volatile uint8_t TOSH_sched_free; 好了,数据结构分析完了,咱们看看tinyos是怎样实现这个队列的吧,实现一个队列,无非就是初始化,增加队列元素,删除队列元素,判断队列是否为空……,数据结构里最基本的东东,想必大家比我清楚了!(如果这个不清楚,赶紧回去看看数据结构 ^_^ )。 一初始化 s 初始化函数很简单,大家肯定都会写了。 void TOSH_sched_init(void) { int i; TOSH_sched_free = 0; TOSH_sched_full = 0; for (i = 0; i < TOSH_MAX_TASKS; i++) TOSH_queue[i].tp = NULL;

SkyNet任务调度监控系统-使用手册

SkyNet调度系统使用手册

修改记录

目录 第1章系统概述 (5) 1.1 背景 (5) 1.2 系统架构 (6) 1.2.1 名词解释 (6) 1.2.2 系统模块 (6) 1.2.3 系统特性 (7) 1.3 系统核心功能 (7) 第2章DashBoard (8) 2.1 页面 (8) 2.2 功能 (8) 第3章任务维护 (9) 3.1 添加任务 (9) 3.1.1 页面 (9) 3.1.2 功能 (9) 3.2 查询操作任务 (11) 3.2.1 页面 (11) 3.2.2 查询任务 (11) 3.2.3 运行任务 (12) 3.2.4 查看任务依赖 (13) 3.2.5 修改任务 (13) 3.2.6 删除任务 (14) 第4章任务依赖 (15) 4.1 查询依赖 (15) 4.2 添加任务依赖 (15) 4.3 删除任务依赖 (15) 4.4 查看任务最后一次运行详情 (16) 第5章任务监控 (17) 5.1 页面 (17) 5.2 查询任务运行历史 (17)

5.3 查看任务运行日志 (18) 5.4 重做任务 (18) 5.5 KILL任务 (19) 第6章告警配置 (20) 6.1 添加任务告警 (20) 6.1.1 任务失败告警 (21) 6.1.2 任务超时未完成告警(暂未实现) (21) 6.2 查询任务告警配置 (21) 6.3 修改任务告警 (22) 6.4 删除任务告警 (23) 6.5 查询告警发送记录 (23) 第7章系统部分运行原理 (23) 7.1 业务类型 (23) 7.2 程序路径 (24) 7.3 指定任务运行主机 (24) 7.4 调度的延迟 (24) 附录A 动态时间参数 (27) 附录B Quartz时间表达式 (28) 附录C 定时任务配置流程 (29) 附录D 依赖任务配置流程 (29)

移动边缘计算(MEC)中任务协同调度策略

目录 第一章绪论 (1) 1.1研究背景和意义 (1) 1.1.1 研究背景 (1) 1.1.2 研究意义 (3) 1.2国内外研究现状 (5) 1.2.1 MEC研究现状 (5) 1.2.2 任务协同调度机制研究现状 (6) 1.3主要研究内容及贡献 (8) 1.4结构和章节安排 (10) 第二章MEC系统中任务聚类策略 (11) 2.1引言 (11) 2.2问题描述 (11) 2.2.1 聚类算法简介 (12) 2.2.2 MEC系统中任务相似度度量 (13) 2.3MEC系统中的任务聚类策略 (14) 2.3.1 基于k-means算法的聚类策略 (14) 2.3.2 基于层次方法的聚类策略 (16) 2.3.3 基于SOM算法的聚类策略 (18) 2.3.4 基于FCM算法的聚类策略 (22) 2.4仿真验证与性能评估 (27) 2.4.1 时延的敏感度分类 (28) 2.4.2 评价指标 (28) 2.4.3 仿真结果与分析 (29) 2.5本章小结 (32) 第三章移动终端与MEC服务器任务协同调度 (33) 3.1引言 (33) 3.2问题描述 (33) 3.2.1 任务卸载流程 (35) 3.2.2 任务卸载开销 (35) 3.3单任务模式 (36)

3.3.1 模型描述 (37) 3.3.2 STM模型 (39) 3.3.3 算法设计 (40) 3.4多任务模式 (41) 3.4.1模型描述 (42) 3.4.2 MTM模型 (45) 3.4.3 问题NP性 (45) 3.4.4 算法设计 (46) 3.5仿真验证与性能评估 (50) 3.5.1 参数设置 (50) 3.5.2 仿真结果与分析 (51) 3.6本章小结 (55) 第四章MEC服务器与核心云任务协同调度 (56) 4.1引言 (56) 4.2问题描述 (57) 4.2.1 任务优先级 (58) 4.2.2 MEC服务器与核心云通信 (58) 4.2.3 MEC服务器计算模型 (59) 4.2.4 核心云计算模型 (60) 4.3MEC服务器与核心云任务协同调度模型 (61) 4.4基于动态规划的方案设计 (62) 4.5基于遗传算法的方案设计 (66) 4.5.1 染色体编码 (66) 4.5.2 适应函数 (67) 4.5.3 染色体结合 (67) 4.5.4 算法设计 (70) 4.6仿真验证与性能评估 (72) 4.6.1 仿真参数设置 (72) 4.6.2 仿真结果分析 (73) 4.7本章小结 (76) 第五章总结与展望 (78) 5.1全文总结 (78) 5.2未来展望 (79)

Quartz任务调度--详细教程

Quartz任务调度快速入门1 概述 各种企业应用几乎都会碰到任务调度的需求,就拿论坛来说:每隔半个小时生成精华文章的RSS文件,每天凌晨统计论坛用户的积分排名,每隔30分钟执行锁定用户解锁任务。 对于一个典型的MIS系统来说,在每月1号凌晨统计上个月各部门的业务数据生成月报表,每半个小时查询用户是否已经有快到期的待处理业务……,这样的例子俯拾皆是,不胜枚举。 任务调度本身涉及到多线程并发、运行时间规则制定和解析、场景保持与恢复、线程池维护等诸多方面的工作。如果直接使用自定义线程这种刀耕火种的原始办法,开发任务调度程序是一项颇具挑战性的工作。Java开源的好处就是:领域问题都能找到现成的解决方案。 OpenSymphony所提供的Quartz自2001年发布版本以来已经被众多项目作为任务调度的解决方案,Quartz在提供巨大灵活性的同时并未牺牲其简单性,它所提供的强大功能使你可以应付绝大多数的调度需求。 Quartz 在开源任务调度框架中的翘首,它提供了强大任务调度机制,难能可贵的是它同时保持了使用的简单性。Quartz 允许开发人员灵活地定义触发器的调度时间表,并可以对触发器和任务进行关联映射。 此外,Quartz提供了调度运行环境的持久化机制,可以保存并恢复调度现场,即使系统因故障关闭,任务调度现场数据并不会丢失。此外,Quartz还提供了组件式的侦听器、各种插件、线程池等功能。 了解Quartz体系结构 Quartz对任务调度的领域问题进行了高度的抽象,提出了调度器、任务和触发器这3个核心的概念,并在org.quartz通过接口和类对重要的这些核心概念进行描述: ●Job:是一个接口,只有一个方法void execute(JobExecutionContext context),开发者实现该接口定义运行任务,JobExecutionContext类提供了调度上下文的各种信息。Job运行时的信息保存在 JobDataMap实例中; ●JobDetail:Quartz在每次执行Job时,都重新创建一个Job实例,所以它不直接接受一个Job的实例,相反它接收一个Job实现类,以便运行时通过newInstance()的反射机制实例化Job。因此需要通过一个类来描述Job的实现类及其它相关的静态信息,如Job名字、描述、关联监听器等信息,JobDetail 承担了这一角色。

电力系统调度管理的任务

电力系统调度管理的任 务 集团企业公司编码:(LL3698-KKI1269-TM2483-LUI12689-ITT289-

电力系统调度管理的任务电力系统调度负责电力系统的生产运行工作,其任务主要包括以下五个方面: 1.尽设备最大能力满足负荷的需要 随着经济建设的发展和人民生活的不断的提高,全社会的用电需求日益增长。这就从客观上要求电力系统具备充足的发、供电设备和足够的可利用的动力资源。因此,必须加快电力建设、保证燃料供应。这是整个电力工业的任务。现在存在的主要问题季节缺电,这就要求我们要尽快设备最大能力满足负荷的需要。如果装机少,燃料供应不足,也没有备用容量,那么调度也是难办的。有了设备,如何高度好,如高峰负荷时,把备用机组开起来;如果有备用机组而不开,到时满足不了负荷需要,那就是没调度好;当然多开机组可以充分满足负荷需要,但若不经济,那也是没调度好。如水电来水多时,应尽量多安排火电机组检修,夏季高峰负荷时尽量少安排机组检修。这就要求灵活调度,巧妙安排,尽设备的最大能力来满足负荷需要。 2.使整个电网安全可靠运行和连续供电

电能不易储存,电网停止供电将造成损失。电网要对电力用户连续不断地供电,首先就必须保证整个电网安全可靠运行。 电,关系到千家万户,与社会经济生活紧密相联,一旦发生事故,造成大面积停电,就会经起社会的混乱,因此从这个意义上说,电网事故是社会的灾难。随着国民经济各部门和人民生活用电更加广泛,对供电的可靠性要求越来越高,停电造成的损失和影响也越来越大。比如铁路,过去只用于信号,停电时可以用柴油发电机发电,不致影响铁路正常运行。现在,电气机车所需电力很难用自备电源解决,一旦停电就必然影响铁路正常运行。又如高层住宅电梯的增多,电饭煲、微波断、电水壶、电热水器、空调、电暖器、洗衣机、电冰箱、电视机等家用电器广泛进入家庭,停电对人民生活的影响就比原来只用于照明时要大得多。因此,停电会给人们生活带来很大的不便。停电还会造成不良的国际影响。改革开放使我国国际交往增多,驻华使馆、领事馆、文化、金融、商业机构以及人员往业大量增多,外商独资、中外合资企业不断增多,与境外联网送电的情况也增多,如内蒙、云南、广东等,在某些情况下,停电还会影响社会稳定,例如在考试期间、高考期间停电,持续高温或严寒气候恶劣条件下停电,百货大商场晚上停电等。 由于历史的原因,我国电网结构薄弱,加之自然力(如刮风、打雷、下雨、下雪)的破坏和设备潜在的缺陷,都可能造成电网中断供电。这时,调度机构就要采取措施,首先不要影响供电;其次,若影响

调度策略

Windows CNC多任务调度策略 一般对于单CPU 的CNC系统,系统软件结构采用前后台式。前台程序承担几乎全部实时功能,后台程序用来完成准备工作和管理工作,任务的调度机制采用优先抢占调度与时间片轮转相结合的机制。 (1)优先抢占调度机制 为了满足CNC 实时任务的要求,系统的调度机制必须具有能根据外界的实时信息以足够快的速度(在系统规定的时间内)进行任务调度的能力。优先抢占调度机制就是能满足上述要求的调度技术,它是一种基于实时中断技术的任务调度机制。 优先抢占调度机制,其功能有两个: 1优先调度。在CPU 空闲时,当同时有多个任务请求执行时,优先级高的任务将优先得以满足。 2抢占方式。在CPU 正在执行某任务时,若另一优先级更高的任务请求执行,CPU 将立即终止正在执行的任务,转而响应优先级高的任务的请求。 优先抢占调度机制是由硬件和软件共同实现的,硬件主要提供支持中断功能的芯片和电路,如中断管理芯片(8259或功能相同的芯片),定时器计数器(8263、8294 等)。软件主要完成对硬件的初始化,任务优先级的定义方式、任务切换处理(断点的保护与恢复、中断向量的保存与恢复等)。 (2)时间片轮转调度机制 任务就绪队列往往按任务到达的时间来排序。任务调度程序总是选择就绪队列中的第一个任务,也就是说按照先来先服务的原则调度,即根据任务进入就绪队列的先后次序来占有CPU,一旦一任务占有CPU,它就一直运行下去,直到该任务完成其工作或因等待某事件而不能继续运行时才释放CPU,但一旦任务占有CPU 仅使用一个时间片。在使用完一个时间片后,任务还没有完成其运行,它也必须释放出(被抢占)CPU 给下一个就绪的任务。而被抢占的任务返回到就绪队列的末尾重新排队等候再次运行。 时间片的大小对系统运行的影响很大。如果时间片很大,大到一个任务足以完成其全部运行工作所需的时间,那么时间片轮转策略将退化为先来先服务策略了。如果时间片很小,那么CPU 在任务间的转接工作过于频繁,CPU 真正用于运行任务的时间将会减小。 (3)调度策略 1、确定任务优先级,突发性实时任务具有最高优先级。 2、为其它各任务分配执行周期。如位控为4ms,插补为8ms,预处理为16ms,背景程序为55ms。即在55ms时间片内,最先执行位控任务,位控任务完成后,接着执行插补任务,如果4ms 时间到,则插补将被终止,又开始执行位控,当位控执行完后,从刚才中断处接着执行插补,插补执行完后接着执行预处理,以此类推。 3、在背景程序中,各任务分配相同的优先权,当一个任务执行完后,就绪队列中最前头的任务占据CPU运行,而先前运行任务失去对CPU的控制退至队列尾,直到循环使其达到队头时才重新获得控制权,即按先来先服务的原则调度。 4、当突发性实时任务发生,如故障中断、机床PLC中断及其它异常发生时,当前正在运行的任务将立刻终止执行,系统保存现场环境后,立刻去响应突发性实时中断信号,在执行完突发

任务调度机制

ucos:uc/os 任务调度机制 疯狂代码 https://www.360docs.net/doc/b518929124.html,/ ?: http:/https://www.360docs.net/doc/b518929124.html,/NetworkProgramming/Article33556.html uc/os 任务调度机制 by zhang9733 from https://www.360docs.net/doc/b518929124.html,/gd/dzbbs/ 内核核心任务是任务调度机制为了对uc/os进行分析我们从任务调度开始在uc/os中个任务通常是个无限循环具有如下结构后面我将解释为什么会有这种结构从下面结构可以看出个任务就像其他c样;而且既然任务是个无限循环我们可以想象到它定不会返回任何数据所以返回类型应该定义为void : ------------------------------------------------------------ void mytask(void *pdata) { for (;;) { do something; waiting; do something; } } uc/os可以管理64个任务但目前版本系统占用了两个任务还保留了其他六个任务故用户可以使用56个任务每个任务必须赋予定优先级优先级数越高优先级越低所以0级优先级任务有最高优先级通过在os_cfg.h文件中定义宏os_lowest_prio可以决定系统任务个数系统目前占用两个任务为空闲任务idle task和统计任务stat task当没有其他任务进入就绪状态时空闲任务投入运行空闲任务什么也不做只是简单将计数器加1这个计数器可以用来统计cpu利用率 uc/os下每个任务可以有如下五种状态 休眠态(dormant):指任务驻留在空间中还没有交给内核管理把任务交给内核是通过ostaskcreate( )或ostaskcreatext( )实现 就绪(ready):当任务旦建立这个任务就处于就绪态准备运行任务可以动态被另个建立也可以在系统运行开始之前建立通过ostaskdel( )使任务返回到休眠态就绪态任务都放在就绪列表中在任务调度时指针ostcbhighrdy指向优先级最高就绪任务也就是立刻就要运行任务 运行(running):准备就绪最高优先级任务获得cpu控制权从而处于运行态指针ostcbcur指向正在运行任务

任务调度系统的实现

任务调度系统的实现学 专 指导教师: 2014年 9 月

任务调度系统的实现 摘要 运输是物质资料或产品在空间较长距离的位移,一切物流过程均离不开运输,它是物流活动的核心业务。目前我国的物流运输业仍处在起步发展的阶段,还存在许多有待解决的问题。为此如何提高我国物流运输管理,是当今物流界应该着重研究的课题。本系统就针对我国物流运输存在的问题,提出相关措施,旨在对促进我国物流业的快速发展具有积极作用。 本系统前台主要使用JSP作为开发语言,后台使用MySql作为数据库管理系统,开发环境是MyEclipse,服务器采用tomcat,开发出的一个基于Web技术的B/S结构的系统。 关键词:物流运输,管理,措施,JSP,MySql

Task Scheduling System Abstract Transportation is a material or product in space long displacement, all the logistics process is dependent on the transportation, it is the core business of logistics activities. At present our country logistics transportation industry is still in its beginning stage of development, there exist many problems to be solved. Therefore how to improve the logistics transportation management in our country, is the modern logistics industry should focus on the research topic. In this system, in view of the problem of logistics in our country, puts forward relevant measures, aimed at plays a positive role to promote the rapid development of logistics industry in our country. The front of the system using JSP as the development language, the use of MySql as a database management system, the development environment is MyEclipse, the server using tomcat, developed a Web technology based on B/S structure of the system. Keywords:Logistics transportation,management,measures,JSP,MySql

苏宁大数据平台任务调度模块架构设计

苏宁大数据离线任务开发调度平台实践:任务调度模块架构设计 weixin_34262482 2019-02-01 08:00:00 375 收藏2 作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这 些数据,苏宁调度平台采取了哪些措施呢? 本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇,详解苏宁的任务调度模块。 目录 1.绪言\t1 2.设计目标与主要功能\t2 3.专业术语\t3 4.调度架构设计\t5 5.服务重启和任务状态恢复\t6 5.1 Master Active 组合服务\t7 5.2 Master HA高可用设计\t7 5.3 Recover任务状态恢复设计\t7 6.Web API接口服务\t9 7.后续\t10 1.绪言 在上一篇文章《苏宁大数据离线任务开发调度平台实践》中,从用户交互功能、任务调度、 任务执行、任务运维和对外服务等几方面,宏观层面进行了理论和实践的概述。 产品的用户功能重点需要把握用户实际的任务开发运维需求,合理的规划设计产品功能,在 使用和运维上便于用户操作,降低用户的开发使用成本。简单的说就是主要保证用户任务、 任务流等关键元数据的配置信息的准确性,以及任务状态的查询和干预能力,技术上实现不 存在难点,在此不再详细说明。 任务执行模块侧重于任务被领取后,如何根据任务类型选择不同的执行器(Executer)提交 任务执行,并将任务的执行状态及时准确的返回,由任务调度服务根据返回状态做相应的下 一步处理,除此以外还涉及到任务资源加载、任务配置解析与转换、自身健康状态检查与汇 报、worker进程与任务子进程通信、任务隔离、对外接口服务等,这块将在后面一节再跟

第4章 初始化和清除

第4章初始化和清除 “随着计算机的进步,‘不安全’的程序设计已成为造成编程代价高昂的罪魁祸首之一。” “初始化”和“清除”是这些安全问题的其中两个。许多C程序的错误都是由于程序员忘记初始化一个变量造成的。对于现成的库,若用户不知道如何初始化库的一个组件,就往往会出现这一类的错误。清除是另一个特殊的问题,因为用完一个元素后,由于不再关心,所以很容易把它忘记。这样一来,那个元素占用的资源会一直保留下去,极易产生资源(主要是内存)用尽的后果。 C++为我们引入了“构建器”的概念。这是一种特殊的方法,在一个对象创建之后自动调用。Java也沿用了这个概念,但新增了自己的“垃圾收集器”,能在资源不再需要的时候自动释放它们。本章将讨论初始化和清除的问题,以及Java如何提供它们的支持。 4.1 用构建器自动初始化 对于方法的创建,可将其想象成为自己写的每个类都调用一次initialize()。这个名字提醒我们在使用对象之前,应首先进行这样的调用。但不幸的是,这也意味着用户必须记住调用方法。在Java中,由于提供了名为“构建器”的一种特殊方法,所以类的设计者可担保每个对象都会得到正确的初始化。若某个类有一个构建器,那么在创建对象时,Java会自动调用那个构建器——甚至在用户毫不知觉的情况下。所以说这是可以担保的! 接着的一个问题是如何命名这个方法。存在两方面的问题。第一个是我们使用的任何名字都可能与打算为某个类成员使用的名字冲突。第二是由于编译器的责任是调用构建器,所以它必须知道要调用是哪个方法。C++采取的方案看来是最简单的,且更有逻辑性,所以也在Java里得到了应用:构建器的名字与类名相同。这样一来,可保证象这样的一个方法会在初始化期间自动调用。 下面是带有构建器的一个简单的类(若执行这个程序有问题,请参考第3章的“赋值”小节)。 148-149页程序 //: c04:SimpleConstructor.java // Demonstration of a simple constructor. class Rock { Rock() { // This is the constructor System.out.println("Creating Rock"); } } public class SimpleConstructor { public static void main(String[] args) { for(int i = 0; i < 10; i++)

一种改进的实时混合任务调度算法

一种改进的实时混合任务调度算法 谢建平1,阮幼林1,2 1武汉理工大学信息工程学院,武汉(430070) 2南京大学计算机软件新技术国家重点实验室,南京(210093) E-mail:xjp_1997@https://www.360docs.net/doc/b518929124.html, 摘要:文章提出了结合TBS(总带宽服务器法)算法和DMS(时限单调算法)算法的实时混合任务的调度算法,该方法能保证周期任务满足时限的要求,还能缩短非周期任务的响应时间。基于TBS服务器思想将非周期任务转换成有时限要求的硬实时任务,然后基于DMS 调度周期任务和非周期任务。由于是使用静态的DMS算法,不仅可以减小任务的切换开销,而且对系统的瞬时过载有一定的适应性。 关键词:实时系统;任务调度;时限单调算法;总带宽服务器算法 1. 概述 随着计算机技术的飞速发展与普及,实时系统已经成为人们生产和生活中不可或缺的组成部分。实时系统具有及时响应、高可靠性、专用性、少人工干预等特征[1],被广泛应用于工业控制、信息通讯、网络传输、媒体处理、军事等领域。实时系统的正确性不仅依赖于计算的逻辑结果,还取决于获得计算结果的时间的正确性。在航空航天、电信、制造、国防等领域,对实时系统有着强烈的应用需求。 由于实时系统的应用面非常广,所以实时系统的分类方法很多。通常按照系统中任务的周期性或者任务对截止期限的要求进行划分。实时任务按照周期性划分可以分为周期实时任务(periodic task)和非周期实时任务(aperiodic task);按照对截止期限的要求可以分为硬实时任务和软实时任务[1]。 本文提出了结合TBS(总带宽服务器法)算法[5]和DMS(时限单调算法)[6]算法的实时混合任务的调度算法,该方法能保证周期任务满足时限的要求,还能缩短非周期任务的响应时间。算法将非周期任务赋予一个假想的时限,然后整个实时系统采用DMS算法调度。由于是使用静态的DMS算法,不仅可以减小任务的切换开销,而且对系统的瞬时过载有一定的适应性。 2. 实时系统的任务调度 由于实时调度是保障实时系统满足时间约束的重要手段,所以一直是实时计算研究领域中倍受关注的热点问题。调度的实质是资源的分配,包括处理器和其他运算、交互、存储资源,调度就是来用来将这些资源合理地分配给各个实时任务的一种方法。 根据调度顺序产生的时机和方式可以分为静态调度和动态调度[1]。若调度算法是在编译的时候就做出决定从就绪任务队列中选择哪个任务来运行的,则这样的调度是静态的。这类调度算法假设系统中实时任务的特性(如:截止期,WCET等)是事先知道的。它脱机地进行可调度性分析,并产生一个调度表。静态调度算法的优点是运行开销小,可预测性强。但是,由于静态调度算法一旦做出调度决定后在运行期间就不能再改变了,所以它的灵活性较差。 如果调度器是在运行期间才决定选择哪个就绪任务来运行的,则这类调度被称为动态调度。动态调度算法能够对变化的环境做出反应,因此,这类调度算法比较灵活,适合于任务不断生成,且在任务生成前其特性并不清楚的动态实时系统。但是,动态调度算法的可预测性差且运行开销较前者大。

嵌入式实时操作系统的任务管理及任务调度

1、嵌入式实时操作系统简介 1.1英文名Embedded Real-time Operation System,简写为RTOS。 1.2.1定义:当外界事件或数据产生时,能够接受并以足够快的速度予以处理,其处理的结果又能在规定的时间之内来控制生产过程或对处理系统作出快速响应,并控制所有实时任务协调一致运行的嵌入式操作系统。(注:在工业控制、军事设备、航空航天等领域对系统的响应时间有苛刻的要求,这就需要使用实时系统。我们常常说的嵌入式操作系统都是嵌入式实时操作系统。比如μC/OS-II、eCOS和Linux。故对嵌入式实时操作系统的理解应该建立在对嵌入式系统的理解之上加入对响应时间的要求。) 1.2.2 IEEE定义:嵌入式系统是“用于控制、监视或者辅助操作机器和设备的装置”。 1.2.3一般定义:以应用为中心、以计算机技术为基础、软件硬件可裁剪、功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。 1 . 3分类:VxWorks,uC/OS-Ⅱ,uClinux,eCos,RTXC等。 2、嵌入式实时操作系统的任务管理 2.1 任务管理:是嵌入式实时操作系统的核心和灵魂,决定了操作系统的实时性能。它通常包含优先级设置、多任务调度机制和时间确定性等部分。 2.1.1 优先级设置:嵌入式操作系统支持多任务,每个任务都具有优先级,任务越重要,赋予的优先级应越高。优先级的设置分为静态优先级和动态优先级两种。静态优先级指的是每个任务在运行前都被赋予一个优先级,而且这个优先级在系统运行期间是不能改变的;动态优先级则是指每个任务的优先级(特别是应用程序的优先级)在系统运行时可以动态地改变。 2.1.2 多任务调度机制:任务调度主要是协调任务对计算机系统资源的争夺使用。对系统资源非常匮乏的嵌入式系统来说,任务调度尤为重要,它直接影响到系统的实时性能。通常,多任务调度机制分为基于优先级抢占式调度和时间片轮转调度。(1)基于优先级抢占式调度:系统中每个任务都有一个优先级,内核总是将CPU分配给处于就绪态的优先级最高的

苏宁大数据平台任务调度模块架构设计

— 苏宁大数据离线任务开发调度平台实践:任务调度模块架构设计 2019-02-01 08:00:00 375 收藏 2 作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这 些数据,苏宁调度平台采取了哪些措施呢 本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇,详解苏宁的任务调度模块。 目录 … 1.绪言\t1 2.设计目标与主要功能\t2 3.专业术语\t3 4.调度架构设计\t5 \ 5.服务重启和任务状态恢复\t6 Master Active 组合服务\t7 Master HA高可用设计\t7 Recover任务状态恢复设计\t7 API接口服务\t9 ~ 7.后续\t10 1.绪言 在上一篇文章《苏宁大数据离线任务开发调度平台实践》中,从用户交互功能、任务调度、 任务执行、任务运维和对外服务等几方面,宏观层面进行了理论和实践的概述。 产品的用户功能重点需要把握用户实际的任务开发运维需求,合理的规划设计产品功能,在 使用和运维上便于用户操作,降低用户的开发使用成本。简单的说就是主要保证用户任务、 任务流等关键元数据的配置信息的准确性,以及任务状态的查询和干预能力,技术上实现不 存在难点,在此不再详细说明。

任务执行模块侧重于任务被领取后,如何根据任务类型选择不同的执行器(Executer)提交任务执行,并将任务的执行状态及时准确的返回,由任务调度服务根据返回状态做相应的下一步处理,除此以外还涉及到任务资源加载、任务配置解析与转换、自身健康状态检查与汇报、worker进程与任务子进程通信、任务隔离、对外接口服务等,这块将在后面一节再跟大家详细分享。 【 任务运维模块主要关注平台的自身稳定性、健壮性等各个指标的监控与预警、平台任务执行异常的监控、任务运行诊断分析、动态扩缩容和应急降级等方面,涉及到的内容也很多,后续章节会陆续跟大家分享。 今天我们重点详细阐述苏宁大数据离线任务调度开发平台的核心模块—任务调度模块的架构设计以及开发实践过程中的关键功能点。 2.设计目标与主要功能 调度模块的核心目标要保证任务能够按照用户配置的调度时间、依赖关系准实时调度和执行,同时也允许用户根据实际需要随时启动和停止任务调度,调整任务执行计划。所谓准时实调度,指的是调度模块会按照各个上线的任务流的调度时间生成调度执行计划,当触发时间到了,平台会按照调度执行计划精确的生成任务流实例和任务实例。但是在任务执行上,并不保证准实时的分配机器执行。实际上平台以整体资源使用情况为最高原则,并按照一定的限流策略控制任务的执行,比如:任务优先级、任务组并发度、平台任务并发数、任务特定执行时间等因素。在保证平台资源允许的情况下,尽量按时执行任务。为了保障任务的实时性,必须保障任务资源的可用性和计划可控性。 # 调度模块的主要核心服务功能包括以下几点: 服务重启和任务状态恢复功能 在调度服务重启、主备切换后,系统状态以及任务运行状态能否准确的恢复。比如,主节点崩溃或维护期间,发生状态变更的任务在主节点恢复以后,能否正确更新状态等等。 Web API接口服务 用户通过Web控制后台管理作业,而Web控制后台与Master服务器之间的交互透过Rest 服务来执行,Rest服务也可以给Web控制后台以外的其它系统提供服务(用于支持外部系统和调度系统的对接)。另外为了便于监控和调查分析调度异常和问题,提供Master内存关键信息的查询和人工干预的接口能力。 ( 数据信息缓存服务 缓存上线任务流、任务、事件、系统配置、服务器的关键元数据信息,这些信息一般在任务流上线后不会经常发生变更,没必要实时从数据库中读取。并对外提供这些元数据信息的同步接口服务,保证缓存信息与数据库的一致性。 缓存任务流实例、任务实例、事件实例等中间状态信息,同时持久化到数据库中。便于在任

相关文档
最新文档