• 【Quartz】Quartz存储与持久化-基于quartz.properties的配置

    林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka

    一、   Quartz存储与持久化

             Quartz提供两种基本作业存储类型。第一种类型叫做RAMJobStore，第二种类型叫做JDBC作业存储。在默认情况下Quartz将任务调度的运行信息保存在内存中，这种方法提供了最佳的性能，因为内存中数据访问最快。不足之处是缺乏数据的持久性，当程序路途停止或系统崩溃时，所有运行的信息都会丢失。

             比如我们希望安排一个执行100次的任务，如果执行到50次时系统崩溃了，系统重启时任务的执行计数器将从0开始。在大多数实际的应用中，我们往往并不需要保存任务调度的现场数据，因为很少需要规划一个指定执行次数的任务。对于仅执行一次的任务来说，其执行条件信息本身应该是已经持久化的业务数据（如锁定到期解锁任务，解锁的时间应该是业务数据），当执行完成后，条件信息也会相应改变。当然调度现场信息不仅仅是记录运行次数，还包括调度规则、JobDataMap中的数据等等。

            如果确实需要持久化任务调度信息，Quartz允许你通过调整其属性文件，将这些信息保存到数据库中。使用数据库保存任务调度信息后，即使系统崩溃后重新启动，任务的调度信息将得到恢复。如前面所说的例子，执行50次崩溃后重新运行，计数器将从51开始计数。使用了数据库保存信息的任务称为持久化任务。

    对比

    类型

    优点

    缺点

    RAMJobStore

    不要外部数据库，配置容易，运行速度快

    因为调度程序信息是存储在被分配给JVM的内存里面，所以，当应用程序停止运行时，所有调度信息将被丢失。另外因为存储到JVM内存里面，所以可以存储多少个Job和Trigger将会受到限制

    JDBC作业存储

    支持集群，因为所有的任务信息都会保存到数据库中，可以控制事物，还有就是如果应用服务器关闭或者重启，任务信息都不会丢失，并且可以恢复因服务器关闭或者重启而导致执行失败的任务

    运行速度的快慢取决与连接数据库的快慢

    二、Quartz存储实例

    本文工程免费下载

    下面开始说实现的步骤吧：

    2.1、建立数据存储表

            因为需要把quartz的数据保存到数据库，所以要建立相关的数据库。这个可以从下载到的quartz包里面找到对应的sql脚本，目前可以支持MySQL，DB2，Oracle等主流的数据库，自己可以根据项目需要选择合适的脚本运行。

            我的项目是mysql的，就在数据中建立了一个quartz的database，然后执行tables_mysql_innodb.sql脚本建表。其中脚本 文件位于：E:JarComquartz-2.2.1docsdbTables（根据你Quartz放置的目录会不同）

    然后打开MySql的终端：

    先建立一个数据库,名为quartz;

    然后执行脚本：

    运行结果：

    首先会出现如下错误：

    这里有四张数据表创建失败。

    解决方法：

    将tables_mysql_innodb.sql中的TYENGINEPE=InnoDB全部都替换成ENGINE=InnoDB;

    再次执行：

    表示数据库表创建成功了

    表建立好后可以看到相关的table

    +————————–+
    | Tables_in_quartz         |
    +————————–+
    | QRTZ_BLOB_TRIGGERS       |
    | QRTZ_CALENDARS           |
    | QRTZ_CRON_TRIGGERS       |
    | QRTZ_FIRED_TRIGGERS      |
    | QRTZ_JOB_DETAILS         |
    | QRTZ_LOCKS               |
    | QRTZ_PAUSED_TRIGGER_GRPS |
    | QRTZ_SCHEDULER_STATE     |
    | QRTZ_SIMPLE_TRIGGERS     |
    | QRTZ_SIMPROP_TRIGGERS    |
    | QRTZ_TRIGGERS            |
    +————————–+

    2.2、新建工程并导入包

    新建一个Java工程，导入相关的jar包

    这里我就不多说了，可以到官网上去下载，本文使用的是最新的2,2.1

    quartz：http://www.quartz-scheduler.org/

    及mySql操作的包，和一个commons-lang包，整个工作最终目录如下：

    然后，需要在项目中加上对应的配置。

    2.3、首先是quartz.properties的配置

    [html] view plain copy
     
     
    1. # Default Properties file for use by StdSchedulerFactory  
    2. # to create a Quartz Scheduler Instance, if a different  
    3. # properties file is not explicitly specified.  
    4. #  
    5.    
    6. #集群配置  
    7. org.quartz.scheduler.instanceName: DefaultQuartzScheduler  
    8. org.quartz.scheduler.rmi.export: false  
    9. org.quartz.scheduler.rmi.proxy: false  
    10. org.quartz.scheduler.wrapJobExecutionInUserTransaction: false  
    11.    
    12. org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool  
    13. org.quartz.threadPool.threadCount: 10  
    14. org.quartz.threadPool.threadPriority: 5  
    15. org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true  
    16.    
    17. org.quartz.jobStore.misfireThreshold: 60000  
    18.    
    19. #============================================================================  
    20. # Configure JobStore  
    21. #============================================================================  
    22.    
    23. #默认配置，数据保存到内存  
    24. #org.quartz.jobStore.class: org.quartz.simpl.RAMJobStore  
    25. #持久化配置  
    26. org.quartz.jobStore.class:org.quartz.impl.jdbcjobstore.JobStoreTX  
    27. org.quartz.jobStore.driverDelegateClass:org.quartz.impl.jdbcjobstore.StdJDBCDelegate  
    28. org.quartz.jobStore.useProperties:true  
    29. #数据库表前缀  
    30. #org.quartz.jobStore.tablePrefix:qrtz_  
    31. #org.quartz.jobStore.dataSource:qzDS  
    32.    
    33. #============================================================================  
    34. # Configure Datasources  
    35. #============================================================================  
    36. #JDBC驱动  
    37. #org.quartz.dataSource.qzDS.driver:com.mysql.jdbc.Driver  
    38. #org.quartz.dataSource.qzDS.URL:jdbc:mysql://localhost:3306/quartz  
    39. #org.quartz.dataSource.qzDS.user:root  
    40. #org.quartz.dataSource.qzDS.password:christmas258@  
    41. #org.quartz.dataSource.qzDS.maxConnection:10  


    其中org.quartz.jobStore.class是指明quartz的持久化用数据库来保存，

    而org.quartz.jobStore.driverDelegateClass是根据选择的数据库类型不同而不同，我这里的是mysql，所以是org.quartz.impl.jdbcjobstore.StdJDBCDelegate。

    Quartz的属性配置文件主要包括三方面的信息：

    1)集群信息；

    2)调度器线程池；

    3)任务调度现场数据的保存。

    ·调度器属性

    第一部分有两行，分别设置调度器的实例名(instanceName) 和实例 ID (instanceId)。属性 org.quartz.scheduler.instanceName 可以是你喜欢的任何字符串。它用来在用到多个调度器区分特定的调度器实例。多个调度器通常用在集群环境中。现在的话，设置如下的一个字符串就行：org.quartz.scheduler.instanceName :DefaultQuartzScheduler实际上，这也是当你没有该属性配置时的默认值。

    调度器的第二个属性是 org.quartz.scheduler.instanceId。和 instaneName 属性一样，instanceId 属性也允许任何字符串。这个值必须是在所有调度器实例中是唯一的，尤其是在一个集群当中。假如你想 Quartz 帮你生成这个值的话，可以设置为 AUTO。如果 Quartz 框架是运行在非集群环境中，那么自动产生的值将会是 NON_CLUSTERED。假如是在集群环境下使用 Quartz，这个值将会是主机名加上当前的日期和时间。大多情况下，设置为 AUTO 即可。
    ·线程池属性

    接下来的部分是设置有关线程必要的属性值，这些线程在 Quartz 中是运行在后台担当重任的。threadCount 属性控制了多少个工作者线程被创建用来处理 Job。原则上是，要处理的 Job 越多，那么需要的工作者线程也就越多。threadCount 的数值至少为 1。Quartz 没有限定你设置工作者线程的最大值，但是在多数机器上设置该值超过100的话就会显得相当不实用了，特别是在你的 Job 执行时间较长的情况下。这项没有默认值，所以你必须为这个属性设定一个值。

    threadPriority 属性设置工作者线程的优先级。优先级别高的线程比级别低的线程更优先得到执行。threadPriority 属性的最大值是常量 java.lang.Thread.MAX_PRIORITY，等于10。最小值为常量 java.lang.Thread.MIN_PRIORITY，为1。这个属性的正常值是 Thread.NORM_PRIORITY，为5。大多情况下，把它设置为5，这也是没指定该属性的默认值。

    最后一个要设置的线程池属性是 org.quartz.threadPool.class。这个值是一个实现了 org.quartz.spi.ThreadPool 接口的类的全限名称。Quartz 自带的线程池实现类是 org.quartz.smpl.SimpleThreadPool，它能够满足大多数用户的需求。这个线程池实现具备简单的行为，并经很好的测试过。它在调度器的生命周期中提供固定大小的线程池。你能根据需求创建自己的线程池实现，如果你想要一个随需可伸缩的线程池时也许需要这么做。这个属性没有默认值，你必须为其指定值。

    ·作业存储设置

    作业存储部分的设置描述了在调度器实例的生命周期中，Job 和 Trigger 信息是如何被存储的。我们还没有谈论到作业存储和它的目的；因为对当前例子是非必的，所以我们留待以后说明。现在的话，你所要了解的就是我们存储调度器信息在内存中而不是在关系型数据库中就行了。

    把调度器信息存储在内存中非常的快也易于配置。当调度器进程一旦被终止，所有的 Job 和 Trigger 的状态就丢失了。要使 Job 存储在内存中需通过设置  org.quartz.jobStrore.class 属性为 org.quartz.simpl.RAMJobStore。假如我们不希望在 JVM 退出之后丢失调度器的状态信息的话，我们可以使用关系型数据库来存储这些信息。这需要另一个作业存储(JobStore) 实现，我们在后面将会讨论到。第五章“Cron Trigger 和其他”和第六章“作业存储和持久化”会提到你需要用到的不同类型的作业存储实现。

    2.4、创建Job类

    [java] view plain copy
     
     
    1. package com.mucfc;  
    2.   
    3. import java.text.SimpleDateFormat;  
    4. import java.util.Date;  
    5.   
    6. import org.apache.log4j.Logger;  
    7. import org.quartz.Job;  
    8. import org.quartz.JobExecutionContext;  
    9. import org.quartz.JobExecutionException;  
    10.   
    11. public class MyJob implements Job{  
    12.     private static final Logger logger = Logger.getLogger(MyJob.class);    
    13.     @Override  
    14.     public void execute(JobExecutionContext context)  
    15.             throws JobExecutionException {  
    16.         System.out.println("Hello quzrtz  "+  
    17.                 new SimpleDateFormat("yyyy-MM-dd HH:mm:ss ").format(new Date()));  
    18.           
    19.     }  
    20.   
    21. }  

    2.5、创建Job的执行类：

    [java] view plain copy
     
     
    1. package com.mucfc;  
    2.   
    3. import java.text.ParseException;  
    4. import java.util.List;  
    5.   
    6. import org.apache.commons.lang.StringUtils;  
    7. import org.quartz.CronScheduleBuilder;  
    8. import org.quartz.Job;  
    9. import org.quartz.JobBuilder;  
    10. import org.quartz.JobDetail;  
    11. import org.quartz.JobKey;  
    12. import org.quartz.Scheduler;  
    13. import org.quartz.SchedulerException;  
    14. import org.quartz.SchedulerFactory;  
    15. import org.quartz.SimpleScheduleBuilder;  
    16. import org.quartz.SimpleTrigger;  
    17. import org.quartz.Trigger;  
    18. import org.quartz.TriggerBuilder;  
    19. import org.quartz.TriggerKey;  
    20. import org.quartz.impl.StdSchedulerFactory;  
    21. import org.springframework.beans.factory.annotation.Autowired;  
    22. import org.springframework.context.ApplicationContext;  
    23. import org.springframework.context.support.ClassPathXmlApplicationContext;  
    24.   
    25. public class QuartzTest {  
    26.   
    27.     private static SchedulerFactory sf = new StdSchedulerFactory();  
    28.     private static String JOB_GROUP_NAME = "ddlib";  
    29.     private static String TRIGGER_GROUP_NAME = "ddlibTrigger";  
    30.     public static void main(String[] args) throws SchedulerException,  
    31.             ParseException {  
    32.         startSchedule();  
    33.         //resumeJob();  
    34.     }  
    35.     /** 
    36.      * 开始一个simpleSchedule()调度 
    37.      */  
    38.     public static void startSchedule() {  
    39.         try {  
    40.             // 1、创建一个JobDetail实例，指定Quartz  
    41.             JobDetail jobDetail = JobBuilder.newJob(MyJob.class)  
    42.             // 任务执行类  
    43.                     .withIdentity("job1_1", "jGroup1")  
    44.                     // 任务名，任务组  
    45.                     .build();  
    46.             // 2、创建Trigger  
    47.             SimpleScheduleBuilder builder = SimpleScheduleBuilder  
    48.                     .simpleSchedule()  
    49.                     // 设置执行次数  
    50.                     .repeatSecondlyForTotalCount(100);  
    51.             Trigger trigger = TriggerBuilder.newTrigger()  
    52.                     .withIdentity("trigger1_1", "tGroup1").startNow()  
    53.                     .withSchedule(builder).build();  
    54.             // 3、创建Scheduler  
    55.             Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler();  
    56.             scheduler.start();  
    57.             // 4、调度执行  
    58.             scheduler.scheduleJob(jobDetail, trigger);  
    59.             try {  
    60.                 Thread.sleep(60000);  
    61.             } catch (InterruptedException e) {  
    62.                 e.printStackTrace();  
    63.             }  
    64.   
    65.             scheduler.shutdown();  
    66.   
    67.         } catch (SchedulerException e) {  
    68.             e.printStackTrace();  
    69.         }  
    70.     }  
    71.   
    72.     /** 
    73.      * 从数据库中找到已经存在的job，并重新开户调度 
    74.      */  
    75.     public static void resumeJob() {  
    76.         try {  
    77.   
    78.             SchedulerFactory schedulerFactory = new StdSchedulerFactory();  
    79.             Scheduler scheduler = schedulerFactory.getScheduler();  
    80.             // ①获取调度器中所有的触发器组  
    81.             List<String> triggerGroups = scheduler.getTriggerGroupNames();  
    82.             // ②重新恢复在tgroup1组中，名为trigger1_1触发器的运行  
    83.             for (int i = 0; i < triggerGroups.size(); i++) {  
    84.                 List<String> triggers = scheduler.getTriggerGroupNames();  
    85.                 for (int j = 0; j < triggers.size(); j++) {  
    86.                     Trigger tg = scheduler.getTrigger(new TriggerKey(triggers  
    87.                             .get(j), triggerGroups.get(i)));  
    88.                     // ②-1:根据名称判断  
    89.                     if (tg instanceof SimpleTrigger  
    90.                             && tg.getDescription().equals("tgroup1.trigger1_1")) {  
    91.                         // ②-1:恢复运行  
    92.                         scheduler.resumeJob(new JobKey(triggers.get(j),  
    93.                                 triggerGroups.get(i)));  
    94.                     }  
    95.                 }  
    96.   
    97.             }  
    98.             scheduler.start();  
    99.         } catch (Exception e) {  
    100.             e.printStackTrace();  
    101.   
    102.         }  
    103.     }  
    104. }  

    2.6、执行：

    然后打开数据库，输入

    [sql] view plain copy
     
     
    1. use quartz;  
    2. select* from QRTZ_SIMPLE_TRIGGERS  

    然后把上面的程序停了，点击右上角的红框框

    把主代码改成：

    [java] view plain copy
     
     
    1. public static void main(String[] args) throws SchedulerException,  
    2.             ParseException {  
    3.         //startSchedule();  
    4.         resumeJob();  
    5.     }  


    输出结果：

    同时，查找数据中的表：

    发现有变化 了。。TRIGGER_GROUP表示的执行的次数，TRIGGER_GROUP表示被激发的次数

    来回的不断停止程序再重新开始程序，结果如下。

    重新停止再打开后，TRIGGER_GROUP变为39，他会减去上一次运行中TRIGGER_GROUP的次数，TRIGGER_GROUP每次运行都会从0开始计算

    然后等100次执行完后，这个调度就会从数据表中删除：

    结果如下：

    这时，该表中的记录已经变空。

    值得注意的是，如果你使用JDBC保存任务调度数据时，当你运行代码

     

    [java] view plain copy
     
     
    1. startSchedule();  
    2. //resumeJob();  

    然后退出，当再次希望运行

     

    [java] view plain copy
     
     
    1. startSchedule();  
    2. //resumeJob();  

    时，系统将抛出JobDetail重名的异常：Unable to store Job with name: 'job1_1' and group: 'jGroup1', because one already exists with this identification.因为每次调用Scheduler#scheduleJob()时，Quartz都会将JobDetail和Trigger的信息保存到数据库中，如果数据表中已经同名的JobDetail或Trigger，异常就产生了。

    这里再次运行应该这样做：

     

    [java] view plain copy
     
     
    1. //startSchedule();  
    2. resumeJob();  



    三、一些说明

    一些相关的意义：

    [sql] view plain copy
     
     
    1. QRTZ_CALENDARS 以 Blob 类型存储 Quartz 的 Calendar 信息   
    2. QRTZ_CRON_TRIGGERS 存储 Cron Trigger，包括Cron表达式和时区信息   
    3. QRTZ_FIRED_TRIGGERS 存储与已触发的 Trigger 相关的状态信息，以及相联 Job的执行信息QRTZ_PAUSED_TRIGGER_GRPS 存储已暂停的 Trigger组的信息   
    4. QRTZ_SCHEDULER_STATE 存储少量的有关 Scheduler 的状态信息，和别的Scheduler实例(假如是用于一个集群中)   
    5. QRTZ_LOCKS 存储程序的悲观锁的信息(假如使用了悲观锁)   
    6. QRTZ_JOB_DETAILS 存储每一个已配置的 Job 的详细信息   
    7. QRTZ_JOB_LISTENERS 存储有关已配置的 JobListener的信息   
    8. QRTZ_SIMPLE_TRIGGERS存储简单的Trigger，包括重复次数，间隔，以及已触的次数   
    9. QRTZ_BLOG_TRIGGERS Trigger 作为 Blob 类型存储(用于 Quartz 用户用JDBC创建他们自己定制的 Trigger 类型，JobStore并不知道如何存储实例的时候)   
    10. QRTZ_TRIGGER_LISTENERS 存储已配置的 TriggerListener的信息   
    11. QRTZ_TRIGGERS 存储已配置的 Trigger 的信息   
    --------------------------------------------------------------------------------------------------
     
    quartz 持久化数据库表格字段解释
    建表,SQL语句在dbTables文件夹中可以找到,介绍下主要的几张表： 
    [sql] view plain copy
     
     
    1. 表qrtz_job_details:保存job详细信息,该表需要用户根据实际情况初始化   
    2. job_name:集群中job的名字,该名字用户自己可以随意定制,无强行要求   
    3. job_group:集群中job的所属组的名字,该名字用户自己随意定制,无强行要求   
    4. job_class_name:集群中个notejob实现类的完全包名,quartz就是根据这个路径到classpath找到该job类   
    5. is_durable:是否持久化,把该属性设置为1，quartz会把job持久化到数据库中   
    6. job_data:一个blob字段，存放持久化job对象   
    7.   
    8. 表qrtz_triggers: 保存trigger信息   
    9. trigger_name:trigger的名字,该名字用户自己可以随意定制,无强行要求   
    10. trigger_group:trigger所属组的名字,该名字用户自己随意定制,无强行要求   
    11. job_name:qrtz_job_details表job_name的外键   
    12. job_group:qrtz_job_details表job_group的外键   
    13. trigger_state:当前trigger状态，设置为ACQUIRED,如果设置为WAITING,则job不会触发   
    14. trigger_cron:触发器类型,使用cron表达式   
    15.   
    16. 表qrtz_cron_triggers:存储cron表达式表   
    17. trigger_name:qrtz_triggers表trigger_name的外键   
    18. trigger_group:qrtz_triggers表trigger_group的外键   
    19. cron_expression:cron表达式   
    20.    
    21. 表qrtz_scheduler_state:存储集群中note实例信息，quartz会定时读取该表的信息判断集群中每个实例的当前状态   
    22. instance_name:之前配置文件中org.quartz.scheduler.instanceId配置的名字，就会写入该字段，如果设置为AUTO,quartz会根据物理机名和当前时间产生一个名字   
    23. last_checkin_time:上次检查时间   
    24. checkin_interval:检查间隔时间   


    配置quartz.properties文件：
    [html] view plain copy
     
     
      1. #调度标识名 集群中每一个实例都必须使用相同的名称 org.quartz.scheduler.instanceName：scheduler  
      2. #ID设置为自动获取 每一个必须不同 org.quartz.scheduler.instanceId ：AUTO  
      3. #数据保存方式为持久化 org.quartz.jobStore.class ：org.quartz.impl.jdbcjobstore.JobStoreTX  
      4. #数据库平台 org.quartz.jobStore.driverDelegateClass：org.quartz.impl.jdbcjobstore.oracle.weblogic.WebLogicOracleDelegate#数据库别名 随便取org.quartz.jobStore.dataSource ： myXADS  
      5. #表的前缀 org.quartz.jobStore.tablePrefix ： QRTZ_  
      6. #设置为TRUE不会出现序列化非字符串类到 BLOB 时产生的类版本问题org.quartz.jobStore.useProperties ： true  
      7. #加入集群 org.quartz.jobStore.isClustered ： true  
      8. #调度实例失效的检查时间间隔 org.quartz.jobStore.clusterCheckinInterval：20000   
      9. #容许的最大作业延长时间 org.quartz.jobStore.misfireThreshold ：60000  
      10. #ThreadPool 实现的类名 org.quartz.threadPool.class：org.quartz.simpl.SimpleThreadPool  
      11. #线程数量 org.quartz.threadPool.threadCount ： 10  
      12. #线程优先级 org.quartz.threadPool.threadPriority ： 5  
      13. #自创建父线程org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread： true   
      14. #设置数据源org.quartz.dataSource.myXADS.jndiURL： CT  
      15. #jbdi类名 org.quartz.dataSource.myXADS.java.naming.factory.initial ：weblogic.jndi.WLInitialContextFactory#URLorg.quartz.dataSource.myXADS.java.naming.provider.url：=t3://localhost:7001  
      16. 【注】：在J2EE工程中如果想用数据库管理Quartz的相关信息，就一定要配置数据源，这是Quartz的要求。  

    转自：https://blog.csdn.net/u012768459/article/details/73826189
  • 相关阅读:
    Hadoop 最讨厌的报错：运行VirtualBox提示0x00000000错误“0x00000000指令引用的0x00000000内存该内存不能为written？
    linux下面/usr/local和opt目录有何区别
    Hadoop是不是必须在linux上运行？(根本原因是操作系统Linux的权限开放优势)
    Hadoop主要配置文件的作用
    RPC模式
    Hadoop安装最后一步~Hadoop伪分布式配置
    word 使用中遇到的小细节(按空格键后面字不见；从编译器粘贴的代码出现乱码，word标题内容折叠效果实现)
    在VS Code下配置Julia
    使用pandas读取csv文件和写入文件
    ModuleNotFoundError: No module named 'sklearn.cross_validation'
  • 原文地址：https://www.cnblogs.com/dauber/p/9466512.html
Copyright © 2020-2023  润新知