• spring batch (一) 常见的基本的概念介绍


     SpringBatch的基本概念介绍

    内容来自《Spring Batch 批处理框架》,作者:刘相。

    一、配置文件

      在项目中使用spring batch 需要在配置文件中声明:

        事务管理器:ResourceTransactionManager

        任务仓库:MapJobRepositoryFactoryBean

        任务加载器:SimpleJobLauncher(作业调度器)

    二、基本介绍

      在spring batch 中一个任务Job由 一个或者多个步骤Step组成,一个步骤Step由读操作Reader、处理操作Procesor、写操作Writer组成。JobLauncher是任务启动器,可以看作是程序的入口。

    三、spring batch 主要对象

     
    对象                    描述 
    Job 作业。批处理中的核心概念,是Batch操作的基础单元 
    JobInstance 作业实例。每个作业执行时,都会生成一个实例,实例会被存放在JobRepository中,如果作业失败,下次重新执行该作业时,会使用同一个作业实例。对于Job和JobInstance的关系,可以理解为Java中类和实例对象的关系。 
    JobParameters 作业参数。它是一组用来启动批处理任务的参数,在启动Job的时候,可以设置任何需要的作业参数。需要注意的是作业参数会用来标识作业实例,即不同的Job实例是通过Job参数的来区分的。 
    JobExecution 作业执行器。负责具有Job的执行,每次运行Job都回启动一个新的Job执行器。 
    JobRepository 作业仓库。主要负责存储作业执行过程中的状态数据和结果。为JobLauncher、Job、Step提供标准的CRUD实现。 
    JobLauncher 作业调度器(任务启动器)。它根据给定的JobParameters执行作业。 
    Step 作业步(操作步)。Job的一个执行环节,多个或者一个Step组成Job,封装了批处理任务中的一个独立的连续阶段。 
    StepExecution 作业步执行器。负责具体Step的执行。每次运行Step都会启动一个新的执行器。 
    Tasklet 

    Tasklet。step中具体执行逻辑的操作。可以重复执行。可以设置具体的同步、异步操作等。 

    ExecutionContext 执行上下文。它是一组框架持久化与控制的key/value对,能够让开发者在StepExecution或JobExecution范畴保存需要进行持久化的状态。 
    Item 条目。一条数据记录。 
    Chunk Item集合。它是给定数量Item的集合。可以定义对读操作、处理操作、写操作,提交间隔等。 
    ItemReader 条目读(读操作)。表示Step读取数据,一次读取一条数据。 
    ItemProcessor 条目处理(处理操作)。用于表示Item的业务处理。 
    ItemWriter 条目写(写操作)。用于表示Step输出数据,一次输出一条。 

    四、对象介绍

      1.Job

       批处理作业Job是由一组Step组成的,同时也是作业配置文件的顶层的元素。一般每个跑批Job都会有一个配置文件,在配置文件中配置Job的内容。如:每个Job都有自己唯一的id(名字),定义Step的执行顺序,定义作业是否可以重启等 。

       Job执行的时候会生成一个Job Instance(作业实例),Job Instance包含执行Job期间产生的数据以及Job的执行状态信息等。Job Instance是通过Job Name(作业名称)和Job Parameters(作业参数)来区分的。每次Job执行的时候都会有一个Job Execution(作业执行器),Job Execution负责具体Job的执行。

        一个Job可能有一个或多个Job Instance。

        一个Job Instance可能有一个或多个Job Execution。(如果不理解往下看)

      2.Job Instance 

        Job Instance(作业实例)是一个运行期概念,Job每次执行都会涉及一个Job Instance。

        Job Instance来源有两种可能:一种是根据设置的Job Parameters从Job Repository(作业仓库)中获取,第二中是如果根据设置的Job Parameters没有从Job Repository中获取到,则新创建一个Job Instance。

      3.Job Parameters

        一个Job通过Job Parameters来区分不同的Job Instance。如果同一个Job,Job Name一样的话,则Job Parameters肯定不一样,但是对于不同的Job来说,允许有相同的Job Parameters。也就是说Job Instance = Job Name + Job Parameters。

        Job Parameters共支持四种类型的参数:String、Date、Long、Double。同时Spring Batch框架提供了通过JobParametersBuilder来构建参数,如下: 

        

        也可以查看相应的数据库表:BATCH_JOB_EXECUTION_PARAMS。

        如果Job Name 和 Job Parameters 都相同的情况下执行Job 则会报异常。

      4.Job Execution

         Job Execution表示Job执行的句柄。一次Job的执行可能成功也可能失败,只有Job Execution执行成功时才会生成相应的Job Instance。这就是为什么一个Job Instance对应一个或多个Job Execution。

        Job Execution对应的数据库是:BATCH_JOB_EXECUTION

        Job Execution对应的Java类是:org.springframework.batch.core.JobExecution。

        JobExecution主要的属性和表的字段差不多,其中属性中executionContext是:包含运行过程中所有需要被持久化的用户数据。

      5.Step

         Step表示作业中一个完整的步骤,一个Job可以有一个或多个Step,Step包含一个实际运行的批处理任务中的所有必须处理的信息。一个Step可以有一个或多个Step Execution。当一个Job由多个Step组成时,每个Step执行都会生成一个新的Step Execution,则一个Job Execution就会拥有多个Step Execution。

        比如reader、processor、writer是一个Step,合并文件是一个Step,创建信号文件是一个Step。

        Step中可以配置tasklet、partition、job、flow等。

       6.Step Execution

         Step Execution是Step执行的句柄。和Job Execution相似。一个Step可以有一个或多个Step Execution。

        Step Execution对应的数据库是:BATCH_STEP_EXECUTION

        Step Execution对应的Java类是:org.springframework.batch.core.StepExecution。

        Step执行的过程是由StepExecution类的对象所表示的,包括每次执行对应的step、Job Execution、相关的事务操作等,此外每次执行step时还包含一个ExecutionContext,用来存放开发者在批处理运行过程中所需要的任何信息。

      7.Execution Context

         Execution Context是Spring Batch框架提供的持久化与控制的key/value对,能够让开发者在Step Execution或Job Execution中保存需要进行持久化的状态。框架会在每次commit后记录当前的提交记录数和读的记录数,保证继续从上次失败的点重新执行。

        Execution Context分为两类:一类是Job Execution的上下文(对应表:BATCH_JOB_EXECUTION_CONTEXT),另一类是Step Execution的上下文(对应表:BATCH_STEP_EXECUTION_CONTEXT)。两类上下文之间的关系:一个Job Execution对应一个Job Execution上下文;每个Step Execution对应一个Step Execution 上下文;同一个Job中的Step Execution 共用Job Execution上下文。因此如果同一个Job不同的Step间需要共享数据,则可以从Job Execution的上下文共享数据。

      8.Job Repository

         Spring Batch框架提供Job Repository来存储Job执行期的元数据(这里的元数据是指:Job Instance、Job Execution、Job Parameters、Step Execution、Execution Context等),并提供两种默认实现方式。一种是存放在内存中,一种是将元数据存放在数据库中。

      

  • 相关阅读:
    Python将字符串转换成字典
    MySQL索引、视图
    MySQL高级查询
    MySQL函数应用
    MySQL约束
    MySQL基础查询
    MySQL数据库基本语法
    MySQL数据库存储引擎
    MySQL数据库简介与命令行操作
    MySQL 安装和配置环境变量
  • 原文地址:https://www.cnblogs.com/whx20100101/p/10483332.html
Copyright © 2020-2023  润新知