本文上接《Azkaban 3.73.1 集群搭建(Multiple Executor)》,对Azkaban的使用做简单说明
目录
简介
AzkabanWebServer中的三个主要元素:project、job、flow
- project:工程/项目
- job:任务,project中包含的需要执行的任务
- flow:工作流,由各个job之间的依赖关系所组成
1. 登录
- 因为使用了SSl所以是 https
- host为启动WebServer服务的机器ip
- port为azkaban-web/conf/azkaban.properties中配置的jetty.ssl.port=8443
- 账号密码为 azkaban-web/conf/azkaban-users.xml 中配置的

2. 创建工程
首页四个重要的菜单
菜单 | 备注 |
---|---|
projects | 工程,最重要的部分,所有flows都在工程中运行 |
scheduling | 显示定时任务 |
executing | 显示当前运行的任务 |
history | 显示历史运行任务 |
在“projects”菜单下点击“Create Project”完成创建工程,注意请使用英文,中文会报错


3. 创建job
- web页面中并没有提供创建job的功能
- 需要自行创建以.job为扩展名的文件,并将创其通过web页面上传,才能形成job任务
- 所有的job都需要有一个知道他们如何去执行的type,附:Azkaban Jobtypes 文档
.job文件中常用的参数,如下
参数 备注 dependencies 定义依赖关系,参数值为该job依赖的任务文件名(不包括.job后缀)
如果依赖多个,则以逗号分隔,如:job2,job5retries 任务失败时自动重启的次数 retry.backoff 每一次任务尝试重启时之间等待的毫秒数 working.dir 重新指定任务执行的工作目录,默认为目前正在运行的任务的工作目录 failure.emails 任务失败时的邮件提醒设置,以逗号分隔多个邮箱 success.emails 任务成功时的邮件提醒设置,以逗号分隔多个邮箱 notify.emails 任务无论失败还是成功都邮件提醒设置,以逗号分隔多个邮箱
3.1 创建 .job 文件
使用 command type 举例:
job1
# 文件名:test_1.job
type=command
command=echo "This is a test job, name is test_1."
retries=5
job2
# 文件名:test_2.job
type=command
dependencies=test_1
retries=5
command=echo "This is a test job, name is test_2."
command.1=pwd
command.2=ls –l /tmp
job3
# 文件名:test_3.job
type=command
dependencies=test_1
retries=5
command=echo "This is a test job, name is test_3."
command.1=sh /opt/azkaban/job/test_script.sh
注意:/opt/azkaban/job/test_script.sh 为事先在服务器上写好的脚本,且强烈建议使用这种形式,后期维护时,只需修改此文件内容就可以了
job4
# 文件名:test_4.job
type=command
dependencies=test_2,test_3
retries=5
command=echo "This is a test job, name is test_4."
command.1=netstat -ntlp
job5
# 文件名:test_5.job
type=command
dependencies=test_4
retries=5
command=echo "This is a test job, name is test_5."
command.1=whoami

3.2 打包
压缩所有.job文件到同一个.zip文件中
- 必须是zip压缩文件,当前仅支持zip
- 所有文件必须在压缩包的根目录中,没有子目录

3.3 创建Flow
- 上传打包好的zip文件,进而生成一个Flow
- Flow的名称为最后一个没有依赖的.job文件的文件名
选择工程,直接点击“工程名”

工程页面的三个菜单
菜单 | 备注 |
---|---|
Flows | 工作流程,有多个job组成 |
Permissions | 权限管理 |
Project Logs | 工程日志 |
工程页面的三个按钮
按钮 | 备注 |
---|---|
Delete Project | 删除该工程 |
Upload | 上传zip文件,进而生成Flow |
Download | 下载工程 |
点击“Upload”上传zip


3.4 运行Flow
Flow的三个操作按钮
按钮 | 备注 |
---|---|
Execute Flow | 配置或执行Flow |
Executions | Flow的执行记录 |
Summary | Flow的总结 |
点击“Execute Flow”配置执行该流程

Execute Flow 的几个菜单
菜单 | 备注 |
---|---|
Flow view | 流程视图,“右键”可以禁用/启用某些job |
Notification | 定义任务成功或者失败是否发送邮件 |
Failure Options | 定义一个job失败,剩下的job怎么执行 |
Concurrent | 并行任务执行设置 |
Flow Parametters | 参数设置 |
点击左下方的“Schedule”可设置定时执行,下方绿色字体为执行时间的提示

点击右下方“Execute”执行该Flow


“Continue”之后可以直接看到Flow的运行结果,“绿色”成功、“蓝色”执行中、“红色”失败

可查看每一个job的运行日志,如果有报错,也可以直接查看错误日志

首次运行是可能的报错
ERROR [ExecutorServlet] [Azkaban] executor became inactive before setting up the flow 1
azkaban.executor.ExecutorManagerException: executor became inactive before setting up the flow 1

需要手动去激活一下 executor,方式如下:
curl http://${executorHost}:${executorPort}/executor?action=activate

附录
参考
- 官方:https://azkaban.github.io/azkaban/docs/latest/#creating-flows
- https://juejin.im/post/5c8a289151882504715038cc
- https://www.jianshu.com/p/01188607a794
- http://www.jobplus.com.cn/article/getArticleDetail/51461