azkaban调度
1、概述
azkaban是一套调度系统，常用大数据作业调度。azkaban包括web和executor两套程序，web主要完成展示和交互，executor上完成调度和作业提交执行。
2、安装
略
3、启动
3.1 启动web程序
$>/soft/azkaban/web/bin/azkaban-web-start.sh
3.2 执行executor程序
$>/soft/azkaban-exec/bin/azkaban-executor-start.sh
4、登录webui
http://s101:8081
5、登录界面
6、创建工程
6.1 点击创建项目按钮
6.2 输入项目信息
6.3 查看创建项目
7、创建job文件和依赖关系
7.1 编写job文件
job文件以job作为扩展名，job中涉及的sh脚本需要保证在executor节点上存在，实际执行时都是由executor在本机上执行特定的shell脚本。
7.1.1 加载数据到原生表job
[1_load_data_to_hive_raw_logs.job]，该job是第一个job，没有依赖。
type=command
command=sh /home/centos/umeng/load_data_to_hive_raw_logs.sh
7.1.2 叉分startuplogs并转储job
[2_1_fork_startuplogs.job]
type=command
command=sh /home/centos/umeng/fork_logs.sh fork_startuplogs.sql forkstartuplogs
dependencies=1_load_data_to_hive_raw_logs
7.1.3 叉分eventlogs并转储job
[2_2_fork_eventlogs.job]
type=command
command=sh /home/centos/umeng/fork_logs.sh fork_eventlogs.sql forkeventlogs
dependencies=1_load_data_to_hive_raw_logs
7.1.4 叉分errorlogs并转储job
[2_3_fork_errorlogs.job]
type=command
command=sh /home/centos/umeng/fork_logs.sh fork_errorlogs.sql forkerrorlogs
dependencies=1_load_data_to_hive_raw_logs
7.1.5 叉分usagelogs并转储
[2_4_fork_usagelogs.job]
type=command
command=sh /home/centos/umeng/fork_logs.sh fork_usagelogs.sql forkusagelogs
dependencies=1_load_data_to_hive_raw_logs
7.1.6 job 叉分pagelogs并转储job
[2_5_fork_pagelogs.job]
type=command
command=sh /home/centos/umeng/fork_logs.sh fork_pagelogs.sql forkpagelogs
dependencies=1_load_data_to_hive_raw_logs
7.1.7 编写收尾job
job之间可以指定依赖，多个依赖使用,分割。
[3_end.job]
type=noop
dependencies=2_1_fork_startuplogs,2_2_fork_eventlogs,2_3_fork_errorlogs,2_4_fork_usagelogs,2_5_fork_pagelogs
7.1.8 总结
以上共生成7个job文件，如下图所示：
8、将所有job打成一个zip文件
8.1 安装zip命令
centos 7默认没有集成zip命令，需要单独安装。
#安装zip命令
$>sudo yum install -y zip
8.2 打包job文件到一个zip中
$>cd /home/centos/umeng/job
#将当前所有文件打成1.zip文件
$>zip 1.zip *
8.3 1.zip文件内容如下
9、上传zip文件
9.1 点击上传按钮
9.2 选中zip文件
9.3 查看上传结果
9.4 展开job，查看依赖关系
10、job的执行与调度
job在上传之后，可以单独执行某个job，带依赖关系也可以不带依赖关系。执行通常用来测试，测试通过后就可以进行调度作业。
10.1 job执行
10.1.1 展开job的依赖列表
10.1.2 执行无依赖job
10.1.3 执行有依赖job
