大数据学习——azkaban工作流调度系统

azkaban的安装部署

 在/root/apps

1目录下新建azkaban文件夹

上传安装包到azkaban

2解压

tar -zxvf  azkaban-web-server-2.5.0.tar.gz

3删掉安装包

[root@mini1 azkaban]# rm -rf azkaban-executor-server-2.5.0.tar.gz
[root@mini1 azkaban]# rm -rf azkaban-sql-script-2.5.0.tar.gz
[root@mini1 azkaban]# rm -rf azkaban-web-server-2.5.0.tar.gz

4重命名

mv  azkaban-web-2.5.0 server 
mv  azkaban-executor-2.5.0 executor

5修改配置文件

登录mysql数据库

[root@mini1 ~]# mysql -u root -p
Enter password: 

创建azkaban数据库；

drop database azkaban;
create database azkaban;

use azkaban;

修改conf下的azkaban.properties

修改时区为亚洲上海

注：先配置好服务器节点上的时区

1、先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可

2、拷贝该时区文件，覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 

创建SSL

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入keystore密码： hadoop
再次输入新密码:
您的名字与姓氏是什么？
cui
您的组织单位名称是什么？
fengmin
您的组织名称是什么？
java
您所在的城市或区域名称是什么？
shanghai
您所在的州或省份名称是什么？
shanghai
该单位的两字母国家代码是什么
CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
  [否]：  y
 
输入<jetty>的主密码 hadoop
        （如果和 keystore 密码相同，按回车）： 
再次输入新密码: hadoop
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

 继续修改azkaban.properties

 vi azkaban.properties

保存退出

修改 executor

cd executor

cd conf

vi azkaban.properties

修改server的 conf的 azkaban-users.xml

[root@mini1 conf]# vi  azkaban-users.xml

启动

[root@mini1 server]# bin/azkaban-web-start.sh

[root@mini1 executor]# bin/azkaban-executor-start.sh

浏览器访问

https://mini1:8443/

admin

admin

 

azkaban界面元素菜单说明

1、projects：azkaban最重要的一部分，创建一个工程，将所有的工作流放在工程中执行

2、scheduling：定时调度任务用的

3、executing:  显示当前运行的任务

4、History : 显示历史运行任务

一个project由3个按钮：

1、Flows：一个工作流，由多个job组成

2、Permissions:权限管理

3、Project Logs：工程日志信息