Azkaban 集群安装部署（二）

安装步骤

步骤一：SFTP 工具上传并解压 azkaban 三个安装包 azkaban-db-3.91.0-184-ge0e7aa7.tar、azkaban-exec-server-3.91.0-184-ge0e7aa7.tar、azkaban-web-server-3.91.0-184-ge0e7aa7.tar

注：azkaban 官网不直接提供安装包，安装包需要通过下载源码自行编译

# 创建 azkaban 目录
[root@node-01 ~]# cd /root/apps
[root@node-01 apps]# mkdir azkaban-3.91.0

# 分别解压 3 个 zakaban 安装包
[root@node-01 ~] cd
[root@node-01 ~]# tar azkaban-db-3.91.0-184-ge0e7aa7.tar -C /root/apps
[root@node-01 ~]# tar azkaban-exec-server-3.91.0-184-ge0e7aa7.tar -C /root/apps
[root@node-01 ~]# tar azkaban-web-server-3.91.0-184-ge0e7aa7.tar -C /root/apps
[root@node-01 ~]# rm -rf azkaban-db-3.91.0-184-ge0e7aa7.tar
[root@node-01 ~]# rm -rf azkaban-exec-server-3.91.0-184-ge0e7aa7.ta
[root@node-01 ~]# rm -rf azkaban-web-server-3.91.0-184-ge0e7aa7.tar

# 改名
[root@node-01 ~]# cd /root/apps
[root@node-01 apps]# mv azkaban-db-3.91.0-184-ge0e7aa7.tar azkaban-db-3.91.0
[root@node-01 apps]# mv azkaban-exec-server-3.91.0-184-ge0e7aa7.tar azkaban-exec-server-3.91.0
[root@node-01 apps]# mv azkaban-web-server-3.91.0-184-ge0e7aa7.tar azkaban-web-server-3.91.0

步骤二：本地 mysql 导入 azkaban 的 sql 脚本

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/azkaban-db
[root@node-01 azkaban-db]# ll | grep create-all-sql
-rw-r--r--. 1 root root 19742 5月  17 11:21 create-all-sql-3.91.0-184-ge0e7aa7.sql

• 将 create-all-sql-3.91.0-184-ge0e7aa7.sql 脚本文件下载到本地 windows 系统
• 打开 MySQL 的 Navicat 工具，创建数据库 azkaban ，并执行 create-all-sql-3.91.0-184-ge0e7aa7.sql 脚本

步骤三：生成密钥库

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0
[root@node-01 azkaban-3.91.0]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令: #这里密码输入 000000
再次输入新口令: 000000 #这里密码再次输入 000000
您的名字与姓氏是什么?
  [Unknown]:  
您的组织单位名称是什么?
  [Unknown]:  
您的组织名称是什么?
  [Unknown]:  
您所在的城市或区域名称是什么?
  [Unknown]:  
您所在的省/市/自治区名称是什么?
  [Unknown]:  
该单位的双字母国家/地区代码是什么?
  [Unknown]:  
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
  [否]:  y

输入 <jetty> 的密钥口令
        (如果和密钥库口令相同, 按回车):  #这里直接按回车
再次输入新口令:

#将 keystore 拷贝到 azkaban web 服务器根目录中
[root@node-01 azkaban-3.91.0]# cp keystore server/

步骤四：配置 Executor Server

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/executor/conf
[root@node-01 conf]# vim azkaban.properties
#修改项
default.timezone.id=Asia/Shanghai
executor.global.properties=/root/apps/azkaban-3.91.0/executor/conf/global.properties

azkaban.webserver.url=http://node-01:8081

#配置自己电脑本地 mysql 服务器 ip 地址
mysql.host=192.168.0.166
mysql.database=azkaban
mysql.user=hive
mysql.password=hive

executor.port=12321
executor.metric.reports=true
executor.metric.milisecinterval.default=60000

#关闭内存检查
[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/executor/plugins/jobtypes
[root@node-01 jobtypes]# vim commonprivate.properties
# set execute-as-user
execute.as.user=false
memCheck.enabled=false

步骤五：配置 Web Server

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/server/conf

default.timezone.id=Asia/Shanghai

web.resource.dir=/root/apps/azkaban-3.91.0/server/web/
user.manager.xml.file=/root/apps/azkaban-3.91.0/server/conf/azkaban-users.xml
executor.global.properties=/root/apps/azkaban-3.91.0/server/conf/global.properties


jetty.keystore=/root/apps/azkaban-3.91.0/server/keystore
jetty.password=000000
jetty.keypassword=000000
jetty.truststore=/root/apps/azkaban-3.91.0/server/keystore
jetty.trustpassword=000000

executor.port=12321

#配置自己电脑本地 mysql 服务器 ip 地址
mysql.host=192.168.0.166
mysql.database=azkaban
mysql.user=hive
mysql.password=hive

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

步骤六：添加 Web 管理员权限配置 azkaban-users.xml文件

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/server/conf
<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <!-- 添加 web 管理员账号和密码 -->
  <user username="admin" password="admin" roles="admin,metrics" />
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

步骤七：拷贝 azkaban 安装包到 node-02、node-03

[root@node-01 ~]# cd /root/apps
[root@node-01 apps]# scp -r  azkaban-3.91.0/  node-02:$PWD
[root@node-01 apps]# scp -r  azkaban-3.91.0/  node-03:$PWD

步骤八：启动 executor 服务器

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/executor
[root@node-01 executor]# bin/start-exec.sh
[root@node-01 executor]# jps
1248 Jps
j1239 AzkabanExecutorServer # executor 服务器进程

[root@node-02 ~]# cd /root/apps/azkaban-3.91.0/executor
[root@node-02 executor]# bin/start-exec.sh
[root@node-02 executor]# jps
1248 Jps
j1239 AzkabanExecutorServer # executor 服务器进程

[root@node-03 ~]# cd /root/apps/azkaban-3.91.0/executor
[root@node-03 executor]# bin/start-exec.sh
[root@node-03 executor]# jps
1248 Jps
j1239 AzkabanExecutorServer # executor 服务器进程

关闭 executor 服务器进程： [root@node-03 executor]# bin/shutdown-exec.sh

步骤九：手动激活 executor 服务器

[root@node-01 ~]#cd /root/apps/azkaban-3.91.0/executor
[root@node-01 executor]# curl -G "node-01:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"} # 表示 executor 服务器激活成功

[root@node-02 ~]#cd /root/apps/azkaban-3.91.0/executor
[root@node-02 executor]# curl -G "node-02:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"} # 表示 executor 服务器激活成功

[root@node-03 ~]#cd /root/apps/azkaban-3.91.0/executor
[root@node-03 executor]# curl -G "node-03:$(<./executor.port)/executor?action=activate" && echo
{"status":"success"} # 表示 executor 服务器激活成功

步骤十：启动 web 服务器

[root@node-01 ~]# cd /root/apps/azkaban-3.91.0/server
[root@node-01 server]# bin/start-web.sh

[root@node-01 server]# jps
1302 AzkabanWebServer # web 服务器进程
1239 AzkabanExecutorServer
1324 Jps

关闭 web 服务器进程： [root@node-01 server]# bin/shutdown-web.sh

启动完成后，在浏览器(建议使用谷歌浏览器)中输入https://node-01:8443，即可访问 azkaban 服务了

配置的账号和密码都是 admin，输入如下：

Azkaban 集群安装部署完成 ：）