主节点安装cloudera manager
准备工作:下载CM和mysql连接驱动包:
CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/
从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可。
Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip
这里驱动的版本要比Mysql的版本相符或稍低,否则安装CM和CDH时创建数据库时会出现访问失败或连接失败等错误。
把mysql.jar包拷贝到 /usr/shar/java (注意重命名为:mysql-connector-java.jar),这样安装cdh的时候如果缺少mysql连接器就会自动从哪个java文件夹中去拷贝,免得自己到处拷贝的麻烦。
在主节点cdh1中解压安装cloudera manager。
首先把我们下载好的cloudera-manager-*.tar.gz包和mysql驱动包mysql-connector-java-*-bin.jar放到主节点cm0的/opt中。
我下载的版本分别是:cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz和mysql-connector-java-5.1.40.zip。
cloudera manager的目录默认位置在/opt下
所以我们在opt目录解压安装文件,命令如下:
cd /opt
tar xzvf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz
使用命令
ls
确保cm-5.14.0和cloudera目录在/opt目录下。
Cloudera Manager建立数据库
我们把mysql-connector-java-5.1.40.zip也解压一下。
unzip mysql-connector-java-5.1.40.zip
ls
cd mysql-connector-java-5.1.40
发现jar包mysql-connector-java-5.1.40-bin.jar已经解压出来了。
使用命令
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.14.0/share/cmf/lib/
把mysql-connector-java-5.1.40-bin.jar放到/opt/cm-5.14.0/share/cmf/lib/中。
cd /opt/cm-5.14.0/share/cmf/lib/
ls|more
确认已经放进去了。
在主节点初始化CM5的数据库
使用命令
在命令里scm_prepare_database.sh后面的参数分别是:数据库类型 数据库名称(可以随便起一个名称) 数据库主机名 数据库用户名 密码 --scm-host 主节点机名 scm scm scm
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h cdh1 -u root -p 123456 --scm-host cdh1 scm scm scm
如果出现如下提示,则证明CM元数据创建成功。
All done, your SCM database is configured correctly!
参考下图:
Agent配置
主节点修改agent配置文件。
/opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
使用命令
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
在主节点cdh1用命令同步Agent到其他所有节点
scp -r /opt/cm-5.14.0 root@cdh2:/opt/
scp -r /opt/cm-5.14.0 root@cdh3:/opt/ (如果有的话)
参考下图:
在所有节点创建cloudera-scm用户
在每台机子中
使用命令
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
启动cm和agent
主节点cdh1通过命令
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
启动服务端。
所有节点通过命令
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
启动Agent服务。 (所有节点都要启动Agent服务,包括服务端)
我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态是status。
Cloudera Manager Server和Agent都启动以后,等待1分钟左右,就可以进行尝试访问了。
http://master:7180/cmf/login
我这里master是主节点cdh1,也就是应该访问
http://192.168.43.101:7180/cmf/login
安装CM成功。
安装到此处,可以考虑备份节点,为将来的节点拓展做准备。
参考文章:https://www.cnblogs.com/felixzh/p/9082344.html