安装前准备
主机和系统
|
Host |
OS |
Memory |
IP |
|
bigdata001-dev |
Cent OS 7.4 x64 |
32G |
192.168.1.1 |
|
bigdata002-dev |
Cent OS 7.4 x64 |
32G |
192.168.1.2 |
|
bigdata003-dev |
Cent OS 7.4 x64 |
15G |
192.168.1.3 |
|
bigdata004-dev |
Cent OS 7.4 x64 |
32 |
192.168.1.4 |
安装包下载
下载 cloudera-manager.repo 文件
wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
升级 GPG key
sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
系统和环境配置
更改主机名
打开网络配置
sudo vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata002-dev.novalocal
重启网络
sudo service network restart
配置hosts文件
打开hosts文件
sudo vim /etc/hosts
改为如下配置
192.168.1.3 bigdata003-dev.novalocal
192.168.1.2 bigdata002-dev.novalocal
192.168.1.1 bigdata001-dev.novalocal
192.168.1.4 bigdata004-dev.novalocal
关闭内存大页
在 /etc/rc.d/rc.local 中添加一下内容
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
所有机器安装Java 8
旧版本卸载
#查看安装的Java
rpm -qa | grep java
#卸载相应的Java包
rpm –qa |grep jdk | xargs rpm -e --nodeps $1
下载 JDK tar包解压并配置环境变量
在你看到这篇文档的时候 Oracle JDK 可能已经开始收费了。所以我们可以试试 OpenJDK ,Cloudera 正在努力让自己的平台与 OpenJDK 适配，这应该不会花费太多时间
wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz
tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –C /user/java/
配置环境变量
Vim /etc/profile
# 添加一下内容
JAVA_HOME=/usr/java/jdk1.8.0_202
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib
export JAVA_HOME PATH CLASSPATH JRE_HOME
关闭所有机器的防火墙和SELinux
如果一个个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置
关闭防火墙
关闭 iptables
service iptables stop
sudo chkconfig iptables off
关闭firewalld
systemctl disabled firewalld
我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
关闭SELinux
临时关闭
sudo setenforce 0
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
如果要永久关闭，可以修改配置：
sudo vim /etc/selinux/config
修改以下配置
SELINUX=disabled
启动 NTP 服务
Service ntpd start
Chkconfig ntpd on
Systemctl start ntpd
Systemctl enable ntpd
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’
注：如果不启动 ntpd 服务，scm agent 无法发现123 端口开放状态，会出现告警
Cloudera Manager Server 和 Agent 安装
Yum 安装
Yum 网络安装方式，如果你已经配置 yum 源
yum install cloudera-manager-daemons cloudera-manager-server
rpm 包安装
所有服务器都需要的操作：
我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装
yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl python-psycopg2 redhat-lsb-core –y
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
Server 服务器
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/
下载 server rpm 包
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
Agent 服务器安装
Wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
Rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
安装MySQL
数据库这一步我们可以找DBA 协助
在server 机安装配置MySQL
sudo yum install mysql-server
设置开机启动
sudo chkconfig mysqld on
启动MySQL service
sudo service mysqld start
设置root用户密码
sudo mysqladmin -u root password 'xxxx'
为Cloudera Manager建立数据库
下载MySQL驱动：http://dev.mysql.com/downloads/connector/j/
解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/
初始化数据cloudera库
sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm mysql@Hadoop:scm:88
如果DBA已经帮我们处理完的数据库的事情，我们需要修改 数据库配置文件
c /etc/cloudear-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=www.mydatabase.com:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=devuser
com.cloudera.cmf.db.password=Devuser123
com.cloudera.cmf.db.setupType=EXTERNAL
在Master机上启动Cloudera Manager Server
Systemctl start cloudera-scm-server
Systemctl enable cloudera-scm-server
Agent配置
在所有机器上配置Master机的主机名
sudo vim /etc/cloudera-scm-agent/config.ini
把server_host设置成Master机的主机名
server_host=192.1687.1.2
启动agent
Systemctl start cloudera-scm-agent
Systemctl enable cloudera-scm-agent
打开Cloudera Manager主页
http://192.168.1.10:7180/
第一次启动比较慢，可能需要等待几分钟才可以打得开cloudera manager主页。
登录Cloudera Manager
默认用户名密码都是admin，第一次登录成功之后先进入到cloudera manager的安装引导界面：
CDH安装
CDH文件上传
下载 CDH 安装包和 sha 验证文件
http://archive.cloudera.com/cdh5/parcels/5.15.0/
wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
在通过 Cloudera Manager 进行网络安装CDH 的时候可能会比较慢，或卡住所以我们可以将已经下好的 CDH 包上传到server 端服务器上
把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha
把CDH的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha
选择cloudera manager的版本
选择要安装CDH的主机
所有正常启动agent的机器都会显示在这个页面
选择要安装的Parcels
安装Parcel
选择要安装的服务
如下图所示，有多种服务组合供选择（服务是随时可以根据需求增删的），我这里根据项目需求选择自定义服务。
集群设置
一般按默认设置就可以了，也可以根据自己的需求定制。
点击继续安装，在安装的过程中可能会有一些服务的配置需要设置，一般按默认配置就可以了。
完成安装
至此，Cloudear Manger/CDH的安装已经完成，你可以在Cloudear Manger管理界面上对集群进行更细化的定制。