环境介绍
| 名称 | 安装包 | 下载地址 |
|---|---|---|
| CM | cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz | [下载地址] (http://archive.cloudera.com/cm5/cm/5/) |
| CDH | CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 manifest.json | 下载地址 |
| JDK | jdk-8u161-linux-x64.tar.gz | 下载地址 |
| mysql | mysql-5.7.16-1.el7.x86_64.tar | [下载地址] () |
| jdbc | mysql-connector-java-5.1.46.tar.gz | [下载地址] |
主机信息
| IP | 主机名 | 内存 | 备注 |
|---|---|---|---|
| 192.168.200.129 | ifan129 | 8G | 主节点 |
| 192.168.200.130 | ifan130 | 8G | |
| 192.168.200.131 | ifan131 | 8G |
修改基本配置
停止防火墙
所有节点
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动，如果不执行，服务器重启之后firewall会启动
firewall-cmd --state #查看防火墙状态
关闭SELinux
主节点
vi /etc/selinux/config
SELINUX=disabled
CM需要
yum install psmisc
禁用透明大表页
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
优化交换分区
echo "vm.swappiness = 10" >> /etc/sysctl.conf
sysctl -p
配置 ssh 免密登录
# 生成key
ssh-keygen -t rsa
# 复制到其他节点
ssh-copy-id ifan129
ssh-copy-id ifan130
ssh-copy-id ifan131
HOST 文件
vim /etc/hosts
192.168.200.129 ifan129
192.168.200.130 ifan130
192.168.200.131 ifan131
复制到其他节点
scp /etc/hosts root@ifan130:/etc/hosts
scp /etc/hosts root@ifan131:/etc/hosts
时钟同步
| NTP 属性 | 主机 |
|---|---|
| NTP Server | ifan129 |
| NTP Client | ifan130 |
| NTP Client | ifan131 |
1. 安装
yum install ntp
2. 修改 NTP Server 文件
vim /var/lib/ntp/drift
配置文件内容
restrict default ignore #新增行1
restrict 192.168.200.0 mask 255.255.255.0 notrap nomodify #新增行2:运行200网段的所有IP同步
fudge 127.127.1.0 stratum 10 #新增行3
restrict 127.0.0.1
restrict ::1
server 127.127.1.0 #新增行4:ntp server服务器地址，127.127.1.0是本服务器的IP
server 192.168.200.129 #新增行5：ntp server服务器地址
3. 启动ntp服务
所有节点
systemctl restart ntpd.service #启动ntp服务
systemctl enable ntpd.service #设置开机启动
service ntpd status # 查看NTP状态
4. 查看 NTP 服务时间同步信息
ntpdc -np
5. 配置每天进行一次时间同步
crontab -e
30 12 * * * /usr/sbin/ntpdate 192.168.200.129 >> /tmp/ntdp.log
安装JDK
tar -zvxf jdk-8u161-linux-x64.tar.gz -C /opt/
# 因为CDH的一些问题 需要设置软连接到/usr/java/default
ln -s /opt/jdk1.8 /usr/java/default
vim /etf/profile
export JAVA_HOME=/opt/jdk1.8
export PAHT=$JAVA_HOME/bin:$PATH
# 配置文件生效
source /etc/profile
复制到其他节点
scp -r /opt/jdk1.8 root@ifan130:/opt
scp -r /opt/jdk1.8 root@ifan131:/opt
# 环境配置文件
scp /etc/profile root@ifan130:/etc/profile
scp /etc/profile root@ifan131:/etc/profile
安装 mysql(主节点)
安装 CM
1. 解压 CM
tar -zvxf cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz -C /opt
2. 复制 mysql connect
mv mysql-connect.jar /opt/cm-5.8.5/share/cmf/lib
3. 初始化CM数据库
/opt/cm-5.8.5/share/cmf/schema/scm_prepare_database.sh mysql scm scm
4. 修改agent配置文件
vim /opt/cm-5.8.5/etc/cloudera-scm-agent/config.ini
server_host=ifan129
5. 复制到其他节点
scp -r /opt/cm-5.8.5 root@ifan130:/opt
scp -r /opt/cm-5.8.5 root@ifan131:/opt
6. 在所有节点创建 cloudera-scm 用户
useradd --system --home=/opt/cm-5.8.5/run/cloudera-scm-server --no-create-home --shell=/bin/false cloudera-scm
7. 准备parcels
ls /opt/cloudera/parcel-repo
CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 manifest.json
需要将 CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 改名为 CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha
启动
主节点
# CM
/opt/cm-5.8.5/etc/init.d/cloudera-scm-server start
# agent
/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start
从节点
# agent
/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start