离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程（二）基础环境安装

一、安装CentOS 6.5 x64

具体安装过程自行百度

1.1　修改IP地址

[root@master ~]# vi /etc/sysconfig/network

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.181
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

删除70-persistent-net.rules

[root@master ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules

1.2　修改主机名

[root@master ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

1.3　设置IP与主机映射关系

[root@master ~]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.181 master
192.168.1.182 slave1
192.168.1.183 slave2

二、JDK的安装

2.1　新建soft文件夹，存放软件安装包

[root@master ~]# mkdir /root/soft

2.2　上传JDK安装包到soft文件夹中

使用xftp上传

2.3　将jdk解压到/opt目录

[root@master soft]# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/

2.4　配置环境变量

[root@master soft]# vi /etc/profile

最文件最后添加以下内容：

#JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

修改完之后，使profile文件重新生效一下

[root@master soft]# source /etc/profile

2.5　验证Java版本

[root@master soft]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

三、关闭防火墙

对安装阶段将防火墙暂时关闭，所有安装软件安装完成之后再单独机器做安全策略。需要在每台机器上执行以下命令：

#关闭防火墙
[root@master soft]# service iptables stop
#设置防火墙开机自动关闭
[root@master soft]# chkconfig iptables off

四、关闭Selinux

#临时关闭命令
[root@master soft]# setenforce 0
#修改配置文件(重启生效)
[root@master soft]# vi /etc/selinux/config

SELINUX=disabled

五、配置SSH免密登录

5.1　生成密钥对

[root@master ~]# ssh-keygen -t rsa

中间3次回车

5.2　将slave上的公钥发送到master上

slave1机器上执行

[root@slave1 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave1 .pub

slave2机器上执行

[root@slave2 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave2.pub

5.3　复制公钥到authorized_keys

在master上执行

#进入/root/.ssh目录
[root@master ~]# cd .ssh/
#复制master生成的公钥到authorized_keys
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
#复制slave1生成的公钥到authorized_keys
[root@master .ssh]# cat slave1.pub >> authorized_keys
#复制slave2生成的公钥到authorized_keys
[root@master .ssh]# cat slave2.pub >> authorized_keys

5.4　将合并后的公钥发送到其他节点

#发送到slave1服务器
[root@master .ssh]# scp -r authorized_keys slave1:$PWD
#发送到slave2服务器
[root@master .ssh]# scp -r authorized_keys slave2:$PWD

5.5　测试免密登录

第一次登录会要求输入yes确认一下，之后就可以直接进行登录。所以机器都要进行登录一遍

[root@master .ssh]# ssh master
[root@master .ssh]# ssh slave1
[root@master .ssh]# ssh slave2

六、安装本地yum源

6.1　创建相关目录

/mnt/dvd1和/mnt/dvd2 用于挂载CentOS镜像

/mnt/dvd3 用于合并后的镜像

/mnt/iso ISO镜像存储

[root@master ~]# mkdir -p /mnt/dvd1 /mnt/dvd2 /mnt/dvd3 /mnt/iso

6.2　上传CentOS镜像到/mnt/iso

使用xftp进行上传

6.3　挂载CentOS镜像

[root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD1.iso /mnt/dvd1/

[root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD2.iso /mnt/dvd2/

6.4　拷贝文件

首先，拷贝DVD1中的所有文件到/mnt/dvd3目录下，然后，只拷贝DVD2中Packages目录下的所有rpm文件到/mnt/dvd3/Packages目录下

[root@master iso]# cp -av /mnt/dvd1/* /mnt/dvd3/

[root@master iso]# cp -v /mnt/dvd2/Packages/*.rpm /mnt/dvd3/Packages/

6.5　合并TRANS.TBL

将DVD2中的TRANS.TBL文件的信息追加到DVD1中的TRANS.TBL后面，并排序保存

[root@master iso]# cat /mnt/dvd2/Packages/TRANS.TBL >> /mnt/dvd3/Packages/TRANS.TBL 
[root@master iso]# mv /mnt/dvd3/Packages/{TRANS.TBL,TRANS.TBL.BAK}
[root@master iso]# sort /mnt/dvd3/Packages/TRANS.TBL.BAK > /mnt/dvd3/Packages/TRANS.TBL
[root@master iso]# rm -rf /mnt/dvd3/Packages/TRANS.TBL.BAK

dvd3已经是合并后的文件了，可以用作本地源和做成ISO使用。

6.6　备份yum配置文件（所有服务器都执行）

[root@master ~]# cd /etc/yum.repos.d/
#创建一个bak文件夹
[root@master yum.repos.d]# mkdir bak
#将所有的.repo文件移动到bak文件夹里面
[root@master yum.repos.d]# mv *.repo bak

6.7　新建一个yum配置文件

[root@master yum.repos.d]# vi /etc/yum.repos.d/CentOS-Media.repo

[CentOS-Local]
name=CentOS-Local
baseurl=file:///mnt/dvd3
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

6.8　更新yum源

[root@master yum.repos.d]# yum clean all

[root@master yum.repos.d]# yum repolist

6.9　安装httpd服务

[root@master ~]# yum install -y httpd

6.10　启动httpd服务

#查看httpd运行状态
[root@master ~]# service httpd status
#启动httpd
[root@master ~]# service httpd start

6.11　在httpd服务的web目录中放入rpm库

[root@master ~]# mkdir /var/www/html/centos6.5
#创建一个软连接指向dvd3
[root@master ~]# ln -s /mnt/dvd3/ /var/www/html/centos6.5/

6.12　用浏览器访问一下httpd服务

看是否能访问到/mnt/dvd3里面的东西

访问地址：http://192.168.1.181/centos6.5/

6.13　修改yum源

[root@master ~]# vi /etc/yum.repos.d/CentOS-Media.repo

[CentOS-Local]
name=CentOS-Local
#baseurl=file:///mnt/dvd3
baseurl=http://192.168.29.181/centos6.7/dvd3
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

6.14　再次更新yum源

[root@master ~]# yum clean all

[root@master ~]# yum repolist

如下即为成功：

已加载插件：fastestmirror, security
Determining fastest mirrors
CentOS-Local                                                                                               | 4.0 kB     00:00     
CentOS-Local/primary_db                                                                                    | 4.6 MB     00:00     
仓库标识                                                      仓库名称                                                       状态
CentOS-Local                                                  CentOS-Local                                                   6,575
repolist: 6,575

6.15　发送新的yum配置文件到其余节点

[root@master ~]# cd /etc/yum.repos.d/

[root@master yum.repos.d]# scp -r CentOS-Media.repo slave1:$PWD

[root@master yum.repos.d]# scp -r CentOS-Media.repo slave2:$PWD

6.16　在其余节点更新yum源

命令详见6.14

七、设置时钟同步

7.1　安装ntpd服务（所有服务器）

[root@master ~]# yum install -y ntp

7.2　设定master为时间服务器

#查看服务器时间
[root@master ~]# date
2018年 08月 03日 星期日 00:53:02 CST
#修改时间
[root@master ~]# date -s 16:59:01
#把系统时间写入CMOS
[root@master ~]# clock –w
#修改ntp配置文件
[root@master ~]# vi /etc/ntp.conf

在“server 3.centos.pool.ntp.org iburst”后追加以下内容：

server 192.168.1.181
restrict 192.168.1.181 nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum 10

7.3　修改其余节点ntp配置文件

[root@slave1 ~]# vi /etc/ntp.conf

server 192.168.1.181
server 127.127.1.0
fudge 127.127.1.0 stratum 10

7.4　启动master上的ntp服务

#启动ntpd服务
[root@master ~]# service ntpd start
#设置开机自启
[root@master ~]# chkconfig ntpd on

7.5　启动其余节点的ntp服务

#先同步master服务器上的时间
[root@slave1 ~]# ntpdate master
#启动ntpd服务
[root@slave1 ~]# service ntpd start
#设置开机自启
[root@slave1 ~]# chkconfig ntpd on

7.6　在其余节点添加定时任务

[root@slave1 ~]# crontab -e

*/10 * * * * /usr/sbin/ntpdate 192.168.1.181

注意：如果服务器时间不同步，集群运行将出现各种各样的问题

八、安装依赖包

所有节点都需要安装

[root@master ~]# yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb –y

九、修改swappiness

#临时修改
[root@master cloudera]# sysctl -w vm.swappiness=0
#永久修改
[root@master cloudera]# echo "vm.swappiness=0" >> /etc/sysctl.conf

十、关闭透明大页面

#临时关闭透明大页面
[root@master cloudera]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@master cloudera]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
#永久关闭透明大页面
root@master cloudera]# echo '            ' >> /etc/rc.local
[root@master cloudera]# echo '# 关闭大透明页面' >> /etc/rc.local 
[root@master cloudera]# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local
[root@master cloudera]# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled' >> /etc/rc.local
#查看是否关闭透明大页面
[root@master cloudera]# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
[root@master cloudera]# cat /sys/kernel/mm/redhat_transparent_hugepage/enabled