Ubuntu16.04安装CDH5.14.2

　一、安装cloudera manager（下文简称cm）

　　　（一）.环境及软件准备：

　　　　　　1.环境：Ubuntu16.04 desktop x 3 台

- - ip分别为：10.132.226.121，10.132.226.122，10.132.226.123
  - 用户统一使用root用户

　　　　　　2.需下载安装的软件：

- - cm压缩包：cloudera-manager-xenial-cm5.14.2_amd64.tar.gz
  - CDH离线资源包（parcels）：
  - cloudera-manager-daemons(主节点）
  - cloudera-manager-server（主节点）
  - cloudera-manager-agent（主节点和从节点）
  - 注意：Ubuntu有多个版本：16.04代号为Xenial Xerus——好客的非洲地松鼠14.04代号为Trusty Tahr——值得信赖的塔尔羊12.04代号为Precise Pangolin——精准的穿山甲，因此16.04需下载xenial版本的文件，否则可能会出现不兼容的问题。
  - ssh服务
  - ntp服务
  - oracle-java
  - mariadb

　　　（二）.主机环境配置：

修改hostname：

主节点 master：

root@master:~# vim /etc/hostname

~~~~~~~内容~~~~~~~
master
~~~~~~~内容~~~~~~~

从节点 slave[1-2]:

root@slave1:~# vim /etc/hostname

~~~~~~~内容~~~~~~~
slave1
~~~~~~~内容~~~~~~~

修改hosts（所有节点）：

 1 root@master:~# vim /etc/hosts
 2 ~~~~~~~~~~~内容~~~~~~~~~~~
 3 127.0.0.1       localhost
 4 10.132.226.121  master
 5 10.132.226.122  slave1
 6 10.132.226.123  slave2
 7 
 8 # The following lines are desirable for IPv6 capable hosts
 9 ::1     ip6-localhost ip6-loopback
10 fe00::0 ip6-localnet
11 ff00::0 ip6-mcastprefix
12 ff02::1 ip6-allnodes
13 ff02::2 ip6-allrouters
14 ~~~~~~~~~~~内容~~~~~~~~~~~

注意：部分主机含有127.0.1.1 的地址用#注释或删除

更新软件包（所有节点）：
```
root@master:~# apt update
```
注意：如果有涉及内核的更新需要重启一下系统

关闭防火墙（所有节点）：

root@slave1:~# ufw disable
Firewall stopped and disabled on system startup

重启系统：reboot 因为更改/etc/hostname必须要重启系统才能生效，更新软件包，以及关闭防火墙有时也需要重启系统来应用部分配置，因此在这步进行系统重启。

ssh服务配置：

如果未安装ssh服务则先进行安装（所有节点）：
```
root@master:~# apt install openssh-server openssh-client
```

修改/etc/ssh/sshd_config配置文件中的以下选项（所有节点）：

1 root@master:~# vim /etc/ssh/sshd_config
2 ~~~~~~~~查找并修改~~~~~~~~
3 PermitRootLogin yes
4 PasswordAuthentication yes
5 ~~~~~~~~查找并修改~~~~~~~~
6 root@master:~# /etc/init.d/ssh restart

若有#号注释的删除#号并更改即可

配置各节点之间的免密登陆（只在主节点操作）：

1 root@master:~# ssh-keygen -t rsa 
2 //生成密钥 一路回车，如果之前已有生成，提示是否重新生成时填y即可
3 root@master:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4 root@master:~# chmod 600 ~/.ssh/authorized_keys
5 root@master:~# scp -r /root/.ssh root@slave1:/root/
6 root@master:~# scp -r /root/.ssh root@slave2:/root/

注意：如果出现无法连接的 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 错误时清楚~/.ssh 文件下know_hosts文件找到与登录错误的IP的公钥删除即可　　

配置ntp服务：

安装ntp服务（所有节点）：
```
1 root@master:~# apt-get install ntp
```

修改/etc/ntp.conf配置文件：

master：

1 root@master:~# vim /etc/ntp.conf 
2 //用#注释掉所有的pool和server
3 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~
4 restrict 10.132.226.0 mask 255.255.255.0
5 server 202.120.2.101
6 server cn.pool.ntp.org
7 server 127.0.0.1
8 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~

slave：

1 root@slave1:~# vim /etc/ntp.conf
2 //用#注释掉所有pool与server添加一下内容
3 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~
4 server master
5 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~

重启ntp服务：
```
1 root@master:~t# service ntp restart
```

安装配置JAVA（所有节点）:

安装java：

1 root@master:~# add-apt-repository ppa:webupd8team/java
2 //因为cm需要安装oracle的java，二ubuntu的源中默认只有openjdk所以需要添加源
3 root@master:~# apt-get update
4 root@master:~# apt-get install oracle-java8-installer

修改/etc/profile文件添加JAVA_HOME:

1 root@master:~# vim /etc/profile
2 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~
3 export JAVA_HOME=/usr/lib/jvm/java-8-oracle
4 export JRE_HOME=${JAVA_HOME}/jre 
5 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
6 export PATH=$PATH:${JAVA_HOME}/bin:{JRE_HOME}/bin:$PATH
7 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~

若不知道java的位置可通过update-alternatives --config java 来查看java信息

 1 root@master:~# update-alternatives --config java
 2 有 4 个候选项可用于替换 java (提供 /usr/bin/java)。
 3 
 4   选择       路径                                          优先级  状态
 5 ------------------------------------------------------------
 6   0            /usr/lib/jvm/java-8-oracle/jre/bin/java          1081      自动模式
 7   1            /usr/java/jdk1.8.0_121/bin/java                  300       手动模式
 8   2            /usr/lib/jvm/j2sdk1.6-oracle/jre/bin/java        315       手动模式
 9   3            /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java   1081      手动模式
10 * 4            /usr/lib/jvm/java-8-oracle/jre/bin/java          1081      手动模式
11 
12 要维持当前值[*]请按<回车键>，或者键入选择的编号：

安装配置Mariadb（主节点）：

安装Mariadb：

root@master:/home/jy# apt-get install mariadb-server

修改/etc/mysql/mariadb.conf.d/50-server.cnf配置文件使数据库可远程访问：

 1 root@master:~# vim /etc/mysql/mariadb.conf.d/50-server.cnf
 2 
 3 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 4 [mysqld]
 5 
 6 #
 7 # * Basic Settings
 8 #
 9 user            = mysql
10 pid-file        = /var/run/mysqld/mysqld.pid
11 socket          = /var/run/mysqld/mysqld.sock
12 port            = 3306
13 basedir         = /usr
14 datadir         = /var/lib/mysql
15 tmpdir          = /tmp
16 lc-messages-dir = /usr/share/mysql
17 skip-external-locking
18 
19 # Instead of skip-networking the default is now to listen only on
20 # localhost which is more compatible and is not less secure.
21 bind-address            = 0.0.0.0  #修改此项，可用#注释，或改成本实例内容
22 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

使用mysql_secure_installation进行数据库初始化设置：

 1 root@master:~# mysql_secure_installation 
 2 ~~~~省略部分内容~~~~
 3 Enter current password for root (enter for none):     //此处直接回车，默认root密码为空
 4 OK, successfully used password, moving on...
 5 
 6 Setting the root password ensures that nobody can log into the MariaDB
 7 root user without the proper authorisation.
 8 
 9 Set root password? [Y/n] y   //选择y更改root密码
10 New password: 
11 Re-enter new password: 
12 Password updated successfully!
13 Reloading privilege tables..
14  ... Success!
15 ~~~~省略部分内容~~~~
16 Remove anonymous users? [Y/n] n
17  ... skipping.
18 ~~~~省略部分内容~~~~
19 Disallow root login remotely? [Y/n] n  //选 n 为允许root用户远程登录
20  ... skipping.
21 ~~~~省略部分内容~~~~
22 Remove test database and access to it? [Y/n] y
23  ~~~~省略部分内容~~~~
24 Reload privilege tables now? [Y/n] y
25  ... Success!
26 
27 Cleaning up...
28 
29 All done!  If you've completed all of the above steps, your MariaDB
30 installation should now be secure.
31 
32 Thanks for using MariaDB!

增加可远程访问的root用户：

1 root@master:~# mysql -u root -p
2 Enter password: 
3 MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION;
4 Query OK, 0 rows affected (0.00 sec
5 MariaDB [(none)]> flush privileges;

创建需要的数据库：

1 MariaDB [(none)]> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
2 MariaDB [(none)]> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3 MariaDB [(none)]> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4 MariaDB [(none)]> create database manager DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5 MariaDB [(none)]> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
6 //后续其他选中的服务需要数据库可以自己再次创建

安装JDBC：

root@master:~# apt install libmysql-java

　　　（三）.配置与安装cm：

1.配置本地源：

解压下载的cm包到指定目录：

1 root@master:~# mkdir /opt/cloudera-manager //所有节点创建
2 root@master:~# tar -xzvf cloudera-manager-xenial-cm5.14.2_amd64.tar.gz -C /opt/cloudera-manager

修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件：

 1 root@master:~# vim /opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini 
 2 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
 3 [General]
 4 # Hostname of the CM server.
 5 server_host=master
 6 
 7 # Port that the CM server is listening on.
 8 server_port=7182
 9 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
10 //server_host 更改为主节点的ip或者host名
11 //server_port 默认为7182 若端口被占，则改成其他

把主节点的cloudera-manager文件夹拷贝到其他节点：

1 root@master:~# scp -r /opt/cloudera-manager root@slave1:/opt/cloudera-manager/
2 root@master:~# scp -r /opt/cloudera-manager root@slave2:/opt/cloudera-manager/

创建parcle-repo本地CDH源（主节点）：

1 root@master:~# mkdir -p /opt/cloudera/parcel-repo  //在所有节点创建
2 //将sha1更名为sha否则无法识别,并将资源包拷贝到/opt/cloudera/parcel-repo
3 root@master:~# mv CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
4 root@master:~# cp CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo

创建parcels目录（所有节点）：

1 root@master:~# mkdir -p /opt/cloudera/parcels

创建cloudera-scm用户（所有节点）：

root@master:~# useradd --system --home=/opt/cloudera-manager/cm-5.14.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

更改文件夹所有用户与用户组（所有节点）：

1 root@master:~# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
2 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
3 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

2.安装cloudera manager*

添加cloudera仓库：从 Cloudera Manager Version and Download Information 找到适合当前操作系统版本的cloudera包文件,如本例的包文件地址为：https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list，将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list中（没有则新建）

1 root@master:/etc/apt/sources.list.d# vim /etc/apt/sources.list.d/cloudera-manager.list
2 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~
3 # Packages for Cloudera Manager, Version 5, on Ubuntu 16.04 amd64       
4 deb [arch=amd64] http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib
5 deb-src http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib
6 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~

安装cloudera-manager-daemons(主节点) cloudera-manager-server（主节点） coudera-manager-agent（主节点和从节点）：

1 root@master:~# apt-get install cloudera-manager-daemons cloudera-manager-server
2 root@master:~# apt-get install cloudera-manager-agent

修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件：

 1 root@master:~# vim /etc/cloudera-scm-agent/config.ini 
 2 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
 3 [General]
 4 # Hostname of the CM server.
 5 server_host=master
 6 
 7 # Port that the CM server is listening on.
 8 server_port=7182
 9 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
10 //server_host 更改为主节点的ip或者host名
11 //server_port 默认为7182 若端口被占，则改成其他

3.配置cm数据库账户：

创建scm账户：

1 root@master:~# mysql -uroot -p
2 Enter password: 
3 MariaDB [(none)]> grant all on *.* to 'scm'@'%' identified by 'scm' with grant option;
4 MariaDB [(none)]> flush privileges;

通过scm_prepare_database.sh 创建数据库及数据库用户：

 1 root@master:~# /usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -p --scm-host master scm scm scm
 2 JAVA_HOME=/usr/lib/jvm/java-8-oracle
 3 Verifying that we can write to /etc/cloudera-scm-server
 4 log4j:ERROR Could not find value for key log4j.appender.A
 5 log4j:ERROR Could not instantiate appender named "A".
 6 Creating SCM configuration file in /etc/cloudera-scm-server
 7 Executing:  /usr/lib/jvm/java-8-oracle/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
 8 log4j:ERROR Could not find value for key log4j.appender.A
 9 log4j:ERROR Could not instantiate appender named "A".
10 [2018-05-20 02:19:36,840] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.
11 All done, your SCM database is configured correctly!
12 //这里出现的ERROR暂时没发现影响后面的操作，可以忽略

说明：

脚本用来创建和配置CMS需要的数据库。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-uroot：root身份运行mysql。-proot：mysql的root密码是root。
--scm-host localhost ：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。

4.启动cloudera manager服务：

主节点启动：cloudera-scm-server：

1 root@master:~# service cloudera-scm-server start

这步启动时间有点长，可以查看日志来看服务是否启动完成：

root@master:/# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

所有节点启动 cloudera-scm-agent：

1 root@master:~# service cloudera-scm-agent start

（二）安装CDH5：

1. 1. 进入CMS管理界面：通过http：主节点ip:7180 进入用户名和密码均为admin　
  2. 选择版本：
  3. 选择安装的主机：如果没有启动cloudera-scm-agent服务会出现部分节点不在以管理的主机中，启动再刷新就可以了
  4. 选择cdh的版本，选择自己下载在parcels-repo包中的cdh版本，这里应该选CDH-5.14.2-cdh5.14.2p0.3
  5. 进行集群安装，刚开始可能会出现connect refused 再等待一会应该就会重新进行分配
  6. 集群安装检查主机正确性，确保所有验证都为绿色。
    
    注意：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
    
    解决方法在出现问题的节点上运行：echo 10 > /proc/sys/vm/swappiness
    echo后面的10 为需要的设置的值。
  7. 选择自己需要的服务
  8. 数据库设置：
    
    数据库名为之前创建的数据库名，若没有创建你需要的服务所需的数据库，可自行再进行创建，用户名这里使用root。也可自己创建新的用户
  9. 之后一直继续即可
  10. 完成安装部署：
  11. 进入cms管理界面：

相关阅读:
office的高级应用
 python基础
 maven 资源导出失败问题
 单向环形链表和约瑟夫问题
 JDBC连接MySQL
环形队列
 稀疏数组
 数据库锁机制和事务隔离级别总结
 context的简单应用
 JDBC基本使用方法
原文地址：https://www.cnblogs.com/joy9707/p/9063564.html