CDH软件准备
cdh6下载地址 https://archive.cloudera.com/cdh6/6.3.2/parcels/
cm6下载地址 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/
一、操作系统
1、虚拟机设置 设置VMnet8，NAT模式
虚拟机网络设置
2、系统安装
系统最小安装，设置IP地址，设置主机名称 ，如果未设置下面步骤也可处理
主机名 IP
cdh01 192.168.230.101
cdh02 192.168.230.102
cdh03 192.168.230.102
3、系统设置 （每一台主机）
1）设置主机名
查看当前名称 hostname 设置主机名称（重启后失效） hostname cdh01 设置主机名称 （永久修改） vi /etc/hostname 重新生效 reboot
2）设置虚拟机固定IP
#修改虚拟机IP vi /etc/sysconfig/network-scripts/ifcfg-ens33 #重启 service network restart 查看IP ip addr
3）关闭防火墙
关闭防火墙 systemctl stop firewalld.service 禁止开机启动 systemctl disable firewalld.service 查看防火墙状态 firewall-cmd --state 开启防火墙命令 systemctl start firewalld.service
4）配置主机映射
vi /etc/hosts
文件最后加入
192.168.230.101 cdh01
192.168.230.102 cdh02
192.168.230.103 cdh03
5）Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30
临时修改： sysctl vm.swappiness=10 cat /proc/sys/vm/swappiness 这里的修改已经生效，但是如果我们重启了系统，又会变成30. 永久修改： 在/etc/sysctl.conf 文件里添加如下参数： vm.swappiness=10 或者： echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。 vi /etc/rc.local echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled
4、设置SSH免密码登陆
参考 https://www.cnblogs.com/xuchen0117/p/12443347.html
二、软件安装
1、JDK安装 安装位置 /usr/java/jdk版本号. (所有节点)
参考 https://www.cnblogs.com/xuchen0117/p/12939391.html
参考 https://www.cnblogs.com/xuchen0117/p/13455470.html
3、HTTPD安装 （主节点）
参考 https://www.cnblogs.com/xuchen0117/p/13455585.html
安装后将CM6文件复制，并能在浏览器访问
#进入httpd目录 cd /var/www/html/ #创建目录cm6，上传文件 mkdir cm6
最终效果与文件
4、createrepo安装 （主节点）
参考 https://www.cnblogs.com/xuchen0117/p/13455585.html
安装后
#进入到cm6安装包的httpd资源位置 cd /var/www/html/cm6 #创建yum源的描述meta，执行后多一个文件夹 createrepo .
[root@cdh03 cloudera-repos]# cd /var/www/html [root@cdh03 html]# mkdir cm6 [root@cdh03 html]# cd cm6 [root@cdh03 cm6]# createrepo . Spawning worker 0 with 1 pkgs Spawning worker 1 with 1 pkgs Spawning worker 2 with 1 pkgs Spawning worker 3 with 1 pkgs Workers Finished Saving Primary metadata Saving file lists metadata Saving other metadata Generating sqlite DBs Sqlite DBs complete [root@cdh03 cm6]#
每台服务器上增加以下内容到文件：
[root@cdh03 cm6]# cat /etc/yum.repos.d/cloudera-repo.repo [cloudera-repo] name=cloudera-repo baseurl=http://192.168.43.103/cm6/ enabled=1 gpgcheck=0
查看yum配置是否生效
yum clean all && yum makecache
yum clean all
yum repolis
[root@cdh03 cm6]# yum clean all 已加载插件：fastestmirror 正在清理软件源： base cloudera-repo extras updates Cleaning up list of fastest mirrors [root@cdh03 cm6]# yum repolist 已加载插件：fastestmirror Determining fastest mirrors * base: mirrors.nju.edu.cn * extras: mirror01.idc.hinet.net * updates: mirror01.idc.hinet.net base | 3.6 kB 00:00:00 cloudera-repo | 2.9 kB 00:00:00 http://mirror01.idc.hinet.net/centos/7.8.2003/extras/x86_64/repodata/repomd.xml: [Errno 12] Timeout on http://mirror01.idc.hinet.net/centos/7.8.2003/extras/x86_64/repodata/repomd.xml: (28, 'Operation too slow. Less than 1000 bytes/sec transferred the last 30 seconds') 正在尝试其它镜像。 extras | 2.9 kB 00:00:00 updates | 2.9 kB 00:00:00 (1/5): cloudera-repo/primary_db | 6.6 kB 00:00:00 (2/5): base/7/x86_64/group_gz | 153 kB 00:00:00 (3/5): updates/7/x86_64/primary_db | 3.8 MB 00:00:01 (4/5): base/7/x86_64/primary_db | 6.1 MB 00:00:05 (5/5): extras/7/x86_64/primary_db | 206 kB 00:01:15 源标识 源名称 状态 base/7/x86_64 CentOS-7 - Base 10,070 cloudera-repo cloudera-repo 4 extras/7/x86_64 CentOS-7 - Extras 413 updates/7/x86_64 CentOS-7 - Updates 1,112 repolist: 11,599 [root@cdh03 cm6]#
5、MySql安装 （主节点）
MySql5.7 参考 https://www.cnblogs.com/xuchen0117/p/13470690.html （本文使用MySql5.7.30）
MySql8 参考 https://www.cnblogs.com/xuchen0117/p/13456037.html
注:CDH官方给的有一份推荐的MySQL的配置内容
[mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock transaction-isolation = READ-COMMITTED # Disabling symbolic-links is recommended to prevent assorted security risks; # to do so, uncomment this line: symbolic-links = 0 key_buffer_size = 32M max_allowed_packet = 32M thread_stack = 256K thread_cache_size = 64 query_cache_limit = 8M query_cache_size = 64M query_cache_type = 1 max_connections = 550 #expire_logs_days = 10 #max_binlog_size = 100M #log_bin should be on a disk with enough free space. #Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your #system and chown the specified folder to the mysql user. log_bin=/var/lib/mysql/mysql_binary_log #In later versions of MySQL, if you enable the binary log and do not set #a server_id, MySQL will not start. The server_id must be unique within #the replicating group. server_id=1 binlog_format = mixed read_buffer_size = 2M read_rnd_buffer_size = 16M sort_buffer_size = 8M join_buffer_size = 8M # InnoDB settings innodb_file_per_table = 1 innodb_flush_log_at_trx_commit = 2 innodb_log_buffer_size = 64M innodb_buffer_pool_size = 4G innodb_thread_concurrency = 8 innodb_flush_method = O_DIRECT innodb_log_file_size = 512M [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid sql_mode=STRICT_ALL_TABLES
创建CDH所需要的数据库
根据所需要安装的服务参照下表创建对应的数据库以及数据库用户，数据库必须使用utf8编码，创建数据库时要记录好用户名及对应密码
| 服务名 | 数据库名 | 用户名 |
|---|---|---|
| Cloudera Manager Server | scm | scm |
| Activity Monitor | amon | amon |
| Reports Manager | rman | rman |
| Hue | hue | hue |
| Hive Metastore Server | metastore | hive |
| Sentry Server | sentry | sentry |
| Cloudera Navigator Audit Server | nav | nav |
| Cloudera Navigator Metadata Server | navms | navms |
| Oozie | oozie | oozie |
创建数据库及对应用户
# scm CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm'; # amon CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon'; # rman CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman'; # hue CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue'; # hive CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive'; # sentry CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; # nav CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav'; # navms CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms'; # oozie CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie'; # flush FLUSH PRIVILEGES;
注：MySql8.0命令注意
MySQL 8.0已经不支持下面这种命令写法 grant all privileges on *.* to root@"%" identified by "."; all privileges：表示将所有权限授予给用户。也可指定具体的权限，如：SELECT、CREATE、DROP等。 on：表示这些权限对哪些数据库和表生效，格式：数据库名.表名，这里写“*”表示所有数据库，所有表。如果我要指定将权限应用到test库的user表中，可以这么写：test.user to：将权限授予哪个用户。格式：”用户名”@”登录IP或域名”。%表示没有限制，在任何主机都可以登录。比如：”yangxin”@”192.168.0.%”，表示yangxin这个用户只能在192.168.0IP段登录 identified by：指定用户的登录密码 正确的写法是先创建用户 CREATE USER 'root'@'%' IDENTIFIED BY 'Hadoop3!'; 再给用户授权 grant all privileges on *.* to 'root'@'%' ;
CREATE USER 'scm'@'%' IDENTIFIED BY 'scm'; grant all privileges on scm.* to 'scm'@'%' ; CREATE USER 'amon'@'%' IDENTIFIED BY 'amon'; grant all privileges on amon.* to 'amon'@'%' ; CREATE USER 'rman'@'%' IDENTIFIED BY 'rman'; grant all privileges on rman.* to 'rman'@'%' ; CREATE USER 'hue'@'%' IDENTIFIED BY 'hue'; grant all privileges on hue.* to 'hue'@'%' ; CREATE USER 'metastore'@'%' IDENTIFIED BY 'metastore'; grant all privileges on metastore.* to 'metastore'@'%' ; CREATE USER 'sentry'@'%' IDENTIFIED BY 'sentry'; grant all privileges on sentry.* to 'sentry'@'%' ; CREATE USER 'nav'@'%' IDENTIFIED BY 'nav'; grant all privileges on nav.* to 'nav'@'%' ; CREATE USER 'navms'@'%' IDENTIFIED BY 'navms'; grant all privileges on navms.* to 'navms'@'%' ; CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie'; grant all privileges on oozie.* to 'oozie'@'%' ;
注意：用户赋权问题
#创建表 CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; #创建用户并赋权 GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm'; 报错： ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 查看权限规则 SHOW VARIABLES LIKE 'validate_password%'; #查看权限是否正确 SHOW GRANTS FOR 'myscm'@'%'; +------------------------------------------------+ | Grants for myscm@% | +------------------------------------------------+ | GRANT USAGE ON *.* TO 'myscm'@'%' | | GRANT ALL PRIVILEGES ON `scm`.* TO 'myscm'@'%' | +------------------------------------------------+ 关于 mysql 密码策略相关参数； 1）、validate_password_length 固定密码的总长度； 2）、validate_password_dictionary_file 指定密码验证的文件路径； 3）、validate_password_mixed_case_count 整个密码中至少要包含大/小写字母的总个数； 4）、validate_password_number_count 整个密码中至少要包含阿拉伯数字的个数； 5）、validate_password_policy 指定密码的强度验证等级，默认为 MEDIUM； 关于 validate_password_policy 的取值： 0/LOW：只验证长度； 1/MEDIUM：验证长度、数字、大小写、特殊字符； 2/STRONG：验证长度、数字、大小写、特殊字符、字典文件； 6）、validate_password_special_char_count 整个密码中至少要包含特殊字符的个数；set global validate_password_policy=LOW;set global validate_password_length=1;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'myscm'@'%' IDENTIFIED BY 'myscm'; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY 'metastore';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON hue.* TO 'myhue'@'%' IDENTIFIED BY 'myhue';
6、MySql驱动
将Mysql驱动包mysql-connector-java-8.0.16.jar拷贝到每台服务器下的目录： /usr/share/java/ 并修改名称
cp mysql-connector-java-8.0.16.jar /usr/share/java/mysql-connector-java.jar
三、CDH安装 （只在CM Server节点）
1、安装Cloudera Manager Server
# 安装 cm manager(只需在server节点安装)
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
[root@cdh03 software]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server 已加载插件：fastestmirror Loading mirror speeds from cached hostfile * base: mirrors.nju.edu.cn * extras: mirror01.idc.hinet.net * updates: mirror01.idc.hinet.net 正在解决依赖关系 --> 正在检查事务 ---> 软件包 cloudera-manager-agent.x86_64.0.6.3.1-1466458.el7 将被 安装 cloudera-repo/filelists_db | 102 kB 00:00:00 --> 正在处理依赖关系 python-psycopg2，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 base/7/x86_64/filelists_db | 7.1 MB 00:00:02 --> 正在处理依赖关系 psmisc，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 portmap，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 openssl-devel，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 mod_ssl，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 cyrus-sasl-plain，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 cyrus-sasl-gssapi，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 bind-utils，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 updates/7/x86_64/filelists_db | 2.1 MB 00:00:00 --> 正在处理依赖关系 MySQL-python，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 --> 正在处理依赖关系 /lib/lsb/init-functions，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 extras/7/x86_64/filelists_db | 217 kB 00:01:34 --> 正在处理依赖关系 libpq.so.5()(64bit)，它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要 ---> 软件包 cloudera-manager-daemons.x86_64.0.6.3.1-1466458.el7 将被 安装 ---> 软件包 cloudera-manager-server.x86_64.0.6.3.1-1466458.el7 将被 安装 --> 正在检查事务 ---> 软件包 MySQL-python.x86_64.0.1.2.5-1.el7 将被 安装 --> 正在处理依赖关系 libmysqlclient.so.18(libmysqlclient_18)(64bit)，它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要 --> 正在处理依赖关系 libmysqlclient.so.18()(64bit)，它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要 ---> 软件包 bind-utils.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装 --> 正在处理依赖关系 bind-libs-lite(x86-64) = 32:9.11.4-16.P2.el7_8.6，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 bind-libs(x86-64) = 32:9.11.4-16.P2.el7_8.6，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 liblwres.so.160()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libisccfg.so.160()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libisc.so.169()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libirs.so.160()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libdns.so.1102()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libbind9.so.160()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 --> 正在处理依赖关系 libGeoIP.so.1()(64bit)，它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要 ---> 软件包 cyrus-sasl-gssapi.x86_64.0.2.1.26-23.el7 将被 安装 ---> 软件包 cyrus-sasl-plain.x86_64.0.2.1.26-23.el7 将被 安装 ---> 软件包 mod_ssl.x86_64.1.2.4.6-93.el7.centos 将被 安装 ---> 软件包 openssl-devel.x86_64.1.1.0.2k-19.el7 将被 安装 --> 正在处理依赖关系 zlib-devel(x86-64)，它被软件包 1:openssl-devel-1.0.2k-19.el7.x86_64 需要 --> 正在处理依赖关系 krb5-devel(x86-64)，它被软件包 1:openssl-devel-1.0.2k-19.el7.x86_64 需要 ---> 软件包 postgresql-libs.x86_64.0.9.2.24-4.el7_8 将被 安装 ---> 软件包 psmisc.x86_64.0.22.20-16.el7 将被 安装 ---> 软件包 python-psycopg2.x86_64.0.2.5.1-4.el7 将被 安装 ---> 软件包 redhat-lsb-core.x86_64.0.4.1-27.el7.centos.1 将被 安装 --> 正在处理依赖关系 redhat-lsb-submod-security(x86-64) = 4.1-27.el7.centos.1，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 spax，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/time，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/lpr，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/lp，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/bc，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/batch，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /usr/bin/at，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 --> 正在处理依赖关系 /bin/ed，它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要 ---> 软件包 rpcbind.x86_64.0.0.2.0-49.el7 将被 安装 --> 正在处理依赖关系 libtirpc >= 0.2.4-0.7，它被软件包 rpcbind-0.2.0-49.el7.x86_64 需要 --> 正在处理依赖关系 libtirpc.so.1()(64bit)，它被软件包 rpcbind-0.2.0-49.el7.x86_64 需要 --> 正在检查事务 ---> 软件包 GeoIP.x86_64.0.1.5.0-14.el7 将被 安装 --> 正在处理依赖关系 geoipupdate，它被软件包 GeoIP-1.5.0-14.el7.x86_64 需要 ---> 软件包 at.x86_64.0.3.1.13-24.el7 将被 安装 ---> 软件包 bc.x86_64.0.1.06.95-13.el7 将被 安装 ---> 软件包 bind-libs.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装 --> 正在处理依赖关系 bind-license = 32:9.11.4-16.P2.el7_8.6，它被软件包 32:bind-libs-9.11.4-16.P2.el7_8.6.x86_64 需要 ---> 软件包 bind-libs-lite.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装 ---> 软件包 cups-client.x86_64.1.1.6.3-43.el7 将被 安装 ---> 软件包 ed.x86_64.0.1.9-4.el7 将被 安装 ---> 软件包 krb5-devel.x86_64.0.1.15.1-46.el7 将被 安装 --> 正在处理依赖关系 libkadm5(x86-64) = 1.15.1-46.el7，它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要 --> 正在处理依赖关系 libverto-devel，它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要 --> 正在处理依赖关系 libselinux-devel，它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要 --> 正在处理依赖关系 libcom_err-devel，它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要 --> 正在处理依赖关系 keyutils-libs-devel，它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要 ---> 软件包 libtirpc.x86_64.0.0.2.4-0.16.el7 将被 安装 ---> 软件包 mariadb-libs.x86_64.1.5.5.65-1.el7 将被 安装 ---> 软件包 redhat-lsb-submod-security.x86_64.0.4.1-27.el7.centos.1 将被 安装 ---> 软件包 spax.x86_64.0.1.5.2-13.el7 将被 安装 ---> 软件包 time.x86_64.0.1.7-45.el7 将被 安装 ---> 软件包 zlib-devel.x86_64.0.1.2.7-18.el7 将被 安装 --> 正在检查事务 ---> 软件包 bind-license.noarch.32.9.11.4-16.P2.el7_8.6 将被 安装 ---> 软件包 geoipupdate.x86_64.0.2.5.0-1.el7 将被 安装 ---> 软件包 keyutils-libs-devel.x86_64.0.1.5.8-3.el7 将被 安装 ---> 软件包 libcom_err-devel.x86_64.0.1.42.9-17.el7 将被 安装 ---> 软件包 libkadm5.x86_64.0.1.15.1-46.el7 将被 安装 ---> 软件包 libselinux-devel.x86_64.0.2.5-15.el7 将被 安装 --> 正在处理依赖关系 libsepol-devel(x86-64) >= 2.5-10，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要 --> 正在处理依赖关系 pkgconfig(libsepol)，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要 --> 正在处理依赖关系 pkgconfig(libpcre)，它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要 ---> 软件包 libverto-devel.x86_64.0.0.2.5-4.el7 将被 安装 --> 正在检查事务 ---> 软件包 libsepol-devel.x86_64.0.2.5-10.el7 将被 安装 ---> 软件包 pcre-devel.x86_64.0.8.32-17.el7 将被 安装 --> 解决依赖关系完成 依赖关系解决 ======================================================================================================================= Package 架构 版本 源 大小 ======================================================================================================================= 正在安装: cloudera-manager-agent x86_64 6.3.1-1466458.el7 cloudera-repo 10 M cloudera-manager-daemons x86_64 6.3.1-1466458.el7 cloudera-repo 1.1 G cloudera-manager-server x86_64 6.3.1-1466458.el7 cloudera-repo 11 k 为依赖而安装: GeoIP x86_64 1.5.0-14.el7 base 1.5 M MySQL-python x86_64 1.2.5-1.el7 base 90 k at x86_64 3.1.13-24.el7 base 51 k bc x86_64 1.06.95-13.el7 base 115 k bind-libs x86_64 32:9.11.4-16.P2.el7_8.6 updates 156 k bind-libs-lite x86_64 32:9.11.4-16.P2.el7_8.6 updates 1.1 M bind-license noarch 32:9.11.4-16.P2.el7_8.6 updates 90 k bind-utils x86_64 32:9.11.4-16.P2.el7_8.6 updates 259 k cups-client x86_64 1:1.6.3-43.el7 base 152 k cyrus-sasl-gssapi x86_64 2.1.26-23.el7 base 41 k cyrus-sasl-plain x86_64 2.1.26-23.el7 base 39 k ed x86_64 1.9-4.el7 base 72 k geoipupdate x86_64 2.5.0-1.el7 base 35 k keyutils-libs-devel x86_64 1.5.8-3.el7 base 37 k krb5-devel x86_64 1.15.1-46.el7 base 272 k libcom_err-devel x86_64 1.42.9-17.el7 base 32 k libkadm5 x86_64 1.15.1-46.el7 base 179 k libselinux-devel x86_64 2.5-15.el7 base 187 k libsepol-devel x86_64 2.5-10.el7 base 77 k libtirpc x86_64 0.2.4-0.16.el7 base 89 k libverto-devel x86_64 0.2.5-4.el7 base 12 k mariadb-libs x86_64 1:5.5.65-1.el7 base 759 k mod_ssl x86_64 1:2.4.6-93.el7.centos base 113 k openssl-devel x86_64 1:1.0.2k-19.el7 base 1.5 M pcre-devel x86_64 8.32-17.el7 base 480 k postgresql-libs x86_64 9.2.24-4.el7_8 updates 234 k psmisc x86_64 22.20-16.el7 base 141 k python-psycopg2 x86_64 2.5.1-4.el7 base 132 k redhat-lsb-core x86_64 4.1-27.el7.centos.1 base 38 k redhat-lsb-submod-security x86_64 4.1-27.el7.centos.1 base 15 k rpcbind x86_64 0.2.0-49.el7 base 60 k spax x86_64 1.5.2-13.el7 base 260 k time x86_64 1.7-45.el7 base 30 k zlib-devel x86_64 1.2.7-18.el7 base 50 k 事务概要 ======================================================================================================================= 安装 3 软件包 (+34 依赖软件包) 总下载量：1.1 G 安装大小：1.4 G
完成后 /opt/cloudera/ 目录会有文件生成
建立CM的数据库(执行初始化脚本)
sh scm_prepare_database.sh mysql scm scm scm
2、配置本地Parcel存储库
Cloudera Manager Server安装完成后，进入到本地Parcel存储库目录： cd /opt/cloudera/parcel-repo 将CDH文件上传到此目录 #最终/opt/cloudera/parcel-repo目录内容如下： [root@cdh03 parcel-repo]# ll 总用量 2033432 -rw-r--r-- 1 root root 2082186246 8月 8 01:53 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel -rw-r--r-- 1 root root 40 8月 8 01:52 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha -rw-r--r-- 1 root root 64 8月 8 01:52 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 -rw-r--r-- 1 root root 33887 8月 8 01:52 manifest.json
3、启动ClouderaManagerServer，并登录到ClouderaManager管理控制台
#可以查看执行情况
journalctl -xe
1) 启动ClouderaManagerServer ，启动时，会创建SCM表
systemctl start cloudera-scm-server
2) 等待ClouderaManagerServer启动几分钟。要观察启动过程，请在ClouderaManagerServer主机上运行以下命令
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
当看到这个日志条目时，Cloudera Manager管理控制台准备就绪：
2020-08-11 12:28:49,440 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
3) 在web浏览器中
4) 登录到Cloudera Manager管理控制台。默认凭据是：
Username: admin
Password: admin
欢迎页面
首先是Cloudera Manager的欢迎页面，点击页面右下角的【继续】按钮进行下一步：
接受条款
勾选接受条款，点击【继续】进行下一步：
第二个欢迎界面
选择版本以后会出现第二个欢迎界面，不过这个是安装集群的欢迎页：
选择主机
这一步是要搜索并选择用于安装CDH集群的主机，在主机名称后面的输入框中输入各个节点的hostname，中间使用英文逗号分隔开，然后点击搜索，在结果列表中勾选要安装CDH的节点即可：
指定存储库
Cloudera Manager Agent
这里选择自定义，填写上面使用httpd搭建好的Cloudera Manager YUM 库URL
CDH and other software
如果之前的【配置本地Parcel存储库】步骤操作无误的话，这里会自动选择【使用Parcel】，并加载出CDH版本，确认无误后点击【继续】：
JDK安装选项
这一步骤就不再勾选安装JDK了，因为在环境准备部分已经安装过了。取消勾选，然后继续：
SSH登录配置
用于配置集群主机之间的SSH登录，填写root用户的密码，根据集群配置填写合适的【同时安装数量】值即可：
安装Agent
到这一步会自动进行节点Agent的安装，稍等一会儿，即可安装完成：
安装Parcels
这一步同样是自动安装，分配步骤的速度主要取决于网络环境，耐心等待即可：
主机检查
等待检查完成即可：
查看明细
注意问题
1、Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：
2、已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:
3、时间不同步
执行后，再次检查
安装CDH集群
选择服务类型
角色分配
CDH会自动给出一个角色分配，如果觉得不合理，我们可以手动调整一下，注意角色分配均衡：
数据库设置
安装HIVE，只要配置HIVE数据库配置
审核更改
开始安装
安装完成
设置外部可以访问虚拟机
增加组件
选择要安装的主机
开始安装
安装完成
重启
完