注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6610650059971232269/
安装好虚拟机(2个节点)
- YUM源已安装好、系统版本CentOS6.5、java版本是1.7,两台节点,免密已配置完成。
系统版本
免密配置
Hosts文件
查看系统java版本
二、YUM安装
yum install -y lrzsz
yum install -y vim
yum install -y openssh-clients
yum install -y wget
yum -y install createrepo
yum install -y httpd
yum install -y ntp
- 安装httpd服务
将httpd服务加入自启动服务并启动
出现问题(没出现可忽略)
修改配置文件
重启服务
检查端口
访问下服务
- 安装NTP服务
其中EDT需要修改为CST
进行配置
配置内容
执行对时
将时间写入硬件(这步如果不执行重启机器后时间又会出问题)
完成以上配置后,在集群所有节点执行如下命令
另外一台节点也需要配置(操作步骤同上,其中的配置)
检查端口,存在udp的123端口,则表示我们的ntp服务器已经建立并启动了
检查是否有与上层ntp服务器联机
查看两个节点的时间
- 安装Mysql
卸载已经安装的
再查看是否有安装好的(已经没有了)
下载Mysql
wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm
然后我们继续执行
用yum repolist mysql这个命令查看一下是否已经有mysql可安装文件
安装Mysql
启动Mysql
由于mysql刚刚安装完的时候,mysql的root用户的密码默认是空的,所以我们需要及时用mysql的root用户登录(第一次回车键,不用输入密码),并修改密码
使用mysql库
更新密码
update user set password=PASSWORD("") where User='root';
刷新配置
查看mysql是否自启动,并且设置开启自启动命令
开机自启动
测试进入数据库
mysql安全设置(系统会一路问你几个问题,基本上一路yes)
三、创建CDH所需要的数据库
1、创建metastore数据库
create database metastore default character set utf8;
CREATE USER 'hive'@'%'IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
FLUSH PRIVILEGES;
2、创建cm数据库
create database cm default character set utf8;
CREATE USER 'cm'@'%'IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON cm. * TO 'cm'@'%';
FLUSH PRIVILEGES;
3、创建am数据库
create database am default character set utf8;
CREATE USER 'am'@'%'IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON am. * TO 'am'@'%';
FLUSH PRIVILEGES;
- 创建rm数据库
create database rm default character set utf8;
CREATE USER 'rm'@'%'IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON rm. * TO 'rm'@'%';
FLUSH PRIVILEGES;
- 创建hue数据库
create database hue default character set utf8;
CREATE USER 'hue'@'%'IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';
FLUSH PRIVILEGES;
- 创建oozie数据库
create database oozie default character set utf8;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%';
FLUSH PRIVILEGES;
- 创建sentry数据库
create database sentry default character set utf8;
CREATE USER 'sentry'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON sentry.* TO 'sentry'@'%';
FLUSH PRIVILEGES;
查看所有数据库
四、配置CM的yum源
在/var/www/html下新增cm5.13目录
下载CM5.13版本的RPM安装包
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/cloudera-manager-server-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/cloudera-manager-server-db-2-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/enterprise-debuginfo-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
将上述7个地址下载到/var/www/html/cm5.13目录下(我上传了些其它的文件,一会使用)
在/var/www/html/cm5.13目录下执行命令
验证CM是否部署成功
在Cloudera Manager所在服务器的/etc/yum.repo.d目录下创建cm.repo文件,内容如下
[cmrepo]
name=Cloudera Manager 5.13
baseurl=http://cdh506/cm5.13
gpgcheck=false
enable=true
验证CM的yum源是否配置成功
五、部署CDH的Parcel
在/var/www/html目录下创建cdh5.13目录
下载CDH5.13版本的Parcel包
http://archive.cloudera.com/cdh5/parcels/5.13/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.13/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.13/manifest.json
验证是否部署成功
在集群中需要安装CM服务的节点上安装MySQL的驱动
我们进入到下面的目录
将mysql-connector-java.jar拷贝至/usr/share/java目录
创建软链接
六、安装Cloudera Manager Server
在CM节点使用如下命令安装Cloudera Manager Serve服务
初始化CM数据库
进入目录
执行命令
启动Cloudera Manager Server
检查端口是否监听
访问CM