• 1.Cloudera Manager安装


    安装环境采用2台虚拟机进行,一台master, 一台slave1

    先安装好centos 6.5 两台,并设置静态ip

    怎么安装可以参考地址:https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html

    关闭防火墙

    设置成disabled

     

    service iptables stop 手工停止防火墙
    chkconfig iptables off 设置开机不启动防火墙
    chkconfig iptables --list 查看防火墙服务 

    另外一台slave1也是一样的操作。

     设置/etc/hosts, 整个集群里全部节点都要配置进去, 两个节点都配置。

    vim  /etc/hosts

    192.168.189.140 master
    192.168.189.141 slave1
    127.0.0.1 localhost

    下载安装包

    http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/RPMS/x86_64/

    下载 repo 文件和 Installer.bin
    下载 repo 文件: http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
    下载 Installer.bin 文件: http://archive.cloudera.com/cm5/installer/5.15.1/

    把包上传到master机器上

    移动文件

    mv cloudera-manager.repo /etc/yum.repos.d/

    修改文件cloudera-manager.repo 

    [cloudera-manager]
    # Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
    name=Cloudera Manager
    baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/
    gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
    gpgcheck = 1

    执行 yum clean all 清空 yum 缓存

    yum list|grep cloudera 验证 repo 文件是否起效

     

    安装rpm包

    yum install -y *.rpm

     

     

    rpm -qa|grep cloud
    rpm -qa|grep java
    rpm -qa|grep jdk
    rpm -qa|grep oracle

    然后运行.bin 安装 CM Server, 只需要一台节点安装 CM Server 

    chmod +x cloudera-manager-installer.bin

    执行

    ./cloudera-manager-installer.bin

    Cm Server 的日志目录: /var/log/cloudera-scm-server
    安装过程日志目录: /var/log/cloudera-manager-installer

     

    cm 相关的安装目录都在/var/lib 下, 日志都在/var/log 下。
    Jdk 安装目录在/usr/java 下。

    常见问题:

    Installer.bin 安装过程失败后, 常有的问题:

    1、 自动修改了 repo 文件名, 出现后缀 rpmnew rpmsave(备份)两个文件。

    其中 rpmsave 后缀的是已有 repo 文件重命名后的, rpmnew 是新产生的(说明官方建议用最新版 
    本) 。
    怎么解决: 1、 把 rpmsave 文件改名为 cloudera-manager.repo
    2、 清空 yum 缓存, yum clean all
    3、 重试 installer.bin

    等几分钟,打开地址 http://192.168.189.140:7180/

    用户名:admin

    密码:admin

    安装 CDH 有两种方式, 一种是使用 rpm 包(需要联网) , 另一种是使用 parcels 包(离线) 。
    parcels 方式不需要联网, 且安装简洁, 也是官方推荐的方式

    parcels 方式安装步骤, 仅在 master 节点进行操作

    1.手工下载软件包。
    下载地址: http://archive.cloudera.com/cdh5/parcels/5.15.1/

    下载如下红色标出的 3 个文件 :

    el 是红帽、 Centos 等系统的, el6 对应 Centos 6.x

    下载后把这 3 个文件放到/opt/cloudera/parcel-repo 目录下, 该目录在 cm 安装后已自动创建

     

    2、 把 CDH-5.15.1-1.cdh5.15.1.p0.11-el6.parcel.sha1 的后缀改为.sha ;
    内容只保留 hashCode 部分。

    mv CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha

     

     

    把这里改成需要安装的版本

    这里需要注意,每个节点的账户密码要保持一致

    将master的rpm包发送到slave1上

    scp -r cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm slave1:/opt/soft/cm/

    scp cloudera-manager.repo slave1:/etc/yum.repos.d/

     

    到slave1检查一下文件内容

     

    清理一下缓存

    yum clean all

    scp -r jdk-6u31-linux-amd64.rpm oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm slave1:/opt/soft/cm/

    在slave1节点安装一下rpm包

    yum install -y *.rpm

     

    先终止安装,因为之前在slave1中忘记安装rpm包了,如果终止时间比较长,可以刷新页面,重复前面的几个步骤

    如果遇到这样的报错信息

    解决办法:
    1、 检查/etc/hosts
    2、 如果 1 解决不了, 则在该节点上重启
    查服务名称: chkconfig --list|grep cloud
    执行重启命令: service cloudera-scm-agent restart
    然后界面里点击重试。

    我们逐个问题解决

    先解决时钟不同步的问题

     ntpdate pool.ntp.org

    可以看到时钟同步问题已经解决

    针对这个问题

    分别在master  slave1上运行以下语句

    先临时修改

    sysctl vm.swappiness=10
    cat /proc/sys/vm/swappiness

     

    再永久修改

    echo 'vm.swappiness=10'>> /etc/sysctl.conf

     

    可以看到问题解决了

    针对这个问题

    在master  slave1上分别运行

     echo never > /sys/kernel/mm/transparent_hugepage/defrag
     echo never > /sys/kernel/mm/transparent_hugepage/enabled

     

     

    遇到这个问题,把/dfs目录下的内容删除掉,所以节点都这样操作,再重新运行一次即可

  • 相关阅读:
    几种不同风格的Toast
    [置顶] 如何访问web文件夹之外的文件
    30天自制操作系统笔记(九十)
    tomcat install on Linux
    共享内存使用的基本思路和接口
    30天自制操作系统笔记(九十)——源码
    storm单机版安装配置
    新安装XAMPP,phpMyAdmin错误:#1045
    TI-Davinci开发系列之二使用CCS5.2TI Simulator模拟环境调试DSP程序
    ffmpeg的logo, delogo滤镜参数设置
  • 原文地址:https://www.cnblogs.com/braveym/p/11966502.html
Copyright © 2020-2023  润新知