• CM和CDH的安装-进阶完成


    安装Cloudera Manager Server 和Agent

    1、在cdh1解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1节点)
    tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

    2、为Cloudera Manager 5建立数据库(cdh1节点)

    2.1:复制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目录下
    cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/

    2.2:在主节点初始化CM5的数据库:

    /opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

    3、Agent配置(cdh1节点)

    3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名:

    vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

    serverhost = cdh1

    3.2:同步Agent到其他节点

    scp -r /opt/cm-5:9.0/ root@cdh2:/opt/

    scp -r /opt/cm-5.9.0/ root@cdh3:/opt/

    4、创建cloudera-scm用户(所有节点)

    useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    5、准备Parcels,用以安装CDH5(cdh1节点)

    将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中

    CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

    CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

    manifest.json

    注:将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

    5、启动cm服务(cdh1节点)和Agent服务(所有节点)

    /opt/cm-5.9.0/etc/init.d/cloudera-scm-server start   #启动服务端。

    /opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start   #启动Agent服务。

    需要停止服务将以上的start参数改为stop就可以了,重启是restart。

    6、访问http://192.168.189.128:7180/

    Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。

    这时可以通过浏览器访问主节点cdh1的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问)

    默认的用户名和密码均为admin

     7、CDH5的安装配置

    按照界面操作直接进行:我就不一一截图了,总结下遇到的错误。

    7.1、修改配置(所有节点)

    解决办法:

    临时修改:echo 0 > /proc/sys/vm/swappiness

    重启生效:vim /etc/sysctl.conf

    添加一行vm.swappiness=10

    临时:

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    或添加上面二行:vi /etc/rc.local

     

    7.2安装hive的时候回提示缺少mysql连接驱动(cdh1节点)

    cp  /opt/mysql-connector-java-5.1.30.jar  /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/

    7.3安装oozie的时候提示没有权限建目录和缺少mysql驱动(cdh1节点)

    修改/var/lib/oozie 目录权限 : chmod 777 /var/lib/oozie

    cp  /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/  

     

     

     

     

    注;几个配置警告是因为jvm内存设置太小和datanode节点数少于3个的原因。

     

  • 相关阅读:
    java中复制图片
    java中复制图片
    java中替换文件内容
    java中替换文件内容
    java中替换文件内容
    java中复制文本文件
    mac 地址分配
    data standardization
    Orthogonal Least Squares Learning Algorithm for Radial Basis Function Networks
    算法设计 mac 字符串 标识 n维度 2 3维度 字符串 标识值 特征值
  • 原文地址:https://www.cnblogs.com/xubiao/p/7867341.html
Copyright © 2020-2023  润新知