• CDH部署(以5.7.5为例)


    博客园首发,转载请注明出处https://www.cnblogs.com/tzxxh/p/9120020.html 

    一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行)

    1、文件下载:

      http://archive.cloudera.com/cdh5/parcels/5.7.5/

        [CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1、manifest.json ]

      http://archive.cloudera.com/cm5/cm/5/

         [cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz]

    二、开始安装

    1、修改hosts文件

    2、免密码登陆

    3、关闭防火墙

    4、关闭selinux: sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

    5、jdk安装 安装到 /usr/java/ 下,防止出现没必要的问题。

    6、mysql安装(任意节点)--也可以使用其他节点上现有的mysql

    7、mkdir /usr/share/java (master),上传mysql-connector jar包并重命名为:mysql-connector-java.jar

    8、更改国内yum源,安装第三方依赖包(all):

      yum install ntp chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi -y

    9、同步时间: ntpdate s1a.time.edu.cn

    10、解压cm tar包到指定目录(all):

      mkdir /opt/cloudera-manager
      tar -zxvf cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz -C /opt/cloudera-manager

    11、创建cloudera-scm用户(all):

      useradd -r -d /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm

    12、配置cloudera-manger-agent指向主节点服务器(all):

      vi /opt/cloudera-manager/cm-5.7.5/etc/cloudera-scm-agent/config.ini ------将server_host改为master节点所在的主机名

    13、创建parcel-repo仓库目录(master):

      mkdir -p /opt/cloudera/parcel-repo
      chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
      cp CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
      注意:其中CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 后缀要把1去掉

    14、创建parcels目录(all):
      mkdir -p /opt/cloudera/parcels
      chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    15、初始脚本配置数据库scm_prepare_database.sh(master):

       /opt/cloudera-manager/cm-5.7.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -u root -p1234 --scm-host cdh1 scmdbn scmdbu scmdbp
      ##在这里后面的参数分别是:数据库类型、数据库主机名、数据库用户名、密码、 cm-server主机名、自动创建的cm元数据库、用户名、密码

    16、启动cloudera-scm-server(master):

      /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-server start

    17、启动cloudera-scm-agent(all):

      mkdir /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-agent
      /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-agent start

    18、访问 master:7180

  • 相关阅读:
    J2EE13个规范--【J2EE】
    事件监听、持有对方的引用--【J2SE】
    TCP协议:服务端和客户端demo--【J2SE】
    线程:Interrupt、Sleep、Join、线程同步--【J2SE】
    1. Visual C++ 6.0 安装和使用
    无法连接虚拟设备sata0:1,因为主机上没有相应的设备
    Linux文件夹文件创建、删除
    服务器
    linux 下 apache启动、停止、重启命令
    Apache部署静态html
  • 原文地址:https://www.cnblogs.com/tzxxh/p/9120020.html
Copyright © 2020-2023  润新知