• Zookeeper分布式集群搭建


    文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。

    一、环境准备

    软件 版本
    Linux系统 CentOS7
    JDK jdk-8u221-linux-x64.tar.gz
    Zookeeper zookeeper-3.4.5-cdh5.14.2.tar.gz

    二、机器配置

    主机名 hadoop01 hadoop02 hadoop03
    内存 8G 8G 8G
    CPU 4核 4核 4核
    硬盘 500G 500G 500G
    服务
    QuorumPeerMain
    QuorumPeerMain
     QuorumPeerMain
     

    三、前期准备工作

      1、关闭防火墙(使用root权限,将ip修改成对应的ip地址)

    firewall-cmd --state # 查看防火墙状态
    systemctl stop firewalld.service # 停止防火墙
    systemctl disable firewalld.service # 禁止开机启动防火墙

      2、配置host主机映射(使用root权限,将ip修改成对应的ip地址)

    sudo vi /etc/hosts
    
    ip1 hadoop01
    ip2 hadoop02
    ip3 hadoop03

      3、创建普通用户(bigdata)

    useradd bigdata  # 添加普通用户
    passwd bigdata # 为普通用户设置密码

      4、为bigdata用户配置ssh免密码登陆(具体操作步骤略,执行命令如下)

    ssh-keygen -t rsa # 生成密钥对(一路回车即可)
    ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上

      5、配置三台机器的时间同步

        待更新

    四、Zookeeper分布式集群搭建

      1、安装jdk,将jdk安装在/usr/local目录下, 要求执行用户需要有该目录下的权限

        1.1、解压jdk

    tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

        1.2、配置环境变量

    vi ~/.bash_profile
    
    ## 在行末添加以下内容,并保存关闭 ############# JAVA_HOME ################ export JAVA_HOME
    =/usr/local/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin

        1.3、生效环境变量

    source ~/.bash_profile

        1.4、验证

    java -version

      2、搭建zk环境,zk安装在/opt/software目录下,要求执行用户需要有该目录下的权限

        2.1、下载并解压安装包

    tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software

        2.2、创建目录

    mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData

        2.3、修改配置文件

    mv zoo_sample.cfg zoo.cfg # 重命名配置文件
    vi zoo.cfg
    
    # 修改dataDir属性
    dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
    # 添加以下内容
    server.1=hadoop01:2888:3888
    server.2=hadoop02:2888:3888
    server.3=hadoop03:2888:3888

        2.4、向另外两台机器分发

    scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software
    scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software

        2.5、分别在三台机器上添加myid文件

    # 在hadoop01上执行
    echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid
    
    # 在hadoop02上执行
    echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid
    
    # 在hadoop03上执行
    echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

        2.6、分别在三台机器上配置ZK环境变量

    vi ~/.bash_profile
    
    ## 在行末添加以下内容,并保存关闭
    ############# ZK_HOME  ################
    export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2
    export PATH=$PATH:$ZK_HOME/bin

        2.7、生效环境变量

    source ~/.bash_profile

        2.8、分别在三台机器上启动zk

    zkServer.sh start # 启动zk
    zkServer.sh status # 查看zk状态
    zkServer.sh stop # 停止zk

      至此,zookeeper分布式集群搭建完成,可以通过jps命令查看QuorumPeerMain进程是否存在,或者使用zkCli.sh进入zk客户端,来验证集群是否安装成功。

    欢迎大家提出建议或疑问。

  • 相关阅读:
    (转)mysql 中的 latch锁和Tlock(事务锁), DML加锁规则,以及死锁分析
    改变主库sync_binlog,减小主从同步延时
    windows10上使用SourceInsight阅读mysql源码
    centos6.5安装systemstap
    centos6.5编译调试mysql-5.7.18
    事物特性
    Union和union all区别?
    Join(inner、left、right)的区别?
    hashhashmaphashTablehashSet
    String、StringBuffer、StringBuilder区别
  • 原文地址:https://www.cnblogs.com/tangxc8282/p/11897093.html
Copyright © 2020-2023  润新知