• CDH5.9新增数据节点


    1基础环境配置

    操作系统:使用和原集群相同版本的系统作为节点服务器的操作系统。线上环境操作系统为readhat6.5。切忌不能跨操作系统,redhat6和readhat7操作系统无法兼容。

    1.1 关闭防火墙和Selinux

    1.关闭防火墙
    #service iptables stop
    #service iptables status
    #chkconfig iptables off
    #chkconfig --list | grep iptables
    
    2.关闭selinux
    #setenforce 0
    #vi /etc/selinux/config
    SELINUX=disabled 

    1.2 ip设置

    为了防止单点故障,所有服务器均要求做双网卡绑定,但目前均未设置。

    这里查看下网卡的设置;

     #cat /etc/sysconfig/network-scripts/ifcfg-p6p2

     

    #查看发现服务器的网卡为万兆网卡

    # ethtool  p6p2

    1.3 配置本地yum源

    # mkdir -pv /mnt/dvd
    #mount -o loop  /home/package/Red Hat Enterprise 6.5 x86_64.iso    /mnt/dvd
    #echo "mount -o loop  /home/package/Red Hat Enterprise 6.5 x86_64.iso    /mnt/dvd" >> /etc/rc.local
    #chmod +x /etc/rc.local
    
    #cd /etc/yum.repos.d
    #cat dvd.repo
    [cdrom]
    name=CDROM
    baseurl=file:///mnt/dvd
    enabled=1
    gpgcheck=0
    
    [HighAvailability]
    name=HA
    baseurl=file:///mnt/dvd/HighAvailability
    enabled=1
    gpgcheck=0
    
    [LoadBalancer]
    name=LB
    baseurl=file:///mnt/dvd/LoadBalancer
    enabled=1
    gpgcheck=0
    
    [ResilientStorage]
    name=RS
    baseurl=file:///mnt/dvd/ResilientStorage
    enabled=1
    gpgcheck=0
    
    [ScalableFileSystem]
    name=SF
    baseurl=file:///mnt/dvd/ScalableFileSystem
    enabled=1
    gpgcheck=0
    
    # yum clean all
    # yum repolist 

    1.4修改主机名

    #vi /etc/sysconfig/network
    HOSTNAME=dn17
    重启服务器生效
    
    #添加/etc/hosts
    192.168.121.10 nn01
    192.168.121.11 nn02
    192.168.121.32 dn17
    192.168.121.33 dn18
    192.168.121.34 dn19
    192.168.121.35 dn20 

    1.5 ssh免密

    如果安装系统时没有配置openssh服务,请按照以下步骤先安装。所有节点安装ssh其他服务,确保ssh-copy-id、scp命令可使用。

    [root@nn01 ~]# ssh-copy-id dn17
    [root@nn01 ~]# ssh-copy-id dn18
    [root@nn01 ~]# ssh-copy-id dn19
    [root@nn01 ~]# ssh-copy-id dn20

    1.6安装jdk

    1.先卸载系统自带的open jdk
    #rpm -qa | grep java
    如果有因依赖包rpm卸载不掉的,可以使用yum remove卸载
    
    2.安装oracle版本的jdk
    #yum install -y  oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
    #配置环境变量
    #vi /etc/profile
    export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    
    #source  /etc/profile
    #java -version
    

     

    1.7 ntp服务设置

    #yum -y install ntp
    设置开机启动,并启动服务。
    #chkconfig  ntpd  on
    #service ntpd start
    

    #数据节点跟管理节点同步
    #vi /etc/ntp.conf 
    server nn01 iburst
    

    #service ntpd  restart

    #由于ntp服务同步需要时间,请等待。

    #ntpstat  

    1.8 系统设置

    1.关闭大页面
    #echo never > /sys/kernel/mm/transparent_hugepage/defrag
    #echo never > /sys/kernel/mm/transparent_hugepage/enabled
    #echo 'echo never >  /sys/kernel/mm/redhat_transparent_hugepage/defrag '>> /etc/rc.local
    #echo 'echo never> /sys/kernel/mm/redhat_transparent_hugepage/enabled' >> /etc/rc.local 
    #chmod +x /etc/rc.local
    
    2.关闭swap,新加节点均需配置。
    #echo 'vm.swappiness=0'>>/etc/sysctl.conf
    #sysctl  -p

    1.9 磁盘配置

    1.根据盘符进行格式化,挂载,注意修改盘符;
    #cat t1.sh
    #!/bin/bash
    for DiskNum in {b,i,s,k,h,d,t,m,c,l,e,f,q,n,a,g,j,u,r,p,o}
                                    do
                                    echo 'y'|mkfs.ext4 /dev/sd$DiskNum
                                    mkdir /data$DiskNum
                                    MOUNT="/dev/sd$DiskNum /data$DiskNum ext4 defaults 0 0"
                                    echo $MOUNT >>/etc/fstab
                                    echo "/dev/sd$DiskNum finished"
                                    done
    
    mount -a

    2 数据节点agent部署

    2.1 修改数据节点agent配置文件

    1.解压安装包
    根据线上环境,下载对应的版本,下载地址:
    - Cloudera Manager 
    - 下载地址 : https://archive.cloudera.com/cm5/cm/5/ 
    - CDH安装包 
    - 下载地址 : http://archive.cloudera.com/cdh5/parcels
    #解压安装包
    #tar xf   /home/package/cloudera-manager-el6-cm5.9.0_x86_64.tar.gz  -C  /opt
    
    2.增加CM管理用户
    #useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
    
    3.所有节点中均修改agent配置文件,指定server_host
    #vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
    server_host=nn01
    
    4.设置开机自启
    #cp /opt/cm-5.9.0/etc/init.d/cloudera-scm-agent   /etc/init.d/
    #chkconfig cloudera-scm-agent on
    #chkconfig  --list |grep cloudera
    
    # vim /etc/init.d/cloudera-scm-agent
    CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cm-5.9.0/etc/default
    
    5.启动 cloudera-scm-agent
    #/etc/init.d/cloudera-scm-agent  start  

    2.2 新加集群节点

    登录cm界面 

    点击主机-->所有主机-->向集群添加新主机

     

     

     

     

     

     

    2.3 新增角色

    选择需要安装的角色

     如果需要其它角色,可以到相应地址上进行添加即可;

  • 相关阅读:
    经典脚本集合
    Crystal Report 注册号
    Linux top命令简介
    sysctl.conf优化方案(完整)
    vi入门学习(转载)
    linux 如何查看目录的剩余空间大小?
    python3安装pip3
    jsonCpp的readme文档
    第15天android:使用sqlite
    《mysql必知必会》笔记
  • 原文地址:https://www.cnblogs.com/llwxhn/p/13797587.html
Copyright © 2020-2023  润新知