• Hadoop_CDH安装


    ——本文非个人原创,为大牛同事整理,发布于此以备忘

    1     CDH5.8安装(2018年4月19日)

    1.1   物理服务器注意事项

    (1)把raid都去掉了,每个物理盘都用raid0创建一个虚拟盘。Ctrl+r进入dell的raid设置,用F2来进行设置,注意设置完raid后,需要选中创建好的虚拟盘按F2从操作中选fast init,不初始化的话安装系统的时候找不到硬盘。

    10.10.101.1-10.10.101.4这四台,每台服务器三块硬盘,一个用来装linux和CDH,一个盘给Hadoop用,最后一个盘给OpenStack使用。

    10.10.101.5服务器给mitaka使用,服务器有两块硬盘,煤块2T。

    (2)操作系统安装的是centos7.3,CentOS-7-x86_64-Everything-1611。分区调整的时候,把home分区留100多G,其他的给分到/分区。10.10.101.1和10.10.101.2前面的usb口可能不灵。

    1.2   安装CDH5.8过程

    参考地址:https://www.cmgine.com/archives/19130.html

    实际步骤:参考CDH5.12的安装步骤

    2     CDH 5.12安装(2018年3月19日)

    参考地址:

    https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_command_line.html

    Installing and Deploying CDH Using the Command Line

    http://blog.csdn.net/watermelonbig/article/details/77102187 【重点参考】

    Cloudera Manager CDH 5.12 大数据处理平台部署指南

    http://blog.csdn.net/fengdahui/article/details/54426317

    CDH-5.XX 离线安装及升级步骤及安装过程常见错误

    http://blog.csdn.net/sunsiyuan521/article/details/77045747

    离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

    http://archive.cloudera.com/cdh5/parcels/

    离线安装需要下载的文件的路径,下载后保存到/opt/cloudera/parcel-repo

    https://archive.cloudera.com/cm5/repo-as-tarball/5.12.0/

    离线安装的yum需要的东西

    2.1   物理服务器注意事项

    (1)NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别,以提高可靠性。

    备注:这里在公司的hadoop集群用的是raid5

    (2)对于DataNode所在的主机节点,建议系统盘和数据盘完全隔离开,然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的,挂一个也不影响CDH平台运行,但修起来还是很麻烦。

    备注:其他数据结点都是用的raid0,总共有3个数据结点。

    注意dell服务器重启的时候按ctrl+r进入raid设置,按F2进行操作。设置完后需要选中硬盘初始化,否则安装的时候出错。

    2.2   安装centos7.2及环境调整

    2.2.1   环境调整

    用u盘启动安装centos7.2,安装完毕后需要进行以下操作:

    (1)设置IP地址。

    (2)修改机器名。

    hostnamectl set-hostname hadoop1(仅centos7)

    (3)重启网络

    命令:service network restart

    (4)用xshell连接上已有的计算机,大部分命令可以一起操作了。

    (5)禁用selinux。

    getenforce

    setenforce 0

    vi /etc/selinux/config

    将SELINUX=enforcing改为SELINUX=disabled

    注意:按i进入编辑状态,按esc退回到命令状态,命令状态按:wq并回车保存并退出。

    (6)禁用防火墙。

    systemctl stop firewalld

    systemctl disable firewalld.service

    firewall-cmd --state   查看防火墙状态

    (7)设置hosts

    vi /etc/hosts

    10.10.101.1 hadoop1

    10.10.101.2 hadoop2

    10.10.101.3 hadoop3

    10.10.101.4 hadoop4

    10.10.101.5 mitaka

    (8)设置免密登录

    在所有的服务器上运行ssh-keygen,然后一路回车。

    用xshell给每台机器上执行

    ssh-copy-id 192.168.0.100    注意拷贝的IP是要安装cdh的服务器的IP

    ssh-copy-id 192.168.0.101  

    ssh-copy-id 10.10.101.1   以后登录10.10.101.1就不用再输入口令了

       执行完后看 cat /root/.ssh/authorized_key 是否存在,如果不存在,则手动创建

    cat   /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key

    把所有计算机上的authorized_key文件合并成一个文件,再拷贝到各个计算机上。

    这样可以保证每个服务器之间都可以相互免密登录。

    验证:

    ssh root@hadoop1

    exit

    ssh root@hadoop2

    exit

    ssh root@hadoop3

    exit

    ssh root@hadoop4

    exit

    (9)设置参数优化。

    命令:vi /etc/sysctl.conf  回车输入i进入编辑状态,把下面的内容粘贴到文件最后

    vm.swappiness = 0 

    net.ipv6.conf.all.disable_ipv6 = 1 

    net.ipv6.conf.default.disable_ipv6 = 1 

    net.ipv4.ip_local_port_range = 1024 65000

    按esc退出编辑状态,输入:wq保存并退出。

    命令:vi /etc/rc.local   把下面的内容追加到文件最后

    echo never > /sys/kernel/mm/transparent_hugepage/defrag 

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    按esc退出编辑状态,输入:wq保存并退出。

    source /etc/rc.local

    命令:chmod +x /etc/rc.d/rc.local   这个命令不能少,否则重启后/etc/rc.local不能自动执行。

    2.2.2   验证优化参数

    (10)重启 reboot

    (11)检查参数优化是否优化成功。

    命令:getenforce   检查结果是否是Disabled

    命令:firewall-cmd --state 检查防火墙是否关闭

    命令:cat /sys/kernel/mm/transparent_hugepage/defrag 看是否是选中了never。

    命令:cat /proc/sys/vm/swappiness  看结果是否是设置的0,如果设置的是10,则结果显示是10。

    注意:如果centos是在vmware虚拟机安装的,这个参数可能会改不了,一直是30。物理机的centos没有问题。

     

    上面命令一起执行如下:

    getenforce

    firewall-cmd --state

    cat /sys/kernel/mm/transparent_hugepage/defrag

    cat /proc/sys/vm/swappiness

    2.3   把centos安装盘设置成本地源(离线安装mysql  wget需要)

    注意:如果是在线安装也挺快,就不用设置本地源了

    (1)新建用来挂载的目录。

    cd /mnt/

    mkdir iso cdrom

    cd /mnt/iso

    (2)把CentOS-7-x86_64-Everything-1511.iso文件拷贝到/mnt/iso目录下。

    (3)执行挂载命令如下:

    mount -o loop /mnt/iso/CentOS-7-x86_64-Everything-1511.iso /mnt/cdrom/

    (mount命令 -o指定选项,loop用来把一个文件当成硬盘分区mount到目录)

    需要加到/etc/rc.local文件中,作为开机执行语句,否则重启后还需要重新执行此命令

    (4)备份原来的源文件。

    cd /etc/yum.repos.d/

    mkdir bak

    mv *.repo ./bak

    (5)设置本地源

    vi /etc/yum.repos.d/iso.repo

    [Centos]

    name=CentOS

    baseurl=file:///mnt/cdrom

    gpgcheck=0

    enabled=1

    编辑好后保存并关闭文件。

    (6)安装后面用到的工具

    yum install wget -y       需要安装,否则后面安装CDH有报错

    yum install deltarpm -y      需要安装,否则后面安装CDH有报错

    yum install psmisc -y               需要安装,否则后面安装CDH有报错

    yum install wget -y

    yum install deltarpm -y

    yum install psmisc -y

    2.4   正式安装CDH

    2.4.1   安装oracle jdk (都安装)

    (1)下载rpm安装包

    http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

    注意:下载的时候需要登录oracle的帐号。

    (2)安装rpm包

    rpm -ivh jdk-8u161-linux-x64.rpm

    (3)编辑配置文件指定java的home目录并导出环境变量

    vi /etc/profile   将下面的内容拷贝到文件最后

    JAVA_HOME=/usr/java/jdk1.8.0_161

    PATH=$JAVA_HOME/bin:$PATH:. 

    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

    export JAVA_HOME 

    export PATH 

    export CLASSPATH

    注意:编辑的时候别把PATH参数搞错了,否则可能会引起命令找不到问题。

    执行source /etc/profile

    (4)检查java是否安装成功

    echo $JAVA_HOME     显示:/usr/java/jdk1.8.0_161

    java -version   显示结果如下:

    java version "1.8.0_161"

    Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

    Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

    说明:出现上面的结果,说明java已经安装成功。

    2.4.2   安装mysql (只装1台)

    有多种方法,这里centos7.2的安装iso文件搭建本地yum源,然后再安装。

    (1)正式安装mysql

    yum install mariadb mariadb-server -y

    systemctl enable mariadb.service

    systemctl start mariadb.service

    mysql_secure_installation

    最后一个命令,设置数据库的root的口令为admin@123

    验证:

    #mysql -u root -p

    输入刚才设置的口令admin@123

    如果能正常登录,说明mysql安装成功了

    注意:如果不能安装需要先卸载冲突的包

    rpm -qa | grep mariadb #查看安装信息

    rpm -e mariadb-libs* --nodeps #根据查找到的软件包信息卸载

    rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

    (2)优化数据库

     跳过:这里没有设置。

    2.4.3   创建需要的数据库 (只操作1台)

            
      

    Role

      
      

    Database

      
      

    User

      
      

    Password

      

    Activity Monitor

    amon

    amon

    amon_password

    Reports Manager

    rman

    rman

    rman_password

    Hive Metastore Server

    metastore

    hive

    hive_password

    Sentry Server

    sentry

    sentry

    sentry_password

    Cloudera Navigator Audit Server

    nav

    nav

    nav_password

    Cloudera Navigator Metadata Server

    navms

    navms

    navms_password

    Oozie

    oozie

    oozie

    oozie_password

    Hue

    hue

    hue

    hue_password

    登录数据库:mysql -u root -p

    输入密码admin@123

    create database amon DEFAULT CHARACTER SET utf8;

    create database rman DEFAULT CHARACTER SET utf8;

    create database hive DEFAULT CHARACTER SET utf8;

    create database sentry DEFAULT CHARACTER SET utf8;

    create database nav DEFAULT CHARACTER SET utf8;

    create database navms DEFAULT CHARACTER SET utf8;

    create database oozie DEFAULT CHARACTER SET utf8;

    create database hue DEFAULT CHARACTER SET utf8;

    grant all on amon.* TO amon@'%' IDENTIFIED BY 'amon_password';

    grant all on rman.* TO rman@'%' IDENTIFIED BY 'rman_password';

    grant all on hive.* TO hive@'%' IDENTIFIED BY 'hive_password';

    grant all on sentry.* TO sentry@'%' IDENTIFIED BY 'sentry_password';

    grant all on nav.* TO nav@'%' IDENTIFIED BY 'nav_password';

    grant all on navms.* TO navms@'%' IDENTIFIED BY 'navms_password';

    grant all on oozie.* TO oozie@'%' IDENTIFIED BY 'oozie_password';

    grant all on hue.* TO hue@'%' IDENTIFIED BY 'hue_password';

    1.1.1   安装时间同步服务1(OpenStack需要的时间服务器)

    (1)在 时间服务器 上配置:

    yum install chrony -y

    vi /etc/chrony.conf

       server hadoop1 iburst

    server s1a.time.edu.cn iburst    //改成这个或保持原来的都可以

    allow 192.168/16                            //注意修改成合适的网段

    注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0

    systemctl enable chronyd.service

    systemctl start chronyd.service

    chronyc sources

    (2)设置时区

    timedatectl set-timezone Asia/Shanghai

    显示时间

    date

    (3)在其他机器上的配置

    yum install chrony -y

    vi /etc/chrony.conf

    server hadoop1 iburst

    注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0

    systemctl enable chronyd.service

    systemctl start chronyd.service

    chronyc sources    查看时间服务器是否能同步了。

    1.1.2   安装时间服务2(这个是CDH需要的时间服务)

    [root@CDH-DEV1 .ssh]# yum install ntp

    【时间服务器服务端的设置】

    修改配置文件:vi /etc/ntp.conf,修改以下部分

    server time.asia.apple.com

    server 127.127.1.0

    fudge 127.127.1.0 stratum 11

    参考:https://blog.csdn.net/chuan_day/article/details/55096426

    【其他服务器的设置】

    server 10.10.101.5 iburst

    【设置开机启动】

    [root@CDH-DEV1 .ssh]# chkconfig ntpd on

    【服务启动】

    [root@CDH-DEV1 .ssh]# service ntpd start

    【重启服务】

    [root@CDH-DEV1 .ssh]# service ntpd restart

    验证命令:

    CDH系统错误提示详情页面给的查看命令:ntpdc -np

    一直查看同步的时间:watch ntpq -p     按ctrl+c结束查看

    使用ntpstat 命令查看时间同步状态,这个一般需要5-10分钟后才能成功连接和同步。所以,服务器启动后需要稍等下。

    1.1.1   安装Cloudera Manager Server 软件(都安装)

    (1)新建目录,考入压缩包并解压

    mkdir /opt/cloudera-manager

    cd /opt/cloudera-manager

    考入压缩包cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz拷贝

    解压缩tar zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

    (2)创建CM Server系统用户账号

    useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

     

    Cdh5.8.0安装:

    useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

     

    (3)创建CM Server的本地数据存储目录

    mkdir -p /var/lib/cloudera-scm-server

    chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

    (4)配置所有节点上的Cloudera Manager Agents

    sed -i 's/server_host=localhost/server_host=hadoop1/' /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

    说明:上面的命令的意思是vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

    vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

     

    将里面的server_host=localhost 修改为server_host=hadoop1   设置CM的服务器名。

    (5)创建和初始化CM Server数据库

    将mysql-connector-java-5.1.45-bin.jar 拷贝到  /opt/cloudera-manager/cm-5.12.0/share/cmf/lib

    5.8的操作

       makedir -p /usr/share/java/

    scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/opt/cm-5.8.0/share/cmf/lib/

    scp   mysql-connector-java-5.1.45-bin.jar root@hadoop1:/usr/share/java/

    初始化脚本语法为:scm_prepare_database.sh database-type [options] database-name username password

    命令如下:

    /opt/cloudera-manager/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm

    5.8的操作如下:

    /opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh   mysql -hlocalhost -uroot -padmin@123 scm scm scm

    注意:上面的数据库的口令是admin@123 最后三个scm是数据库名用户名和口令。

    命令执行后的显示结果如下:

    JAVA_HOME=/usr/java/jdk1.7.0_80

    Verifying that we can write to   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

    Creating SCM configuration file in   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

    Executing:    /usr/java/jdk1.7.0_80/bin/java -cp   /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/../lib/*   com.cloudera.enterprise.dbutil.DbCommandExecutor   /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties   com.cloudera.cmf.db.

    [                            main] DbCommandExecutor                INFO  Successfully connected to   database.

    All done, your SCM database is configured correctly!

    登录mysql (mysql -u root -padmin@123),增加一条对CM Server主机的访问授权:

    grant all on scm.* TO 'scm'@'hadoop1' IDENTIFIED BY 'scm';

    登录hadoop1节点配置CM Server的数据库配置文件:

    vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties

    vi /opt/cm-5.8.0/etc/cloudera-scm-server/db.properties

    需要根据实际情况更新以下参数。

    com.cloudera.cmf.db.type=mysql

    com.cloudera.cmf.db.host=hadoop1

    com.cloudera.cmf.db.name=scm

    com.cloudera.cmf.db.user=scm

    com.cloudera.cmf.db.setupType=EXTERNAL

    com.cloudera.cmf.db.password=scm

    (6)创建CDH Parcel资源目录

    在hadoop1节点上:

    mkdir -p /opt/cloudera/parcel-repo

    cd /opt/cloudera/parcel-repo

    将以下已经准备好的parcel资源文件放入该目录:

    CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

    CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha

    manifest.json

    设置该目录的所属用户和组:

    chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

    在其它所有节点上:

    mkdir -p /opt/cloudera/parcels

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    (7)启动cloudera manager server and agents

    直接使用root运行启动脚本即可,脚本中已经默认设定为会切换到cloudera-scm用户运行进程。

    在所有节点上,先调整下文件属主权限:

    chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

    安装:yum install psmisc,否则提示pstree命令找不到(前面已经安装过了就不用再装了)

    1.1.1.1     启动server和agent

    5.8.0的操作

    scp -r   /opt/cm-5.8.0/ root@hadoop2:/opt/

    在hadoop1节点上启动CM Server:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

    /opt/cm-5.8.0/etc/init.d/cloudera-scm-server  start

    在所有节点上启动CM agent:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

    /opt/cm-5.8.0/etc/init.d/cloudera-scm-agent  start

    /opt/cm-5.8.0/etc/init.d/cloudera-scm-server   start

    /opt/cm-5.8.0/etc/init.d/cloudera-scm-agent   start

    停止的操作:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

    注:在启动上面的服务时,注意检查进程是否运行,是否因报错退出。可以检查../../log/下面的日志文件,分析错误原因。

    1.1.2   登录http://10.10.101.1:7180 进行配置

    登录管理站点

    注意:如果上面的启动服务的命令刚执行完,等一会这个站点才能完全启动。

     

    注意:上面选核心Hadoop可能安装不过,建议选最后面的自定义,只选择hdfs试一试。

    HBase HDFS Oozie ZooKeeper

    集群设置-自定义角色分配

    注意:在根据情况进行选择,这边只装了一台。

    集群设置-数据库设置

    在安装CDH过程的分配这一步,总是遇到“主机运行状态不良”的提示,解决办法如下:

    rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

    1.1   错误解决

    1.1.1   网络接口速度 警告

    操作:

    (1)查看网卡情况:ethtool em1

    (2)查看网卡情况:ifconfig | more 发现em2和em3有桥接情况

    (3)查看桥接:brctl show

    1.1.1   防止出错的预防操作

    cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/

     

    cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

    1.1.2   启动agent出错

    操作:mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

    1.1.3   主机状态不良的解决办法(ok)

    rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  restart

    1.1.4   NFS Gateway启动失败

    在要运行NFS Gateway的服务器上安装:rpcbind

    yum install rpcbind

    service rpcbind start

    systemctl enable rpcbind

    1.1.5   Oozie客户端不能访问少ext

    /opt/cloudera/parcels/CDH/lib/oozie/libext

    把ext-2.2.zip 解压缩后放到这个目录。

    1.1.6   oozie启动失败

    (1) 拷贝mysql的驱动文件。

    一个是需要把java的mysql的驱动jar文件拷贝到oozie的lib目录中

    /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/oozie/lib

    (2) 在界面中点击创建oozie的表

    点到oozie里面,在操作中选择创建oozie的表,然后再启动oozie就能启动了。

    1.1.7   Yarn部署客户端出错

    部署客户端出错:

    需要yum install perl -y

    查看日志:

    1.1.8   Yarn启动失败

    查看日志:

    tail -f /var/log/hadoop-mapreduce/hadoop-cmf-yarn-JOBHISTORY-hadoop1.log.out

    查看日志:不能创建目录hdfs://hadoop1:8020/user/history/

    解决办法,手动创建?

    su hdfs

    hadoop fs -mkdir hdfs://hadoop1:8020/user/history/

    点开yarn后,有命令操作可以通过CDH的界面创建。

    1.1.9   Hive启动失败

    (1)把mysql-connector-java-5.1.45-bin.jar 拷贝到

    /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib

    (2)创建hive需要的表:点Hive->操作->创建表,这个也是通过CDH的界面创建。

    1.1.10      Hue启动失败

    (1)还需要运行命令

    yum install -y python-lxml

    参考网址:https://www.cnblogs.com/zhangyin6985/p/7357738.html

    (2)创建目录

    mkdir -p /var/log/hue-httpd/

    touch /var/log/hue-httpd/error_log

    (3)安装服务httpd,mod_ssl

    yum install httpd mod_ssl -y

    (4)安装sasl,否则打开hue站点的时候有错误提示

    yum install cyrus-sasl-devel

    yum install cyrus-sasl-gssapi

    重启hue

    yum install krb5-server.x86_64  krb5-devel.x86_64  (这个不需要?)

    1.2   常用操作

    1.2.1   日志

    Agent日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-agent

    Server日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server

    查看cm服务启动日志

    tail -f /opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log

    1.2.2   启动停止服务

    在hadoop0节点上启动CM Server:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server  start

    在所有节点上启动CM agent:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent  start

    停止的操作:

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

    /opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

    1     在线安装

    1.1   QuickStarts for CDH 5.12

    https://www.cloudera.com/downloads/quickstart_vms/5-12.html

    1.2   Cloudera Manager 5.14.1 (2018年2月26日)

    1.2.1   安装参考(官网参考+个人注释)

    安装参考网址

    https://www.cloudera.com/downloads/manager/5-8-0.html

    Automated Installation

    Ideal for trying Cloudera enterprise data hub, the installer will download Cloudera Manager from Cloudera's website and guide you through the setup process.

    Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.

    重做系统,把/目录增加空间,这个是给/var和/opt目录使用,/home减少了100G,给/增加了300G。

    设置机器名为hadoop1       命令#vi /etc/hostname

    重做系统后需要设置IP为192.168.0.100

    用yum update升级后,发现centos的版本也升级了,变成centos7.4了,不能再装CDH-5.8.0了。

    重装centos7.2系统,并安装wget:yum install wget

    设置IP为192.168.0.100,设置机器名为hadoop1

    chmod +x /etc/rc.d/rc.local

    并在rc.local中添加

    echo 10 > /proc/sys/vm/swappiness

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    $ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

    wget这个命名没有安装,需要先安装

    yum install wget

     $ chmod u+x cloudera-manager-installer.bin

    修改文件权限,增加可执行权限。

     $ sudo ./cloudera-manager-installer.bin

    需要关闭防火墙

    关闭selinux   

    setenforce 0

    vi /etc/selinux/config   修改保存后需要重启。

    可以执行,安装完毕后,提示访问http://192.168.0.100:7180继续安装,用户名口令是admin

    不能访问,关闭防火墙。systemctl stop   firewalld

    关闭防火墙后可以正常访问。

    选择安装的时候选择的有效期60天的中间的产品。

    安装成功,提示有两个警告需要处理,警告如下:

             
       

    Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响:

       

    hadoop1

       

    已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo     never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never >     /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响:

       

    hadoop1

       
  • 相关阅读:
    python中的特殊函数__call__
    python的内存机制
    tf.train.Saver()-tensorflow中模型的保存及读取
    修改过的bug
    JQuery的attr 与 val区别及使用
    多线程处理同一个List测试dome
    synchronized 使用总结
    oracle 自定义函数
    第一天写博客,分享下学习oracle存储过程的过程
    SqlServer
  • 原文地址:https://www.cnblogs.com/ohmyuan/p/10785441.html
Copyright © 2020-2023  润新知