• 「hadoop」centos7.2 上进行cdh5.7.2离线安装


    已实机验证ok

    环境
    在win7 64位上通过vmware虚拟机安装三台centos7.2,内存分配分别为6G,1G,1G

    其它必要软件:
    CM:http://archive.cloudera.com/cm5/cm/5
    parcel:http://archive.cloudera.com/cdh5/parcels/

    注意事项:
    1、root用户
    2、parcel与cm版本一致
    3、使用java默认路径(rpm包)

    【配置centos minimal】

    1、打开网络
    默认网络处于关闭,nmtui命令进入配置页面

    2、安装net-tools,支持ifconfig命令

    3、设置主机名
    /etc/hosts
    10.0.203.71  cdj1

    /etc/sysconfig/network(network这一步没加上貌似也没问题)
    NETWORKING=yes
    HOSTNAME=cdj1

    4、增加主机名映射,位于/etc/hosts

    【更新yum源】
    #yum update

    【安装python】
    默认已安装

    【安装其他库】
    yum -y install gcc gcc-c++ make automake autoconf libtool perl

    【关闭SELINUX】
    # vi /etc/sysconfig/selinux
    SELINUX=disabled
    重启才能生效
    重启后检查
    [root@hadoop1~]#sestatus -v
    SELinux status: disabled
    表示已经关闭了

    【安装编译环境】
    这一步用于能够顺利安装vmware-tools
    1、需要update
    2、安装kernel-headers kernel-devel gcc
    3、重启
    参考如下命令:
    #yum -y update
    #yum -y install kernel-headers kernel-devel gcc
    #reboot

    【安装vmware-tools,文件共享】
    用于win与centos文件共享,注意事项:
    1、需要手动挂载/dev/cdrom才能访问cdrom

    【安装java】
    建议安装rpm格式,因为最好用默认路径
    JAVA_HOME路径设置位于/etc/profile
    #source /etc/profile让设置立即生效

    【安装pstree】
    #yum install psmisc

    【免密码ssh】
    在A生成公钥 #ssh-keygen -t rsa
    添加到B中 #ssh-copy-id root@B // root为主机B的用户名

    【关闭防火墙】
    查看防火墙是否开启:#firewall-cmd --state
    关闭防火墙:#systemctl stop firewalld.service
    禁止防火墙开机启动:#systemctl disable firewalld.service

    【安装mysql数据库】(主节点)

    【parcel文件拷贝】(主节点)
    1、拷贝parcel等三个文件到/opt/cloudera/parcel-repo/,手动创建目录
    2、xxx.sha1改名为xxx.sha

    【CM安装】
    解压cm包到/opt目录下
    mysql驱动jar包拷贝到 /usr/share/java/mysql-connector-java.jar

    /opt/cm-5.7.2/share/cmf/lib,并改名为mysql-connector-java.jar
    修改成主节点名称 /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini, 设置server_host=<namenode名称>
    修改java路径,注意版本对应上,比如jdk8对应JAVA8_HOME_CANDIDATES
    /opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh
    /opt/cm-5.7.2/share/cmf/bin/cmf-server

    【创建cloudera-scm用户】
    #useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    【初始化CM数据库,仅主节点】
    #/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h10.0.203.10 -P3306 -uchendajian -p123456 --scm-host localhost root 123456
    说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:
    mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
    -10.0.203.10:数据库主机。
    -uroot:root身份运行mysql。-p123456:mysql的root密码是123456。
    --scm-host localhost:CMS的主机,一般是和mysql安装的主机是在同一个主机上。
    最后三个参数是:数据库名,数据库用户名,数据库密码。
    数据库连接配置文件位于 /etc/cloudera-scm-server/db.properties

    【创建预设数据库】
    mysql中依次创建hive, activity,oozie,hue等数据库,参考代码:create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    【启动Cloudera Manager】
    agent需要等待server完全启动后才能启动
    主节点
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-server start
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start

    从节点
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start
    当cloudera-scm-server、cloudera-scm-agent start启动成功之后,可通过http://主节点IP:7180来访问CM,用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。


    【配置】
    服务启动几分钟后,浏览器打开配置网页 http://<namenode>:7180
    用户名密码都为admin

    【其它说明】
    部分步骤参考:http://blog.csdn.net/shawnhu007/article/details/52579204

    安装失败,需要清理再重装
    1、rm -rf /opt/cm-5.7.2/lib/cloudera-scm-agent/*;
    2、删除并重装cm数据库;

    安装过程中在安装HDFS /tmp目录中被超时中止
    返回再安装即可,有可能是安装时间过长引起

  • 相关阅读:
    OpenMP vs WinSxS
    JIT, dynarec and binary translation
    VC++2010 bug
    控制和释放共享内存块
    分配和释放信号量
    代码列表5.1 (shm.c) 尝试共享内存
    绑定和脱离
    信号量
    每个字段动态添加一个随机数
    最近做了一个红底鞋类电商网站
  • 原文地址:https://www.cnblogs.com/ftrako/p/7791897.html
Copyright © 2020-2023  润新知