• Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

    目 录

    1           准备工 作...........................................................................................................................................3
    1.1       说 明...............................................................................................................................................3
    1.2       集群网络环境介 绍..........................................................................................................................3
    2           环境搭 建...........................................................................................................................................5
    2.1       设置 IP...........................................................................................................................................5
    2.2       设置 hosts......................................................................................................................................5
    2.3       关闭防火墙....................................................................................................................................6
    2.4       关闭 SElinux....................................................................................................................................8
    2.5       设置机器 名....................................................................................................................................8
    3           ClouderaManager安 装................................................................................................................... 11
    3.1       下载Cloudera Manager安装文件................................................................................................... 11
    3.2       下载Cloudera Manager所需的rpm 包............................................................................................ 11
    3.3       安装rpm文 件............................................................................................................................... 11
    3.4       安装CM....................................................................................................................................... 11
    3.5       登录 CM....................................................................................................................................... 12
    4           ClouderaManager配置及本地源配 置.............................................................................................. 13
    4.1       配置config.ini文 件........................................................................................................................ 13
    4.2       配置本地 源.................................................................................................................................. 14
    5           Hadoop及其组件安装......................................................................................................................17
    5.1       选择Cloudera版 本........................................................................................................................ 17
    5.2       选中受管理的主 机........................................................................................................................ 17
    5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
    5.4       把Parcel分配到主 机..................................................................................................................... 18
    5.5       选择服 务...................................................................................................................................... 19
    5.6       测试数据库连 接........................................................................................................................... 20
    5.7       等待所有服务启 动........................................................................................................................ 20

    6           向集群增加节 点............................................................................................................................... 22
    6.1       添加主 机...................................................................................................................................... 22
    6.2       输入IP或主机 名........................................................................................................................... 23
    6.3       提供SSH登录凭 据........................................................................................................................ 24
    6.4       安装............................................................................................................................................. 24




    使用Cloudera Manager安装Hadoop

    运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存
    l  虚拟软件：VMware®Workstation 9.0.0 build-812388
    l  虚拟机操作系统：CentOs 64bit，单核，2G内存
    l  JDK：1.7.0_45 64 bit
    l  Hadoop：2.2.0



    集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
    l  192.168.188.141  hadoo1 (namenode))
    l  192.168.188.139  hadoo2 (datanode01)
    l  192.168.188.140  hadoo3 (datanode03)
    所有节点均是CentOS系统，防火墙iptables均禁用

    环境搭建
    本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。


    设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：




    2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

          IP地址： 10.88.147.221
          子网掩码： 255.255.255.0
          网关：     10.88.147.1
          DNS：    10.*.*.* (使用DNS上网需要设置)




    3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：





    设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
    l     10.88.147.141 hadoop1.localdomain
    l    10.88.147.139 hadoop2.localdomain
    l    10.88.147.140 hadoop2.localdomain






    2.    使用如下命令对网络设置进行重启

    sudo /etc/init.d/network restart



    3.    验证设置是否成功



    关闭防火墙
    在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常

    1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启




    2.    使用如下命令关闭iptables，执行该命令后重启机器生效

    chkconfig iptables off



    关闭SElinux1.    使用getenforce命令查看是否关闭





    2.    修改/etc/selinux/config 文件
    将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效




    设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1




    复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3


    SSH无密码验证配置(这一步可省略)
    3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；





    4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；





    5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；







    6.    把三个节点的公钥信息保存到authorized_key文件中

    使用cat authorized_keys_hadoop1 >> authorized_keys命令





    7.    把该文件分发到其他两个从节点上
    使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去







    8.    测试ssh免密码登录是否生效





    Cloudera Manager安装
    下载Cloudera Manager安装文件

    Cloudera Manager的可以从如下网址获得：
    这里选择Cloudera Manager 最新版5.0.1


    下载Cloudera Manager所需的rpm包

    下载网址为：


    安装rpm文件
    l 将下载的rpm包放入文件夹rpm（文件夹名随意）
    l cd  ./rpm（进入rpm目录）
    l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)

    3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录
    l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）
    l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）

    3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin



    Cloudera Manager文件配置及本地源配置
    配置config.ini文件
    修改主机名
    修改前为：localhost   修改后为：localhost.localdomain






    本地源配置

    Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：


    因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel


    注意：Parcel文件对应不同的系统版本



    l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
    l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
    l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中

    以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

    {
               "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
               "components": [
                    {
                       "pkg_version": "0.7.0+cdh5.0.1+0",
                       "pkg_release": "1.cdh5.0.1.p0.30",
                       "name": "bigtop-tomcat",
                       "version": "6.0.37-cdh5.0.1"
                    },
                    {
                       "pkg_version": "0.9.0+cdh5.0.1+23",
                        "pkg_release":"1.cdh5.0.1.p0.25",
                       "name": "crunch",
                       "version": "0.9.0-cdh5.0.1"
                    },




                  .........



                    {
                       "pkg_version": "0.9.0+cdh5.0.1+8",
                       "pkg_release": "1.cdh5.0.1.p0.25",
                       "name": "whirr",
                       "version": "0.9.0-cdh5.0.1"
                    },
                    {
                       "pkg_version": "3.4.5+cdh5.0.1+30",
                        "pkg_release":"1.cdh5.0.1.p0.31",
                       "name": "zookeeper",
                       "version": "3.4.5-cdh5.0.1"
                    }
                ],
               "replaces": "IMPALA, SOLR, SPARK",
                "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
            }


    l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件：
    CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
    Manifest.json

    l  重启系统


    Hadoop及其组件安装选择Cloudera版本


    选中受管理的主机




    选择安装方式（Cloudera推荐使用Parcel）




    把Parcel分配到主机









    添加服务



    测试数据库连接



    等待所有服务开启等待所有服务开启，时间可能会有点长









    向集群增加节点增加主机



    输入IP或主机名





    提供SSH登录凭据



    安装


    文章出自：http://www.aboutyun.com/thread-9190-1-1.html
  • 相关阅读:
    T-SQL 数据库数据的高级查询
    数据库 T-sql 基础语句
    数据库的定义、关系型数据库的四种约束。。
    linux上使用crontab任务调度
    pip list 显示出以下错误： DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] se
    python报错：NameError: name 'converter' is not defined
    python3报错：TypeError: can't concat bytes to str
    Fiddler如何手机抓包
    数据分析----VBA的使用
    Excel进行数据分析
  • 原文地址：https://www.cnblogs.com/vincent-blog/p/4393089.html
Copyright © 2020-2023  润新知